Tietojen visualisointi Magicbitista AWS: ssä: 5 vaihetta

2024 Kirjoittaja: John Day | [email protected]. Viimeksi muokattu: 2024-01-30 08:59

Magicbitiin kytketyistä antureista kerätyt tiedot julkaistaan AWS IOT -ydelle MQTT: n kautta, jotta ne voidaan visualisoida graafisesti reaaliajassa. Käytämme magicbitia kehityskorttina tässä projektissa, joka perustuu ESP32: een. Siksi mitä tahansa ESP32 -kehityskorttia voidaan käyttää tässä projektissa.

Tarvikkeet:

Magicbit

Vaihe 1: Tarina

Tämä projekti koskee Magicbit -laitteen liittämistä AWS -pilveen MQTT: n kautta. MQTT: n kautta lähetetyt tiedot analysoidaan ja visualisoidaan pilvessä AWS -palveluiden avulla. Aloitetaan siis

Siirry ensin AWS -konsoliin ja kirjaudu sisään. Oppimistarkoituksiin voit käyttää AWS: n tarjoamaa ilmaisen tason vaihtoehtoa. Se riittää tähän projektiin.

Helpottaakseni jaan projektin kahteen osaan.

Tämä tulee olemaan projektimme ensimmäinen vaihe. Ensimmäisen vaiheen lopussa tiedot tallennetaan S3 -säiliöihin.

AWS -palvelut, joita käytetään ensimmäisessä osassa,

• Kinesis -paloletku
• AWS -liima
• AWS S3

Siirry ensin AWS Kinesis -palveluun.

Valitse Kinesis Data Firehose alla olevan kuvan mukaisesti ja napsauta Luo

Sitten sinut ohjataan Firehose -palvelun luomisen vaiheeseen 1. Anna toimitusvirran nimi ja valitse Suora myynti tai Muut lähteet. Napsauta Seuraava.

Jätä vaihe 2 -ikkunassa kaikki oletusasetuksiksi ja napsauta Seuraava. AWS -liimapalvelun luomisen jälkeen palaamme muokkaamaan tätä vaihetta.

Valitse vaiheessa 3 S3 -ämpäri, jos olet luonut sen aiemmin. Muussa tapauksessa napsauta Luo ja luo ryhmä. Käytä S3 -etuliiteosassa kohtaa dest/ ja virheen etuliitteessä kirjoita error/. Voit kirjoittaa minkä tahansa nimen kahdelle edellä mainitulle. Mutta helpottamiseksi jatkamme yhteisellä nimellä. Muista luoda kansio nimeltä dest valitsemasi ämpäriin. Napsauta Seuraava.

Valitse vaiheessa 4 puskurin vähimmäiskoko ja puskuriväli reaaliaikaista tiedonsiirtoa varten. Valitse Käyttöoikeudet -osiossa Luo tai päivitä IAM -rooliKinesisFirehoseServiceRole. Pidä kaikki oletuksena. Napsauta seuraava.

Seuraavassa osassa näytetään tekemiesi muutosten katsaus. Napsauta OK. Sitten sinulla on toimiva Kinesis Firehose.

Jos olet luonut Firehose -palvelun onnistuneesti, saat jotain tällaista.

Vaihe 2: Paloletkun ja S3 -kauhan testaus

Testaa, että paloletku ja S3 -kauha toimivat oikein, valitsemalla konsolista IOT -ydin. Sinut ohjataan tällaiselle sivulle. Valitse sääntö ja luo sääntö.

Mikä on AWS IOT -sääntö?

Sitä käytetään MQTT: ltä saatujen tietojen välittämiseen tiettyyn palveluun. Tässä esimerkissä välitämme Kinesis Firehoseen.

Valitse säännölle nimi. Jätä sääntö- ja kyselylausunto sellaisenaan. Tämä kertoo meille, että kaikki iot/topic -aiheeseen julkaistut tiedot välitetään kinesis Firehoseen tämän säännön kautta.

Valitse Aseta yksi tai useampi toiminto -kohdassa Lisää toiminto. Valitse Lähetä viesti Amazon Kinesis Firehose Streamille. Valitse konfigurointi. Valitse sitten aiemmin luodun paloletkun virran nimi. Napsauta sitten Luo rooli ja luo rooli. Nyt olet luonut roolin AWS: ssä.

Kaikki julkaisemasi viestit välitetään Kinesis Firehosen kautta S3 -ryhmään.

Muista, että Firehose lähettää tietoja, kun puskuri on täytetty tai kun puskuriväli on saavutettu. Puskuriväli on vähintään 60 sekuntia.

Nyt voimme siirtyä projektin toiseen osaan. Tämä on datavirtakaavio.

Vaihe 3: AWS -liiman määrittäminen

Miksi tarvitsemme AWS -liimaa ja AWS Athenaa?

S3 -ämpäriin tallennettuja tietoja ei voi käyttää suoraan AWS Quicksight -ohjelman syötteenä. Ensin meidän on järjestettävä tiedot taulukoiden muodossa. Käytämme tätä varten kahta edellä mainittua palvelua.

Siirry AWS -liimaan. Valitse sivutyökaluriviltä Indeksointi. Valitse sitten Lisää indeksointirobotti.

Kirjoita ensimmäisessä vaiheessa indeksoijan nimi. Napsauta seuraava. Jätä seuraavaksi oletusarvoksi. Anna kolmannessa vaiheessa polku valitsemallesi S3 -kauhalle. Jätä seuraava ikkuna oletukseksi. Kirjoita viidenteen ikkunaan mikä tahansa IAM -rooli. Seuraavassa vaiheessa valitsit palvelun suorittamisen taajuuden.

On suositeltavaa valita mukautettu pudotusvalikosta ja valita vähimmäisaika.

Napsauta seuraavassa vaiheessa Lisää tietokanta ja sitten seuraava. Napsauta Valmis.

Nyt meidän pitäisi integroida Kinesis Firehose meidän luomaamme AWS -liimaan.

Siirry luomaamme AWS Kinesis -tulettuun ja napsauta Muokkaa.

Vieritä alas kohtaan Muunna tietuemuoto ja valitse Käytössä.

Valitsi tulostusmuodon Apache Parketiksi. Muita tietoja varten täytä luomasi liimatietokannan tiedot. Taulukko on luotava tietokantaan ja nimi lisättävä tähän kohtaan. Napsauta Tallenna.

Vaihe 4: AWS Athenen määrittäminen

Valitse luomasi tietokanta ja tietotaulukko. Kyselyosaan tämä koodi on lisättävä.

taulukon nimi tulee korvata luomasi liimitaulukon todellisella nimellä.

Napsauta Suorita kysely. Jos se toimii, AWS S3 -säiliöön tallennetut tiedot on näytettävä tietotaulukkona.

Nyt olemme valmiita visualisoimaan saamamme tiedot.

Vaihe 5: QuickSightin määrittäminen

Siirry AWS Quicksightiin

Napsauta Uusi analyysi oikeassa yläkulmassa ja valitse sitten Uusi tietojoukko.

Valitse Athena luettelosta. Kirjoita mikä tahansa tietolähteen nimi ponnahdusikkunaan.

Valitse Liimatietokanta avattavasta ruudusta ja asiaankuuluvasta taulukosta. Tämä vie sinut tälle sivulle.

Vedä ja pudota kenttä kenttäluettelosta ja valitse mikä tahansa visuaalinen tyyppi.

Nyt voit visualisoida kaikki MagicBitistäsi lähetetyt tiedot käyttämällä AWS -palveluita !!!

Muista sallia pikavalinnan pääsy vastaaville S3 -ryhmille, jotta voit visualisoida niiden tiedot.