Visualisering af data fra Magicbit i AWS: 5 trin

2024 Forfatter: John Day | [email protected]. Sidst ændret: 2024-01-30 08:25

Data indsamlet fra sensorer forbundet til Magicbit vil blive offentliggjort til AWS IOT -kernen gennem MQTT for at blive visualiseret grafisk i realtid. Vi bruger magicbit som udviklingstavle i dette projekt, der er baseret på ESP32. Derfor kan enhver ESP32 udviklingsplade bruges i dette projekt.

Tilbehør:

Magicbit

Trin 1: Historie

Dette projekt handler om at forbinde din Magicbit -enhed til AWS Cloud via MQTT. Data sendt via MQTT analyseres og visualiseres i skyen ved hjælp af AWS -tjenester. Så lad os komme i gang

Først skal du gå til AWS -konsollen og logge ind. Til læringsformål kan du bruge den gratis tier -mulighed, som AWS tilbyder. Det vil være nok til dette projekt.

For at gøre det lettere vil jeg opdele projektet i to sektioner.

Dette bliver den første fase af vores projekt. I slutningen af det første trin vil data blive gemt i S3 -spande.

AWS -tjenesterne, der vil blive brugt i det første afsnit,

• Kinesis Firehose
• AWS Lim
• AWS S3

Naviger først til AWS Kinesis -service.

Vælg Kinesis Data Firehose som vist herunder, og klik på Opret

Derefter bliver du ledt til trin 1 for at oprette en Firehose -service. Indtast et leveringsstrømnavn, og vælg Direkte put eller andre kilder. Klik på Næste.

I trin 2 vindue lad alt være som standard, og klik på næste. Efter at have oprettet AWS Lim Service vender vi tilbage til at redigere dette trin.

I trin 3 skal du vælge en S3 -spand, hvis du har oprettet den før. Ellers skal du klikke på Opret og oprette en spand. I afsnittet S3 -præfiks skal du bruge dest/ og i fejlpræfiks indtaste fejl/. Du kan indtaste et hvilket som helst navn for de to ovenstående. Men for nemheds skyld vil vi fortsætte med et fælles navn. Sørg for at oprette en mappe med navnet dest inde i den spand, du valgte. Klik på Næste.

I trin 4 skal du vælge den mindste bufferstørrelse og bufferinterval for dataoverførsel i realtid. Vælg Opret eller opdater IAM roleKinesisFirehoseServiceRole i afsnittet Tilladelse. Behold alt som standard. Klik på næste.

I det næste afsnit vises en gennemgang af de ændringer, du har foretaget. Klik på OK. Så får du en fungerende Kinesis Firehose.

Hvis du med succes oprettede Firehose -tjenesten, får du sådan noget.

Trin 2: Test af Firehose og S3 Bucket

For at teste, at brandslangen og S3 -skovlen fungerer korrekt, skal du vælge IOT -kerne i konsollen. Du bliver ledt til en side som denne. Vælg Regel, og opret en regel.

Hvad er AWS IOT -reglen?

Det bruges til at videresende alle data modtaget fra MQTT til en bestemt tjeneste. I dette eksempel vil vi videresende til Kinesis Firehose.

Vælg et navn til reglen. Lad regel- og forespørgselserklæringen være som den er. Dette fortæller os, at alt, der er offentliggjort til iot/emneemnet, vil blive videresendt til kinesis Firehose gennem denne regel.

Klik på tilføj handling under afsnittet Angiv en eller flere handlinger. Vælg Send en besked til Amazon Kinesis Firehose Stream. Vælg konfigurer. Vælg derefter navnet på brandslangestrømmen, der blev oprettet tidligere. Klik derefter på Opret en rolle, og opret en rolle. Nu har du med succes oprettet en rolle i AWS.

Enhver besked, du udgiver, videresendes gennem Kinesis Firehose til S3 -spande.

Husk, at Firehose sender data, når bufferen er fyldt, eller når bufferintervallet er nået. Det mindste bufferinterval er 60 sek.

Nu kan vi gå videre til anden del af projektet. Dette vil være vores dataforløbsdiagram.

Trin 3: Konfiguration af AWS -lim

Hvorfor har vi brug for AWS Lim og AWS Athena?

Data gemt i S3 -spande kan ikke direkte bruges som input til AWS Quicksight. Først skal vi arrangere dataene i form af tabeller. Til dette bruger vi de to ovenstående tjenester.

Gå til AWS Lim. Vælg Crawler på værktøjslinjen i siden. Vælg derefter Tilføj crawler.

I det første trin skal du indtaste et navn til din crawler. Klik på næste. I det næste trin skal du forlade det som standard. I det tredje trin skal du indtaste stien til din valgte S3 -spand. Forlad det næste vindue som standard. I det femte vindue skal du indtaste enhver IAM -rolle. I det næste trin valgte du hyppigheden af at køre tjenesten.

Det tilrådes at vælge brugerdefineret i rullemenuen og vælge en minimumstid.

I det næste trin skal du klikke på Tilføj database og derefter på næste. Klik på Udfør.

Nu skulle vi integrere vores Kinesis Firehose med det AWS Lim, vi skabte.

Gå til AWS Kinesis firehose, vi har oprettet, og klik på rediger.

Rul ned til afsnittet Konverter postformat og vælg Aktiveret.

Vælg outputformat som Apache Parket. For resten af detaljerne skal du udfylde detaljerne i den limdatabase, du har oprettet. Der skal oprettes en tabel i databasen, og navnet skal tilføjes til dette afsnit. Klik på Gem.

Trin 4: Konfiguration af AWS Athena

Vælg databasen og datatabellen, du har oprettet. I forespørgselsafsnittet skal denne kode tilføjes.

tabelnavn skal erstattes af det faktiske navn på den limtabel, du har oprettet.

Klik på Kør forespørgsel. Hvis det virker, skal dataene, der er gemt i AWS S3 -skovl, vises som en datatabel.

Nu er vi klar til at visualisere de data, vi fik.

Trin 5: Konfiguration af QuickSight

Naviger til AWS Quicksight

Klik på Ny analyse i øverste højre hjørne, og klik derefter på Nyt datasæt.

Vælg Athena fra listen. Indtast et navn på datakilden på pop op -kortet.

Vælg Lim -databasen i rullemenuen og den relevante tabel. Dette navigerer dig til denne side.

Træk og slip et vilkårligt felt fra feltlisten, og vælg en visuel type.

Nu kan du visualisere alle data, der sendes fra din MagicBit ved hjælp af AWS -tjenester !!!

Husk at give adgang til quicksight for respektive S3 -spande for at visualisere dataene i dem.