Visualisering av data fra Magicbit i AWS: 5 trinn

2024 Forfatter: John Day | [email protected]. Sist endret: 2024-01-30 11:20

Data samlet inn fra sensorer koblet til Magicbit vil bli publisert til AWS IOT -kjernen gjennom MQTT for å visualiseres grafisk i sanntid. Vi bruker magicbit som utviklingstavle i dette prosjektet som er basert på ESP32. Derfor kan et hvilket som helst ESP32 -utviklingsbord brukes i dette prosjektet.

Rekvisita:

Magicbit

Trinn 1: Historie

Dette prosjektet handler om å koble Magicbit -enheten din til AWS Cloud gjennom MQTT. Data som sendes gjennom MQTT analyseres og visualiseres i skyen ved hjelp av AWS -tjenester. Så la oss komme i gang

Først bør du gå til AWS -konsollen og logge deg på. For læringsformål kan du bruke alternativet gratis nivå som tilbys av AWS. Det vil være nok for dette prosjektet.

For å gjøre det enklere vil jeg dele prosjektet i to deler.

Dette kommer til å bli den første fasen av prosjektet vårt. På slutten av det første trinnet vil data bli lagret i S3 -skuffene.

AWS -tjenestene som skal brukes i den første delen,

• Kinesis brannslange
• AWS Lim
• AWS S3

Naviger først til AWS Kinesis -tjenesten.

Velg Kinesis Data Firehose som vist nedenfor, og klikk på Opprett

Deretter blir du ledet til trinn 1 for å opprette en Firehose -tjeneste. Skriv inn et leveringsstrømnavn og velg Direkte put eller andre kilder. Klikk Neste.

I trinn 2 -vinduet la alt være standard og klikk på neste. Etter å ha opprettet AWS Lim Service kommer vi tilbake for å redigere dette trinnet.

Velg en S3 -bøtte i trinn 3 hvis du har opprettet den før. Ellers klikker du på opprett og oppretter en bøtte. I destinasjonen S3 bruker du dest/ og i feil prefiks skriver du inn feil/. Du kan skrive inn et hvilket som helst navn for de to ovenfor. Men for enkelhets skyld vil vi fortsette med et vanlig navn. Sørg for å opprette en mappe med navnet dest inne i bøtta du valgte. Klikk Neste.

I trinn 4 velger du minimum bufferstørrelse og bufferintervall for dataoverføring i sanntid. Velg Tillat eller oppdater IAM roleKinesisFirehoseServiceRole i tillatelsesdelen. Behold alt som standard. Klikk på neste.

I den neste delen vil en gjennomgang av endringene du har vist. Klikk OK. Da får du en fungerende Kinesis brannslange.

Hvis du oppretter Firehose -tjenesten, får du noe slikt.

Trinn 2: Testing av Firehose og S3 Bucket

For å teste at brannslangen og S3 -bøtten fungerer som den skal, velger du IOT -kjernen i konsollen. Du blir ledet til en side som denne. Velg Regel og opprett en regel.

Hva er AWS IOT -regelen?

Den brukes til å videresende data mottatt fra MQTT til en bestemt tjeneste. I dette eksemplet vil vi videresende til Kinesis Firehose.

Velg et navn for regelen. La regel- og forespørgselserklæringen være som den er. Dette forteller oss at alt som er publisert til iot/emneemnet, vil bli videresendt til kinesis Firehose gjennom denne regelen.

Under delen Angi en eller flere handlinger klikker du på Legg til handling. Velg Send en melding til Amazon Kinesis Firehose Stream. Velg konfigurer. Velg deretter navnet på brannslangen som ble opprettet tidligere. Klikk deretter på Opprett en rolle og opprett en rolle. Nå har du vellykket opprettet en rolle i AWS.

Enhver melding du publiserer, blir videresendt gjennom Kinesis Firehose til S3 -bøtter.

Husk at Firehose sender data når bufferen er fylt eller når bufferintervallet er nådd. Minste bufferintervall er 60 sekunder.

Nå kan vi gå videre til andre del av prosjektet. Dette vil være vårt dataflytdiagram.

Trinn 3: Konfigurering av AWS Lim

Hvorfor trenger vi AWS Lim og AWS Athena?

Data lagret i S3 -bøtter kan ikke brukes direkte som input til AWS Quicksight. Først må vi ordne dataene i form av tabeller. For dette bruker vi de to tjenestene ovenfor.

Gå til AWS Lim. Velg Crawler på verktøylinjen på siden. Velg deretter Legg til crawler.

I det første trinnet skriver du inn et navn for søkeroboten. Klikk på neste. La det stå som standard i neste trinn. I det tredje trinnet skriver du inn banen til din valgte S3 -bøtte. La det neste vinduet være standard. Skriv inn en hvilken som helst IAM -rolle i det femte vinduet. I neste trinn valgte du frekvensen for å kjøre tjenesten.

Det anbefales å velge egendefinert i rullegardinmenyen og velge en minimumstid.

I neste trinn klikker du på Legg til database og deretter neste. Klikk på Fullfør.

Nå bør vi integrere Kinesis Firehose med AWS -limet vi laget.

Gå til AWS Kinesis brannslange vi opprettet, og klikk på rediger.

Rull ned til delen Konverter postformat og velg Aktivert.

Velg utdataformat som Apache Parkett. For resten av detaljene fyller du ut detaljene i Lim -databasen du opprettet. Det bør opprettes en tabell i databasen, og navnet skal legges til i denne delen. Klikk på Lagre.

Trinn 4: Konfigurering av AWS Athena

Velg databasen og datatabellen du opprettet. Denne koden bør legges til i spørringsdelen.

tabellnavn bør erstattes av det faktiske navnet på limtabellen du opprettet.

Klikk på Kjør forespørsel. Hvis det fungerer, bør dataene som er lagret i AWS S3 -bøtte vises som en tabell over data.

Nå er vi klare til å visualisere dataene vi fikk.

Trinn 5: Konfigurering av QuickSight

Naviger til AWS Quicksight

Klikk på Ny analyse øverst til høyre, og klikk deretter på Nytt datasett.

Velg Athena fra listen. Skriv inn et navn på datakilden på popup -kortet.

Velg Lim -databasen fra rullegardinboksen og den relevante tabellen. Dette vil navigere deg til denne siden.

Dra og slipp et hvilket som helst felt fra feltlisten, og velg hvilken som helst visuell type.

Nå kan du visualisere alle data som er sendt fra MagicBit ved hjelp av AWS -tjenester !!!

Husk å gi tilgang til quicksight for respektive S3 -bøtter for å visualisere dataene i dem.