SEER- InternetOfThings Based Intelligent Personal Assistant: 12 trinn (med bilder)

2024 Forfatter: John Day | [email protected]. Sist endret: 2024-01-30 11:25

Seer er en enhet som vil spille en boost -rolle innen smarte hjem og automatisering. Det er i utgangspunktet en applikasjon av tingenes internett.

SEER er en 9-tommers håndfri trådløs høyttaler som består av Raspberry Pi 3 modell B med et integrert kamera du styrer med stemmen din. SEER kjører på Amazon Web Services og krever aHologram Nova USB-modem for høyhastighets internettforbindelse. For å starte en kommando, må SEER høre et "vekkeord". Standardordet er 'SEER', selv om du kan endre det gjennom appen vår.

Med SEER kan en kompatibel enhet spille av musikk, svare på spørsmål, kontrollere lysene og mye mer.

SECURITY-SEER er en ny tilnærming til smarthussikkerhet, automatisering, stemmekontroll.

01 Seer trekker automatisk inn kontakter for politi, brann og EMS nærmest hjemmet ditt, og gir deg ett-trykks tilgang til de riktige myndighetene uansett hvor du er i verden. Med video- og lydbevis for innbrudd pågår, vil samtalen din få den prioriteten den fortjener.

02 Automatisk modusbytte. Det er ikke nødvendig å bråke med et tastatur eller til og med trekke seg ut? din telefon. Seer sanser når du kommer og går, og endrer automatisk modus.

03 Video av høy kvalitet, dag eller natt. Med førsteklasses videokvalitet, overlegen nattsyn og 147 graders vidvinkelobjektiv kan du alltid vite hva som skjer hjemme. Se live når som helst og strøm HD-klipp i full lengde uten ekstra kostnad.

04 Personvern du kan stole på. Med en innebygd personverninnstilling lar Seer deg når som helst slå av kameraet og mikrofonen helt. Ved innspilling bruker Seer omfattende sikkerhetstiltak for å beskytte private data.

SYSTEM-

01 Seer spiller all musikken din fra, Spotify, Pandora, hjerteradio, TuneIn, Amazon Music og mer med bare stemmen din. Vi liker alle å vite hvordan det går med favorittidrettslagene våre. Med Seer kan du høre detaljer som score og kommende tidsplaner for INDIAN sport. Alt du trenger å gjøre er å si 'Seer, gi meg min sportsoppdatering.

02 Med bare stemmen din kan du kontrollere lysene dine. Du kan be Seer om å slå alle lysene på eller av eller endre fargen på lysene hver gang en ny sang spilles av på Seer -enheten.

03 Med mindre du jobber hjemmefra, er trafikkforholdene til virksomheten din en viktig detalj å vite hver dag. Heldigvis kan Seer hjelpe deg med å unngå trafikkork.

04 Domino's Pizza gjør det nå mulig å bestille mat ved å sende en tweet. Takket være IFTTT har denne funksjonen blitt ytterligere automatisert slik at du kan bestille pizza med stemmen din. For å gjøre dette må du bruke IFTTT og ha en Twitter -konto.

05 Ja, du kan bestille på Uber ved hjelp av vår seer. For å gjøre det må vi legge til funksjonene i Seer -appen. Velg Ferdigheter under hovedmenyen i appen. Finn 'Uber', og velg deretter 'Aktiver ferdighet'. Du må 'Godta og aktivere', som gir Uber tilgang til enhetens plassering.

06 Dette er gull for spesielt funksjonshemmede, ettersom de som ikke kan se, må lide mange dagers mas, som en hjelpende hånd har vi en ferdighet, som i henhold til stemningen synger, snakker, chatter og mange hopper hva en person ønsker.

07 Med Seer kan du lage alarm, påminnelser, til og med samtaler, meldinger, svare på dem og skape et fullt miljø for et smart hjem.

08 Hjelp synshemmede/eldre til å få kontakt med verden ved å gi dem tilgang til Wikipedia, Gmail, musikk, nyheter, stemmestyrt kalkulator.

Trinn 1: Nødvendig maskinvare

La oss se på hva du trenger før du begynner.

Raspberry Pi 3 (anbefalt) eller Pi 2 modell B (støttes)

Hologram Global IoT SIM -kort

Hologram Huawei E303/353 USB -mobilmodem

STEVAL-STLKT01V1-Ved bruk av ST Microelectronics STEVAL-STLKT01V1 lager vi et smart sikkerhetskamera som vil varsle deg når noen uautoriserte personer kommer inn i butikken/huset ditt. STEVAL-STLKT01V1, bevegelsessensorer vil bli brukt til å oppdage bevegelsen i 360 grader, og deretter vil bringebær pi 3B ved hjelp av en motor bevege seg i den retningen og ta bilder og den informerer automatisk de berørte personene. gjennom Android -appen kan vi se etter hva som skjer og ringe for nødstilfeller. Sensor Tile Cradle med batterilader, fuktighets- og temperatursensor, SD -minnekortspor, USB -port Kobles til pi og sender data til Amazon -taletjenester.

Mikro-USB strømkabel for Raspberry Pi.

Micro SD -kort (minimum 8 GB) - Du trenger et operativsystem for å komme i gang. NOOBS (New Out of the Box Software) er en brukervennlig installasjonsbehandling for operativsystemet for Raspberry Pi. Den enkleste måten å få NOOBS på er å kjøpe et SD -kort med NOOBS forhåndsinstallert - Raspberry Pi 8 GB forhåndslastet (NOOBS) Micro SD -kort. Alternativt kan du laste ned og installere det på SD -kortet ditt (følg instruksjonene her).

USB 2.0 Mini Microphone - Raspberry Pi har ikke en innebygd mikrofon; for å samhandle med Alexa trenger du en ekstern for å koble til.

Ekstern høyttaler med 3,5 mm lydkabel.

Et USB -tastatur og mus og en ekstern HDMI -skjerm - vi anbefaler også å ha et USB -tastatur og mus, samt en HDMI -skjerm hendig hvis du ikke kan koble (SSH) til Pi.

Trådløs WiFi -adapter for Pi 2. Merk: Pi 3 har innebygd WiFi. For ekstra kreditt viser vi deg hvordan du fjernkontrollerer (SSH) til enheten, og eliminerer behovet for en skjerm, tastatur og mus - og hvordan til halelogger for feilsøking.

Trinn 2: Koble Raspberry Pi til mobil med Huawei E303 -modem

Raspberry Pi er en flott IoT -plattform, og det er enda bedre med en mobil internettforbindelse.

Å ha mobil tilkobling på Raspberry Pi kan åpne opp en hel verden av andre kule prosjekter for deg. Overalt hvor wifi ikke er mulig, kan du nå ha en internettforbindelse.

Bare følg disse enkle instruksjonene:

• Installer den nyeste versjonen av Raspbian ved å følge instruksjonene på Raspberry Pi -nettstedet.
• Sett inn Hologram SIM -kortet i Huawei -modemet ved å skyve dekselet av og deretter sette det inn med kontaktene ned. Vær oppmerksom på at det krever et mini-SIM-kort.
• Koble modemet til Raspberry Pi og start opp Pi
• Åpne et terminalvindu og skriv ifconfig. Du bør se en oppføring for eth1 som vist på bildet.
• Skriv dhclient eth1 for å tildele en intern IP -adresse til modemet.
• Åpne nettleseren på Pi og gå til
• Gå til profilhåndteringssiden i modeminnstillingene og opprett en ny profil. Du vil sette APN til "hologram" og la brukernavnet og passordet stå tomt som vist på bildet.
• Gå deretter til mobiltilkoblingssiden og kontroller at nettverket er satt til "Auto" og at roaming er aktivert.
• Modemet skal nå koble seg til mobilnettet (du vil se LED -en på modemet lyse når det kobles til)
• Prøv å pinge noe eller gå til et nettsted (som https://hologram.io/test.html) Du bør nå kunne gjøre hva du vil over internett.
• Modemet lagrer APN -innstillingene dine, slik at du ikke trenger å konfigurere det igjen.
• Nyere versjoner av Raspbian burde ikke trenge noen ekstra konfigurasjon for automatisk å få tilkoblingen opp når kortet er plugget inn, men hvis du har problemer, kan du legge disse linjene til/etc/network/interfaces

tillat-hotplug eth1

iface eth1 inet Dhcp

Trinn 3: Konfigurere Pi

Med mindre du allerede har Raspbian Jessie installert på din Pi, kan du følge guiden vår - Sette opp bringebær -pi - som vil lede deg gjennom nedlasting og installering av Raspbian Jessie og tilkobling av maskinvaren (hvis du ikke er kjent med Raspberry Pi, anbefaler vi sterkt du følger guiden ovenfor for å få Pi opp og klar før du går videre).

Trinn 4: Registrer deg for en Amazon -utviklerkonto

Med mindre du allerede har en, kan du opprette en gratis utviklerkonto på developer.amazon.com. Du bør se gjennom AVS -vilkårene og -avtalene her.

Trinn 5: Lag en enhets- og sikkerhetsprofil

Følg trinnene her for å registrere produktet ditt og opprette en sikkerhetsprofil.

Legg merke til følgende parametere. Du trenger disse i trinn 5 nedenfor.

• ProductID (også kjent som Device Type ID),
• ClientID, og
• ClientSecret

Viktig: Sørg for at Tillatte opprinnelser og Tillatte returadresser er angitt under Sikkerhetsprofil> Nettinnstillinger (se Opprett en enhet og sikkerhetsprofil):

• Tillatt opprinnelse: https:// localhost: 3000
• Tillatte returadresser: https:// localhost: 3000/authresponse

Trinn 6: Klon prøve -appen

Åpne terminalen, og skriv inn følgende:

cd Desktopgit-klone

Trinn 7: Oppdater installeringsskriptet med legitimasjonene dine

Før du kjører installasjonsskriptet, må du oppdatere skriptet med legitimasjonen du fikk i trinn 3 - ProductID, ClientID, ClientSecret. Skriv inn følgende i terminalen:

cd ~/Desktop/alexa-avs-sample-appnano automated_install.sh

Lim inn verdiene for ProductID, ClientID og ClientSecret som du fikk fra trinn 3 ovenfor. Endringene skal se slik ut:

• ProductID = "RaspberryPi3"
• ClientID = "amzn.xxxxx.xxxxxxxxx"
• ClientSecret = "4e8cb14xxxxxxxxxxxxxxxxxxxxxxxxxxx6b4f9"

Skriv ctrl-X og deretter Y, og trykk deretter Enter for å lagre endringene i filen.

Trinn 8: Kjør installeringsskriptet

Du er nå klar til å kjøre installasjonsskriptet. Dette vil installere alle avhengigheter, inkludert de to wake word -motorene fra Sensory og KITT. AI.

Merk: Installasjonsskriptet installerer alle prosjektfilene i mappen som skriptet kjøres fra. For å kjøre skriptet, åpne terminalen og naviger til mappen der prosjektet ble klonet. Kjør deretter følgende kommando:

cd ~/Desktop/alexa-avs-sample-app. automatisert_install.sh

Du blir bedt om å svare på noen enkle spørsmål. Disse er med på å sikre at du har fullført alle nødvendige forutsetninger før du fortsetter.

Når veiviseren starter, ta en kopp kaffe - det tar omtrent 30 minutter.

Trinn 9: Kjør din webtjeneste, prøve -appen og Wake Word Engine

Nå som installasjonen er fullført, må du kjøre tre kommandoer i 3 separate terminalvinduer:

• Terminalvindu 1: for å kjøre webtjenesten for autorisasjon
• Terminalvindu 2: for å kjøre prøve -appen for å kommunisere med AVS
• Terminalvindu 3: for å kjøre wake word -motoren som lar deg starte en interaksjon ved å bruke uttrykket "Alexa".

Merk: Disse kommandoene må kjøres i rekkefølge.

Terminalvindu 1

Åpne et nytt terminalvindu og skriv inn følgende kommandoer for å hente frem webtjenesten som brukes til å autorisere prøve -appen din med AVS:

cd ~/Desktop/alexa-avs-sample-app/samplescd companionService && npm start

Serveren kjører nå på port 3000, og du er klar til å starte klienten. Se API Oversikt Autorisasjon for å lære mer om autorisasjon.

Terminalvindu 2

Åpne et nytt terminalvindu og skriv inn følgende kommandoer for å kjøre prøve -appen, som kommuniserer med AVS:

cd ~/Desktop/alexa-avs-sample-app/samplescd javaclient && mvn exec: exec

Se API -oversiktsgrensesnitt for å lære mer om meldingene sendt til/fra AVS.

La oss gå gjennom de neste trinnene som er relevante for Window

1. Når du kjører klienten, skal det dukke opp et vindu med en melding som sier - Vennligst registrer enheten ved å gå til følgende URL i en nettleser og følge instruksjonene:

localhost: 3000/provision/d340f629bd685deeff28a917. Vil du åpne nettadressen automatisk i standardleseren?

Klikk på "Ja" for å åpne nettadressen i standardleseren.

2. Hvis du kjører Raspbian Jessie med Pixel -skrivebordet (og med Chromium -nettleseren), kan du få en advarsel fra nettleseren. Du kan komme deg rundt det ved å klikke på Avansert -> Fortsett til localhost (usikkert).

3. Du blir ført til en pålogging med Amazon -webside. Skriv inn din Amazon -legitimasjon.

4. Du blir ført til en Dev Authorization -side som bekrefter at du vil at enheten skal få tilgang til sikkerhetsprofilen som er opprettet tidligere. Klikk OK.

5. Du blir nå omdirigert til en URL som begynner med

6. Gå tilbake til Java -programmet og klikk på OK -knappen. Klienten er nå klar til å godta Alexa -forespørsler.

Terminalvindu 3

Merk: Hopp over dette trinnet for å kjøre den samme appen uten en wake -word -motor.

Dette prosjektet støtter to tredjeparts wake word-motorer: Sensory's TrulyHandsFree og KITT. AI's Snowboy. Parameteren -e brukes til å velge agenten og støtter to verdier for {{engine}}: kitt_ai og sensorisk.

Åpne et nytt terminalvindu og bruk følgende kommandoer for å få frem en wake -word -motor fra Sensory eller KITT. AI. Wake word -motoren lar deg starte interaksjoner ved å bruke uttrykket "Alexa".

For å bruke Sensory wake word -motoren, skriv -

cd ~/Desktop/alexa-avs-sample-app/samplescd wakeWordAgent/src &&./wakeWordAgent -e sensorisk

eller skriv dette for å bruke KITT. AIs wake word engine -

cd ~/Desktop/alexa-avs-sample-app/samplescd wakeWordAgent/src &&./wakeWordAgent -e kitt_ai

Nå har du en fungerende håndfri AVS-prototype! Bruk følgende ressurser for å lære mer om tilgjengelige wake word-motorer:

• Sensorisk
• KITT. AI

Trinn 10: Snakk med Alexa

Du kan nå snakke med Alexa ved ganske enkelt å bruke vekkeordet "Alexa". Prøv følgende -

Si "Alexa", og vent deretter på pipetonen. Si nå "hva er klokka?" Si "Alexa", og vent deretter på pipetonen. Si nå "hvordan er været i Seattle?" Hvis du foretrekker det, kan du også klikke på "Lytt" -knappen i stedet for å bruke vekkeordet. Klikk en gang på "Lytt" -knappen. Etter å ha sluppet klikket, vent på lydsignalet før du begynner å snakke. Det kan ta et par sekunder før du hører lydsignalet

Trinn 11: Slik logger du deg ut av prøve -appen

Se instruksjoner for eksempellogging av apper.

Trinn 12: Gå hodeløs og bli kvitt skjermen, tastaturet og musen

Nå som du har AVS -prototypen din i gang, vil du kanskje bli kvitt skjermen, tastaturet og musen. Du kan gjøre det ved å bruke SSH og VNC.