Personlig engelsk trener - AI Voice Assistant: 15 trinn

2024 Forfatter: John Day | [email protected]. Sist endret: 2024-01-30 11:23

Dette prosjektet vil hjelpe studentene som forbereder seg på enhver språklig eksamen, hvor de kan bli trent ved å samhandle med Snips AI.

Trinn 1: Historie

Hvorfor bygde vi dette?

Fra min personlige erfaring har jeg sett mange mennesker forberede seg på de forskjellige språklige testene som GRE, TOEFL, IELTS. De trenger en person for å hjelpe dem med å huske og forstå ordene. Generelt, når en person forbereder seg på slike eksamener, trenger de en person for å kontrollere og rette om de gjør en feil. Med denne løsningen kan vi redusere arbeidskraften ved å ansette en stemmeassistent.

Trinn 2: Bygg maskinvare

Først og fremst vil jeg takke SNIPS og SEEED for å ha støttet dette prosjektet med det fantastiske Snips Voice Interaction Development Kit (Base Kit), jeg følte meg virkelig informativ ved å bruke dette brettet og i stand til å oppnå noen av de komplekse prosjektene integrert i et PCB.

Du kan kjøpe Snips Voice Interaction Base Kit for $ 115 og Snips Voice Interaction Satellite Kit for $ 85

Trinn 3: Komme i gang med SNIPS

Før vi begynner, la oss se på hva du trenger.

• Raspberry Pi 3B/B+ (anbefalt) eller Pi 2 modell B (støttes).
• Mikro-USB-kabel og mikro-USB-strømadapter for Raspberry Pi.
• Micro SD -kort (minimum 8 GB) - Et operativsystem kreves for å komme i gang. Du kan laste ned Raspbian Stretch og bruke veiledningene for Mac OS, Linux og Windows på Raspberry Pi -nettstedet.
• Et USB -tastatur og mus og en ekstern HDMI -skjerm - vi anbefaler også å ha et USB -tastatur og mus, samt en HDMI -skjerm tilgjengelig.
• Internett -tilkobling (Ethernet eller WiFi)

Snips Voice Interaction Base Kit

Snips Voice Interaction Development Kits gir brukerne muligheten til å sette i gang utviklingen av stemmegrensesnitt og enkelt integrere Snips AI Voice Platform med maskinvare. Snips kjøres på enheten, noe som betyr at alle talekommandoer og data blir behandlet lokalt i stedet for å bli sendt til skyen. Denne behandlingen på enheten resulterer i en helt sikker offline assistent som holder dine personlige data private, slik de burde være.

Voice Interaction Base Kit lar deg kjøre hele Snips AI Voice Platform. Drevet av en Raspberry Pi 3 Model B+ og ReSpeaker 2-Mics Pi HAT, er den i stand til å fungere som din smarte høyttaler i hjemmet. Sammen med settet følger en høyttaler, en Grove - temperatur- og fuktighetssensor (SHT31), en Grove - relé og en tavle for å henge den på en vegg eller lage et fint stativ.

Men det er ikke alt! Voice Interaction Satellite Kit utvider basestasjonen din til å nå hvert rom i huset ditt og lar deg samhandle med maskinvaren basert på hvor du utsteder kommandoene dine!

Dette settet inneholder et Raspberry Pi3 B+ -kort, ReSpeaker 2 -Mics Pi HAT, Grove - Relay, Grove - Temperatur- og fuktighetssensor (SHT31), Høyttaler 6 Ohm 2W, MicroSD -kort, Strømadapter med Micro USB -kontakt, Grove -kabel x 2, Akrylbase panel.

Monteringstrinn: (Innhold fra SNIPS) Bildet nedenfor er oversikten over monteringsdelene.

Her monteres monteringsdelene på bunnpanelet.

Deretter monteres alle de elektroniske delene på brettet.

Deretter monterer du det beskyttende akryldekselet på toppen av Grove -reléet.

Disse to delene brukes til å gjøre settet til et bordstativ.

Til slutt er du klar til å leke med Snips.

Settet gir to måter å plassere på. Den kan enten plasseres på en horisontal overflate som et stativ eller kan henges på en vegg ved hjelp av ledninger eller tråd. Vær forsiktig med reléet når settet er slått på siden arbeidsspenningen vil være høy.

MERK: Vi har også et Snips Voice Interaction Satellite Kit som har en Raspberry Pi zero i stedet for Raspberry Pi 3B+

Trinn 4: Grensesnitt med Snips AI (Basic Project)

• Strøm settet med standard strømadapter i settet, eller bruk en 5V-2A likestrømadapter med en Micro USB-kontakt.
• Det neste trinnet er å installere Snips -assistenten i Raspberry Pi. For å spare oppsetttiden, har MicroSD -kortet i settet blinket med det fullstendige funksjonelle systembildet, noe som betyr at Snips -assistenten er klar for triggerordene dine.
• Vi anbefaler på det sterkeste at du studerer trinnvis installasjonsguide ved å besøke: https://docs.snips.ai/getting-started/quick-start… og lære sam-verktøyet på kommandolinjen.
• Utløs assistenten ved å si "Hey-snips", og følg kommandoen:

Du finner videoen av eksemplet forhåndsinstallert i Snips Voice Interaction-basesettet nedenfor.

Trinn 5: Grensesnitt med Snips AI (Project AI)

Så dette er hvordan det fungerer. Først bruker vi hotword for å starte Snips -gjenkjenning. Den forstår setningen ved å bruke Snips NLU og bestemmer intensjonen. Deretter bruker du intensjonen, og trekker ut henholdsvis sporene. Med handlingskoden programmerer vi AI -responsen med respektive til sporene.

Trinn 6: Opprette app og hensikter

• Lag en assistent. I mitt tilfelle hadde jeg laget en assistent med navnet JARVIS og med et hotword JARVIS.
• Opprett et tilpasset program eller for nybegynnere, bruk programmet fra biblioteket.
• Jeg hadde laget et program med navnet Words
• Lag en intensjon og begynn å trene AI. Dette spiller en stor rolle for å gjøre din AI robust. Tren den med alle mulige innganger.
• Lag et spor for å identifisere ordene. Plasser sporet ved den forventede setningen i setningen. For mitt eksempel er givenword spornavnet, og det er uthevet med blått.
• Når det er gjort, vil din egendefinerte ASR være klar. Prøv med inngangene. Vi finner svaret til høyre under assistenten. Dette gir deg ekstraksjon av råverdi, intensjonsnavn og sporet.
• Definer spor med flere eksempler som gitt nedenfor
• Til slutt, distribuer assistenten din for å oppleve din personlige AI.

Trinn 7: Brenn Raspbian til SD -kortet

Raspbian er valgfri Linux -distribusjon som kjører på Raspberry Pi. I denne veiledningen bruker vi Lite -versjonen, men skrivebordsversjonen (som kommer med et grafisk miljø) kan også brukes.

• Last ned Etcher og installer den.
• Koble til en SD -kortleser med SD -kortet inne.
• Åpne Etcher og velg Raspberry Pi.img- eller.zip -filen fra harddisken du vil skrive til SD -kortet
• Velg SD -kortet du vil skrive bildet til.
• Gjennomgå valgene dine og klikk "Flash!" for å begynne å skrive data til SD -kortet

Koble enheten til nettverket ditt

• Aktiver SSH -tilgang ved å legge til tom fil ssh, igjen plassert ved roten av oppstartsvolumet på SD -kortet.
• Sett inn SD -kortet i Raspberry Pi. Den starter opp på omtrent 20 sekunder. Du bør nå ha SSH -tilgang til din Raspberry Pi. Som standard vil vertsnavnet være raspberrypi.local. Åpne et terminalvindu på datamaskinen og skriv inn følgende:

ssh [email protected]

Standardpassordet er bringebær

Trinn 8: Installer Snips -plattformen

Hvis du ikke allerede har gjort det, må du installere Sam Command Line Interface på datamaskinen. Åpne et terminalvindu, og skriv inn:

sudo npm install -g snips -samor npm install -g snips -sam // Windows

Finn din Raspberry Pi på nettverket ved å kjøre:

sam -enheter

Deretter oppretter du en tilkobling til enheten. Du blir bedt om å angi brukernavn og passord for enheten (standard er henholdsvis pi og bringebær):

sam connect

Vi er nå klare til å installere Snips -plattformen på Raspberry Pi. Skriv inn kommandoen:

sam init

Trinn 9: Konfigurer maskinvaren

Sam gir noen kommandoer for å enkelt sette opp og konfigurere maskinvarekomponenter. I denne delen vil vi sette opp en høyttaler og en mikrofon. Avhengig av konfigurasjonen må noen tilpassede konfigurasjoner utføres.

sam oppsettlyd

Test høyttaleren

Kjør for å kontrollere at høyttaleren fungerer

sam testhøyttaler

Hvis alt fungerer bra, bør du høre på høyttaleren en stemme som sier noen få ord. Konfigurer mikrofonen Du kan kontrollere at mikrofonen din fungerer:

sam testmikrofon

Forutsatt at du har en høyttaler, hvis du tydelig kan høre hva du nettopp sa, kan du gå videre uten ytterligere mikrofonkonfigurasjon.

Når du er fornøyd med at maskinvareoppsettet ditt fungerer, er du klar til å gå videre til neste trinn, hvor du vil distribuere din første assistent.

Trinn 10: Importere AI -modellen fra konsollen

Når du har opprettet assistenten din fra de foregående trinnene, logger du på konsollen fra terminalvinduet ved å kjøre:

sam pålogging

Du blir bedt om å angi legitimasjonen til Snips Console.

Deretter installerer du assistenten:

sam installasjonsassistent

Hvis du har opprettet flere assistenter i konsollen, blir du bedt om å velge hvilken du vil installere fra en liste.

Trinn 11: Handler & Action Code

For at Raspberry Pi skal svare, må vi skrive noen håndtererkode. Dette er en kode som kjøres når en bestemt hendelse skjer på Snips -plattformen, for eksempel når hensikt er oppdaget.

Du har forskjellige metoder for å lage Handler avhengig av funksjon.

Lag en mappe på datamaskinen din der du vil lagre håndtererkoden. Fra terminalvinduet, bytt til den katalogen og skriv inn:

npm init

Dette vil opprette en fil som heter package.json som inneholder prosjektets beskrivelse, avhengigheter og mer. Deretter legger du til mqtt -pakkeavhengigheten:

npm installer mqtt --save

Lag nå en fil som heter index.js, og lim inn følgende kode, og erstatt vertsnavnvariabelen med vertsnavnet til din Raspberry Pi (hvis den er forskjellig fra standard raspberrypi):

var mqtt = require ('mqtt');

var vertsnavn = "mqtt: //raspberrypi.local"; var klient = mqtt.connect (vertsnavn); client.on ('connect', function () {console.log ("[Snips Log] Connected to MQTT broker" + hostname); client.subscribe ('hermes/#');}); client.on ('melding', funksjon (emne, melding) {if (topic === "hermes/asr/startListening") {onListeningStateChanged (true);} ellers hvis (topic === "hermes/asr/stopListening") {onListeningStateChanged (false);} ellers hvis (topic.match (/hermes \/hotword / /.+ \/detect/g)! == null) {onHotwordDetected ()} else if (topic.match (/hermes) /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (melding));}}); function onIntentDetected (intention) {console.log ("[Snips Log] Intent detect:" + JSON.stringify (intention)); } funksjon onHotwordDetected () {console.log ("[Snipplogg] Hotword oppdaget"); } funksjon onListeningStateChanged (lytter) {console.log ("[Snips Log]" + (lytter? "Start": "Stopp") + "lytter"); }

Kjør denne koden ved hjelp av Node:

node index.js

Du bør se en melding om en vellykket forbindelse til Snips MQTT -megleren. Som før, utfør et stemmesamspill med din Raspberry Pi:

Hei Snips, hva er været i Chennai

Du bør se loggene oppdateres:

[Utklippslogg] Koblet til MQTT -megler mqtt: //raspberrypi.local

[Snipplogg] Hotword oppdaget [Snipplogg] Begynn å lytte [Snipslogg] Slutt å lytte [Snippelogg] Hensikt oppdaget: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" default "," input ":" hvordan er været i chennai "," intention ": {" intentionName ":" searchWeatherForecast "," sannsynlighet ": 0.73845243}," slots ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," entity ":" locality ", "slotName": "forecast_locality"}]}

Trinn 12: Feilsøking

Slett den forrige assistenten hvis det er en

$ sudo rm -rf/usr/share/snips/assistent/

For å endre katalogen til assistenten

cd/var/lib/snips/skills/

For å klone innholdet i repoen til lokalt

git klon

For å kjøre setup.sh -skript

./setup.sh

Aktiver virtuelt miljø

kilde venv/bin/aktivere

Kjør handlingskoden

./action-.py

Å gi tillatelse til Python Script

chmod +x action-.py

Trinn 13: Vedlegg

• Jeg hadde brukt en IP -klassifisert kabinett for dette prosjektet
• Først lagde jeg nødvendige hull for å montere kretser og spor for strømledning og HDMI -kabel.
• Deretter plasserte jeg all Raspberry Pi inne i kabinettet og skru den fast.
• Jeg lagde en liten åpning for høyttaleren og mikrofonen og dekket den med et lite stykke akrylark.
• Koble høyttaleren til ReSpeaker -hatten godt.
• Til slutt er alle skruene godt festet og strømkabelen settes inn via et spor.
• Slik ser AI ut til slutt: D

Trinn 14: Arbeid med AI

Du kan finne dataene som overvåkes ved hjelp av Snips-watch

Nå er det visningstid. Jeg begynte å lage med Simple hilsener AI. Ta en titt på det fungerer.

Trainer AI har blitt programmert for begrensede ord. Dette kan forlenges med små modifikasjoner. Dette hjelper elevene med å huske betydningen raskere enn den tradisjonelle metoden.

Vennlig oppmerksomhet: Dette prosjektet er trent i omtrent 25 ord. Det kan utvides ytterligere ved å gjøre mindre justeringer i handlingskoden.

Du finner handlingsskriptene på Github -depotet mitt vedlagt.

Project Repo for Greetings AI-https://github.com/Rahul24-06/Greetings_Assistant-TTS

Project Repo for Trainer AI-https://github.com/Rahul24-06/Personal-English-Trainer---TTS

Lenke til Min søknad:

Hele oppsettet koster omtrent $ 115 som kan kjøpes fra SNIPS, og denne løsningen er veldig billig og effektiv sammenlignet med de tradisjonelle metodene. Omtrent mer enn 100 000 tester ble tatt i India, og dette produktet vil være det beste supplementet for GRE -takere.

Tommel opp hvis det virkelig hjalp deg, og følg kanalen min for interessante prosjekter.:) Del denne videoen hvis du vil. Glad for at du abonnerte: https://console.snips.ai/store/en/skill_xBKlxnE5K… Takk for at du leser!