Gest til tale/tekstkonverterende hanske: 5 trinn

2024 Forfatter: John Day | [email protected]. Sist endret: 2024-01-30 11:21

Ideen/pushen bak implementeringen av dette prosjektet var å hjelpe mennesker som har problemer med å kommunisere ved hjelp av tale og kommunisere ved hjelp av håndbevegelser eller mer populært kjent som amerikansk signert språk (ASL). Dette prosjektet kan være et skritt mot å gi disse menneskene en mulighet til å jobbe med andre mennesker, som ikke forstår tegnspråket, i et samarbeidsmiljø. Dette prosjektet vil også gjøre dem i stand til å holde offentlige taler uten bruk av en egentlig menneskelig oversetter. Til å begynne med prøvde jeg bare å oppdage noen av de enklere bevegelsene som alfabeter A, B, I, osv., Og jeg har også tilordnet visse bevegelser til vanlige ord/hilsener som "Hei", "God morgen", etc.

Trinn 1: Kretsmontering

Trinn 2: Prosjektdetaljer

Dette prosjektet inkluderer en bærbar hanske med 4 flex -sensorer som sitter fast/innebygd i hansken - en hver for små, midtre, pekefingre og tommel. Flex -sensor ble ikke brukt til ringefinger på grunn av begrensninger i tilgjengeligheten av analoge inngangspinner på Arduino Uno R3 og generelt på grunn av mangel på uavhengig bevegelse som vises av fingeren på tegnspråk. Et MMA8452Q akselerometer brukes også som sitter fast på baksiden av håndflaten for å måle orienteringen av hånden. Input fra disse sensorene analyseres og brukes til å føle gesten. Når gesten er registrert, blir det tilsvarende tegnet/meldingen lagret i en variabel. Disse tegnene og meldingene fortsetter å sammenkoble til en bestemt forhåndsbestemt bevegelse er gjort som indikerer fullføring av setningen. Når den spesielle gesten er oppdaget, sendes den lagrede setningsstrengen til Raspberry Pi via USB -kabel av Arduino. Raspberry Pi sender deretter den mottatte strengen til Amazon Cloud Service ved navn Polly for å konvertere setningen mottatt i tekstformat til taleformat og deretter streamer den mottatte talen på høyttaleren som er koblet til Raspberry Pi via AUX -kabelen.

Dette prosjektet var bare et bevis på konsept og med bedre utstyr og planlegging og bedre kalibrert for å oppdage mange andre bevegelser og håndbevegelser. Foreløpig er bare begrenset funksjonalitet programmert i dette prosjektet, for eksempel for grunnleggende gestdeteksjon og tekst til tale -utgang.

Trinn 3: Kode

Trinn 4: Trinn

1. Koble flexsensorene og akselerometeret MMA8452Q til Arduino i henhold til kretsdiagrammet.

2. Dump programmet Final_Project.ino (finnes i Arduino_code.zip -filen) til Arduino.

3. Koble Arduino til Raspberry Pi med en USB -kabel. (Kabeltype A/B).

4. Slå på Raspberry Pi, kopier Raspberry_pi_code.zip -filen til Raspberry Pi, og pakk den ut. Koble høyttaleren til Raspberry Pi.

5. Kopier AWS -kontoen din, dvs. aws_access_key_id, aws_secret_access_key og aws_session_token til filen ~/.aws/credentials. Dette trinnet er nødvendig for å kommunisere med AWS -skyen og bruke AWS -tjenester.

6. Kjør seria_test.py -programmet som finnes i den utpakkede mappen i trinn 4.

7. Gjør nå bevegelsene for å danne en setning, og gjør den spesielle gesten (Hold fingrene og håndflaten rett og i en linje med håndflaten vendt bort fra deg, og roter deretter håndleddet slik at det vender nedover slik at nå håndflaten din vender mot deg og fingertuppen peker nedover mot føttene dine.) for å signalisere at setningen er fullført.

8. Fortsett å sjekke terminalen for nyttig informasjon.

9. Og lytt til den konverterte talen som blir streamet på høyttaleren.

Trinn 5: Referanser

1.

2.

3.

4.