PiTextReader-en brukervennlig dokumentleser for svekket syn: 8 trinn (med bilder)

2024 Forfatter: John Day | [email protected]. Sist endret: 2024-01-30 11:24

Oversikt

Oppdatering: Kort videodemo:

PiTextReader lar noen med nedsatt syn "lese" tekst fra konvolutter, bokstaver og andre gjenstander. Den tar et bilde av elementet, konverterer til ren tekst ved hjelp av OCR (Optical Character Recognition) og snakker deretter teksten ved hjelp av tekst-til-tale.

Leseren er designet for å være så absolutt enkel å bruke som mulig. Ingen internett nødvendig, ingen grafisk grensesnitt, bare en knapp. Bare plasser elementet som skal leses på stativet og trykk på en knapp. Etter noen få øyeblikk blir teksten lest tilbake til dem.

Jeg designet dette for en eldre forelder med problemer med øyesyn som makuladegenerasjon, men kan brukes mer bredt for alle som ønsker trykt tekst oversatt til lydtale.

Det er mange lesere tilgjengelig, men de fleste koster tusenvis av dollar eller er for noen som er teknisk kunnskapsrike som krever Internett -tilkobling og bruk av en smarttelefon. Denne leseren er designet for å være helt frittstående uten internett og ikke noe annet grensesnitt enn en stor trykknapp.

Fordeler

• En knapp å kontrollere
• Ingen Internett -tilkobling kreves
• Ingen grafisk brukergrensesnitt for å navigere
• Total kostnad mindre enn $ 100
• Alltid klar til å gå

Ulemper

• OCR kan begrenses på grunn av skrifttyper, farger, tekststørrelse, etc.
• Talen høres ut som Stephen Hawking
• Fungerer best for små deler av svart tekst på hvitt papir.

Trinn 1: Maskinvare

• Raspberry Pi 3 (trenger hestekrefter!)
• 8 GB + micro SD -kort
• 5v 2A DC strømforsyning for bringebær
• Raspberry Pi -kamera (vanlig eller NoIR)
• 24”Raspberry Pi kamerakabelhttps://www.adafruit.com/product/1731
• Kamerafeste eller etuihttps://www.adafruit.com/product/3253 ellerhttps://www.adafruit.com/product/1434
• Verktøy for justering av objektiv (for å fokusere kameraet)
• USB -drevet monohøyttaler (liten størrelse foretrukket!)
• Stor trykknapp - Momentary with LEDhttps://www.adafruit.com/product/1440
• 330 ohm motstand for knappen ovenfor
• Treboks 8 "x8" x2 "fra Michaels eller andre store kunstbutikker.
• Skrot for bygging av kamerastativ:
• 8”Lx1” Bx1/2”T flatlist
• 5”Lx1” Bx1/4”T flatlist
• 6 "Lx1/2" x1/2 "firkantet plugg for plasseringsguide
• Skruer, lim, wire, loddetinn etc.

Trinn 2: Konstruksjon av maskinvare

Bruke 8 "x8" -boksen:

1. Bor hull på baksiden for strømledningen.

2. Bor hull i høyre hjørne foran for øyeblikkelig knapp3. Bor hull for høyttaleren. (se lyd trinn 12 nedenfor)

4. Jeg brukte et stykke 2 "x1/4" x13 "aluminiumslist til kamerafeste, men trebånd fungerer også.

en. Monter den 8”flate trelisten på baksiden av esken Lokk. (pass på at den er festet til Lokk og ikke bunnen av esken, ellers kan du ikke åpne den!)

b. Monter den 5 "flate trebåndet på toppen av den 8" vertikale med skruer og lim. MERK at høyden på kameraet bestemmer størrelsen på dokumentet og det nødvendige fokuset. Det kan være lurt å gå høyere for dokumenter i større område.

5. Klipp en 1 "x1/16" spalte i bokstoppen nær 8 "vertikalen for at kamerakabelen skal passere gjennom.

MERK: For elektronikken foreslår jeg at du IKKE monterer komponentene permanent ennå, slik at du enkelt kan gjøre justeringer.

6. Koble 24”kamerakabelen til kameraet. IKKE KOBLE TIL RASPBERRY ennå.

Trinn 3: Maskinvareforhold …

7. Monter kameraet med forsiden ned fra enden av 5”trelisten. Jeg foreslår at du venter før du plasserer kameraet i etuiet, slik at du kan fokusere linsen lettere når den er i gang!

For første fokusering, bruk justeringsverktøyet og drei linsen 1/4 ganger mot klokken! sving.

8. Før kamerakabelen ned gjennom sporet, og fest den deretter til Pi. (Pass på at Pi er AV!)

9. Installer den midlertidige knappen og koble ledninger mellom den og Pi GPIO -pinnene 24 og GND. Og koble knappens LED gjennom en 220 ohm motstand til Pi GPIO pins 18 og GND.

10. Kjør strømforsyningen inn i esken og plugg den inn i Pi. Du må bruke strekkavlastning som smeltelim eller lignende for å plugge hullet i esken slik at kabelen ikke kan trekkes ut.

Trinn 4: Installer lydmaskinvare …

11. For lyden brukte jeg en monohøyttaler som brukte USB -strøm og minijack -lyd. Jeg fjernet elektronikken og høyttaleren fra det originale plasthuset, og koblet lydpluggen til Pi -lydkontakten og USB -kabelen til Pi USB. Jeg byttet også ut den originale bittesmå høyttaleren med en større 3”for en mye bedre lydkvalitet.

Siden jeg monterte høyttaleren under lokket på esken, boret jeg flere små hull i form av en høyttalergrill.

12. Til slutt kontrollerer du tilkoblingene, spesielt kamerakabelen og GPIO -tilkoblingene.

IKKE SLÅ PI PI PÅ. Fortsett til programvareoppsettet først …

Det er ingen På/Av -bryter, da det antas at Pi skal kjøre hele tiden, så den er klar til å lese noe umiddelbart. Den bruker bare noen få watt og kan kjøre 24/7 uten problemer.

Det er mulig at SD -kortet blir ødelagt hvis det kobles fra eller strømbrudd, men det er sjelden. Jeg har aldri hatt et ubotbart SD -kort, ennå. Men ikke koble til en strømkontakt som er slått av/på regelmessig.

Trinn 5: Oppsett og konfigurasjon av operativsystemet

Formater et 8 GB eller større microSD -kort med Raspbian Jessie (eller Stretch) Lite (ingen GUI for dette prosjektet).

www.raspberrypi.org/downloads/raspbian/

Du må ha ekstern tilgang til bringebæret via SSH. På Windows kan du bruke PUTTY SSH terminalprogram. På Mac, bare åpne et kommandoterminalvindu. Alternativt kan du midlertidig koble til et tastatur og en HDMI -skjerm bare for å få den bygget, men SSH gjør det lettere å jobbe med senere.

Visste du det? Hvis du installerer Raspbian Jessie på et SD -kort ved hjelp av en Windows -PC, kan du opprette to filer på kortet for å konfigurere WiFi og SSH -tilgang før du starter det på et bringebær?

For dette, anta at SD -kortet ditt for øyeblikket er montert som K: på din PC:

1) Installer det nyeste Raspbian Jessie -bildet til SD -en. For dette prosjektet burde Jessie Lite fungere.

2) Med notisblokk, opprett en fil som bare heter “ssh” og bruk Lagre som “Alle filer” til K: / ssh Filen kan inneholde alt. Det er filnavnet som er viktig. Må IKKE være “ssh.txt” !!!

3) Med notisblokk, opprett en fil som heter “wpa_supplicant.conf” med følgende:

ctrl_interface = DIR =/var/run/wpa_supplicant GROUP = netdevupdate_config = 1

nettverk = {

ssid = "mySSID" psk = "mypassword" key_mgmt = WPA-PSK}

Bruk Lagre som "Alle filer" til K: / wpa_supplicant.confAgain, ikke la Notisblokk endre det til "wpa_supplicant.conf.txt" !!

Når du starter Raspberry første gang, vil Jessie se etter disse og koble til Wifi. Du må imidlertid lete etter ruteren din for å se IP -adressen siden den er automatisk tilordnet med DHCP.

Nå klar til å installere på din Pi:

1. Sett inn microSD -kortet i Pi og koble til strømmen nå.

2. For å logge på Raspberry Pi eksternt, må du finne IP -adressen. Du kan prøve:

$ ssh [email protected]

Eller fra Putty, skriv inn vertsnavn: [email protected]

Ellers må du se om ruteren din vil vise IP -adressene til dine lokale enheter.

Når du er logget inn som pi -bruker:

3. Oppdater Raspbian OS:

$ sudo apt oppdatering

$ sudo apt oppgradering

4. Konfigurer bringebæret og aktiver kameraet:

$ sudo raspi-config

en. Endre brukerpassord

b. Grensesnittalternativer -> Kamera -> Aktiver

c. Bli ferdig

d. Start på nytt

Trinn 6: Installasjon av applikasjonsprogramvare

Logg deg nå på Pi igjen, og du er klar til å installere PiTextReader -applikasjonen.

1. Installer den nødvendige programvaren: $ sudo apt install git –y

2. Last ned programvaren:

$ cd /home /pi

$ git -klon

$ cd PiTextReader

$ sh install.sh

Du kan trygt kjøre install.sh flere ganger, om nødvendig.

3. Plasser et enkelt dokument som skal leses, og kjør testprogrammet som angir volumet, spiller av tekst til tale-lyd og tar et bilde.

$ sh test.sh

Hvis du får feilmeldinger, sjekk Feilsøking nedenfor. Rediger test.sh -programmet for å justere volumet om nødvendig.

4. Testprogrammet lagrer et bilde i “test.jpg”. Du må kopiere dette bildet til en PC, slik at du kan se fokus og synsfelt. En rask og skitten måte å gjøre dette på er å starte en liten webserver på Pi og bruke en nettleser:

$ python -m SimpleHTTPServer 8080 &

Bla deretter til https:// {IPaddress}: 8080/

Klikk på test.jpg

Bruk linsejusteringsverktøyet til å fokusere kameraet.

Kjør test.sh-programmet på nytt så ofte som nødvendig.

MERK: Hvis du trenger å justere raspistill -kamerainnstillingene, må du også redigere programmet pitextreader.py med de nye innstillingene.

KAMERA = "raspistill -cfx 128: 128 --awb auto -rot 90 -t 500 -o /tmp/image.jpg"

5. $ sudo omstart

Pi skal komme opp og kjøre automatisk, klar til bruk.

Trinn 7: Drift

Når du starter Pi, vil du høre en "OK Ready", i tillegg til at knappen LED lyser.

Hver gang LED -lampen lyser, er enheten klar til bruk.

Legg litt trykt tekst under kameraet, helst bare noen få linjer med svart tekst på hvitt papir.

Vær oppmerksom på at kameraet ikke trenger mye lys, spesielt NoIR. Lyset i omgivelsene var fint for meg. For mye lys forårsaker ujevn belysning og forvrenger OCR.

Trykk på knappen.

Lysdioden skal lyse, og et kamera klikklyd samt tale "OK working" skal høres.

Etter noen sekunder bør teksten leses. Hvis teksten er forvrengt, skrifttypen for mørk eller for lys, sidelengs eller opp ned, så blir resultatet sløvtale!

Det kan ta mellom 5-30 sekunder å konvertere og begynne å lese, så vær tålmodig. Jo mer tekst, jo lengre tid tar det.

Hvis du trenger å slutte å lese, kan du trykke på knappen mens lyden fremdeles spilles av (LED -en er av.)

Når talen er fullført, etter et par sekunder, tennes LED -lampen igjen, og du vil høre "OK Ready" igjen. Den er klar til å ta en ny skanning.

Vær oppmerksom på at avstanden kameraet er angitt for Raspi -kameraet og for bare en del av et 8x10 dokument. Jeg syntes det er best å lese deler av et dokument om gangen, da det kan være vanskelig å lytte til hele sider. Mange av tingene som må leses er mindre tekst, så hvis kameraet er for langt unna, kan det ikke løse seg.

For å feilsøke, sjekk nedenfor, spesielt SKANNING OG OCR -delen

Hvis alt er bra, monter alle komponentene permanent for å fullføre konstruksjonen.

Trinn 8: Feilsøking

1. KAMERA

Kontroller at kameraet er aktivert via

$ sudo raspi-config

Grensesnittalternativer -> Kamera

Sett båndkabelen på plass igjen, siden denne er delikat og må være nøyaktig justert. Om nødvendig kan du google "bringebær pi kamera feilsøking" for å se etter lignende problemer. Googles også feilmeldingen du får når du kjører test.sh -programmet.

2. LYD

Har du volum opp?

$ sudo amixer -q sset PCM, 0 100%

Kjør lydtest

$ aplay /usr/share/sounds/alsa/Front_Center.wav

Ingen lyd fremdeles? Tving lyd ut kontakten:

$ sudo raspi -config Avanserte alternativer -> Lyd -> Tving hodetelefonkontakt

3. TALE

Hvis lyden ovenfor høres bra ut, kan du prøve:

$ flite -t TEST

Google feilmeldinger, hvis noen.

Kjør install.sh på nytt

Ja, talen høres litt ut som Stephen Hawking.

4. SKANNING OG OCR

Dette er det største tuningområdet som trengs. For at OCR skal fungere skikkelig, må kamerabildet ha god kvalitet; dokumentet må være jevnt opplyst, men ikke nødvendigvis sterkt.

Teksten må være flat og tydelig. Ikke alle fonter er lesbare.

For å bekrefte kvaliteten, undersøke de to filene:

/tmp/text.txt og /tmp/image.jpg

Du kan starte den lille webserveren og bruke en nettleser:

$ cd /tmp $ python -m SimpleHTTPServer 8080 &

Teksten i bildet skal være ren og lesbar. Bildet skal være med høyre side opp, god kontrast, i fokus. Du må kanskje snu dokumentet hvis det er opp ned. (minn brukeren om at hvis de hører gunkende, prøv å snu dokumentet rundt.) Hvis bildet har dårlig kontrast, må du forbedre belysningen, for mye eller for lite kan forårsake problemer. Ujevn belysning vil også føre til at deler av teksten mislykkes. Du kan finne mer hjelp ved å google “tesseract-ocr help”

5. HDMI -SKJERM/TASTATUR

Ja, du kan koble et tastatur og en skjerm til Pi, spesielt. hvis du ikke finner IP -adressen eller ikke får tilgang via SSH. Det er ikke noe GUI -grensesnitt, og dette kan slå av lyden med mindre skjermen har en høyttaler.

6. INTERNETT/WIFI

Hvis WIFI ikke fungerer, kan du bare koble til en Ethernet -kabel midlertidig og bruke den.

Dette prosjektet trenger ikke Internett eller WiFi når du har fullført installasjonen og oppsettet.