PiTextReader-en brugervenlig dokumentlæser til nedsat syn: 8 trin (med billeder)

2024 Forfatter: John Day | [email protected]. Sidst ændret: 2024-01-30 08:28

Oversigt

Opdatering: Kort videodemo:

PiTextReader tillader en person med nedsat syn at "læse" tekst fra konvolutter, breve og andre genstande. Det tager et øjebliksbillede af et billede af elementet, konverteres til ren tekst ved hjælp af OCR (Optical Character Recognition) og taler derefter teksten ved hjælp af tekst-til-tale.

Læseren er designet til at være så absolut enkel at bruge som muligt. Intet internet nødvendigt, ingen grafisk grænseflade, kun en knap. Placer det emne, der skal læses, på stativet, og tryk på en knap. Efter et øjeblik vil teksten blive læst tilbage til dem.

Jeg designet dette til en ældre forælder med problemer med øjensyn, såsom makuladegeneration, men kan bruges mere bredt til alle, der ønsker trykt tekst oversat til lydtale.

Der er mange tilgængelige læsere, de fleste koster dog tusindvis af dollars eller er til nogen, der er teknisk kyndige, og som kræver internetforbindelse og brug af en smart telefon. Denne læser er designet til at være helt selvstændig uden internet og ingen anden grænseflade end en stor trykknap.

Fordele

• En knap til kontrol
• Ingen internetforbindelse påkrævet
• Ingen grafisk brugergrænseflade at navigere i
• Samlet pris mindre end $ 100
• Altid klar til at gå

Ulemper

• OCR kan begrænses på grund af skrifttyper, farver, tekststørrelse osv.
• Tale lyder som Stephen Hawking
• Fungerer bedst til små sektioner af sort tekst på hvidt papir.

Trin 1: Hardware

• Raspberry Pi 3 (har brug for hestekræfterne!)
• 8 GB + micro SD -kort
• 5v 2A DC strømforsyning til hindbær
• Raspberry Pi -kamera (almindeligt eller NoIR)
• 24”Raspberry Pi kamerakabelhttps://www.adafruit.com/product/1731
• Kameraholder eller etuihttps://www.adafruit.com/product/3253 ellerhttps://www.adafruit.com/product/1434
• Objektivjusteringsværktøj (for at fokusere kameraet)
• USB -drevet monohøjttaler (lille størrelse foretrækkes!)
• Stor trykknap - øjeblikkelig med LEDhttps://www.adafruit.com/product/1440
• 330 ohm modstand til ovenstående knap LED
• Trækasse 8”x8” x2”fra Michaels eller andre store kunstartikler.
• Skrot til opbygning af kamerastativ:
• 8”Lx1” Bx1/2”T flad strimmel
• 5”Lx1” Bx1/4”T flad strimmel
• 6”Lx1/2” x1/2”firkantet dyvel til en placeringsguide
• Skruer, lim, tråd, loddetøj mm.

Trin 2: Hardwarekonstruktion

Brug af boksen 8 "x8":

1. Bor hul i bagsiden til netledningen.

2. Bor hul i det forreste højre hjørne for den midlertidige knap3. Bor huller til højttaleren. (se lydtrin 12 nedenfor)

4. Jeg brugte et stykke 2 "x1/4" x13 "aluminiumstrimmel til kameraholderen, men træstrimler fungerer også.

en. Monter den 8”flade træstrimmel på bagsiden af æsken Låg. (sørg for at den er fastgjort til LÅGET og ikke bunden af kassen, ellers kan du ikke åbne den!)

b. Monter den 5”flade træstrimmel oven på den 8” lodrette med skruer og lim. BEMÆRK, at kameraets højde bestemmer dokumentets størrelse og det nødvendige fokus. Du vil måske gå højere for dokumenter i større område.

5. Skær en 1 "x1/16" slids i boksens top nær 8 "lodret, så kamerakablet kan passere igennem.

BEMÆRK: For elektronikken foreslår jeg IKKE at permanent montere komponenterne endnu, så du let kan foretage justeringer.

6. Tilslut 24”kamerakablet til kameraet. FORBIND IKKE TIL RASPBERRY endnu.

Trin 3: Hardware fortsat …

7. Monter kameraet nedad fra enden af den 5”træstrimmel. Jeg foreslår, at du venter, før du placerer kameraet i etuiet, så du lettere kan fokusere objektivet, når det kører!

Til indledende fokusering skal du bruge justeringsværktøjet og dreje objektivet 1/4 mod uret! tur.

8. Kør kamerakablet ned gennem åbningen, og sæt det derefter på Pi. (Sørg for, at Pi er slukket!)

9. Installer den midlertidige knap, og tilslut ledninger mellem den og Pi GPIO -benene 24 og GND. Og tilslut knappens LED gennem en 220 ohm modstand til Pi GPIO ben 18 og GND.

10. Kør strømforsyningen ind i boksen, og tilslut den til Pi. Du skal bruge trækaflastning såsom smeltelim eller lignende til at tilslutte hullet i kassen, så kablet ikke kan trække ud.

Trin 4: Installer lydhardware …

11. Til lyden brugte jeg en monohøjttaler, der brugte USB -strøm og mini -jack -lyd. Jeg fjernede elektronikken og højttaleren fra det originale plastikhus og satte lydstikket i Pi -lydstikket og USB -kablet til Pi USB. Jeg udskiftede også den originale lille højttaler med en større 3”en for meget bedre lydkvalitet.

Siden jeg monterede højttaleren under låg på boksen, borede jeg flere små huller i form af en højttalergrill.

12. Kontroller endelig forbindelserne, især kamerakablet og GPIO -forbindelserne.

SLUG IKKE PI OP PI. Fortsæt først til softwareopsætning …

Der er ingen tænd/sluk -switch, da det antages, at Pi skal køre hele tiden, så den er klar til at læse noget med det samme. Den bruger kun få watt og kan køre 24/7 uden problemer.

Det er muligt, at SD -kortet bliver ødelagt, hvis det tages ud af stikkontakten eller strømafbrydelse, men det er sjældent. Jeg har aldrig haft et unbootable SD -kort, endnu. Men tilslut ikke en strømstik, der slukkes/tændes regelmæssigt.

Trin 5: Opsætning og konfiguration af operativsystem

Formater et 8 GB eller større microSD -kort med Raspbian Jessie (eller Stretch) Lite (ingen GUI til dette projekt).

www.raspberrypi.org/downloads/raspbian/

Du skal have adgang til Hindbær eksternt via SSH. På Windows kan du bruge PUTTY SSH -terminalprogram. På Mac skal du bare åbne et kommandoterminalvindue. Alternativt kan du midlertidigt tilslutte et tastatur og en HDMI -skærm bare for at få det bygget, men SSH gør det lettere at arbejde videre senere.

Vidste du det? Hvis du installerer Raspbian Jessie på et SD -kort ved hjælp af en Windows -pc, kan du oprette to filer på kortet for at konfigurere WiFi og SSH -adgang, før du starter det på et hindbær?

For at gøre dette, antag at dit SD -kort i øjeblikket er monteret som K: på din pc:

1) Installer det nyeste Raspbian Jessie -billede til SD. Til dette projekt skulle Jessie Lite fungere.

2) Med notesblok skal du oprette en fil kaldet bare “ssh” og bruge Gem som “Alle filer” til K: / ssh Filen kan indeholde alt. Det er filnavnet, der er vigtigt. Må IKKE være “ssh.txt” !!!

3) Med notesblok skal du oprette en fil kaldet “wpa_supplicant.conf” med følgende:

ctrl_interface = DIR =/var/run/wpa_supplicant GROUP = netdevupdate_config = 1

netværk = {

ssid = "mySSID" psk = "mypassword" key_mgmt = WPA-PSK}

Brug Gem som "Alle filer" til K: / wpa_supplicant.confAgain, lad ikke Notesblok ændre det til "wpa_supplicant.conf.txt" !!

Når du starter Raspberry første gang, vil Jessie lede efter disse og oprette forbindelse til din Wifi. Du bliver dog nødt til at kigge på din router efter IP -adressen, da den automatisk er tildelt ved hjælp af DHCP.

Nu klar til at installere på din Pi:

1. Sæt microSD -kortet i Pi, og tilslut strømmen nu.

2. For eksternt at logge ind på din Raspberry Pi skal du finde dens IP -adresse. Du kan prøve:

$ ssh [email protected]

Eller indtast værtsnavn fra putty: [email protected]

Ellers skal du se, om din router viser IP -adresserne på dine lokale enheder.

Når du er logget ind som pi -bruger:

3. Opdater dit Raspbian OS:

$ sudo apt opdatering

$ sudo apt opgradering

4. Konfigurer hindbæret, og aktiver kameraet:

$ sudo raspi-config

en. Skift brugeradgangskode

b. Grænsefladeindstillinger -> Kamera -> Aktiver

c. Afslut

d. Genstart

Trin 6: Installation af applikationssoftware

Log nu tilbage på din Pi, og du er klar til at installere PiTextReader -applikationen.

1. Installer den påkrævede software: $ sudo apt install git –y

2. Download softwaren:

$ cd /home /pi

$ git -klon

$ cd PiTextReader

$ sh install.sh

Du kan sikkert geninstallere install.sh flere gange, hvis det er nødvendigt.

3. Læg et simpelt dokument, der skal læses, og kør testprogrammet, der indstiller lydstyrken, afspiller lyd fra tekst til tale og tager et billede.

$ sh test.sh

Hvis du får fejlmeddelelser, skal du kontrollere Fejlfinding herunder. Rediger test.sh -programmet for at justere lydstyrken, hvis det er nødvendigt.

4. Testprogrammet gemmer et foto i “test.jpg”. Du bliver nødt til at kopiere dette billede til en pc, så du kan se fokus og synsfelt. En hurtig og beskidt måde at gøre dette på er at starte en lille webserver på din Pi og bruge en browser:

$ python -m SimpleHTTPServer 8080 &

Gå derefter til https:// {IPaddress}: 8080/

Klik på test.jpg

Brug linsejusteringsværktøjet til at fokusere kameraet.

Kør test.sh-programmet igen så ofte som nødvendigt.

BEMÆRK: hvis du skal justere raspistill -kameraets indstillinger, skal du også redigere programmet pitextreader.py med de nye indstillinger.

CAMERA = "raspistill -cfx 128: 128 --awb auto -rot 90 -t 500 -o /tmp/image.jpg"

5. $ sudo genstart

Pi'en skal komme op og køre automatisk, klar til brug.

Trin 7: Betjening

Når du starter Pi, vil du høre en "OK Ready" samt se knappen LED lyser.

Hver gang LED'en lyser, er enheden klar til brug.

Læg noget trykt tekst under kameraet, helst kun et par linjer sort tekst på hvidt papir.

Bemærk, at kameraet ikke har brug for meget lys, især NoIR. Omgivelsesrumslys var fint for mig. For meget lys forårsager ujævn belysning og forvrænger OCR.

Tryk på knappen.

Lysdioden skal lyse, og der skal lyde et kameraklik samt tale "OK fungerer".

Efter et par sekunder skal teksten læses. Hvis teksten er forvrænget, skrifttypen er for mørk eller for lys, sidelæns eller på hovedet, så bliver resultatet gobbly-gook-tale!

Det kan tage mellem 5-30 sekunder at konvertere og begynde at læse, så vær tålmodig. Jo mere tekst, jo længere tid tager det.

Hvis du skal stoppe med at læse, kan du trykke på knappen, mens lyden stadig afspilles (lysdioden er slukket.)

Når talen er afsluttet, efter et par sekunder, tændes LED'en igen, og du vil høre "OK Ready" igen. Den er klar til at tage endnu en scanning.

Bemærk, at den afstand, kameraet er indstillet til Raspi -kameraet, og for kun en del af et 8x10 dokument. Jeg fandt ud af, at det er bedst at læse dele af et dokument ad gangen, da hele sider kan være svære at lytte til. Mange af de ting, der skal læses, er mindre tekst, så hvis kameraet er for langt væk, kan det ikke løse sig.

For at foretage fejlfinding skal du tjekke nedenfor, især afsnittet SCANNING OG OCR

Hvis alt er godt, skal du permanent montere alle komponenterne for at fuldføre konstruktionen.

Trin 8: Fejlfinding

1. KAMERA

Kontroller, at kameraet er aktiveret via

$ sudo raspi-config

Grænsefladeindstillinger -> Kamera

Sæt båndkablet i igen, da dette er delikat og skal være nøjagtigt justeret. Google om nødvendigt "fejlfinding af hindbær pi -kamera" for at se efter lignende problemer. Googl også den fejlmeddelelse, du får, når du kører test.sh -programmet.

2. LYD

Har du øget lydstyrken?

$ sudo amixer -q sset PCM, 0 100%

Kør lydtest

$ aplay /usr/share/sounds/alsa/Front_Center.wav

Ingen lyd stadig? Tving lyd ud af stikket:

$ sudo raspi -config Avancerede indstillinger -> Lyd -> Force hovedtelefonstik

3. TALE

Hvis lyden ovenfor lyder godt, så prøv:

$ flite -t TEST

Eventuelle fejlmeddelelser fra Google.

Kør install.sh igen

Ja, talen lyder lidt som Stephen Hawking.

4. SCANNING OG OCR

Dette er det største tuningområde, der er nødvendigt. For at OCR'en fungerer korrekt, skal kamerabilledet være af god kvalitet; dokumentet skal være jævnt oplyst, dog ikke nødvendigvis klart.

Teksten skal være flad og klar. Ikke alle skrifttyper kan læses.

For at kontrollere kvaliteten skal du undersøge de to filer:

/tmp/text.txt og /tmp/image.jpg

Du kan starte den lille webserver og bruge en browser:

$ cd /tmp $ python -m SimpleHTTPServer 8080 &

Teksten i billedet skal være let og læsbar. Billedet skal være med højre side opad, god kontrast, i fokus. Du skal muligvis vende dokumentet rundt, hvis det er på hovedet. (husk brugeren på, at hvis de hører kogende gok, så prøv at vende dokumentet rundt.) Hvis billedet har dårlig kontrast, skal du forbedre belysningen, for meget eller for lidt kan forårsage problemer. Ujævn belysning vil også få dele af teksten til at mislykkes. Du kan finde mere hjælp ved at google "tesseract-ocr hjælp"

5. HDMI MONITOR/TASTATUR

Ja, du kan tilslutte et tastatur og en skærm til Pi, især. hvis du ikke kan finde IP -adressen eller ikke kan få adgang via SSH. Der er ingen GUI -grænseflade, og dette kan slukke lyden, medmindre din skærm har en højttaler.

6. INTERNET/WIFI

Hvis WIFI ikke fungerer, kan du bare midlertidigt tilslutte et Ethernet -kabel og bruge det.

Dette projekt har ikke brug for internet eller WiFi, når du har gennemført installationen og opsætningen.