Gest til tale/tekstkonverterende handske: 5 trin

2024 Forfatter: John Day | [email protected]. Sidst ændret: 2024-01-30 08:26

Ideen/skubbet bag implementeringen af dette projekt var at hjælpe mennesker, der har svært ved at kommunikere ved hjælp af tale og kommunikere ved hjælp af håndbevægelser eller mere populært kendt som amerikansk tegnsprog (ASL). Dette projekt kan være et skridt i retning af at give disse mennesker en mulighed for at arbejde med andre mennesker, der ikke kan forstå tegnsproget, i et samarbejdsmiljø. Dette projekt vil også sætte dem i stand til at holde offentlige taler uden brug af en egentlig menneskelig oversætter. Til at begynde med forsøgte jeg kun at opdage nogle af de lettere bevægelser som f.eks. Alfabeter A, B, I osv. Og har også tildelt visse fagter til almindelige ord/hilsner som 'Hej', 'Godmorgen' osv.

Trin 1: Kredsløbssamling

Trin 2: Projektoplysninger

Dette projekt indeholder en bærbar handske med 4 flex -sensorer, der sidder fast/integreret i handsken - en hver til små, midterste, pegefingre og tommelfinger. Flex -sensor blev ikke brugt til ringefinger på grund af begrænsninger i tilgængeligheden af analoge indgangsstifter på Arduino Uno R3 og generelt på grund af manglende uafhængig bevægelse vist af fingeren på tegnsprog. Der bruges også et MMA8452Q accelerometer, der sidder fast på bagsiden af håndfladen for at måle håndens orientering. Input fra disse sensorer analyseres og bruges til at registrere gestus. Når gesten er registreret, gemmes det tilsvarende tegn/meddelelse i en variabel. Disse tegn og meddelelser bliver ved med at sammenkoble, indtil en bestemt forudbestemt gest er foretaget, hvilket indikerer, at sætningen er afsluttet. Når denne særlige gestus er registreret, sendes den gemte sætningsstreng til Raspberry Pi via USB -kabel af Arduino. Raspberry Pi sender derefter den modtagne streng til Amazon Cloud Service ved navn Polly for at konvertere den modtagne sætning i tekstformat til taleformat og streamer derefter den modtagne tale på højttaleren, der er forbundet til Raspberry Pi via AUX -kablet.

Dette projekt var bare et bevis på koncept og med bedre udstyr og planlægning og bedre kalibreret til at registrere en masse andre bevægelser og håndbevægelser. I øjeblikket er der kun begrænset funktionalitet programmeret til dette projekt, f.eks. Til grundlæggende bevægelsesdetektering og tekst til tale -output.

Trin 3: Kode

Trin 4: Trin

1. Tilslut flexsensorerne og accelerometeret MMA8452Q til Arduino i henhold til det medfølgende kredsløbsdiagram.

2. Dump programmet Final_Project.ino (findes i filen Arduino_code.zip) til Arduino.

3. Tilslut Arduino til Raspberry Pi over et USB -kabel. (Kabeltype A/B).

4. Start Raspberry Pi, kopier filen Raspberry_pi_code.zip til Raspberry Pi, og udpak den. Tilslut højttaleren til Raspberry Pi.

5. Kopiér dine AWS -kontooplysninger, dvs. aws_access_key_id, aws_secret_access_key og aws_session_token til filen ~/.aws/credentials. Dette trin er nødvendigt for at kommunikere med AWS -skyen og bruge AWS -tjenester.

6. Kør seria_test.py -programmet, der findes i den udpakkede mappe i trin 4.

7. Lav nu bevægelserne for at danne en sætning, og gør derefter den særlige gestus (Hold fingrene og håndfladen lige og i en linje med håndfladen vendt væk fra dig, og drej derefter håndleddet, så det vender nedad, så nu din håndflade vender mod dig, og spidsen af dine fingre peger nedad mod dine fødder.) for at signalere, at sætningen er fuldført.

8. Fortsæt med at tjekke terminalen for at få nyttige oplysninger.

9. Og lyt til den konverterede tale, der streames på højttaleren.

Trin 5: Referencer

1.

2.

3.

4.