Håndbevægelsesgenkender: 5 trin

2024 Forfatter: John Day | [email protected]. Sidst ændret: 2024-01-30 08:26

Oversigt

I dette projekt laver vi en handske, der kan genkende nogle grundlæggende håndbevægelser ved hjælp af en MicroBit og et par sensorer. Vi bruger Bluetooth -funktionerne på MicroBit sammen med en Android -app og en webserver til at træne en maskinindlæringsmodel til at identificere håndbevægelser.

Kom godt i gang

Et flertal af indsatsen i dette projekt er på softwaresiden, og al den kode, der er nødvendig for at køre dette projekt, er tilgængelig på GitHub. Kodebasen omfatter 3 komponenter, koden til at generere en HEX -fil til MicroBit, Android App -kodebasen, der er stærkt baseret på MicroBit Foundation's MicroBit Blue -app, med ændringer foretaget til denne specifikke use case, og en webserver med kode til træning af en Tensorflow -baseret model til at identificere håndbevægelser.

Vi får se, hvordan man bygger handsken og tilslutter den med appen og webserveren næste gang.

Forbrugsvarer

• 1 BBC Microbit
• 1 Batteriholder med 2 AAA batterier
• 1 handske
• Et sæt jumperwires, alligatorclips
• En flex sensor
• En kraftsensor
• velcro
• Elektrisk tape
• En Android -telefon
• En pc/bærbar

Trin 1: Trin 1: Opsætning af MicroBit og batteri

• Start med at fastgøre batteriholderen til et stykke velcro som vist på det første billede. Brug elektrisk tape til at fastgøre batteriholderen til velcrobåndet.
• Lav derefter en sløjfe med elektrisk tape, så den er klistret på begge sider, og sæt den oven på batteripakken.
• Sæt MicroBit på tape -båndet for at fastgøre MicroBit til batteriholderen som vist på det andet billede.

Trin 2: Tilslut sensorer

• Følg kredsløbsdiagrammet vist på billedet for at slutte din flex -sensor til Pin 1 på MicroBit, og tving sensoren til Pin 0 på MicroBit.
• Fastgør sensorerne på handsken ved hjælp af elektrisk tape som vist på billederne.

Trin 3: Afslut hardware

• Brug enderne af velcrobåndene til at danne en løkke og skub løkken over handskens fingre, som vist på billedet.
• Du kan bruge trådbånd til at fastgøre ledningerne på handsken for at forhindre dem i at bevæge sig for meget.

I det næste afsnit ser vi på, hvordan du konfigurerer softwaren.

Trin 4: Softwareopsætning

Parring af din telefon til din MicroBit

1. For at parre din telefon skal du først sikre, at bluetooth er tændt på din telefon.
2. Tænd for din MicroBit, og tryk på og hold knapperne A og B nede. Tryk samtidigt på og slip nulstillingsknappen, mens du stadig holder A- og B -knapperne inde. Mikrobit skal nu gå i parringstilstand.
3. Find din MicroBit på din telefon under listen over Bluetooth -enheder, hvor du normalt tilføjer en ny Bluetooth -enhed, og begynd parring. På din MicroBit ser du en pil, der peger på A -knappen. Når du trykker på dette, viser MicroBit en række numre, som er parringskoden, som du skal indtaste på din telefon. Når du har indtastet koden på din telefon og vælger par, skal der vises et flueben på MicroBit.
4. Tryk på reset -knappen på din MicroBit.

Opsætning af softwaren

Følg ReadMe -vejledningerne i hver undermappe på GitHub -depotet for at konfigurere Android App -projektet i Android Studio, for at opbygge og flashe HEX -filen til din MicroBit og køre webserveren til at køre Machine Learning Models.

Trin 5: Brug

Webserver

Åbn en terminal i webserverens projektmappe, og kør 'python server.py' for at starte serveren efter at have fulgt instruktionerne i ReadMe for at installere afhængigheder

Android App

1. Byg og lav en APK til Android -appen fra Android Studio. Kør appen efter parring af din telefon med MicroBit (se forrige trin).
2. På accelerometer -siden kan du indstille webserverens URL ved hjælp af indstillingsmenuen i øverste højre hjørne. Sørg for at ændre dette til din webservers IP.
3. Vent, indtil accelerometermålingerne begynder at blive befolket fra MicroBit. Du vil se aflæsningerne ændre sig med forskellig frekvens. Tryk på B på MicroBit for at ændre frekvensen. Ideelt set kan du bruge en frekvensværdi på 10 (som prøver aflæsninger hver 10. ms)
4. Når læsningerne er udfyldt, skal du navngive din gestus ved hjælp af tekstboksen mærket 'Gesture:', og trykke på optageknappen. Så snart du trykker på optageknappen, skal du bevæge din hånd flere gange, indtil knappen aktiveres igen.
5. Gentag trin 3 for at optage flere fagter.
6. Tryk på togknappen for at starte modeltræningen på serveren. Når træningen er udført (ca. 15 sekunder), kan du fortsætte med at lave forudsigelser.
7. Tryk på knappen forudsig, og foretag din bevægelse/gestus. App'en vil prøve at matche den til en af de trænede bevægelser bedst muligt.