IoT: Styr HoloLens med dine øjenbryn (EMG): 5 trin

2024 Forfatter: John Day | [email protected]. Sidst ændret: 2024-01-30 08:27

Dette projekt var en del af University of Colorado Boulders NASA SUITS -projekt, der blev præsenteret og testet på NASA JSC i april 2019. Til dette års projekt var jeg projektleder for hardwareudvikling, og dette var et af mine bidrag. Læs mere om NASA SUITS -udfordringen her.

Med dette projekt ønskede jeg at give alle (i dette tilfælde EVA Astronauts) mulighed for at kommunikere med et Heads-Up-Display (HUD), der er installeret i Microsoft HoloLens uden at bruge de indbyggede håndbevægelser eller stemmeindgange. Jeg tacklede dette mål fra et tilgængeligheds synspunkt, jeg ville udvikle en perifer/bærbar, der ville gøre det muligt for EVA -astronauter at interagere med deres display uden at optage kommunikation med jordkontrol, og på grund af deres stærkt trykede handsker er gestusinterface urimeligt. Selvom dette er et domæne, jeg ikke kender noget til, kan jeg også se, at denne periferiudstyr er nyttig for handicappede, så de kan bruge HoloLens eller andre AR/VR -enheder og opgive grænsefladeindgange, der er ekskluderende eller skræmmende.

Selvom varelisten til dette projekt i sig selv er ekskluderende (HoloLens er meget dyr!), Kan periferienheden bruges med andre AR/VR -enheder.

Hvis du har spørgsmål, vil følge med i mit arbejde eller bare smide ideer rundt, kan du gøre det på min Twitter: @4Eyes6Senses.

Forbrugsvarer

Microsoft HoloLens (eller anden AR/VR -enhed)

Partikel foton

MyoWare Muscle Sensor - MyoWare sensoren kan erstattes med andre EMG breakout boards. Hvis du ikke er sikker på, hvad EMG er, foreslår jeg, at du læser mere om det her

Biomedicinske sensorpuder

Enhed (gratis)

Nogle erfaringer med oprettelse af projekter i enhed

Tråd

Trin 1: Tilslutning af MyoWare med partikelfoton

Tilslutning af Particle Photon til MyoWare -kortet er ret ligetil. Til dette trin skal du lodde forbindelserne mellem Particle Photon og MyoWare -kortet. Sørg for at have stærke forbindelser, så kablerne ikke går i stykker, mens du bærer enheden. For at undgå brud anbefaler jeg at flette kablerne, før de loddes ind i Photon.

- Lod en ledning ind i "+" - porten på MyoWare -kortet, og lod derefter den anden ende af kablet i Photons "3v3" pin.

- Lod en ledning ind i "-"- porten på MyoWare-kortet, og lod derefter den anden ende af kablet i Photons "GND" -stift.

- Lod en ledning ind i "SIG" -porten på MyoWare -kortet, og lod derefter den anden ende af kablet i Photons "A0" -stift.

Trin 2: Upload kode til partikel foton

Brug Particle Photons IDE til at uploade.ino -filen. Placer MyoWare -kortet på en muskelgruppe, og kontroller værdierne for at sikre, at din enhed fungerer. Når du ser på koden, vil du bemærke, at der allerede er en "tærskel" -variabel, denne variabel er den mindste værdi, MyoWare læser fra min muskel, når jeg løfter øjenbrynet helt. Jeg har også indstillet variablen til "600", fordi den tillod mig at have normale samtaler, mens jeg havde MyoWare på uden at skabe falske positive (utilsigtet udløsning), du vil måske lege med værdierne, indtil du finder den ønskede tærskel for dine anvendelser.

Trin 3: Placering af MyoWare

Til vores NASA SUITS -projekt valgte jeg at placere MyoWare -bordet over øjenbrynet. Jeg blev inspireret til at placere MyoWare der efter at have set på "'Sup Brows" -projektet udført af Adafruit. Efter nogle test blev det klart, at øjenbrynene er et godt sted for dette specifikke projekt. Det er et fantastisk sted, fordi sensorerne ikke ville blive påvirket af de konstante muskelbevægelser gennem arme, ben og torso, som EVA -astronauter laver under rumvandringer.

Trin 4: Tilslutning af MyoWare med enhed

Nu er det tid til det sidste trin, lad os forbinde MyoWare med Unity! Inkluderet i denne instruks er det script, som du skal inkludere i dit Unity -projekt. Men først skal du ændre et par ting i koden. Først skal du tilføje JSON Object Unity -plugin til dit projekt. Dernæst skal du tilføje dit eget enheds -id og adgangstoken til linje 19: particleURI = "https://api.particle.io/v1/devices/[Indsæt dit enheds -id]/Næste? Access_token = [Indsæt dit adgangstoken] ". Du kan få dit enheds -id fra Particle IDE, efter figur 2, klik på fanen Enheder (rød boks) og se under dit enhedsnavn for at finde dit id (blå boks). For at finde dit adgangstoken skal du klikke på fanen Indstillinger i IDE.

Trin 5: Udført

Efter endt dit Unity -projekt har du et EMG -kontrolleret HoloLens!

Hvis du har nogle dybtgående spørgsmål, ønsker at lære om menneskelig forstørrelse, vil følge med i mit arbejde eller bare smide ideer rundt, bedes du gøre det på min Twitter:

Hvis du er interesseret i at arbejde med vores team til NASA SUITS -udfordringen 2019 - 2020, kan du sende mig en e -mail på:

Særlig tak til modellen på det første billede, Darren, der også testede designet på NASA. Endnu en tak til min programmeringspartner for projektet AJ, som gjorde meget af dette muligt.