Biofeedback -biograf: 7 trin

2024 Forfatter: John Day | [email protected]. Sidst ændret: 2024-01-30 08:29

Projektforfatter

Jessica Ann

Samarbejdspartnere

• Gregory Hough
• Salud Lopez
• Pedro Peira

Om

Et eksperimentelt videooptagelsessystem, der forbinder en deltagers hjerne med kamerafunktioner via et Neurosky Mindwave EEG Reader Headset. Biofeedback Cinema -systemet fungerer i stedet for en traditionel filmfotograf og giver i stedet agenturet over sammensætningen til deltageren selv via en brugerdefineret BRAIN to CAMERA -grænseflade. Projektet blev udviklet i samarbejde med workshopdeltagere Gregory Hough, Salud Lopez og Pedro Peira. Du kan læse om resultaterne af workshoppen på:

Prototype konfiguration

Biofeedback Cinema -systemet egner sig til mange potentielle applikationer. Til denne instruktive har vi udarbejdet en demo af systemet, der ser på deltagerens fokus/opmærksomhed (et enkelt heltal) og oversætter det til kameraposition (via panorering og hældning) og kamerafokus (internt via OpenCV). Dette er alt muliggjort af en bluetooth -forbindelse mellem et Neurosky EEG Reader Headset og en Raspberry Pi.

Raspberry Pi er en lille computer udstyret med et webcam og scripts (tilgængelig nedenfor), der bygger bro over deltagerens hjerneaktivitet til kameraindstillinger og kameraposition. Dynamisk kameraposition er muliggjort via en Arduino mikrokontroller, der modtager signaler fra Raspberry Pi. Vi ser frem til yderligere udvikling, da vi sigter mod at inkludere yderligere hjernebølge -parametre (frekvenser forbundet med øjenblink osv.) Og kamerafunktioner (dvs. nuance, mætning, lysstyrke osv.).

Nedenfor er instruktionerne til at bygge dit eget Biofeedback Cinema -system.

Glad for at eksperimentere

Trin 1: Forbrugsvarer

Alt, hvad du har brug for til at bygge din egen Biofeedback Cinema -prototype, er angivet nedenfor.

1. Neurosky Mindwave Mobile EEG -headset

2. Raspberry Pi B+ (b+ er bedre, flere USB -porte, men en B -model er også fin, hvis du har en USB -hub).

   1. Raspberry Pi strømadapter eller batteripakke
   2. Wifi Dongle -eller- Ethernet -forbindelse (kun nødvendig under opsætning)
   3. Bluetooth Dongle se wiki for kompatible dongler
   4. SD -kort (mindst 8 GB) med NOOBS.

3. Arduino Ethvert bord er fint, ved hjælp af Uno i denne instruktive. Bemærk også, at du bare kunne bruge I/O på Pi.

   1. Arduino strømadapter eller batteripakke
   2. A-B USB-kabel
4. USB -webkamera
5. Mini Pan-Tilt Kit

6. Skærm m/HDMI -indgang Eller brug VNC til at fjernbetjene din pi fra din computer [tutorial her]

   HDMI -kabel

7. USB -tastatur og mus anbefaler bluetooth -tastatur og mus for at minimere anvendte USB -porte.

Trin 2: Konfigurer Raspberry Pi

1. Opsætning af hardware

Tilslut tastatur, mus, bluetooth dongle, wifi dongle (eller ethernet), webcam, skærm via HDMI -kabel og strøm til din Raspberry Pi

2. Opsætning af operativsystem

• Slå strømmen til, og din Pi skal starte. Installer Rasbpian OS, instruktioner her:
• Hvis opstart og Raspian er installeret korrekt, skal du se skrivebordet på hjemmet [Billede ovenfor].

TIPS:

• Hvis desktopformatet er slukket, skal du prøve at genstarte din Raspberry Pi. Hvis det stadig er slukket, skal du se her for at opdatere billedformatet manuelt.
• Hvis du åbner en tekstredigerer, og tastaturets specialtegn er forkert kortlagt, kan du se her for at opdatere din tastaturkonfiguration.
• Test din internetforbindelse (du skal bruge dette for at installere biblioteker under opsætningen). Se her for at få hjælp til opsætning af wifi.

Trin 3: Tilslut Neurosky Headset

1. Bluetooth -konfiguration

Inden Pi kan oprette forbindelse til Neurosky skal vi konfigurere bluetooth:

Åbn "LXTerminal" på skrivebordet (kaldet Terminal fra nu af). Kør denne kommando for at løse og opdatere mangler:

$ sudo apt-get opdatering

Installer bluetooth med denne kommando:

$ sudo apt-get install bluetooth

Installer praktisk skrivebord-værktøjslinje bluetooth-værktøj:

$ sudo apt-get install -y bluetooth bluez-utils blueman

Genstart Pi fra Terminal:

$ sudo genstart

2. Test Bluetooth -forbindelse

• Tænd Neurosky -headsettet
• Fra Terminal -scanningen efter enheder:

hcitool scanning

Mindwave -headsettet skal være angivet, noter MAC -adressen på headsettet [billede ovenfor]

3. Installer Neurosky Libraries

Nu er vi klar til at installere Neurosky Python -bibliotekerne og begynde at hente datastrømmen med bibliotekets test script:

Installer github -værktøjet fra terminalen:

sudo apt-get install git-core

Klon github -depot med Neurosky Python -bibliotek:

sudo git-klon

Vi skal opdatere MindwaveMobileRawReader.py -filen med MAC -adressen på dit headset. FYI: Filnavne er store og små bogstaver

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• Opdater MAC -adressen, der er angivet i filen. Ctrl-X for at afslutte, Y for at gemme, Enter for at afslutte.
• Par Neurosky og Pi og tillad funktionen til automatisk forbindelse, hvis du bliver bedt om en pinkode, brug "0000":

$ sudo bluez-simple-agent hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-test-enhed tillid XX: XX: XX: XX: XX: XX ja

Installer Python Bluetooth -bibliotek:

sudo apt-get install python-bluez

Kør bibliotekets test script for at sikre, at Pi kan se en forhåndsvisning af datastrømmen. Du skal se datastreaming [billede ovenfor]:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

Trin 4: Tilslut USB -webcam med åbent CV

1. Installer OpenCV

Fra terminalen:

$ sudo apt-get install libopencv-dev python-opencv

Når du er færdig, skal du fortsætte:

$ sudo apt -get -f install

For en god ordens skyld:

$ sudo apt-get install libopencv-dev python-opencv

Test installationen ved at forsøge at importere biblioteket:

$ python

> import cv2

2. Test OpenCV i Python med USB -webcam

• Åbn "IDLE" på skrivebordet (åbn ikke IDLE3!)
• Vælg nyt vindue i menuen Filer. Kopier vores Cv-Blur-Test script til det nye vindue og gem. Script tilgængeligt her:
• Vælg Kør modul på menuen Kør (eller tryk på F5). Det kan tage et par sekunder at komme i gang, men du skal se en lille ramme vises med dit live webcam -feed, og videoen skal være sløret. Tillykke, OpenCV blev installeret og fungerer med dit webcam [Billede ovenfor].

Trin 5: Tilslut Arduino

1. Download Arduino IDE

Fra terminalen:

sudo apt-get install arduino

2. Tilslut Arduino & Load Sketch

• Sæt arduinoen i Pi'en med A-B USB-kablet.
• Fra startmenuen på skrivebordet skal du gå til Elektronik og åbne Arduino IDE. Kopier vores arduino-serial-pi-skitse til IDE [link nedenfor]. Dette er en meget grundlæggende skitse, der vil flytte servomotorer baseret på input, der kommer over serien. Vi sender data over serien baseret på hjernebølgeudgang ved hjælp af en Python -skitse i det sidste trin, når vi satte alt sammen.

Arduino-serial-pi sketch online her:

I Arduino IDE skal du gå til menuen Værktøjer, vælge Serial Port og vælge Arduino -porten på listen, sandsynligvis noget i stil med /dev /ttyACM0. Noter porten

3. Deaktiver seriekonsol

Download og kør et script for at deaktivere seriel konsol, så usb seriel forbindelse kan køre gnidningsløst:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode -setup.tar.gz

$ cd alamode-opsætning

$ sudo./setup

$ sudo genstart

FYI:

Hvis du bruger B+, er der muligvis nok I/O til at understøtte servoerne (se her for at konfigurere og bruge GPIO). Jeg er imidlertid interesseret i at tilføje yderligere komponenter til fremtidig hjerne-til-elektronik eksperimentering. Så opsætningen af den første prototype med en arduino sikrer masser af elektroniske muligheder.

Trin 6: Sæt det hele sammen

1. Sidste Python -script

Inden vi kan tilføje det sidste python-script til mappen "python-mindwave-mobile", skal vi ændre mappetilladelserne. Fra terminalen:

$ chmod a = rwx/home/pi/python-mindwave-mobile

• Åbn IDLE, og kør vores sidste Python-script, der er tilgængeligt online her: https://github.com/PrivateHQ/biofeedback-cinema/ Sørg for, at det er placeret i python-mindwave-mobilmappen. FYI: Du skal opdatere vores Python -script med din faktiske Arduino -portadresse.
• Når du kører dette script tre ting, skal du ske: 1) Dit opmærksomhedsniveau vil blive angivet i Python -shell, 2) Der vises en lille ramme, der viser webcam live feed med sløret ændret baseret på opmærksomhedsniveauet, 3) motoren (s) flytte, da opmærksomhedsniveauet overføres til arduinoen via serienummeret [Video ovenfor].

Trin 7: Forbedringer og udvikling

Raspberry Pi har begrænset processorkraft og kæmper for at køre OpenCV -funktioner gnidningsløst. Det er noget, jeg vil fortsætte med at udvikle og forbedre. Derudover planlægger jeg at inkludere yderligere hjernebølge -parametre (frekvenser forbundet med øjenblink osv.) Og kamerafunktioner (dvs. farvetone, mætning, lysstyrke osv.) I fremtidige iterationer.