Biofeedback Cinema: 7 vaihetta

2024 Kirjoittaja: John Day | [email protected]. Viimeksi muokattu: 2024-01-30 09:03

Projektin kirjoittaja

Jessica Ann

Yhteistyökumppanit

• Gregory Hough
• Salud Lopez
• Pedro Peira

Noin

Kokeellinen videokuvausjärjestelmä, joka yhdistää osallistujan aivot kameran toimintoihin Neurosky Mindwave EEG Reader Headsetin kautta. Biofeedback Cinema -järjestelmä toimii perinteisen kuvaajan sijasta, ja sen sijaan sävellyksen välitys annetaan osallistujalle itselleen mukautetun BRAIN to CAMERA -käyttöliittymän kautta. Projekti kehitettiin yhteistyössä työpajan osallistujien Gregory Houghin, Salud Lopezin ja Pedro Peiran kanssa. Voit lukea työpajan tuloksista:

Prototyypin kokoonpano

Biofeedback Cinema -järjestelmä soveltuu moniin mahdollisiin sovelluksiin. Tätä opettavaista varten olemme laatineet järjestelmän esittelyn, jossa tarkastellaan osallistujan keskittymis-/huomiointitasoa (yksi kokonaisluku) ja käännetään se kameran asentoon (panorointi ja kallistus) ja kameran tarkennukseen (sisäisesti OpenCV: n kautta). Kaikki tämä on mahdollista Bluetooth -yhteyden kautta Neurosky EEG Reader Headsetin ja Raspberry Pi: n välillä.

Raspberry Pi on pieni tietokone, jossa on verkkokamera ja skriptit (saatavilla alla), jotka yhdistävät osallistujan aivotoiminnan kameran asetuksiin ja kameran asentoon. Dynaaminen kameran sijainti on mahdollista Arduinon mikrokontrollerin avulla, joka vastaanottaa signaaleja Raspberry Pi: ltä. Odotamme jatkuvaa kehitystä, kun pyrimme sisällyttämään lisää aivoaalto -parametreja (silmänräpäyksiin liittyvät taajuudet jne.) Ja kameran toimintoja (eli sävy, kylläisyys, kirkkaus jne.).

Alla on ohjeet oman Biofeedback Cinema -järjestelmän rakentamiseen.

Hyvää kokeilua

Vaihe 1: Tarvikkeet

Kaikki mitä tarvitset oman Biofeedback Cinema -prototyypin rakentamiseen, on lueteltu alla.

1. Neurosky Mindwave Mobile EEG -kuulokkeet

2. Raspberry Pi B+ (b+ on parempi, enemmän USB -portteja, mutta B -malli sopii myös, jos sinulla on USB -keskitin).

   1. Raspberry Pi -virtasovitin tai akku
   2. Wifi -sovitin tai Ethernet -yhteys (tarvitaan vain asennuksen aikana)
   3. Bluetooth -käyttöavain, katso yhteensopivat käyttöavaimet wikistä
   4. SD -kortti (vähintään 8 Gt) ja NOOBS.

3. Arduino Mikä tahansa levy on hyvä, käyttämällä Unoa tässä ohjeessa. Huomaa myös, että voit käyttää Pi: n I/O: ta.

   1. Arduino -virtalähde tai akku
   2. A-B USB-kaapeli
4. USB -verkkokamera
5. Mini Pan-Tilt -sarja

6. Näyttö w/HDMI -tulolla Tai käytä VNC: tä kaukosäätimen ohjaamiseen tietokoneeltasi [opetusohjelma täällä]

   HDMI -kaapeli

7. USB -näppäimistö ja -hiiri suosittelevat Bluetooth -näppäimistöä ja -hiiriä käytettävien USB -porttien minimoimiseksi.

Vaihe 2: Asenna Raspberry Pi

1. Laitteiston asennus

Liitä näppäimistö, hiiri, Bluetooth -dongle, wifi -dongle (tai ethernet), verkkokamera, näyttö HDMI -kaapelilla ja virta Raspberry Pi -laitteeseesi

2. Asenna käyttöjärjestelmä

• Kytke virta päälle ja Pi: n pitäisi käynnistyä. Asenna Rasbpian OS, ohjeet täältä:
• Jos käynnistetty ja Raspian on asennettu oikein, sinun pitäisi nähdä kotipöytä [Kuva yllä].

VIHJEITÄ:

• Jos työpöydän kuvasuhde on pois päältä, kokeile käynnistää Raspberry Pi uudelleen. Jos se on edelleen pois päältä, päivitä kuvasuhde manuaalisesti täältä.
• Jos avaat tekstieditorin ja näppäimistön erikoismerkit on määritetty väärin, katso tästä päivittääksesi näppäimistöasetuksesi.
• Testaa Internet -yhteys (tarvitset tämän kirjastojen asentamiseen asennuksen aikana). Täältä saat apua wifi -asennukseen.

Vaihe 3: Liitä Neurosky -kuuloke

1. Bluetooth -määritykset

Ennen kuin Pi voi muodostaa yhteyden Neuroskyyn, meidän on määritettävä Bluetooth:

Avaa työpöydällä "LXTerminal" (tästä lähtien terminaali). Suorita tämä komento ratkaistaksesi ja päivittääksesi puutteet:

$ sudo apt-get päivitys

Asenna bluetooth tällä komennolla:

$ sudo apt-get asenna bluetooth

Asenna kätevä työpöydän työkalupalkin Bluetooth-apuohjelma:

$ sudo apt-get install -y bluetooth bluez-utils blueman

Käynnistä Pi uudelleen päätelaitteesta:

$ sudo uudelleenkäynnistys

2. Testaa Bluetooth -yhteys

• Kytke Neurosky -kuulokkeet päälle
• Päätelaitteiden laitteiden skannaus:

hcitool -skannaus

Mindwave -kuulokkeet on listattava, ota huomioon kuulokkeiden MAC -osoite [kuva yllä]

3. Asenna Neurosky Libraries

Nyt olemme valmiita asentamaan Neurosky Python -kirjastot ja aloittamaan sen datavirran noutamisen kirjaston testiskriptin avulla:

Asenna github -apuohjelma päätelaitteesta:

sudo apt-get install git-core

Kloonaa github -arkisto Neurosky Python -kirjastolla:

sudo git klooni

Meidän on päivitettävä MindwaveMobileRawReader.py -tiedosto kuulokkeiden MAC -osoitteeseen. Tiedote: Tiedostonimet erottavat isot ja pienet kirjaimet

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• Päivitä tiedostossa oleva MAC -osoite. Lopeta painamalla Ctrl-X, tallenna Y, poistu painamalla Enter.
• Pariliitä Neurosky ja Pi ja salli automaattinen yhteysominaisuus, jos sinua pyydetään antamaan PIN -koodi "0000":

$ sudo bluez-simple-agent hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-test-device luotettu XX: XX: XX: XX: XX: XX kyllä

Asenna Python Bluetooth -kirjasto:

sudo apt-get install python-bluez

Suorita kirjaston testiskripti varmistaaksesi, että Pi pystyy esikatselemaan datavirtaa. Sinun pitäisi nähdä tietojen suoratoisto [kuva yllä]:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

Vaihe 4: Yhdistä USB -verkkokamera W/Avaa CV

1. Asenna OpenCV

Terminaalista:

$ sudo apt-get install libopencv-dev python-opencv

Kun olet valmis, jatka:

$ sudo apt -get -f install

Hyvä mitta:

$ sudo apt-get install libopencv-dev python-opencv

Testaa asennus yrittämällä tuoda kirjasto:

$ python

> tuoda cv2

2. Testaa OpenCV Pythonissa USB -verkkokameralla

• Avaa työpöydällä "IDLE" (älä avaa IDLE3!)
• Valitse Tiedosto -valikosta Uusi ikkuna. Kopioi Cv-Blur-Test-skriptimme uuteen ikkunaan ja tallenna. Skripti saatavilla täältä:
• Valitse Suorita -valikosta Suorita moduuli (tai paina F5). Aloittaminen voi kestää muutaman sekunnin, mutta live -verkkokamerasyötteen kanssa pitäisi näkyä pieni kehys ja videon tulisi olla epäselvä. Onnittelut, OpenCV asennettiin ja se toimii onnistuneesti verkkokamerasi kanssa [Kuva yllä].

Vaihe 5: Yhdistä Arduino

1. Lataa Arduino IDE

Terminaalista:

sudo apt-get install arduino

2. Yhdistä Arduino & Load Sketch

• Liitä arduino Pi-laitteeseen A-B-USB-kaapelilla.
• Siirry työpöydän aloitusvalikosta kohtaan Elektroniikka ja avaa Arduino IDE. Kopioi arduino-serial-pi-luonnoksemme IDE: hen [Linkki alla]. Tämä on hyvin yksinkertainen luonnos, joka siirtää servomoottoreita sarjan tulon perusteella. Lähetämme tietoja sarjaan aivoaalto -lähtöjen perusteella käyttämällä Python -luonnosta viimeisessä vaiheessa, kun kokoamme kaiken.

Arduino-serial-pi luonnos verkossa täällä:

Siirry Arduino IDE: ssä Työkalut -valikkoon, valitse Sarjaportti ja valitse luettelossa oleva Arduino -portti, todennäköisesti jotain /dev /ttyACM0. Merkitse portti muistiin

3. Poista sarjakonsoli käytöstä

Lataa ja suorita komentosarja sarjakonsolin poistamiseksi käytöstä, jotta USB -sarjayhteys voi toimia sujuvasti:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode -setup.tar.gz

$ cd alamode-setup

$ sudo./setup

$ sudo uudelleenkäynnistys

Tiedoksi:

Jos käytät B+ -laitetta, I/O voi riittää tukemaan servoja (katso tästä, miten voit määrittää ja käyttää GPIO: ta). Olen kuitenkin kiinnostunut lisäämään lisäkomponentteja tulevaa aivojen ja elektroniikan kokeilua varten. Alkuperäisen prototyypin asentaminen arduinolla takaa siis lukuisia sähköisiä mahdollisuuksia.

Vaihe 6: Yhdistä kaikki

1. Viimeinen Python -skripti

Ennen kuin voimme lisätä lopullisen python-komentosarjan "python-mindwave-mobile" -kansioon, meidän on muutettava kansioiden käyttöoikeudet. Terminaalista:

$ chmod a = rwx/home/pi/python-mindwave-mobile

• Avaa IDLE ja suorita viimeinen Python-skriptimme, joka on saatavana täältä: https://github.com/PrivateHQ/biofeedback-cinema/ Varmista, että se sijaitsee python-mindwave-mobile-kansiossa. Tiedote: Sinun on päivitettävä Python -skriptimme todellisella Arduino -porttiosoitteellasi.
• Kun suoritat tämän komentosarjan, sinun pitäisi tapahtua kolme asiaa: 1) Tarkkuutesi näkyy Python Shellissä, 2) Näkyviin tulee pieni kehys, joka näyttää verkkokameran live -syötteen ja epäterävyys muuttuu huomion tason mukaan, 3) moottori (s) liikkua, kun huomion taso välitetään arduinoon sarjan [Video yllä] kautta.

Vaihe 7: Parannukset ja kehitys

Raspberry Pi: n prosessointiteho on rajallinen, ja OpenCV -toimintojen toimiminen sujuu ongelmitta. Tätä kehitän ja parannan edelleen. Lisäksi aion sisällyttää lisää aivoaalto -parametreja (silmänräpäyksiin liittyvät taajuudet jne.) Ja kameran toimintoja (eli värisävy, kylläisyys, kirkkaus jne.) Tuleviin iteraatioihin.