Ele puheeksi/tekstin muuntaminen käsine: 5 vaihetta

2024 Kirjoittaja: John Day | [email protected]. Viimeksi muokattu: 2024-01-30 09:00

Tämän projektin toteuttamisen idea/ajatus oli auttaa ihmisiä, joilla on vaikeuksia kommunikoida puheen avulla ja kommunikoida käden eleillä tai yleisemmin tunnettuna amerikkalaisena allekirjoitettuna kielenä (ASL). Tämä projekti voi olla askel kohti sitä, että näille ihmisille annetaan mahdollisuus työskennellä muiden ihmisten kanssa, jotka eivät ymmärrä viittomakieltä, yhteistyöympäristössä. Tämän projektin avulla he voivat myös pitää julkisia puheita ilman varsinaista inhimillistä kääntäjää. Aluksi yritin havaita vain joitain helpompia eleitä, kuten aakkoset A, B, I jne., Ja olen myös määrittänyt tiettyjä eleitä yleisiin sanoihin/tervehdyksiin, kuten "Hei", "Hyvää huomenta" jne.

Vaihe 1: Piirikokoonpano

Vaihe 2: Hankkeen tiedot

Tämä projekti sisältää puettavan käsineen, jossa on 4 joustavaa anturia, jotka on kiinnitetty/upotettu käsineeseen - yksi pienille, keski-, etusormille ja peukalolle. Joustavaa anturia ei käytetty sormenrenkaaseen, koska Arduino Uno R3: n analogisten tulonappien saatavuus on rajoitettu ja yleensä koska sormella ei näy itsenäistä liikettä viittomakielellä. Käytetään myös kiihtyvyysmittaria MMA8452Q, joka on kiinnitetty kämmenen takaosaan käden suunnan mittaamiseksi. Näiden antureiden tulo analysoidaan ja sitä käytetään eleen tunnistamiseen. Kun ele on havaittu, vastaava merkki/viesti tallennetaan muuttujaan. Nämä merkit ja viestit yhdistyvät jatkuvasti, kunnes tehdään tietty ennalta määrätty ele, joka osoittaa lauseen loppuun. Kun tämä erityinen ele on havaittu, tallennettu lausejono lähetetään Raspberry Pi: lle USB -kaapelin kautta Arduinolta. Raspberry Pi lähettää sitten vastaanotetun merkkijonon Polly -nimiselle Amazon Cloud Service -palvelulle muuntaakseen tekstimuodossa vastaanotetun lauseen puhemuodoksi ja suoratoistaa sitten vastaanotetun puheen Raspberry Pi -laitteeseen liitetyssä kaiuttimessa AUX -kaapelin kautta.

Tämä projekti oli vain todiste konseptista ja sillä oli parempia laitteita ja suunnittelua ja se oli paremmin kalibroitu havaitsemaan monia muita eleitä ja käden liikkeitä. Tällä hetkellä tähän projektiin on ohjelmoitu vain rajoitetut toiminnot, kuten eleiden perustunnistus ja tekstistä puheeksi -lähtö.

Vaihe 3: Koodi

Vaihe 4: Vaiheet

1. Liitä flex -anturit ja kiihtyvyysmittari MMA8452Q Arduinoon toimitetun kytkentäkaavion mukaisesti.

2. Tyhjennä ohjelma Final_Project.ino (löytyy tiedostosta Arduino_code.zip) Arduinolle.

3. Liitä Arduino Raspberry Pi -laitteeseen USB -kaapelilla. (Kaapelityyppi A/B).

4. Käynnistä Raspberry Pi, kopioi Raspberry_pi_code.zip -tiedosto Raspberry Pi -laitteeseen ja pura se. Liitä kaiutin Raspberry Pi -laitteeseen.

5. Kopioi AWS -tilisi kirjautumistiedot eli aws_access_key_id, aws_secret_access_key ja aws_session_token tiedostoon ~/.aws/credentials. Tämä vaihe on tarpeen kommunikoidaksesi AWS -pilven kanssa ja käyttääksesi AWS -palveluja.

6. Suorita seria_test.py -ohjelma, joka löytyy puretusta kansiosta vaiheessa 4.

7. Tee nyt eleet lauseen muodostamiseksi ja tee sitten erityinen ele (Pidä sormesi ja kämmenesi suorassa ja linjassa kämmenesi poispäin sinusta ja käännä sitten rannetta ja käännä sitä alaspäin siten, että kämmenesi on itseäsi kohti ja sormenpääsi osoittavat alaspäin jalkojasi kohti.) ilmaisemaan lauseen päättymisen.

8. Tarkista jatkuvasti päätelaitteesta hyödyllisiä tietoja.

9. Ja kuuntele muunnettua puhetta, jota suoratoistetaan kaiuttimessa.

Vaihe 5: Viitteet

1.

2.

3.

4.