Henkilökohtainen englannin kouluttaja - AI Voice Assistant: 15 vaihetta

2024 Kirjoittaja: John Day | [email protected]. Viimeksi muokattu: 2024-01-30 09:02

Tämä projekti auttaa opiskelijoita, jotka valmistautuvat mihin tahansa kielitestiin, jossa heidät voidaan kouluttaa vuorovaikutuksessa Snips AI: n kanssa.

Vaihe 1: Tarina

Miksi rakensimme tämän?

Oman kokemukseni perusteella olen nähnyt monia ihmisiä valmistautumassa erilaisiin kielitestiin, kuten GRE, TOEFL, IELTS. He tarvitsevat henkilön auttamaan heitä sanojen muistamisessa ja ymmärtämisessä. Yleensä, kun henkilö valmistautuu tällaisiin kokeisiin, he tarvitsevat henkilön, joka tarkistaa ja korjaa, jos tekee virheen. Tällä ratkaisulla voimme vähentää työvoimaa käyttämällä ääniavustajaa.

Vaihe 2: Laitteiston rakentaminen

Ensinnäkin haluan kiittää SNIPS: ää ja SEEEDiä tämän hankkeen tukemisesta hämmästyttävän Snips Voice Interaction Development Kit -paketin (Base Kit) avulla.

Voit ostaa Snips Voice Interaction Base Kit -sarjan 115 dollarilla ja Snips Voice Interaction Satellite Kit -sarjan 85 dollarilla

Vaihe 3: SNIPS -käytön aloittaminen

Ennen kuin aloitat, tarkista mitä tarvitset.

• Raspberry Pi 3B/B+ (suositus) tai Pi 2 -malli B (tuettu).
• Micro-USB-kaapeli ja Micro-USB-virtalähde Raspberry Pi: lle.
• Micro SD -kortti (vähintään 8 Gt) - Aloittaminen edellyttää käyttöjärjestelmää. Voit ladata Raspbian Stretchin ja käyttää Mac OS-, Linux- ja Windows -oppaita Raspberry Pi -sivustolla.
• USB -näppäimistö ja -hiiri sekä ulkoinen HDMI -näyttö - suosittelemme myös USB -näppäimistön ja -hiiren sekä HDMI -näytön käyttöä.
• Internet -yhteys (Ethernet tai WiFi)

Snips Voice Interaction Base -sarja

Snips Voice Interaction Development Kits antaa käyttäjille mahdollisuuden aloittaa ääniliitäntöjen kehittämisen ja integroida Snips AI Voice Platform helposti laitteistoon. Snips suoritetaan laitteessa, mikä tarkoittaa, että kaikki äänikomennot ja tiedot käsitellään paikallisesti eikä lähetetä pilveen. Tämä laitteessa tapahtuva käsittely johtaa täysin turvalliseen offline-ääniavustajaan, joka pitää henkilökohtaiset tietosi yksityisenä.

Voice Interaction Base Kit -sarjan avulla voit käyttää koko Snips AI Voice Platformia. Raspberry Pi 3 -mallin B+ ja ReSpeaker 2-Mics Pi HAT -laitteen avulla se toimii kotisi älykaiuttimena. Paketin mukana tulee kaiutin, Grove - lämpötila- ja kosteusanturi (SHT31), Grove - rele ja pegboard, jolla se voidaan ripustaa seinälle tai luoda näppärä jalusta.

Mutta se ei ole kaikki! Voice Interaction Satellite Kit laajentaa tukiasemaasi talosi jokaiseen huoneeseen ja antaa sinun olla vuorovaikutuksessa laitteiston kanssa sen perusteella, missä annat komentojasi!

Tämä sarja sisältää Raspberry Pi3 B+ -levyn, ReSpeaker 2 -Mics Pi HAT, Grove - rele, Grove - lämpötila- ja kosteusanturi (SHT31), kaiutin 6 ohmia 2 W, MicroSD -kortti, virtalähde Micro USB -liittimellä, Grove -kaapeli x 2, akryylialusta paneeli.

Asennusvaiheet: (SNIPS -sisältö) Seuraava kuva on yleiskatsaus kokoonpanon osista.

Tässä asennusosat asennetaan pohjapaneeliin.

Sitten kaikki elektroniset osat asennetaan levylle.

Kiinnitä sen jälkeen akryylisuojus Grove -releen päälle.

Näistä kahdesta osasta valmistetaan sarja pöytätelineeksi.

Lopuksi olet valmis pelaamaan Snipsin kanssa.

Pakkaus tarjoaa kaksi tapaa sijoittaa. Se voidaan joko sijoittaa vaakasuoralle pinnalle, kuten telineelle, tai ripustaa seinälle johtojen tai lankojen avulla. Ole varovainen releen kanssa, kun sarja on kytketty päälle, koska käyttöjännite on korkea.

HUOMAUTUS: Meillä on myös Snips Voice Interaction Satellite Kit, jossa Raspberry Pi nolla Raspberry Pi 3B+: n sijasta

Vaihe 4: Liittäminen Snips AI: hen (perusprojekti)

• Kytke sarjaan virta sarjan oletusvirtasovittimella tai käytä 5V-2A DC-sovitinta, jossa on Micro USB -liitäntä.
• Seuraava askel on Snips -avustajan asentaminen Raspberry Pi -laitteeseen. Asennusajan säästämiseksi sarjan MicroSD -kortilla on vilkkuva koko toiminnallinen järjestelmäkuva, mikä tarkoittaa, että Snips -avustaja on valmis laukaisusanoihisi.
• Suosittelemme, että tutustut vaiheittaiseen asennusoppaaseen osoitteessa https://docs.snips.ai/getting-started/quick-start… ja opit sam-työkalun komentoriviltä.
• Käynnistä avustaja sanomalla "Hey-snips" ja seuraa komentoa:

Löydät videon esimerkistä, joka on esiasennettu Snips Voice Interaction -tukipakkaukseen alla.

Vaihe 5: Liittäminen Snips AI: hen (Project AI)

Joten se toimii näin. Ensinnäkin käytämme hotwordia Snips -tunnistuksen aloittamiseen. Se ymmärtää lauseen Snips NLU: n avulla ja määrittää tarkoituksen. Pura seuraavaksi aikomukset käyttämällä tarkoitusta. Toimintakoodilla ohjelmoimme tekoälyn vastauksen korttipaikkojen mukaisesti.

Vaihe 6: Sovelluksen ja aikomusten luominen

• Luo avustaja. Minun tapauksessani olin luonut avustajan nimeltä JARVIS ja hakusanalla JARVIS.
• Luo mukautettu sovellus tai aloittelijoille, käytä sovellusta kirjastosta.
• Olin luonut sovelluksen nimeltä Words
• Luo aikomus ja aloita tekoälyn kouluttaminen. Tällä on tärkeä rooli tekoälysi tekemisessä. Harjoittele sitä kaikilla mahdollisilla panoksilla.
• Luo paikka tunnistaa sanat. Aseta aukko lauseen odotettuun lauseeseen. Esimerkkini on, että annettu sana on paikan nimi ja se on korostettu sinisellä.
• Kun se on tehty, mukautettu ASR on valmis. Kokeile tulojen kanssa. Löydämme vastauksen oikealta, avustajan alta. Tämä antaa sinulle raaka -arvon, tarkoituksen nimen ja paikan poiminnan.
• Määritä paikat lisää esimerkkejä alla
• Ota lopuksi käyttöön avustajasi kokeaksesi henkilökohtaisen tekoälysi.

Vaihe 7: Polta Raspbian SD -kortille

Raspbian on suosituin Linux -jakelu, joka toimii Raspberry Pi: llä. Tässä oppaassa käytämme yksinkertaistettua versiota, mutta myös työpöytäversiota (jossa on graafinen ympäristö) voidaan käyttää.

• Lataa Etcher ja asenna se.
• Liitä SD -kortinlukija siten, että SD -kortti on sisällä.
• Avaa Etcher ja valitse kiintolevyltä Raspberry Pi.img- tai.zip -tiedosto, jonka haluat kirjoittaa SD -kortille
• Valitse SD -kortti, jolle haluat kirjoittaa kuvan.
• Tarkista valintasi ja napsauta Flash! aloittaaksesi tietojen kirjoittamisen SD -kortille

Yhdistä laite verkkoon

• Ota SSH -käyttöoikeus käyttöön lisäämällä tyhjä tiedosto ssh, joka on jälleen sijoitettu SD -kortin käynnistyslevyn juureen.
• Aseta SD -kortti Raspberry Pi -laitteeseen. Se käynnistyy noin 20 sekunnissa. Sinulla pitäisi nyt olla SSH -yhteys Raspberry Pi -laitteeseesi. Sen isäntänimi on oletuksena raspberrypi.local. Avaa tietokoneessa pääteikkuna ja kirjoita seuraava:

ssh [email protected]

Oletussalasana on vadelma

Vaihe 8: Asenna Snips -alusta

Asenna Sam Command Line Interface tietokoneellesi, jos et ole jo tehnyt niin. Avaa pääteikkuna ja kirjoita:

sudo npm install -g snips -samor npm install -g snips -sam // Windows

Löydä Raspberry Pi verkosta suorittamalla:

sam -laitteet

Luo seuraavaksi yhteys laitteeseen. Sinulta kysytään laitteen käyttäjänimeä ja salasanaa (oletusarvo on pi ja vadelma):

sam connect

Olemme nyt valmiita asentamaan Snips -alustan Raspberry Pi -laitteeseen. Kirjoita komento:

sam init

Vaihe 9: Määritä laitteisto

Sam antaa joitain komentoja laitteiston komponenttien asettamiseksi ja määrittämiseksi helposti. Tässä osassa asetamme kaiuttimen ja mikrofonin. Kokoonpanostasi riippuen on tehtävä joitakin mukautettuja asetuksia.

sam setup ääni

Testaa kaiutin

Tarkista kaiutin toimimalla suorittamalla

sam testi kaiutin

Jos kaikki toimii hyvin, sinun pitäisi kuulla kaiuttimesta ääni, joka sanoo muutaman sanan. Mikrofonin määrittäminen Voit tarkistaa, että mikrofoni toimii:

Sam -testimikrofoni

Olettaen, että sinulla on kaiutin, jos kuulet selvästi, mitä juuri sanoit, voit jatkaa ilman lisämikrofonin määritystä.

Kun olet tyytyväinen laitteistoasetusten toimivuuteen, olet valmis siirtymään seuraavaan vaiheeseen, jossa otat käyttöön ensimmäisen avustajasi.

Vaihe 10: AI -mallin tuominen konsolista

Kun olet luonut avustajasi edellisistä vaiheista, kirjaudu konsoliin pääteikkunasta suorittamalla:

sam kirjautuminen

Sinua pyydetään antamaan Snips Console -tietosi.

Asenna seuraavaksi avustaja:

sam asennusavustaja

Jos olet luonut useita avustajia konsoliin, sinua pyydetään valitsemaan asennettava luettelosta.

Vaihe 11: Käsittelijä ja toimintakoodi

Jotta Raspberry Pi voisi vastata, meidän on kirjoitettava käsittelijäkoodi. Tämä on koodi, joka suoritetaan, kun tietty tapahtuma tapahtuu Snips -alustalla, esimerkiksi kun tarkoitus on havaittu.

Käsittelijän luomiseen on useita tapoja riippuen toiminnasta.

Luo tietokoneellesi kansio, johon haluat tallentaa käsittelijän koodisi. Vaihda pääteikkunasta kyseiseen hakemistoon ja kirjoita:

npm init

Tämä luo tiedoston nimeltä package.json, joka sisältää projektisi kuvauksen, riippuvuudet ja paljon muuta. Lisää seuraavaksi mqtt -paketin riippuvuus:

npm asenna mqtt --save

Luo nyt tiedosto nimeltä index.js ja liitä seuraava koodi korvaamalla isäntänimi -muuttuja Raspberry Pi -laitteen isäntänimellä (jos se eroaa oletusarvoisesta raspberrypi -tiedostosta):

var mqtt = vaatia ('mqtt');

var hostname = "mqtt: //raspberrypi.local"; var client = mqtt.connect (isäntänimi); client.on ('connect', function () {console.log ("[Snips -loki] Yhdistetty MQTT -välittäjään" + isäntänimi); client.subscribe ('hermes/#');}); client.on ('viesti', toiminto (aihe, viesti) {if (topic === "hermes/asr/startListening") {onListeningStateChanged (true);} else if (topic === "hermes/asr/stopListening") {onListeningStateChanged (false);} else if (topic.match (/hermes \/hotword / /.+ \/havaittu/g)! == null) {onHotwordDetected ()} else if (topic.match (/hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (viesti));}}); function onIntentDetected (tarkoitus) {console.log ("[Snips -loki] Tarkoitus havaittu:" + JSON.stringify (tarkoitus)); } function onHotwordDetected () {console.log ("[Snips -loki] Hotword havaittu"); } function onListeningStateChanged (kuunteleminen) {console.log ("[Snips Log]" + (kuunteleminen? "Start": "Stop") + "kuuntelu"); }

Suorita tämä koodi solmulla:

solmu index.js

Sinun pitäisi nähdä viesti onnistuneesta yhteydestä Snips MQTT -välittäjään. Suorita puhevuorovaikutus Raspberry Pi -laitteen kanssa:

Hei Snips, mikä sää on Chennaissa

Sinun pitäisi nähdä lokit päivittymässä:

[Snips -loki] Yhdistetty MQTT -välittäjään mqtt: //raspberrypi.local

[Snips-loki] Hotword havaittu [Snips-loki] Aloita kuuntelu [Snips-loki] Lopeta kuunteleminen [Snips-loki] Tarkoitus havaittu: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" oletus "," input ":" mikä on Chennaiin sää "," aim ": {" aimName ":" searchWeatherForecast "," todennäköisyys ": 0.73845243}," slots ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," entity ":" locality ", "slotName": "Forecast_locality"}]}

Vaihe 12: Vianetsintä

Poista edellinen avustaja, jos sellainen on

$ sudo rm -rf/usr/share/snips/assistentti/

Hakemiston vaihtaminen Assistantiksi

cd/var/lib/snips/skills/

Kloonaa repon sisältö paikalliseksi

git klooni

Setup.sh -komentosarjan suorittaminen

./setup.sh

Aktivoi virtuaalinen ympäristö

lähde venv/bin/aktivoi

Suorita toimintakoodi

./action-.py

Python -skriptille luvan antaminen

chmod +x action-.py

Vaihe 13: Kotelo

• Olin käyttänyt IP -luokiteltua koteloa tähän projektiin
• Ensin tein tarvittavat reiät virtapiirin ja HDMI -kaapelin piirien ja aukkojen asentamiseksi.
• Sitten laitoin kaikki Raspberry Pi kotelon sisään ja ruuvaan sen tiukasti kiinni.
• Tein pienen aukon kaiuttimelle ja mikrofonille ja peitin sen pienellä akryylilevyllä.
• Liitä kaiutin tukevasti ReSpeaker -hattuun.
• Lopuksi kaikki ruuvit on kiinnitetty tukevasti ja virtajohto työnnetään aukon kautta.
• Tältä AI näyttää lopulta: D

Vaihe 14: AI: n toiminta

Löydät tiedot, joita seurataan Snips-watchilla

Nyt on esitysaika. Aloitin yksinkertaisten tervehdysten tekoälyn avulla. Katsokaa sen toimivuutta.

Trainer AI on ohjelmoitu rajoitetuille sanoille. Tämä on laajennettavissa pienillä muutoksilla. Tämä auttaa oppilaita muistamaan merkityksen nopeammin kuin perinteinen menetelmä.

Huomio: Tämä projekti on koulutettu noin 25 sanalle. Sitä voidaan laajentaa edelleen tekemällä pieniä parannuksia toimintakoodiin.

Toimintoskriptit löytyvät liitteenä Github -arkistostani.

Project Repo for Greetings AI-https://github.com/Rahul24-06/Greetings_Assistant-TTS

Project Repo for Trainer AI-https://github.com/Rahul24-06/Personal-English-Trainer---TTS

Linkki sovellukseeni:

Koko asennus maksaa noin 115 dollaria, jonka voi ostaa SNIPS: ltä, ja tämä ratkaisu on erittäin halpa ja tehokas verrattuna perinteisiin menetelmiin. Noin yli 100 000 testiä tehtiin Intiassa, ja tämä tuote on paras täydennys GRE -käyttäjille.

Nosta peukkua, jos se todella auttoi sinua, ja seuraa kanavaani mielenkiintoisiin projekteihin.:) Jaa tämä video, jos haluat. Kiva, että tilasit: https://console.snips.ai/store/en/skill_xBKlxnE5K… Kiitos, että luit!