AI Grove Zerolla ja Codecraftilla (Scratch 3.0): 5 vaihetta (kuvilla)

2024 Kirjoittaja: John Day | [email protected]. Viimeksi muokattu: 2024-01-30 09:00

Tässä artikkelissa aiomme rakentaa kolme projektia, jotka hyödyntävät Scratch 3.0: een perustuvan graafisen ohjelmointiympäristön Codecraftin AI -toimintoja. Codecraftia kehittää ja ylläpitää TinkerGen -koulutus, ja se on ilmainen.

Tekoälystä ja sen osajoukosta, koneoppimisesta, on tullut olennainen osa elämäämme viimeisten 10 vuoden aikana. Koulujen opetussuunnitelmat monissa maissa sisältävät tekoälyn ja koneoppimisen tietämyksen, mutta tavallisen opettajan voi olla vaikeaa luoda oppitunteja tämän aiheen opettamiseen ilman oikeita työkaluja. Koneoppimiskirjastojen, jopa kaikkein käyttäjäystävällisimpien, kuten Kerasin, käyttäminen sovelluksen rakentamiseen, jonka kanssa opiskelijat voivat olla vuorovaikutuksessa, voi olla aikaa vievä ja pelottava tehtävä. Tässä Codecraft voisi auttaa - sillä on runsaasti koneoppimista hyödyntäviä sovelluksia, joita opettaja voi käyttää selittämään ja esittelemään tekoälyyn liittyviä käsitteitä. Katsotaanpa niitä!

Vaihe 1: AI -laajennusten yleiskatsaus

Avaa Codecraftin online -editori osoitteessa

Napsauta Vaihe -tila ja sitten Lisää laajennuspainike lohkojen navigointivälilehden alareunassa.

Näet, että käytettävissä on kolme AI -laajennusta:

- Kognitiiviset palvelut --- koneoppimismallit live-videosyötteen ja äänen käsittelyyn

- Opetettava kone --- voidaan käyttää luokitusmallin kouluttamiseen kameralla otetuilla kuvilla

- Käännä --- käyttää käännökseen koneoppimista

Tässä artikkelissa keskitymme kognitiivisiin palveluihin ja näiden toimintojen käyttämiseen Grove Zero -laitteiston ohjaamiseen. Langaton tiedonsiirto tietokoneen ja Grove Zeron välillä on edelleen kesken, ja päivitän artikkelin heti, kun se tulee saataville. Käytämme toistaiseksi langallista yhteyttä viestien välittämiseen Grove Zero -moduulin ja tietokoneen välillä.

Vaihe 2: Pelaa avaruushyökkääjiä nenälläsi

Ensimmäisessä tehtävässä käytämme vain lavatilaa ilman laitteistoa. Codecraftilla on runsaasti esimerkkejä ohjelmoinnin aloittamiseksi - yksi näistä esimerkeistä on klassisen Space Invaders -pelin ohjelmointi Codecraft Stage -tilassa. Aiomme laajentaa tätä esimerkkiä ja lisätä mahdollisuuden hallita pelin sisäistä taistelijaa nenäsi avulla kognitiivisten palveluiden avulla.

Napsauta Esimerkit -painiketta. Avaa esimerkki SpaceInvadersista. Meidän tarvitsee vain muuttaa liikkumiseen liittyvää osaa. Tätä varten saamme nenän x-aseman kasvoilla live-videosyötteessä, tallenna se muuttuvaan pos. Sitten jos pos -arvo on suurempi kuin 50, siirrämme avaruushävittäjää oikealle, jos se on alle -50, siirrämme taistelijaa vasemmalle. Tämä se on. Kokeile! Jos sinusta tuntuu, että taistelijan liikenopeus on liian nopea, voit muuttaa muutoksen x… lohkolla pienemmäksi.

Seuraavaksi laajennamme tätä toimintoa ohjaamaan Grove Zero -autoa ja saamaan sen liikkumaan eteenpäin/taakse/vasemmalle/oikealle.

Vaihe 3: Hallitse Grove Zero -autoa Codecraft AI: n avulla

Aloitetaan kirjoittamalla koodi vaihevaiheessa - tämä on osa, joka vastaa videosyötteen analysoinnista ja komentojen antamisesta Grove Zerolle.

1) Suoritamme koodin ensimmäisessä kuvakaappauksessa, kunnes välilyöntipainiketta painetaan. Sen jälkeen lähetämme pysäytyskomennon.

2) Toista sisällä, kunnes lohko tarkistetaan havaitun kasvon nenän x-pos ja y-pos ja tallennetaan ne vastaaviin muuttujiin.

3) Jos x-pos: n absoluuttinen arvo on pienempi kuin 21 (eli se on välillä -20 ja 20, joten lähellä kuvan keskustaa), tarkastelemme y-posta, onko auton siirrettävä eteenpäin vai taaksepäin

4) Muutoin tarkistamme, pitäisikö auton mennä vasemmalle vai oikealle

Siirrytään nyt Laite -välilehdelle ja kirjoitetaan lyhyt koodi Grove Zero -autolle. Käytämme When I Receive -lohkoa, joka vastaa sisäisten lähetyskomentojen vastaanottamisesta. Ei pidä sekoittaa kohtaan Kun radio vastaanottaa, jota käytetään Bluetooth -viestintään. Katso lisätietoja kuvakaappauksesta, koodi on melko yksinkertainen.

Liitä koottu Grove Zero -autosi tietokoneeseen ja paina Connect -painiketta Codecraftissa. Vaihda online -virheenkorjaustilaan - Grove Mainboard voi vastaanottaa lähetyskomentoja langan yli. Siirry sitten lavatilaan ja paina lippua. Auton pitäisi nyt liikkua, yritä hallita sitä nenälläsi:)

Vaihe 4: Linjan seuranta ääniohjauksella

Grove Zero -autosarjassa on kartta, joka on alun perin tarkoitettu Collect the Coins -minipelin pelaamiseen. Voimme käyttää sitä uudelleen käyttämällä puheentunnistusta Codecraftissa antamaan komentoja autolle, millä tavalla risteys kääntyä.

Lavatilan osa on tässä vähemmän monimutkainen kuin edellisessä esimerkissä. Mitä teemme, on:

1) Kun vastaanotat yleislähetysviestin, valitse_suunta, tunnista puhefragmentti ja tallenna se tulosmuuttujaan.

2) Jatka tunnistamista, kunnes tulos EI ole tiedossa.

3) Vertaa tulosta kahdella merkkijonolla - "vasen" ja "oikea". Lähetä vastaava viesti Grove Zero -autolle.

Grove Zero -autossa toimiva koodi on tällä kertaa hieman monimutkaisempi, mutta pohjimmiltaan se noudattaa tätä logiikkaa:

1) Kun aloitat, lähetä eteenpäin

2) Kun vastaanotat eteenpäin -viestin, aloita rivin seuraaminen. Jos linja katoaa, pysäytä moottorit ja lähetä

select_direction. Tässä suoritetaan vaihevaiheessa käynnistyvä koodi.

3) Jos viesti vasen vastaanotettiin, aloita kääntyminen vasemmalle ja vaihda sitten takaisin rivinseuranta -tilaan.

Jos viesti oikea vastaanotettiin, aloita kääntyminen oikealle ja vaihda sitten takaisin rivinseuranta -tilaan.

Vaihe 5: Kulissien takana

Edellä mainitussa sovelluksessa käytetyt hermoverkkomallit ajetaan paikallisesti selaimessasi, jolla on muutamia selviä etuja verrattuna tietojen lähettämiseen pilveen käsittelyyn: pienempi viive ja parempi yksityisyys. Kognitiivisissa palveluissa käytetään useita hermoverkkoja - Ääniluokitus puhekomennoille (, kasvojen maamerkkien tunnistus, kasvojen ilmeentunnistus ja iän arviointi).

Tässä artikkelissa tutkimme yhden Codecraft AI -laajennuksen - kognitiivisten palveluiden - perustoimintoja. Näiden esimerkkien pohjalta voit tehdä entistä hauskempia ja jännittävämpiä sovelluksia!

Jos päätät kokeilla sitä, olipa Grove Zero tai vain Stage -tila, jaa kommentit alla. Lisätietoja Grove Zero -sarjasta, Codecraftista ja muista laitteista valmistajille ja STEM -opettajille on verkkosivustollamme, TinkerGen on luonut Kickstarter -kampanjan MARKille (Make A Robot Kit), joka on robottipaketti koodauksen, robotiikan ja tekoälyn opettamiseen!