Autonominen drone ja infrapunakamera auttamaan ensiavun antajia: 7 vaihetta

2024 Kirjoittaja: John Day | [email protected]. Viimeksi muokattu: 2024-01-30 09:01

Maailman terveysjärjestön raportin mukaan luonnonkatastrofit tappavat vuosittain noin 90 000 ihmistä ja vaikuttavat lähes 160 miljoonaan ihmiseen maailmanlaajuisesti. Luonnonkatastrofit sisältävät maanjäristyksiä, tsunameja, tulivuorenpurkauksia, maanvyörymiä, hurrikaaneja, tulvia, maastopaloja, helleaaltoja ja kuivuutta. Aika on ratkaiseva, koska selviytymismahdollisuus alkaa laskea jokaisen minuutin kuluttua. Ensihoitajilla voi olla vaikeuksia löytää eloonjääneitä taloja, jotka ovat vaurioituneet ja vaarantavat heidän henkensä etsiessään heitä. Jos järjestelmä, joka pystyy paikantamaan ihmiset etäyhteydellä, nopeuttaisi suuresti nopeutta, jolla ensiapuhenkilöt voivat evakuoida heidät rakennuksista. Tutkittuani muita järjestelmiä huomasin, että jotkut yritykset ovat luoneet robotteja, jotka perustuvat maalle, tai luoneet droneja, jotka voivat seurata ihmisiä, mutta toimivat vain rakennusten ulkopuolella. Syvyyskameroiden ja erityisten infrapunakameroiden yhdistelmä voi mahdollistaa sisätilan tarkan seurannan ja tulipalon, ihmisten ja eläinten lämpötilan muutosten havaitsemisen. Kun miehittämättömässä ilma -aluksessa (UAV) käytetään sensoreita mukautetulla algoritmilla, on mahdollista tarkastella taloja itsenäisesti ja tunnistaa ihmisten ja eläinten sijainti pelastaakseen ne mahdollisimman nopeasti.

Äänestä minua optiikkakilpailussa!

Vaihe 1: Suunnitteluvaatimukset

Tutkittuani käytettävissä olevia tekniikoita keskustelin mahdollisista ratkaisuista konenäön asiantuntijoiden ja ensimmäisen vastaajan kanssa löytääkseni parhaan tavan havaita eloonjääneet vaarallisilla alueilla. Alla olevat tiedot luettelevat järjestelmän tärkeimmät ominaisuudet ja suunnitteluelementit.

• Näköprosessointi - Järjestelmän on tarjottava nopea käsittelynopeus anturien ja tekoälyn (AI) välisen tiedonvaihdon kannalta. Järjestelmän on esimerkiksi pystyttävä havaitsemaan seinät ja esteet niiden välttämiseksi ja etsimään myös vaarassa olevia ihmisiä.
• Itsenäinen - Järjestelmän on pystyttävä toimimaan ilman käyttäjän tai operaattorin panosta. Henkilökunnan, jolla on vähäinen kokemus UAV -tekniikasta, pitäisi pystyä painamaan yhtä tai muutamaa painiketta, jotta järjestelmä voi aloittaa skannauksen itse.
• Alue - Etäisyys on etäisyys järjestelmän ja kaikkien muiden lähellä olevien kohteiden välillä. Järjestelmän pitäisi pystyä havaitsemaan käytävät ja sisäänkäynnit vähintään 5 metrin etäisyydeltä. Ihanteellinen minimialue on 0,25 m, jotta lähellä olevat kohteet voidaan tunnistaa. Mitä suurempi havaintoalue, sitä lyhyempi selviytymisaika.
• Navigoinnin ja havaitsemisen tarkkuus - Järjestelmän pitäisi pystyä löytämään kaikki sisäänkäynnit tarkasti eikä lyömään mitään esineitä samalla, kun se havaitsee myös esineiden äkillisen ilmestymisen. Järjestelmän on kyettävä löytämään ero ihmisten ja elottomien esineiden välillä eri antureiden avulla.
• Toiminnan kesto - Järjestelmän pitäisi kestää 10 minuuttia tai kauemmin riippuen siitä, kuinka monta huonetta se tarvitsee skannata.
• Nopeus - Sen pitäisi pystyä skannaamaan koko rakennus alle 10 minuutissa.

Vaihe 2: Laitteiden valinta: Liikkuvuusmenetelmä

Nelikopteri valittiin kauko -ohjattavan auton sijaan, koska vaikka nelikopteri on hauras, sitä on helpompi hallita ja korkeutta muuttaa esteiden välttämiseksi. Nelikopteri voi pitää kaikki anturit ja vakauttaa ne siten, että ne ovat tarkempia liikkuessaan eri huoneissa. Potkurit on valmistettu hiilikuidusta, jotka kestävät kuumuutta. Anturit suuntautuvat suoraan seinistä onnettomuuksien välttämiseksi.

• Kauko -ohjattava maakulkuneuvo

  • Plussat - Voi liikkua nopeasti putoamatta eikä lämpötila vaikuta siihen
  • Miinukset - Ajoneuvo asettaa anturit matalalle maanpinnalle peittäen vähemmän aluetta kerrallaan ja esteet voivat estää ne

• Nelikopteri

  • Plussat - Nostaa anturit ilmaan saadaksesi 360 asteen näkymän ympäristöstä
  • Miinukset - Jos se osuu seinään, se voi pudota eikä toipua

Vaihe 3: Laitteiden valinta: Mikro -ohjaimet

Kaksi tärkeintä vaatimusta mikrokontrollereille ovat pienet, jotka pienentävät nelikopterin hyötykuormaa ja nopeutta syötetyn tiedon nopeaan käsittelyyn. Rock64: n ja DJI Nazan yhdistelmä on täydellinen yhdistelmä mikro -ohjaimia, sillä Rock64: llä on riittävä prosessointiteho ihmisten tunnistamiseksi nopeasti ja estetään nelikopterin törmääminen seiniin ja esteisiin. DJI Naza kehuu sitä hyvin tekemällä kaikki vakautus- ja moottorinohjaukset, joita Rock64 ei voi tehdä. Mikro -ohjaimet kommunikoivat sarjaportin kautta ja mahdollistavat käyttäjän ohjauksen tarvittaessa. Raspberry Pi olisi ollut hyvä vaihtoehto, mutta koska Rock64: llä oli parempi prosessori ja paremmat yhteydet seuraavassa taulukossa lueteltuihin antureihin, Pi ei valittu. Intel Edisonia ja Pixhawkia ei valittu tuen ja yhteyksien puutteen vuoksi.

• Raspberry Pi

  • Plussat - Tunnistaa seinät ja kiinteät esineet
  • Miinukset - Pyrkii pysymään kaikkien antureiden tiedoissa, joten et näe sisäänkäyntejä riittävän nopeasti. Ei voi lähettää moottorisignaaleja, eikä siinä ole vakautusantureita nelikopterille

• Rock64

  • Plussat - Pystyy havaitsemaan seinät ja sisäänkäynnit pienellä viiveellä.
  • Miinukset - Pystyy myös ohjaamaan järjestelmää koko talossa törmäämättä mihinkään käyttämällä kaikkia antureita. Signaaleja ei voida lähettää riittävän nopeasti moottorin nopeuden säätämiseksi, eikä sillä ole vakautusantureita nelikopterille

• Intel Edison

  • Plussat - Pystyy havaitsemaan seinät ja sisäänkäynnit viiveellä
  • Miinukset - Vanhempi tekniikka, monet anturit tarvitsevat uusia kirjastoja, joiden luominen vie paljon aikaa
• DJI Naza
  • Plussat - Sisäänrakennettu gyroskooppi, kiihtyvyysmittari ja magnetometri, jotta nelikopteri pysyy vakaana ilmassa mikro -säädöillä moottorin nopeuteen
  • Miinukset - Ei voi tehdä minkäänlaista näkökäsittelyä

• Pixhawk

  • Plussat - Pienikokoinen ja yhteensopiva projektissa käytettävien antureiden kanssa käyttämällä GPIO (General Purpose Input Output) -lähtöä
  • Miinukset - Ei voi tehdä minkäänlaista näkökäsittelyä

Vaihe 4: Laitteiden valinta: Anturit

Useiden antureiden yhdistelmää käytetään, jotta saadaan kaikki tarvittavat tiedot ihmisten löytämiseksi vaarallisilta alueilta. Kaksi pääanturia ovat stereo -infrapunakamera SOUN -navigoinnin ja -alueen (SONAR) rinnalla. Testauksen jälkeen olen päättänyt käyttää Realsense D435 -kameraa, koska se on pieni ja pystyy seuraamaan tarkasti jopa 20 metrin etäisyyttä. Se toimii 90 kuvaa sekunnissa, mikä mahdollistaa useiden mittausten tekemisen ennen kuin teet päätöksen siitä, missä kohteet ovat ja mihin suuntaan nelikopteri osoitetaan. SONAR -anturit on sijoitettu järjestelmän ylä- ja alaosaan, jotta nelikopteri voi tietää, kuinka korkealle tai matalalle se saa nousta ennen kosketusta pintaan. Järjestelmä on myös suunnattu eteenpäin, jotta järjestelmä voi havaita lasin kaltaisia esineitä, joita stereo -infrapunakamera -anturi ei pysty havaitsemaan. Ihmiset ja eläimet tunnistetaan liike- ja esineentunnistusalgoritmeilla. FLIR -kamera on suunniteltu auttamaan stereo -infrapunakameraa seuraamaan, mikä elää ja mikä ei, lisää skannauksen tehokkuutta epäsuotuisissa olosuhteissa.

• Kinect V1

  • Plussat - Voi seurata 3D -kohteita helposti jopa 6 metrin päässä
  • Miinukset -Siinä on vain 1 infrapuna -anturi ja se on liian painava nelikopterille

• Realsense D435

  • Hyödyt - Sisältää 2 infrapunakameraa ja punaisen, vihreän, sinisen, syvyyden (RGB -D) kameran, joka mahdollistaa korkean tarkkuuden 3D -objektien tunnistamisen jopa 25 metrin päässä. Sen leveys on 6 cm, joten se on helppo sijoittaa nelikopteriin
  • Miinukset - Voi kuumentua ja saattaa tarvita tuulettimen

• LIDAR

  • Plussat - Beam, joka voi seurata jopa 40 metrin päässä olevia paikkoja näköyhteydessään
  • Miinukset - Lämpö ympäristössä voi vaikuttaa mittaustarkkuuteen

• SONAR

  • Plussat - Palkki, joka voi seurata 15 metrin päässä, mutta pystyy havaitsemaan läpinäkyviä esineitä, kuten lasia ja akryylia
  • Miinukset - Vain pisteitä yhdellä näköyhteydellä, mutta nelikopteri voi siirtää ne skannausalueelle

• Ultraääni

  • Plussat - Kantama on jopa 3 m ja se on erittäin edullinen
  • Miinukset - Vain pisteitä yhdestä näköyhteydestä, ja ne voivat olla helposti etäisyyden havaitsemisalueen ulkopuolella
• FLIR -kamera
  • Plussat - Pystyy ottamaan syviä kuvia savun läpi ilman häiriöitä ja voi tunnistaa elävät ihmiset lämpöallekirjoitusten avulla
  • Miinukset - Jos jokin häiritsee antureita, etäisyyslaskelmat voidaan laskea väärin

• PIR -anturi

  • Plussat - Pystyy havaitsemaan lämpötilan muutoksen
  • Miinukset - Ei voi määrittää, missä lämpötilaero on

Vaihe 5: Laitteiden valinta: Ohjelmisto

Käytin Realsense SDK: ta robottikäyttöjärjestelmän (ROS) rinnalla luomaan saumattoman integraation kaikkien anturien välillä mikrokontrollerilla. SDK tarjosi tasaisen pistepilvitiedon, joka oli ihanteellinen kaikkien kohteiden ja nelikopterin rajojen seurantaan. ROS auttoi minua lähettämään kaikki anturitiedot luomalleni ohjelmalle, joka toteuttaa tekoälyä. Tekoäly koostuu kohteen havaitsemisalgoritmeista ja liiketunnistusalgoritmeista, joiden avulla nelikopteri voi löytää liikkeen ympäristöstään. Ohjain käyttää pulssileveysmodulaatiota (PWM) ohjaamaan nelikopterin asemaa.

• Freenect

  • Plussat - Sillä on alhaisempi käyttöoikeus kaiken hallintaan
  • Miinukset - Tukee vain Kinect V1: tä

• Realsense SDK

  • Plussat - Pystypilvetiedot voidaan luoda helposti Realsense -kameran tietovirrasta
  • Miinukset - Tukee vain Realsense D435 -kameraa

• FLIR Linux -ohjain

  • Plussat - Voi noutaa tietovirran FLIR -kamerasta
  • Miinukset - Dokumentaatio on hyvin rajallinen

• Robot -käyttöjärjestelmä (ROS)

  • Plussat - Käyttöjärjestelmä ihanteellinen kameran toimintojen ohjelmointiin
  • Miinukset - On asennettava nopeaan SD -korttiin tehokkaan tiedonkeruun varmistamiseksi

Vaihe 6: Järjestelmän kehittäminen

Laitteen”silmät” ovat Realsense D435 -infrapunatunnistin, joka on hyllyltä saatava anturi, jota käytetään pääasiassa robottisovelluksiin, kuten 3D-kartoitukseen (kuva 1). Kun tämä anturi on asennettu nelikopteriin, infrapunakamera voi ohjata ja antaa nelikopterin liikkua itsenäisesti. Kameran tuottamaa dataa kutsutaan pistepilveksi, joka koostuu avaruuden pisteistä, joilla on tietoa tietyn kohteen sijainnista kameran visiossa. Tämä pistepilvi voidaan muuntaa syvyyskarttaksi, joka näyttää värit eri syvyyksinä (kuva 2). Punainen on kauempana, kun taas sininen on lähempänä metriä.

Tämän järjestelmän saumattomuuden varmistamiseksi käytettiin avoimen lähdekoodin käyttöjärjestelmää nimeltä ROS, jota tyypillisesti käytetään roboteissa. Sen avulla voidaan ohjata laitetta matalalla tasolla ja käyttää kaikkia antureita ja koota tietoja muiden ohjelmien käytettäväksi. ROS kommunikoi Realsense SDK: n kanssa, joka mahdollistaa eri kameroiden kytkemisen päälle ja pois päältä seuratakseen, kuinka kaukana kohteet ovat järjestelmästä. Molempien välisen linkin avulla pääsen käsiksi datavirtaan kamerasta, joka luo pistepilven. Pistepilvitiedot voivat määrittää, missä rajat ja esineet ovat 30 metrin sisällä ja 2 cm: n tarkkuudella. Muut anturit, kuten SONAR -anturit ja DJI Naza -ohjaimen upotetut anturit, mahdollistavat nelikopterin tarkemman sijoittamisen. Ohjelmistoni käyttää AI -algoritmeja päästäkseen pistepilveen ja lokalisoinnin avulla luomaan kartan koko laitetta ympäröivästä tilasta. Kun järjestelmä on käynnistetty ja skannaus alkaa, se kulkee käytävillä ja löytää sisäänkäynnit muihin huoneisiin, joissa se voi sitten pyyhkäistä huoneen erityisesti ihmisiä etsien. Järjestelmä toistaa tämän prosessin, kunnes kaikki huoneet on skannattu. Tällä hetkellä nelikopteri voi lentää noin 10 minuuttia, mikä riittää täydelliseen pyyhkäisyyn, mutta sitä voidaan parantaa erilaisilla akkujärjestelyillä. Ensimmäiset vastaajat saavat ilmoituksia, kun ihmiset havaitaan, jotta he voivat keskittyä ponnistuksiinsa tiettyihin rakennuksiin.

Vaihe 7: Keskustelu ja johtopäätös

Monien kokeilujen jälkeen olin luonut toimivan prototyypin, joka täytti taulukossa 1 esitetyt vaatimukset. Käyttämällä Realsense D435 -infrapunakameraa Realsense SDK: n kanssa luotiin korkean resoluution syvyyskartta nelikopterin etuosasta. Aluksi minulla oli ongelmia infrapunakameran kanssa, joka ei pystynyt havaitsemaan tiettyjä esineitä, kuten lasia. Lisäämällä SONAR -anturin pystyin ratkaisemaan tämän ongelman. Rock64: n ja DJI Nazan yhdistelmä onnistui, koska järjestelmä pystyi vakauttamaan nelikopterin samalla kun se pystyi havaitsemaan esineitä ja seiniä räätälöityjen tietokonevisioalgoritmien avulla OpenCV: n avulla. Vaikka nykyinen järjestelmä on toimiva ja täyttää vaatimukset, se voi hyötyä tulevista prototyypeistä.

Tätä järjestelmää voitaisiin parantaa käyttämällä korkealaatuisempia kameroita ihmisten tunnistamiseksi tarkemmin. Joillakin kalliimmilla FLIR -kameroilla on kyky tunnistaa lämpöallekirjoituksia, mikä voi mahdollistaa tarkemman havaitsemisen. Järjestelmä voi toimia myös erilaisissa ympäristöissä, kuten pölyisissä ja savua täynnä olevissa huoneissa. Uuden tekniikan ja tulenkestävyyden ansiosta tämä järjestelmä voitaisiin lähettää palaviin taloihin ja tunnistaa nopeasti ihmisten sijainnin, jotta ensiapuhenkilöt voivat saada selviytyneet vaarasta.

Kiitos lukemisesta! Muista äänestää minua optiikkakilpailussa!