Fotogrammetrian käyttäminen mallien luomiseen: 9 vaihetta

2024 Kirjoittaja: John Day | [email protected]. Viimeksi muokattu: 2024-01-30 09:00

Kuka olen?

Olen Samuel Conklin ja olen toissijainen E. L. Meyersin lukio. Olen kokeillut fotogrammetriaa parin viime kuukauden aikana ja toivon voivani auttaa sinua, jos päätät luoda tämän tuotteen uudelleen. Olen kiinnostunut näkemään, miten muut ihmiset voivat käyttää tätä uutta ja jatkuvasti kehittyvää tekniikkaa.

Mikä on virtuaalitodellisuus ja SteamVR?

Virtuaalitodellisuus on uusi taiteellisen ilmaisun ja kokemuksen muoto. Se on edelleen teknologian uusi raja, kun lukemattomat yritykset ja ihmiset pyrkivät parantamaan tietovälinettä. Teet itsellesi suuren karhunpalveluksen, jos et ole koskaan kokeillut VR: ää, koska se kiteyttää täysin käyttäjän näkö- ja äänituntuman. Yksi tärkeimmistä virtuaalitodellisuuden alustoista on Valven SteamVR. SteamVR: n avulla käyttäjät voivat vapaasti jakaa ympäristöjä ja asettaa kappaleita keskenään veloituksetta. Se on enimmäkseen avoimen lähdekoodin ja mahdollistaa lukemattomat kuulokkeet. Näitä ovat muun muassa HTC Vive -sarja, Oculus Rifts, Oculus Quest, Valve Index, Windows Mixed Reality jne. SteamVR on ympäristö, jota käytämme ympäristön luomiseen.

Mikä on fotogrammetria ja miten sitä voidaan käyttää?

Fotogrammetria on valokuvien tai videoiden ottaminen ja kuvien muuttaminen 3D -malliksi. Tunnetuin esimerkki tämän tekniikan käytöstä on Google Earth. Google käyttää satelliittikuvia ja katunäkymiä maisemien ja rakennusten rekonstruoimiseen. Google Earthia tarkasteltaessa on selvää, että heillä oli vain vähän kuvia, joista työskennellä, joten jotkut rakennukset näyttävät epämuodostuneilta. Oikein käytettynä fotogrammetria on erittäin vakuuttava tapa luoda 3D -malleja. Tämä projekti käyttää tätä tekniikkaa historiallisten maamerkkien säilyttämiseen. Eroosio ja altistuminen elementteille tarkoittaa, että historialliset maamerkit lopulta rappeutuvat ja ihmiset unohtavat ne. Fotogrammetrian avulla voimme säilyttää kaiken digitaalisesti, joten tulevat sukupolvet voivat kokea ja arvostaa näitä rakenteita. Tämä tarkoittaa myös sitä, että useammat ihmiset ympäri maailmaa voivat kokea muita kulttuureja ilman matkustamisen kustannuksia tai riskejä.

Mitä tarvikkeita tarvitsen?

Tässä projektissa käytin Reality Capturea, SteamVR: ää ja Kritaa. On olemassa Autodesk-, Agisoft- ja Zephyr -ohjelmia, joita voidaan käyttää Reality Capture -sovelluksen sijasta, jos sinulla ei ole tarvittavaa Nvidia GPU: ta sen suorittamiseen. Photoshopia tai muita kuvankäsittelyohjelmia voidaan käyttää Kritan sijasta, mutta koska se on ilmainen ja julkinen käyttää, päätin käyttää sitä tässä projektissa. Tarvitset myös Desktop VR -kuulokkeet, jotka voidaan liittää suoraan tietokoneeseen. Lopuksi tarvitaan korkealaatuinen kamera. Mobiilikamera on kunnollinen, mutta käytin Nikon D7000 -laitetta, koska Reality Capture voi automaattisesti tunnistaa kameran aukon, mikä johtaa laadukkaampiin malleihin.

Vaihe 1: Valokuvien ottaminen

Tämä on tämän projektin tärkein osa, koska sinun on saatava se oikein yhdellä kertaa. Jos et, sinun on palattava paikkaan ja otettava kaikki uudelleen.

Ensin sinun on löydettävä sopiva sijainti ja rakenne. Rakenteen tulee olla suuri ja helposti tunnistettavissa. Tämä tarkoittaa sitä, että fotogrammetriaohjelmisto pystyy havaitsemaan rakenteen ja taustan väliset erot.

Yleensä paras tapa on ottaa kuvia pilvisenä päivänä. Tämä johtuu siitä, että aurinkoinen päivä voi ylivalottaa joitakin valokuvia ja alivalottaa muita. Se voi myös luoda ei -toivottuja varjoja. Malli, jossa on vähän tai ei ollenkaan varjoja, helpottaa valaistusta tasonkehitysosassa. Lisäksi ohjelmisto tarvitsee väritasapainon pysyä samana jokaisen valokuvan kanssa, koska se käyttää värejä kohteen koon laskemiseen. Valokuvien ottaminen pilvisenä päivänä parantaa kuitenkin rakenteen laatua. Taivaan pilvet toimivat kameran luonnollisena hajottimena. Se jakaa valon tasaisemmin ja tarkoittaa, että malli tarkentuu renderointiprosessin aikana.

Viimeinen neuvo on ottaa mahdollisimman monta kuvaa. Useimmat ohjelmat valitsevat, mitä valokuvia se käyttää lopputuotteessa. Kun otat enemmän valokuvia, kaikki on tarkempaa ja antaa ohjelmalle jonkin verran hengityshuonetta. Minulla oli noin 150-300 valokuvaa jokaisesta mallista.

Vaihe 2: Photogrammetry -ohjelmiston käytön aloittaminen

Nyt tuomme valokuvat ohjelmistoon. Huomaa, että Reality Capture vaatii Nvidia -näytönohjaimen. Et voi päästä Align Images -kohdan ohi ilman sitä.

Jos sinulla on kansio, jossa on kaikki haluamasi kuvat, valitse vasemmassa yläkulmassa oleva Kansio -vaihtoehto. Tämä vie sinut Tiedostonhallintaan ja voit valita kansion. Tulojen avulla voit valita yksittäisiä valokuvia tiedostonhallinnan avulla.

Seuraavaksi aloitamme mallin rakentamisen. Näytön yläreunan Työnkulku -kohdassa on Prosessi -osio. Haluamme painaa suurempaa Käynnistä -painiketta. Tämä alkaa kohdistaa kuvia. Neljäs kuva näyttää lyhyesti, mitä tämän prosessin aikana tapahtuu. Se tunnistaa peuran vasemman silmän ja vertaa etäisyyttä muihin kuviin. Se jatkaa eri valokuvien vertailua, kunnes se on käynyt läpi kaikki mahdolliset yhdistelmät. Tämä vaihe on valmis, jos näet pieniä pisteitä, jotka muistuttavat rakennetta.

Vaihe 3: Laske ja yksinkertaista

Seuraava vaihe on mallin laskeminen. Voit tehdä tämän napsauttamalla Laske malli prosessissa -osiossa. Tämä kääntää suoraan kaiken, mitä valokuvista löytyy, 3D -muotoon. Tulokset ovat kohtuullisen lähellä sitä, miltä haluamme mallin näyttävän, mutta tässä malliversiossa on kolme ongelmaa. Ensinnäkin mallissa on reikiä, jotka eivät ole tosielämän rakenteessa. Toiseksi pinta on liian kuoppainen. Koska ohjelma lähentää laskelmiaan, se tekee virheellisesti joistakin sileistä pinnoista kuoppaisia. Kolmanneksi kolmioita on liikaa. Jokainen Reality Capture -ohjelman malli on luotu pienillä kolmioilla. Jokainen kolmio edustaa mallin pientä pintaa. Haluamme mahdollisimman pienet kolmiot mallin optimoimiseksi. Jos kolmioita on liikaa, se voi aiheuttaa suorituskykyongelmia.

Nämä ongelmat voidaan ratkaista Yksinkertaista -työkalulla. Kaikissa malleissa on 3 000 000 kolmiota Laske malli -vaiheen jälkeen, ja voimme halutessasi suurentaa tai pienentää tätä lukua. Kaikissa malleissa, kuten tässä projektissa, laskin kolmioiden lukumäärän 1 000 000: een. Tulos löytyy toisesta kuvasta, jossa kaikki kuoppaiset pinnat ovat tasaisempia ja reikiä on vähemmän. Lisäksi, koska vähemmän kolmioita on tehtävä, suorituskyky paranee, kun pääsemme VR: ään.

Vaihe 4: Väri ja rakenne

Nyt malli tarvitsee väriä ja tekstuuria, jotta se olisi entistä todellisempi. Nämä kaksi osaa ovat saavutuksiltaan samanlaisia, mutta toimivat eri tavalla. Käyttämällä Värit -kohtaa, joka löytyy Prosessi -osiosta, ohjelma värittää mallissa. Työkalu ottaa mallin luomisessa käytetyt kuvat ja kääri kuvat mallisi eri pintojen ympärille. Tekstuuri puolestaan värjää mallin yksinkertaistetuissa osissa. Ensimmäistä kuvaa tarkasteltaessa on selvästi nähtävissä, miten ohjelma käärisi kuvat mallin ympärille, mutta toisessa kuvassa tekstuuriprosessin jälkeen kuvien terävät sivut tasoittuvat.

Vaihe 5: Vienti ja SteamVR

Reality Capture -ohjelmassa aiomme siirtää mallit SteamVR: ään. Valitse näytön yläreunan Vienti -kohdasta Mesh, joka sijaitsee Prosessi -osion vieressä. Sinun pitäisi nähdä tämä ponnahdusikkuna, jonka avulla voit muuttaa mallin asetuksia ja parametreja. On parasta pitää kaikki asetukset oletusasetuksina, paitsi jos haluat muuttaa tekstuurimuotoa JPEG. Ohjelma vie nyt OBJ -muodossa olevan tiedoston, joka on mesh -tiedosto, ja JPEG -mallin tekstuuritiedoston. Viittaustarkoituksiin JPEG: n pitäisi näyttää toisen kuvan tässä vaiheessa.

Nyt meidän on tuotava mallimme SteamVR: ään. Avaa ensin SteamVR ja siirry sitten Työpaja -välilehden Luo/muokkaa ympäristöä -kohtaan. SteamVR Workshop Tools avautuu nyt. Valitse Luo tyhjä lisäosa ja napsauta Launch Tools.

Asset Browser avautuu nyt eri materiaaleilla ja malleilla. Vasemmassa yläkulmassa on kuvake, jossa on vasarasymboli. Tämä on sisäänrakennettu SteamVR Hammer -editori, joka antaa sinulle mahdollisuuden luoda karttoja. Kartat ovat ympäristö, jossa VR -käyttäjä asuu pelin aikana.

Vaihe 6: SteamVR -kartan luominen

Kun Hammer -editori on auki SteamVR: ssä, voimme nyt luoda kuution. Haluamme luoda kuution ympäristön rakentamisen aloittamiseksi. Ohjelman avulla voit muuttaa kuution kokoa ennen kuin se on kiinnitetty paikalleen. Tällä hetkellä vain kuution ulkopinnat ovat näkyvissä. Painamalla CTRL+F kaikki pinnat kääntyvät ylösalaisin ja muuttavat kuution huoneeksi. Lisäksi sinun on lisättävä objekti nimeltä info_player_start, joka kertoo Hammerille, minne hän saa käyttäjän, kun ohjelma ladataan.

Jotta huoneesta tulisi realistisempi, meidän on myös lisättävä tekstuureja. Voimme lisätä mukautettuja kuvia materiaalieditorin kautta. Tämä on pyöreä kuvake Asset Browserin Hammer -painikkeen oikealla puolella. Materiaalieditorin valitseminen vie sinut uuteen ikkunaan, jonka avulla voit tuoda tekstuuriksi tehtävän kuvan. Voit käyttää omia kuviasi tai noutaa kuvia tekstuurisivustoilta, kuten textures.com. Napsauta Tiedosto -painiketta Värivalinnan alla valitaksesi haluamasi kuvan. Kun olet valinnut kuvan, muista tallentaa se painamalla levykkeen kuvaketta Material Editor -ikkunan vasemmassa yläkulmassa. Sulje nyt materiaalieditori ja siirry takaisin resurssiselaimeen. Etsi täältä tekstuuritiedosto, jota haluat käyttää, ja napsauta ja vedä se Hammer Editoriin. Tässä ikkunassa voit levittää tekstuurisi kuution eri puolille.

Meidän on myös lisättävä huoneeseen valaistus. Tätä varten laitamme kartallemme light_omni tai light_spot, joka löytyy karttanäkymän vasemmalla puolella olevasta Entity -osiosta. Light_omni loistaa valoa kaikkiin suuntiin, kun taas light_spot loistaa valoa tiettyyn suuntaan. Tässä projektissa käytin vähintään kahta valopistettä kutakin esinettä kohden ja yhtä valon_valaisinta huoneen valaisemiseksi.

Vaihe 7: Objektiemme lisääminen karttaan

Nyt on aika alkaa siirtää kohteitamme kartallemme. Asset Browserissa Materiaalieditorin kuvakkeen oikealla puolella on mallieditori, joka muistuttaa humanoidikuvaketta. Kun avaat mallieditorin, saat mahdollisuuden selata tai luoda uuden VDML -tiedoston, joka on Hammer Editorin versio OBJ -tiedostosta. Valitse vaihtoehto uuden VDML -tiedoston luomiseksi, ja se edellyttää kansion luomista. Tämä kansio tallentaa VDML -tiedoston. Varmista, että se on Lisää -kansiossa ja paina Jatka.

Tämä vie sinut näytölle mallisi kanssa, jossa on valkoinen rakenne. Jos haluat lisätä tekstuurin tähän malliin, valitse Materiaalit vasemmalla olevasta työkalupalkista. Tämä vie sinut materiaalieditoriin ja voit valita JPEG -kuvan Reality Capture -viennistä. Muista tallentaa tekstuuri ja malli napsauttamalla levykkeen kuvaketta. Palaa Hammer Editoriin.

Hammerissa voit vetää ja pudottaa mallin Asset Browserista kartalle. Malli on todennäköisesti pieni ja sinun on muutettava sen kokoa. Painamalla näppäimistön T -näppäintä voit muuttaa sen sijaintia kartalla. Painamalla E muutetaan mallin mittasuhteita ja R kiertää sitä.

Vaihe 8: Kohteen tarrojen tekeminen

Jokaisen maamerkin vieressä näkyvät objektitarrat tarjoavat kontekstin ja historian parantaakseen käyttäjäkokemusta. Otin kohdetarroja varten yksinkertaisesti valokuvia kussakin paikassa olevista tietotauluista tallentamaan helposti tärkeitä tietoja, joita halusin käyttää myöhemmin. Käytin sitten Kritaa, ilmaista valokuvien muokkausohjelmistoa, luodakseni lisää kuvia ja tekstiä sisältäviä objektitarroja.

Huoneen Miner Park- ja Anchor -puolella ei ollut ongelmia tarrojen lisäämisessä tekstuureiksi. Lisää ne vain Asset Browseriin Materiaalieditorin kautta ja lisää kuva lohkoon, joka voidaan luoda Hammer Editorissa. Ongelmia ilmeni, kun tein levyt huoneen toiselle puolelle. Kaikki teksti ja kuvat olivat taaksepäin, eikä ollut selvää tapaa muuttaa tekstuureja editorissa. Korjatakseni tämän, menin takaisin Kritaan ja käänsin peurojen ja karhun laudat ja käänsin ongelman onneksi.

Lisäksi lisäsin erilaisia kuvia Wilkes-Barresta, koska halusin luoda huoneen, jossa oli boutique-museon tunnelma ja tunnelma.

Vaihe 9: Johtopäätös

Yhteenvetona voidaan todeta, että sekä virtuaalitodellisuus että fotogrammetria voivat parantaa huomattavasti lukemattomia teollisuudenaloja, mukaan lukien, mutta ei rajoittuen, urheiluun, kiinteistöihin ja rikostekniikkaan. Nykyään käytin fotogrammetriaa säilyttääkseni pieniä mutta tärkeitä osia kotikaupungini paikallishistoriasta. VR ja fotogrammetria ovat molemmat edelleen kokeellisia tekniikoita, jotka voivat joskus haastaa sinut. Joistakin puutteista huolimatta molempien prosessien innovatiivisten käyttötarkoitusten määrä on jännittävä ja rajaton. Kiitos, että luit tästä projektista, ja toivon, että tämä inspiroi sinua kokeilemaan jotain uutta virtuaalitodellisuuden avulla.

Hankkeen latauslinkki löytyy täältä.