Kvantimetrinen kuvankäsittely: 5 vaihetta

2024 Kirjoittaja: John Day | [email protected]. Viimeksi muokattu: 2024-01-30 09:03

(Yllä oleva kuva havainnollistaa nykyisen kuvankäsittelymenetelmän vertailua kvantimetriseen kuvankäsittelyyn. Huomaa parempi tulos. Oikeassa yläkulmassa näkyy outoja esineitä, jotka johtuvat virheellisestä oletuksesta, että kuvat mittaavat jotain, kuten valoa. Oikeassa alakulmassa näkyy parempi tulos tekemällä sama asia kvantimetrisesti.)

Tässä opetusohjelmassa opit parantamaan huomattavasti olemassa olevien kuvantamis- tai näöntunnistusjärjestelmien suorituskykyä käyttämällä hyvin yksinkertaista käsitettä: kvantimetrinen kuvantunnistus

Kvantimetrinen kuvankäsittely parantaa huomattavasti mitä tahansa seuraavista:

• Nykyinen kuvankäsittely, kuten kuvien sumentaminen;
• Koneoppiminen, tietokonevisio ja mallintunnistus;
• Puettavat kasvojentunnistimet (katso https://wearcam.org/vmp.pdf), tekoäly- ja korkean tason näkö

Perusajatuksena on kuvien kvantimetrinen esikäsittely ja jälkikäsittely seuraavasti:

1. Laajenna kuvan tai kuvien dynaamista aluetta;
2. Käsittele kuvaa tai kuvia normaalisti;
3. Pakkaa kuvan tai kuvien dynaaminen alue (eli kumoa vaihe 1).

Aiemmissa opetusohjelmissa olen opettanut joitain HDR (High Dynamic Range) -anturin ja kvantimetrisen tunnistamisen näkökohtia, esim. lineaarisuus, päällekkäisyys jne.

Otetaan nyt tämä tieto käyttöön.

Ota käyttöön kaikki olemassa olevat prosessit, joita haluat käyttää. Esimerkki, jonka näytän, on kuvien hämärtäminen, mutta voit käyttää sitä myös melkein mihin tahansa muuhun.

Vaihe 1: Laajenna kuvan tai kuvien dynaamista aluetta

(Kuvat on mukautettu "Intelligent Image Processing" -ohjelmasta, John Wiley and Sons Interscience Series, Steve Mann, marraskuu 2001)

Ensimmäinen askel on tulokuvan dynaamisen alueen laajentaminen.

Ihannetapauksessa sinun on ensin määritettävä kameran vastefunktio, f, ja sitten otettava käänteinen vaste, f käänteinen, kuvaan.

Tyypilliset kamerat pakottavat dynaamista aluetta, joten haluamme tyypillisesti käyttää laajaa toimintoa.

Jos et tiedä vastaustoimintoa, aloita kokeilemalla jotain yksinkertaista, kuten lataamalla kuva kuvaryhmään, siirtämällä muuttujat tietotyyppiin, kuten (float) tai (double), ja nostamalla jokainen pikselin arvo eksponenttiin, kuten esimerkiksi jokaisen pikselin arvon neliöinti.

Perustelut:

Miksi teemme tämän?

Vastaus on, että useimmat kamerat pakottavat dynaamisen alueensa. Syy tähän on se, että useimmat näyttömediat laajentavat dynaamista aluetta. Tämä on aivan sattumaa: katodisädeputkenäytön lähettämän valon määrä on suunnilleen yhtä suuri kuin jännite, joka on korotettu eksponenttiin 2,22, joten kun videojännitteen tulo on noin puolessa välissä, säteilevän valon määrä on paljon vähemmän kuin puolet.

Valokuvavälineet ovat myös dynaamisen alueen laajoja. Esimerkiksi valokuvallinen "neutraali" harmaa kortti lähettää 18% tulevasta valosta (ei 50% tulevasta valosta). Näin paljon valoa (18%) katsotaan olevan vastauksen keskellä. Joten kuten näette, jos tarkastelemme tulostuskaaviota tulon funktiona, näyttövälineet käyttäytyvät ikään kuin ne ovat ihanteellisia lineaarisia näyttöjä, jotka sisältävät dynaamisen alueen laajennuksen ennen ihanteellista lineaarista vastetta.

Yläkuvassa, yllä, näet näytön, jossa on katkoviiva, ja se vastaa laajenninta ennen ihanteellista lineaarista näyttöä.

Koska näytöt ovat luonnostaan laajoja, kamerat on suunniteltava pakkaaviksi, jotta kuvat näyttävät hyviltä olemassa olevissa näytöissä.

Ennen vanhaan, jolloin televisiovastaanottimien näyttöjä oli vain yksi ja kaksi lähetysasemaa (esim. Vain yksi tai kaksi televisiokameraa), oli helpompi korjata puristavan epälineaarisuuden asettaminen kameraan kuin kaikkien televisioiden ja laita yksi kuhunkin televisiovastaanottimeen.

Tämä auttoi vahingossa myös melun vähentämisessä. Äänessä kutsumme tätä "Dolbyksi" ("pakottava") ja myönnämme sille patentin. Videolla se tapahtui täysin vahingossa. Stockham ehdotti, että otamme kuvien logaritmin ennen niiden käsittelyä ja otamme sitten antilogin. Hän ei kuitenkaan ymmärtänyt, että useimmat kamerat ja näytöt tekevät tämän jo aivan sattumalta. Sen sijaan ehdotin, että toimimme täysin päinvastoin kuin Stockham ehdotti. (Katso "Älykäs kuvankäsittely", John Wiley and Sons Interscience Series, sivu 109-111.)

Alemmassa kuvassa näet ehdotetun anti-homomorfisen (kvantimetrisen) kuvankäsittelyn, johon olemme lisänneet dynaamisen alueen laajennus- ja pakkausvaiheen.

Vaihe 2: Käsittele kuvia tai suorita tietokoneen visio, koneoppiminen tai vastaava

Toinen vaihe dynaamisen alueen laajentamisen jälkeen on kuvien käsittely.

Minun tapauksessani tein yksinkertaisesti kuvan dekonvoluution hämärtymistoiminnolla, eli kuvan sumentamisen, kuten tunnetussa tekniikassa yleisesti tiedetään.

On olemassa kaksi laajaa kvantimetrisen kuvan tunnistamisen luokkaa:

• Auttaa ihmisiä näkemään;
• Auttavat koneet näkevät.

Jos yritämme auttaa ihmisiä näkemään (tämä on esimerkki, jonka näytän täällä), emme ole vielä valmiita: meidän on vietävä käsitelty tulos takaisin kuvatilaan.

Jos autamme koneita näkemään (esim. Kasvojentunnistus), olemme nyt valmiita (ei tarvitse jatkaa vaiheeseen 3).

Vaihe 3: Pakkaa tuloksen dynaaminen alue uudelleen

Kun työskentelemme laajennetulla dynaamisella alueella, meidän sanotaan olevan "valotilassa" (kvantimetrinen kuvatila).

Vaiheen 2 lopussa olemme valotilassa, ja meidän on palattava kuvatilaan.

Joten tämä vaihe 3 koskee palaamista kuvatilaan.

Suorita vaihe 3 pakkaamalla vaiheen 2 ulostulon dynaaminen alue.

Jos tiedät kameran vastaustoiminnon, käytä sitä vain saadaksesi tuloksen, f (p (q)).

Jos et tiedä kameran vastaustoimintoa, käytä vain hyvää arvausta.

Jos neliöit kuvan pikselit neliössä vaiheessa 1, nyt on aika ottaa jokaisen kuvapikselin neliöjuuri ja palata arvaukseesi kuva -avaruudesta.

Vaihe 4: Haluat ehkä kokeilla joitain muita muunnelmia

Epäterävyys on vain yksi monista mahdollisista esimerkeistä. Harkitse esimerkiksi useiden valotusten yhdistämistä.

Ota kaksi kuvaa, kuten kaksi, jotka minulla on yllä. Toinen otettiin päivällä ja toinen yöllä.

Yhdistä ne, jotta saat hämärän kaltaisen kuvan.

Jos lasket ne vain yhteen, se näyttää roskalta. Kokeile tätä itse!

Mutta jos laajennat ensin kunkin kuvan dynaamista aluetta, lisäät ne ja pakkaat sitten summan dynaamisen alueen, se näyttää hyvältä.

Vertaa kuvankäsittelyä (kuvien lisäämistä) kvantimetriseen kuvankäsittelyyn (laajentaminen, lisääminen ja pakkaaminen).

Voit ladata koodini ja muita esimerkkimateriaaleja täältä:

Vaihe 5: Siirry pidemmälle: Kokeile nyt HDR -kuvakomposiittien avulla

(Kuvan yläpuolella: HDR -hitsauskypärä käyttää kvantimetristä kuvankäsittelyä lisätyn todellisuuden peittokuviin. Katso Slashgear 2012 12. syyskuuta.)

Yhteenvetona:

ota kuva ja noudata seuraavia vaiheita:

1. laajentaa kuvan dynaamista aluetta;
2. käsitellä kuvaa;
3. tiivistää tuloksen dynaamisen alueen.

Ja jos haluat vielä paremman tuloksen, kokeile seuraavaa:

kaapata useita erilaisia valotettuja kuvia;

1. laajentaa dynaamista aluetta valotilaan edellisen HDR -ohjeeni mukaisesti;
2. käsitellä tuloksena olevaa kvantimetristä kuvaa q valotilassa;
3. pakkaa dynaaminen alue värikartoituksen avulla.

Pidä hauskaa ja napsauta "Tein sen" ja julkaise tulokset, niin kommentoin mielelläni tai annan rakentavaa apua.