Kako AI vidi sliko?

Ko danes modelu, kot je GPT, Gemini ali Claude, pokažemo fotografijo, se zdi, kot da jo preprosto pogleda in pove, kaj je na njej. V praksi se dogaja nekaj precej bolj nenavadnega.

Model slike ne vidi tako kot človek. Ne doživlja svetlobe, prostora, obrazov ali predmetov. Sliko najprej pretvori v zaporedje matematičnih predstavitev, pogosto imenovanih vizualni tokeni. Te nato obdela skupaj z besedilom, vprašanjem uporabnika in znanjem, ki ga je pridobil med učenjem.

Slika ali video
→ razdelitev na manjše dele
→ vizualni tokeni
→ povezovanje delov slike
→ povezava z jezikovnimi pojmi
→ sklep in odgovor

To je zelo groba razlaga, ampak ujame bistvo. Model sliko spremeni v obliko, ki jo zna računati. Nato v tej obliki išče vzorce, odnose in pomen.

Slika najprej postane številke

Digitalna slika je že v osnovi matrika pikslov. Vsak piksel vsebuje številčne vrednosti za barve, običajno rdečo, zeleno in modro.

Toda sodobni modeli slike praviloma ne obdelujejo piksel za pikslom. Namesto tega sliko razdelijo na manjše pravokotne dele, ki jim pogosto rečemo patchi. Klasični Vision Transformer lahko na primer sliko razdeli na polja velikosti 16 × 16 pikslov. Vsako takšno polje nato pretvori v vektor števil oziroma vizualni token.

Ta pristop je močno uveljavil model Vision Transformer oziroma ViT: https://arxiv.org/abs/2010.11929

• stavek “črn pes sedi na stolu” se razbije v besedilne tokene;
• slika psa na stolu se razbije v vizualne tokene.

Pomembno pa je, da vizualni token ni neposredno “pes”, “stol” ali “črna barva”. Je kompleksna številčna predstavitev določenega dela slike. Šele v nadaljnji obdelavi se ti deli začnejo povezovati v nekaj, kar model lahko poveže s predmeti, pojmi in odnosi.

Mehanizem pozornosti sestavi celoto

Ko ima model vizualne tokene, mora ugotoviti, kateri deli slike sodijo skupaj. Tu nastopi mehanizem pozornosti oziroma attention. Ta modelu pomaga oceniti, kateri deli slike so med seboj povezani in kateri so pomembni glede na vprašanje.

• kateri robovi pripadajo istemu predmetu;
• kaj je v ospredju in kaj v ozadju;
• kateri predmeti se prekrivajo;
• kakšni so prostorski odnosi;
• kateri deli slike so pomembni za konkretno vprašanje.

Če vprašamo: “Kaj drži človek v levi roki?”, se mora model osredotočiti na človeka, roko in predmet v njej. Če vprašamo: “Kakšne barve je avtomobil v ozadju?”, mora pozornost premakniti drugam.

To je pomembno. Model ne “prebere” slike samo enkrat na splošno. Njegova razlaga je odvisna tudi od vprašanja. Ista slika lahko sproži različne poti sklepanja.

Vizualni vzorci se povežejo z jezikom

Naslednji korak je povezovanje slike z besedami. Modeli se med učenjem srečujejo z velikim številom slik in opisov. Naučijo se, da so določeni vizualni vzorci povezani s pojmi, kot so “pes”, “rdeč avtomobil”, “nasmejan človek”, “račun”, “graf” ali “poškodovan zaslon”.

Eden pomembnih zgodnjih primerov tega pristopa je CLIP. CLIP se je učil ugotoviti, kateri besedilni opis pripada kateri sliki. S tem je nastal skupen matematični prostor, v katerem so sorodne slike in besedila blizu skupaj. Raziskava CLIP: https://arxiv.org/abs/2103.00020

To je bila pomembna ideja: naravni jezik lahko deluje kot nekakšen most med slikami in pomenom. Če model ve, da je neka vizualna predstavitev blizu besednemu opisu “pes na stolu”, potem lahko začne sliko povezovati z jezikovnimi pojmi.

LLM nato nad sliko sklepa

Ko so vizualne informacije pretvorjene v obliko, ki jo jezikovni del modela razume, jih lahko kombinira z navodili uporabnika.

Recimo, da modelu pokažemo fotografijo računa in vprašamo, zakaj je znesek tako visok. To ni več samo prepoznavanje slike. Model mora zaznati dokument, prebrati besedilo in številke, razumeti razporeditev postavk, primerjati vrednosti in razložiti možen razlog za končni znesek.

Tu se pokaže, zakaj je vizualna percepcija pri sodobnih modelih več kot prepoznavanje predmetov. Vključuje tudi OCR oziroma branje besedila, razumevanje dokumentov, grafov, diagramov, zaslonskih posnetkov, prostorskih odnosov in vizualno sklepanje. Pri GPT-4V je bila prav ta sposobnost ena od ključnih tem: https://openai.com/index/gpt-4v-system-card/

Dva glavna pristopa

Pri multimodalnih modelih lahko grobo ločimo dva pristopa. Pri prvem poseben vizualni kodirnik najprej obdela sliko, povezovalni modul pa rezultate prevede v obliko, ki jo razume LLM. Pri drugem so slike, besedilo, zvok in včasih video že od začetka del bolj enotnega sistema.

Pri prvem pristopu je vizualni sistem nekakšno “oko”, LLM pa razlagalni in sklepalni center. Pri izvorno multimodalnem modelu je povezovanje različnih vrst podatkov globlje vključeno že v samo učenje.

Ali AI res vidi?

Odvisno, kaj mislimo z besedo “vidi”. V funkcionalnem smislu lahko rečemo, da model zaznava in razume številne vizualne vsebine. Lahko opiše fotografijo, prebere dokument, analizira graf, razume zaslonski posnetek ali odgovori na vprašanje o predmetu v sliki.

Toda to ni človeško gledanje. Model nima zavesti, oči ali neposredne čutne izkušnje. Ne vidi svetlobe in prostora tako kot mi. Prepoznava statistične in strukturne vzorce v podatkih ter jih povezuje z naučenimi koncepti.

• spregleda zelo majhen predmet;
• napačno prebere droben ali zamegljen tekst;
• zamenja levo in desno;
• napačno prešteje veliko podobnih predmetov;
• pripiše sliki podrobnost, ki je v resnici ni;
• sklepa iz običajnih vzorcev, namesto da bi dovolj natančno preveril konkretno sliko;
• slabo razume nenavadno perspektivo ali prostorsko geometrijo.

To je ena od pomembnih lekcij pri uporabi vizualnih AI modelov. Njihovi odgovori so lahko zelo koristni, ampak niso nezmotljivi. Še posebej pri dokumentih, medicinskih slikah, pravnih dokazih, varnostnih posnetkih ali tehničnih načrtih moramo rezultate preverjati.

Več podrobnosti pomeni več stroška

Pomembna je tudi ločljivost. Več vizualnih tokenov pomeni, da model ohrani več podrobnosti slike. Toda to prinese tudi višjo računsko porabo, večjo zakasnitev in pogosto višji strošek.

Zato aktualni sistemi slike pogosto pomanjšajo, razdelijo na ploščice ali prilagodijo količino vizualnih tokenov glede na zahtevano kakovost. Googlova dokumentacija za Gemini to opisuje kot kompromis med kakovostjo, hitrostjo in porabo tokenov: https://ai.google.dev/gemini-api/docs/media-resolution

To je praktičen kompromis. Če model analizira preprost screenshot, morda ne potrebuje zelo visoke ločljivosti. Če pa bere droben tekst na dokumentu ali išče majhne podrobnosti v sliki, postane ločljivost bistvena.

Najkrajša razlaga

LLM sliko pretvori v matematični “jezik”. Nato poišče odnose med njenimi deli, ta jezik poveže z besednimi pomeni in o videnem sklepa podobno, kot sicer sklepa nad besedilom.

To ni človeško gledanje. Je pa dovolj zmogljiva oblika vizualnega razumevanja, da že danes spreminja delo z dokumenti, fotografijami, grafi, videom, zaslonskimi posnetki in uporabniškimi vmesniki.

In verjetno smo šele na začetku.