3D in prostorska modaliteta v svetu AI

3D in prostorska modaliteta omogočata, da AI sveta ne zaznava več samo kot ravno sliko, temveč kot prostor, v katerem imajo predmeti obliko, velikost, globino, položaj, orientacijo in medsebojna razmerja. To je temelj za robote, avtonomna vozila, AR-očala, digitalne dvojčke, arhitekturo, medicinsko slikanje in prihodnje AI-agente, ki bodo delovali v fizičnem okolju.

Pomembna pa je razlika:

3D-modaliteta obdeluje tridimenzionalno geometrijo predmetov in okolja.
Prostorska modaliteta skuša razumeti, kje se AI oziroma agent nahaja, kaj je okoli njega, kako so stvari povezane in kako se bo prostor spremenil zaradi gibanja ali dejanja.

Kako AI zazna prostor: kamere, LiDAR, radar, ultrazvok, IMU, GPS in video skupaj ustvarijo 3D predstavo okolja.

1. Kaj AI dejansko prejme?

AI prostora praviloma ne prejme neposredno. Prejme meritve različnih senzorjev:

Vir podatkov	Kaj vsebuje
RGB-kamera	Barve, teksture in videz predmetov
Stereo kamera	Dve perspektivi, iz katerih se izračuna globina
Globinska kamera	Razdalja vsake slikovne točke od kamere
LiDAR	Milijone lasersko izmerjenih prostorskih točk
Radar	Razdaljo in hitrost predmetov, tudi v slabem vremenu
Ultrazvok	Bližnje ovire in razdalje
IMU	Pospešek, nagib in vrtenje naprave
GPS/GNSS	Globalni položaj
Video	Gibanje, spremembe in več pogledov skozi čas

Sistem lahko kombinira več virov. Avtonomno vozilo lahko na primer uporablja kamere za prepoznavanje semaforja, LiDAR za natančno razdaljo, radar za hitrost drugega vozila in GPS z zemljevidom za določitev lastnega položaja.

2. Kako je prostor zapisan?

Za razliko od slike, ki je urejena mreža pikslov, se 3D-prostor lahko predstavi na več načinov.

Načini zapisa 3D-prostora: globinska slika, oblak točk, voksli, 3D-mreža in scenska struktura.

Globinska slika

Vsak piksel poleg barve vsebuje še ocenjeno razdaljo:

(x,y)rightarrow(R,G,B,d)

AI tako ne vidi samo stola, ampak oceni tudi, da je stol na primer 2,4 metra od kamere.

Oblak točk

LiDAR ali globinska kamera prostor pretvorita v množico točk:

P_i=(x_i,y_i,z_i,R_i,G_i,B_i)

Vsaka točka ima prostorske koordinate, včasih tudi barvo. Milijoni takšnih točk skupaj ustvarijo nekakšen tridimenzionalni obris prostora.

Voksli

Voksel je tridimenzionalna različica piksla. Prostor se razdeli na majhne kocke, pri katerih sistem beleži, ali so prazne, zasedene ali pripadajo določenemu predmetu.

3D-mreža oziroma mesh

Predmet je predstavljen z oglišči, robovi in trikotnimi ploskvami. Tak zapis uporabljajo Blender, CAD-programi, računalniške igre in 3D-tiskalniki.

Implicitne predstavitve

Novejši modeli lahko prizor shranijo znotraj nevronske mreže. Mednje sodijo NeRF-i, Gaussian Splatting in različne nevronske reprezentacije prostora. Namesto klasičnega modela dobimo matematično funkcijo, ki za poljubno točko in smer pogleda napove barvo, gostoto ali površino.

Zemljevid prizora

Višja raven zapisa vsebuje že pomene:

soba;
stena;
vrata;
miza;
stol;
človek;
predmet na mizi;
prehod med sobama.

Takšna scenska struktura ali scene graph ne opisuje le geometrije, ampak tudi odnose: »skodelica je na mizi«, »stol je levo od omare«, »vrata vodijo na hodnik«.

3. Kako 3D-podatki postanejo razumljivi LLM-ju?

Navaden LLM je zgrajen predvsem za zaporedje besednih žetonov. Oblaka milijona prostorskih točk mu zato ni mogoče preprosto poslati kot besedilo.

Pot od 3D-podatkov do LLM-ja: senzorji, 3D-kodirnik, prostorski žetoni in multimodalni jezikovni model.

Postopek je približno takšen:

Kako 3D-podatki postanejo odgovor ali dejanje

1. Kamere in 3D-senzorji
RGB, globina, LiDAR, radar, IMU in video.

↓

2. Globina, točke in gibanje
Surove meritve postanejo prostorski podatki.

↓

3. 3D-kodirnik
Model izlušči površine, oblike, robove in predmete.

↓

4. Prostorski žetoni
Velik 3D-prizor se stisne v uporabne predstavitve.

↓

5. Multimodalni LLM
Poveže prostor, jezik in splošno znanje.

↓

6. Odgovor, načrt ali dejanje
Opis, odločitev, navigacija ali robotski prijem.

3D-kodirnik združuje bližnje točke in izlušči oblike, površine, robove ter predmete.
Rezultate stisne v manjše število 3D oziroma prostorskih žetonov.
Poseben projektor ali adapter jih preslika v isti matematični prostor, v katerem LLM obdeluje besedilo.
LLM nato poveže geometrijo z jezikom in splošnim znanjem.

Sistem lahko tako razume navodilo:

»Poišči majhno mizico med kavčem in svetilko.«

Model mora povezati besede mizica, med, kavč in svetilka s pravilnimi deli tridimenzionalnega prizora. Meta Locate 3D na primer deluje neposredno nad RGB-D-posnetki in prostorskimi oblaki točk ter išče predmete na podlagi takšnih odprtih jezikovnih opisov. Meta AI – Locate 3D

4. Kaj pomeni prostorsko razumevanje?

Dober prostorski AI mora obvladovati več ravni hkrati.

Prostorsko razumevanje združuje geometrijo, odnose, perspektivo, stalnost predmetov in fizikalno smiselnost.

Geometrija

Kako velik je predmet?
Kako daleč je?
Kakšna je njegova oblika?
Ali gre skozi določeno odprtino?
Ali se bosta dve poti oziroma predmeta križala?

Prostorski odnosi

levo in desno;
nad in pod;
pred in za;
znotraj in zunaj;
blizu in daleč;
na, ob, med ali pod nečim.

Perspektiva

»Levo« ni vedno absolutno. Predmet, ki je levo od mene, je lahko desno od človeka, ki stoji nasproti. AI mora zato vedeti, iz katerega koordinatnega sistema razmišlja:

iz perspektive kamere;
iz perspektive robota;
iz perspektive človeka;
glede na globalni zemljevid.

Stalnost predmetov

Če človek za trenutek zakrije stol, mora sistem vedeti, da stol ni prenehal obstajati. To zahteva prostorski spomin in sledenje predmetom skozi čas.

Fizikalna smiselnost

Naprednejši sistem presoja tudi:

ali je predmet stabilno postavljen;
ali bo kozarec padel;
ali je pot prehodna;
ali robotska roka predmet lahko doseže;
kaj se bo zgodilo, če predmet premaknemo.

Tu se prostorska modaliteta začne povezovati s svetovnimi modeli oziroma world models.

5. Od zaznavanja do dejanja

Pri pravem prostorskem agentu ni dovolj, da zna opisati sobo. Sistem mora izbrati in izvesti dejanje.

Primer ukaza:

»Pojdi v kuhinjo, vzemi modro skodelico in jo prinesi na mizo.«

Agent mora:

določiti svoj položaj;
izdelati ali priklicati zemljevid;
ugotoviti, kje je kuhinja;
načrtovati varno pot;
med gibanjem zaznavati nove ovire;
prepoznati pravo skodelico;
oceniti njen položaj in orientacijo;
izračunati prijem robotske roke;
predvideti posledice prijema;
preveriti, ali je skodelico res pobral;
posodobiti prostorski spomin;
prinesti predmet do cilja.

To področje imenujemo utelešena oziroma embodied AI, ker model ni več zgolj opazovalec, ampak je povezan s telesom – robotom, avtomobilom, dronom ali virtualnim avatarjem.

6. Kako se takšni modeli učijo?

Učenje prostorskega AI: povezovanje 3D-prizorov z jezikom, video napovedovanje, simulacije in učenje z delovanjem.

Nadzorovano učenje

Model dobi 3D-prizore z označenimi predmeti, položaji, razdaljami in odnosi.

Usklajevanje 3D-podatkov z jezikom

Primeri za učenje so sestavljeni iz para:

3D-prizor ali predmet;
besedilni opis, vprašanje ali navodilo.

PointLLM je bil denimo učen z več sto tisoč pari oblaka točk in besedilnih navodil, pri čemer sta se najprej uskladila 3D- in jezikovni predstavitveni prostor, nato pa je sledilo učenje s pomočjo navodil. PointLLM

Samonadzorovano učenje iz videa

Model opazuje zaporedje dogodkov in napoveduje, kaj se bo zgodilo v naslednjem trenutku. Sčasoma se nauči gibanja, trajnosti predmetov, vzroka in posledice ter nekaterih pravil fizike.

Meta V-JEPA 2 na primer ločuje tri pomembne sposobnosti svetovnega modela: razumevanje opažanj, napovedovanje razvoja sveta in načrtovanje dejanj za dosego cilja. Meta AI – V-JEPA 2

Simulacije

Roboti in prostorski agenti se lahko učijo v navideznih stanovanjih, tovarnah ali mestih. V simulaciji je mogoče ustvariti milijone situacij brez nevarnosti, poškodb in stroškov resničnega robota.

Učenje z delovanjem

Agent izvede dejanje, opazuje posledico in prilagodi strategijo. Tako se uči, kako močno prijeti predmet, kako obiti oviro ali iz katerega zornega kota mora pogledati, da odpravi negotovost.

7. AI lahko prostor tudi ustvarja

3D-modaliteta ni samo vhodna, temveč tudi izhodna. Model lahko iz:

besedilnega opisa;
ene fotografije;
več fotografij;
videoposnetka;
ročne skice

ustvari:

3D-predmet;
človeško telo ali avatar;
celotno sobo;
arhitekturni model;
igralno okolje;
digitalnega dvojčka;
prizor za navidezno ali obogateno resničnost.

Meta SAM 3D lahko na primer iz običajne fotografije rekonstruira obliko, položaj in videz predmetov oziroma človeškega telesa. Takšen model že omogoča funkcije, kot je virtualna postavitev pohištva v prostor. Meta AI – SAM 3D

8. Kje se modaliteta uporablja?

Uporabe prostorskega AI segajo od robotike in avtonomnih vozil do medicine, arhitekture, industrije, logistike ter AR-očal.

Robotika: navigacija, prijemanje predmetov in delo ob človeku.
Avtonomna vozila: razumevanje ceste, prometa, hitrosti in možnih poti.
AR in pametna očala: digitalne informacije, pravilno umeščene v resnični prostor.
Industrija: digitalni dvojčki, kontrola kakovosti in spremljanje proizvodnje.
Arhitektura: pretvorba skenov stavb v tlorise, modele in popise prostorov.
Medicina: analiza CT- in MRI-volumnov ter načrtovanje operacij.
Logistika: prostorsko načrtovanje skladišč in robotsko komisioniranje.
Igre in film: avtomatska izdelava predmetov, prizorov, likov in animacij.
Energetika in vrtine: tridimenzionalni modeli podzemlja ter načrtovanje vrtanja.
Snemalni studio: digitalni dvojček prostora, postavitev mikrofonov, akustične simulacije in upravljanje opreme.

9. Največje trenutne omejitve

Prostorska inteligenca je še vedno precej manj zanesljiva od prepoznavanja predmetov na običajnih slikah.

Kje se prostorski AI še zmoti: neurejeni 3D-podatki, zakriti predmeti, perspektiva, geometrija, spomin in fizikalne napake.

Glavne težave so:

3D-podatki so veliki, neurejeni in računsko zahtevni;
kakovostno označenih 3D-podatkov je mnogo manj kot slik in besedil;
globina iz ene same fotografije je lahko samo ocena;
zakriti deli predmetov zahtevajo ugibanje;
modeli zamenjujejo levo in desno oziroma perspektivo opazovalca;
težko ohranjajo dosleden zemljevid skozi daljši čas;
dobro prepoznavanje predmetov še ne pomeni dobrega geometrijskega sklepanja;
majhna prostorska napaka je pri robotu lahko fizično nevarna.

Raziskave celo kažejo, da sedanji 3D-LLM-ji kljub neposrednemu dostopu do oblakov točk še vedno slabo rešujejo nekatere osnovne dvosmerne prostorske odnose. To pomeni, da več 3D-podatkov samo po sebi še ne zagotovi pravega prostorskega razumevanja. Raziskava o prostorskem sklepanju 3D-LLM-jev

Bistvo razlike

Navadni vizualni model reče:

»Na sliki je rdeča skodelica.«

3D-model doda:

»Skodelica je visoka približno 10 centimetrov, obrnjena za 25 stopinj in 1,4 metra od kamere.«

Prostorsko inteligenten agent pa razume:

»Skodelica je na robu mize, dosegljiva z desno robotsko roko. Če jo primem s strani, je ne bom prevrnil, nato pa jo lahko po prosti poti prenesem do pomivalnega korita.«

Prav ta prehod – od prepoznavanja slike, prek rekonstrukcije geometrije, do razumevanja prostora, fizike, načrtovanja in dejanja – predstavlja pravo 3D in prostorsko modaliteto v svetu AI.