Ljudje sveta ne razumemo samo z očmi, ušesi in besedami. Velik del tega, kar vemo o okolju, prihaja skozi dotik. Vemo, ali je predmet vroč ali hladen, mehak ali trd, gladek ali grob. Že ob prvem prijemu začutimo, ali je nekaj težko, spolzko, ostro ali krhko. Pri tem običajno niti ne razmišljamo, koliko različnih informacij v nekaj trenutkih obdelajo naši prsti, koža, mišice in možgani.
Umetna inteligenca se takšnega razumevanja fizičnega sveta šele uči. Pri tem moramo biti previdni z izrazom »LLM modaliteta dotika«. To ni splošno uveljavljen strokovni izraz, saj veliki jezikovni model sam po sebi nima kože, živčevja ali telesnega občutka. Ne čuti pritiska, bolečine, toplote ali teksture. Lahko pa postane del širšega multimodalnega sistema, ki podatke iz haptčnih senzorjev povezuje z besedilom, sliko, zvokom, videom in navodili človeka.
Kaj pravzaprav pomeni haptika?
Haptika je področje, povezano z zaznavanjem in posredovanjem informacij prek dotika. Vključuje vibracije, pritisk, silo, odpor, temperaturo, gibanje in teksturo. Haptčni sistem lahko dotik zazna, ga ustvari ali počne oboje.
Najpreprostejši primer imamo skoraj vsi v žepu. Ko telefon ob pritisku na zaslon rahlo zavibrira, dobimo fizično potrditev, da je naprava zaznala naš ukaz. Podoben princip uporablja igralni plošček, ki z vibracijo posnema udarec, vožnjo po neravni površini ali napetost pri določeni dejavnosti.
Naprednejšo haptiko najdemo v kirurških simulatorjih, kjer lahko zdravnik pri vadbi začuti upor navideznega tkiva. Robotska roka lahko s tipali zaznava silo prijema, pametna proteza pa uporabniku posreduje določeno obliko povratne informacije o stiku s predmetom. Haptika torej ni samo vibriranje naprave. Gre za dvosmerno povezavo med fizičnim dejanjem in informacijskim sistemom.
Kje se v tej zgodbi pojavijo LLM-ji?
Veliki jezikovni modeli so najprej sistemi za obdelavo jezika. Naučeni so prepoznavati vzorce v besedilih ter na tej podlagi ustvarjati odgovore, povzetke, navodila ali druge jezikovne vsebine. Nekateri sodobni modeli poleg besedila obdelujejo tudi slike, zvok in video.
Pri haptiki je njihova vloga posredna. Podatke o dotiku najprej zajamejo senzorji. Posebni modeli ali programske komponente nato te podatke pretvorijo v obliko, ki jo lahko razume širši AI-sistem. Jezikovni model lahko dobljene ugotovitve poveže z navodili, okoliščinami in ciljem naloge.
Predstavljajmo si robota, ki drži predmet. Senzorji v njegovih prstih zaznajo, da predmet drsi in da se sila na eni strani zmanjšuje. Sistem te meritve prepozna kot nevarnost, da bo predmet padel. Jezikovni ali akcijski model lahko ta podatek poveže z navodilom »varno prestavi kozarec na mizo« in določi primeren naslednji korak.
LLM torej ni tisti, ki občuti drsenje. Lahko pa sodeluje pri razlagi, načrtovanju in komunikaciji glede tega, kar so zaznali senzorji.
Kako AI prevede dotik v podatke?
Celoten proces lahko poenostavljeno zapišemo takole:
Ko robotski prst pritisne na predmet, senzor izmeri določeno silo. Druga tipala lahko merijo temperaturo, vibracije, razporeditev pritiska ali drobne spremembe površine. Rezultat ni občutek, kot ga pozna človek, temveč množica številskih vrednosti.
Model strojnega učenja v teh meritvah poišče vzorec. Iz kombinacije pritiska in vibracij lahko na primer sklepa, da je površina groba. Iz spremembe sile lahko ugotovi, da predmet drsi. Če se pritisk nenadoma poveča, lahko sistem oceni, da je robot naletel na oviro ali človeka.
Na podlagi tega sprejme odločitev: zmanjša prijem, ustavi gibanje, spremeni smer ali človeka opozori na težavo. Pri naprednejših sistemih se proces ponavlja večkrat na sekundo, zato se naprava sproti prilagaja dogajanju.
Od jajca do robotske kirurgije
Zelo nazoren primer je robotska roka, ki mora prijeti jajce. Če uporabi premalo sile, ji bo zdrsnilo. Če je sila prevelika, bo lupina počila. Kamera lahko prepozna obliko in položaj jajca, vendar sama slika ne pove dovolj o dejanskem pritisku med prsti in lupino. Robot zato potrebuje tipala ter sprotno prilagajanje prijema.
Pri robotsko podprtih kirurških sistemih lahko haptika pomaga pri zaznavanju sil med instrumentom in tkivom. Pomembno je poudariti, da takšni sistemi zahtevajo strogo preverjanje, nadzor in jasno določeno odgovornost. Tu ne gre za samostojno »čutenje« stroja, temveč za merjenje fizičnih signalov, ki zdravniku ali nadzornemu sistemu pomagajo pri delu.
Pametna proteza lahko zazna stik s predmetom in uporabniku posreduje povratni signal, na primer prek vibracije ali stimulacije živcev. Cilj je, da uporabniku ni treba vsakega giba nadzorovati samo z očmi.
V industriji lahko robot ob nepričakovanem stiku s človekom zazna spremembo sile ter se ustavi. Pri učenju ročnih spretnosti na daljavo lahko mentor prek robotskega ali haptčnega vmesnika učencu pokaže smer, pritisk ali upor določenega giba. V navidezni in obogateni resničnosti pa rokavice, krmilniki ali drugi pripomočki ustvarjajo občutek, da se dotikamo predmeta, ki fizično ni prisoten.
Od AI na zaslonu proti AI v fizičnem prostoru
Večina ljudi danes umetno inteligenco uporablja prek zaslona. Napišemo vprašanje, dodamo dokument ali sliko in dobimo odgovor. Haptika postaja pomembna takrat, ko se AI premakne iz digitalnega okolja v robote, vozila, medicinske naprave, proizvodne linije, proteze in opremo za usposabljanje.
Za delovanje v fizičnem svetu ni dovolj, da sistem predmet samo prepozna. Razumeti mora tudi, kaj se dogaja ob stiku: ali je predmet stabilen, ali drsi, ali se deformira in ali obstaja nevarnost poškodbe človeka ali opreme.
To je dejstvo današnjih robotskih sistemov: za varno fizično delovanje potrebujejo povratne informacije iz okolja. Razumna napoved pa je, da se bodo jezikovni, vidni, akcijski in haptčni modeli vse pogosteje povezovali v skupne sisteme. Kako hitro bodo postali dovolj zanesljivi za široko uporabo, je odvisno od posameznega področja in zahtevane stopnje varnosti.
Česa takšni sistemi ne zmorejo?
Stroj zaznava in obdeluje signale. Ne vemo, da bi pritisk ali temperaturo doživljal kot človek. Razlika med meritvijo in doživljanjem ni samo jezikovna podrobnost, temveč pomembna meja pri razumevanju tehnologije.
Težava je lahko tudi zamik. Če robot zazna nevaren pritisk prepozno ali se odzove z nekaj desetinkami sekunde zamude, je to v občutljivem okolju lahko nesprejemljivo. Senzorji se lahko obrabijo, umažejo ali napačno umerijo. Model lahko napačno razvrsti neznan material ali situacijo, ki je med učenjem ni srečal.
Odpre se tudi vprašanje zasebnosti. Haptčni podatki iz protez, medicinskih pripomočkov ali naprav, ki spremljajo človekovo gibanje, lahko razkrivajo zdravstveno stanje, telesne značilnosti in vedenjske vzorce. Jasno mora biti določeno, kdo podatke zbira, kje se hranijo in kdo odgovarja ob napaki.
Kaj to pomeni za podjetja in izobraževanje?
Za podjetja haptika ni zanimiva zgolj kot nova vrsta uporabniškega vmesnika. Uporabna je lahko pri nadzoru kakovosti, varnem sodelovanju med ljudmi in roboti, ravnanju z občutljivimi izdelki, usposabljanju zaposlenih ter upravljanju strojev na daljavo.
Pred uvedbo je smiselno postaviti zelo praktična vprašanja: kateri fizični signal želimo meriti, kakšno odločitev naj sistem sprejme in kakšna je posledica napačne odločitve? Ni vsaka naloga primerna za haptiko in ni vsak proces dovolj predvidljiv, da bi ga zaupali avtomatiziranemu sistemu.
V izobraževanju so posebej zanimivi simulatorji. Učenec lahko v varnem okolju vadi varjenje, upravljanje stroja, medicinski poseg ali drugo ročno spretnost. Sistem ne poda samo vizualnega opozorila, ampak lahko z uporom, vibracijo ali omejitvijo gibanja pokaže, da je bil postopek izveden napačno.
Dotik kot manjkajoči del digitalne inteligence
Človeški dotik je preplet zaznave, izkušenj, spomina in telesnega zavedanja. Današnji AI tega nima. Ima pa vedno več načinov, da fizične signale iz okolja pretvori v podatke, te podatke poveže s ciljem in se na podlagi tega bolj smiselno odzove.
Če želimo razumeti prihodnost umetne inteligence, moramo zato gledati onkraj besedila. Naslednji veliki preskoki ne bodo samo v tem, da bo model bolje pisal ali bolje odgovarjal na vprašanja. Pomembno bo tudi, kako bo razumel prostor, telo, gibanje, material in dotik.
V AI pospeševalniku Nexus takšne teme razlagamo praktično, brez panike in brez praznega navduševanja. Cilj ni, da nad tehnologijo samo navdušeno kimamo, ampak da jo razumemo dovolj dobro, da jo znamo uporabljati pametno, varno in koristno.