Veliki jezikovni modeli so se začeli kot sistemi, ki zelo dobro obdelujejo besedilo. Danes pa vedno bolj postajajo del širših multimodalnih sistemov, ki lahko sprejemajo tudi slike, zvok, video, podatke iz senzorjev in strukturirane meritve iz našega okolja. Ena najobčutljivejših smeri tega razvoja je povezava med LLM-ji, biometrijo in fiziologijo človeka.
To ne pomeni, da LLM sam od sebe meri srčni utrip ali prepozna bolezen. Pomeni pa, da lahko dobi podatke iz pametne ure, mikrofona, kamere, EKG senzorja ali drugega sistema, nato pa jih razloži v naravnem jeziku. Tu se AI premakne od odgovarjanja na vprašanja k razumevanju okoliščin, v katerih se človek nahaja.
Kaj je modaliteta v umetni inteligenci?
Modaliteta je vrsta podatka, skozi katero AI prejema informacijo o svetu. Besedilo je ena modaliteta. Slika je druga. Zvok je tretja. Pri biometričnih in fizioloških modalitetah pa se AI približa nečemu zelo osebnemu: identiteti in stanju telesa.
Biometrična modaliteta odgovarja predvsem na vprašanje: kdo je oseba? Fiziološka modaliteta pa odgovarja na vprašanje: v kakšnem stanju je oseba? Ta razlika je ključna, ker imata obe vrsti podatkov drugačno uporabo, drugačna tveganja in drugačne pravne zahteve.
Biometrična modaliteta: kdo je uporabnik?
Biometrija vključuje podatke, kot so obraz, glas, prstni odtis, šarenica, vzorec hoje, podpis ali celo način tipkanja. Ti podatki se običajno uporabljajo za preverjanje identitete, varnostni dostop, preprečevanje zlorab in personalizacijo storitev.
V povezavi z LLM-jem bi sistem lahko najprej preveril, da je oseba res pravi uporabnik, nato pa asistentu sporočil samo rezultat preverjanja. Na primer: uporabnik je potrjen, raje uporablja slovenščino, danes želi kratek povzetek. LLM ne potrebuje surove slike obraza ali zvočnega posnetka glasu, če za nalogo zadošča varen povzetek.
Tu je že prvo pomembno pravilo: geslo lahko zamenjamo, obraza in glasu pa ne. Zato bi morali biometrične podatke zbirati samo takrat, ko je to res nujno, z jasnim namenom in z močno zaščito.
Fiziološka modaliteta: kaj se dogaja s telesom?
Fiziološki podatki ne govorijo nujno o tem, kdo smo, temveč o tem, kaj se dogaja z našim telesom. Sem spadajo srčni utrip, variabilnost srčnega utripa oziroma HRV, dihanje, temperatura kože, elektrodermalna aktivnost, spanje, gibanje, EEG in EMG signali.
Takšni podatki lahko pomagajo zaznati utrujenost, stres, pomanjkanje spanja, povečano obremenitev ali padec koncentracije. Pametna ura lahko zazna visok srčni utrip, nizko HRV in slabo spanje. LLM pa lahko iz tega pripravi človeku razumljivo razlago: danes je morda bolje zmanjšati število sestankov, narediti več krajših premorov in ne sprejemati pomembnih odločitev pod pritiskom.
Seveda to ni diagnoza. To je interpretacija vzorcev, ki jo je treba predstaviti previdno. Sistem mora znati reči: podatki lahko kažejo na stres ali utrujenost, ne pa samozavestno trditi, da ve, kaj človek čuti.
Kako telesni podatki pridejo do LLM-ja?
Tipična arhitektura je sestavljena iz več korakov. Najprej senzorji zajamejo signal: kamera obraz, mikrofon glas, ura srčni utrip, senzor dihanje ali spanje. Nato specializirani modeli signal očistijo, pretvorijo in iz njega izračunajo značilke. Šele potem se LLM-ju pošlje strukturiran povzetek.
Namesto da bi LLM dobil celoten surov zvočni posnetek ali neobdelan biometrični zapis, je varnejši pristop, da prejme samo podatke, ki jih za nalogo res potrebuje: uporabnik je potrjen, zaznana je višja obremenitev, zadnje spanje je bilo kratko, srčni utrip je nad običajnim osebnim povprečjem.
LLM je v takem sistemu predvsem razlagalec in sogovornik. Ne sme se predstavljati kot medicinski senzor ali zdravnik. Njegova vloga je, da podatke prevede v jasen jezik, pomaga oblikovati vprašanja in predlaga varne naslednje korake.
Kje so uporabni primeri?
V zdravstvu bi takšni sistemi lahko pacientu pomagali razumeti trende, pripraviti vprašanja za zdravnika ali opaziti, da se nekaj ponavlja. Pri učenju bi AI učitelj lahko zaznal padec zbranosti in prilagodil tempo razlage. Pri delu bi osebni asistent lahko predlagal lažji urnik, če podatki kažejo veliko kognitivno obremenitev.
V vozilih, tovarnah ali varnostno občutljivih okoljih bi fiziološki signali lahko pomagali zaznati zaspanost, stres ali nevarno zmanjšano pozornost. Pri osebnih asistentih pa bi se komunikacija lahko prilagajala stanju uporabnika: krajši odgovori ob utrujenosti, bolj strukturirani koraki ob stresu, bolj poglobljena razlaga, ko je človek spočit.
Največja vrednost ni v tem, da AI nadzoruje človeka. Vrednost je v tem, da lahko z dovoljenjem pomaga človeku razumeti lastne vzorce in se bolje odločati.
Etika, GDPR in nevarnost nadzora
Biometrični in fiziološki podatki so med najbolj občutljivimi podatki, ki jih lahko AI sistem prejme. Zloraba je lahko resna: napačna identifikacija, diskriminacija, nadzor zaposlenih, sklepanje o zdravju brez dovoljenja ali ustvarjanje profila človekovega stresa, čustev in ranljivosti.
GDPR pri takšnih podatkih zahteva posebno previdnost. Uporabnik mora vedeti, kaj se meri, zakaj se meri, kako dolgo se hrani, kdo ima dostop in kako lahko privolitev umakne. Pri zaposlenih je meja še bolj občutljiva, ker privolitev pogosto ni povsem svobodna, če je vezana na delovno razmerje.
Posebej nevarna je lažna natančnost. Če sistem zveni zelo samozavestno, lahko uporabnik dobi občutek, da AI zares ve, kaj se dogaja v njegovem telesu. V resnici pa gre pogosto za sklepanje iz nepopolnih signalov.
Odgovorna uporaba: kaj mora biti izpolnjeno?
Pred uporabo takšnega sistema bi si morali zastaviti nekaj preprostih vprašanj. Ali uporabnik ve, kaj se meri? Ali je podal jasno privolitev? Ali LLM dobi samo nujne povzetke, ne pa surovih biometričnih podatkov? Ali lahko uporabnik merjenje izklopi? Ali sistem jasno pokaže negotovost in se ne pretvarja, da diagnosticira?
Najboljša AI ni tista, ki človeka neprestano spremlja. Najboljša AI je tista, ki zna delovati z najmanjšo potrebno količino podatkov, varno, pregledno in v korist uporabnika. Pri biometričnih in fizioloških modalitetah je zato tehnični napredek samo polovica zgodbe. Druga polovica je zaupanje.
Ko LLM povežemo s telesnimi signali, dobimo zelo močno tehnologijo. Lahko pomaga pri zdravju, učenju, produktivnosti in varnosti. Lahko pa postane tudi orodje nadzora. Razlika med obema potema bo odvisna od pravil, kulture uporabe in spoštovanja človekove avtonomije.
Slike: zgeneriral OpenAI-jev ImageGPT 2 na podlagi teksta