Besedilo je prva in še vedno najpomembnejša modaliteta velikih jezikovnih modelov. Klasični LLM je bil prvotno zasnovan tako, da prejme zaporedje besedilnih enot, v njih prepozna vzorce in nato napove, kako naj se zaporedje nadaljuje.
Toda model besedila ne bere tako kot človek. Ne vidi neposredno besed, stavkov in pomenov. Najprej jih pretvori v matematične predstavitve.
Kako besedilo postane odgovor LLM-ja
Uporabnik napiše vprašanje, navodilo, kodo ali dokument.
Besedilo se razdeli na manjše enote: tokene.
Tokeni postanejo matematični vektorji oziroma embeddingi.
Model primerja tokene med seboj in ugotavlja, kaj je pomembno.
Model izračuna najverjetnejše nadaljevanje.
Novi tokeni se sestavijo v odgovor, ki ga vidimo kot besedilo.
1. Kaj vse spada v besedilno modaliteto?
Besedilna modaliteta je širša od navadnega pogovornega jezika.
| Vrsta besedila | Primer |
|---|---|
| Naravni jezik | vprašanja, članki, e-pošta, pogovori |
| Programska koda | Python, JavaScript, HTML, SQL |
| Strukturirani podatki | JSON, XML, CSV, YAML |
| Matematični zapisi | enačbe, formule, simboli |
| Dokumenti | pogodbe, poročila, pravilniki |
| Navodila sistema | pravila, vloge in omejitve modela |
| Pogovorna zgodovina | prejšnja uporabnikova in modelova sporočila |
| Rezultati orodij | spletni rezultati, baze podatkov, API-odgovori |
| Metapodatki | avtor, datum, naslov, oznake in kategorije |
Koda zato običajno ni povsem nova modaliteta. Za model je posebna, zelo strukturirana oblika besedila. Podobno velja za JSON, tabele in matematične izraze.
2. Tokenizacija: besedilo se razstavi
Ko napišemo:
Umetna inteligenca spreminja podjetja.
model tega praviloma ne prejme kot šest celih besed. Tokenizator besedilo razdeli na manjše enote oziroma tokene. Token je lahko:
- cela beseda,
- del besede,
- ločilo,
- številka,
- presledek,
- poseben kontrolni znak.
Beseda »inteligenca« je lahko en token ali pa je razdeljena na več delov. Natančna razdelitev je odvisna od tokenizatorja posameznega modela.
Tokenizacija omogoča, da model obdeluje:
- neznane in nove besede,
- različne slovnične oblike,
- več jezikov,
- osebna imena,
- programsko kodo,
- kombinacije črk in številk.
Posebnost slovenščine
Slovenščina ima veliko pregibnih oblik. Besede, kot so »podjetje«, »podjetja«, »podjetjem« in »podjetjih«, so povezane, vendar niso enake. Model se mora iz podatkov naučiti, da te oblike pripadajo isti pomenski družini.
Jeziki z manjšo zastopanostjo v učnih podatkih so lahko tokenizirani manj učinkovito. Enako dolg slovenski stavek lahko zato porabi več tokenov kot primerljiv angleški stavek.
3. Tokeni se pretvorijo v vektorje
Token sam po sebi za nevronsko mrežo še nima pomena. Model vsak token pretvori v dolg seznam števil, imenovan vektor oziroma embedding.
V tem matematičnem prostoru se lahko oblikujejo odnosi, kot so:
- besede s podobnim pomenom imajo sorodne predstavitve,
- države so povezane z glavnimi mesti,
- glagolske oblike so povezane z dejanji,
- programski ukazi so povezani s svojim učinkom,
- strokovni izrazi so povezani z ustreznimi področji.
Pomembno pa je, da token nima vedno istega pomena. Beseda »miška« lahko pomeni žival ali računalniško napravo. Njena končna predstavitev se oblikuje glede na okolico.
4. Model upošteva položaj in kontekst
Vrstni red besed je pomemben:
- »Pes je ugriznil človeka.«
- »Človek je ugriznil psa.«
Besede so skoraj enake, pomen pa je popolnoma drugačen. Zato model tokenom doda informacije o njihovem položaju in jih primerja z drugimi tokeni v kontekstu.
Mehanizem pozornosti oziroma attention modelu pomaga oceniti, kateri deli besedila so pomembni za razumevanje posameznega tokena.
V stavku:
Aleksander je telefon položil na mizo, ker ga trenutno ni potreboval.
mora model iz konteksta sklepati, da se »ga« verjetno nanaša na telefon. Pri daljših dokumentih pa mora povezovati informacije, ki so lahko oddaljene več strani.
5. Kontekstno okno predstavlja delovni prostor
Model lahko hkrati obravnava le omejeno količino informacij. Ta prostor imenujemo kontekstno okno.
Vanjo se lahko vključijo:
- sistemska navodila,
- uporabnikovo vprašanje,
- prejšnji pogovor,
- pripeti dokumenti,
- rezultati spletnega iskanja,
- podatki iz orodij,
- odgovor, ki ga model trenutno ustvarja.
Kontekstno okno ni isto kot trajni spomin. Če informacija ni več v kontekstu in ni shranjena v zunanjem spominu, model do nje praviloma nima neposrednega dostopa.
Daljši kontekst tudi ne zagotavlja popolnega razumevanja. Model lahko pomemben podatek spregleda, ga napačno poveže ali mu pripiše premajhno težo.
6. Kako nastane odgovor?
LLM običajno ustvarja odgovor avtoregresivno – token za tokenom.
Če ima začetek:
Glavno mesto Slovenije je …
izračuna verjetnosti možnih nadaljevanj:
- Ljubljana: 98 %
- Maribor: 1 %
- drugo: 1 %
Izbrani token se doda v zaporedje, nato pa model ponovno izračuna naslednjega. Postopek se ponavlja do konca odgovora.
Model torej praviloma ne napiše celotnega odstavka naenkrat. Ustvarja ga postopoma, pri čemer vsak novi token temelji na:
- vhodnem besedilu,
- prejšnjem kontekstu,
- že ustvarjenem delu odgovora,
- vzorcih, naučenih med učenjem.
Nastavitve, kot je temperatura, vplivajo na izbiro med verjetnimi možnostmi. Nižja temperatura daje bolj predvidljive odgovore, višja pa več raznolikosti in ustvarjalnosti.
7. Kako se model nauči jezika?
V osnovnem učenju model obdeluje velike količine besedila in poskuša napovedati manjkajoči oziroma naslednji token.
Na ta način se postopoma nauči:
- slovnice,
- besedišča,
- slogov pisanja,
- povezav med pojmi,
- tipičnih oblik argumentacije,
- struktur dokumentov,
- vzorcev programske kode,
- dela splošnega znanja, prisotnega v podatkih.
Nato lahko sledijo dodatne faze:
- nadzorovano učenje na primerih kakovostnih odgovorov;
- učenje s človeškimi ali avtomatskimi ocenami;
- prilagajanje varnostnim pravilom;
- učenje uporabe orodij in upoštevanja navodil.
Model se tako ne nauči samo nadaljevati besedila, ampak tudi odgovarjati, povzemati, prevajati, razvrščati in izvajati navodila.
8. Kaj LLM pri besedilu dejansko »razume«?
LLM izjemno dobro modelira odnose med simboli in konteksti. Iz besedila lahko prepozna:
- teme,
- namene,
- čustveni ton,
- logične povezave,
- časovno zaporedje,
- vzroke in posledice,
- slog avtorja,
- implicitne zahteve.
Toda njegovo razumevanje ni nujno enako človeškemu. Model nima neposredne izkušnje predmeta, o katerem bere. Besedo »vroče« pozna iz povezav z drugimi besedami, ne nujno iz telesnega občutka vročine.
Šele večmodalni in robotski sistemi lahko jezik povežejo z vidom, zvokom, prostorom, dotikom in fizičnimi dejanji. Temu pravimo prizemljitev pomena oziroma grounding.
9. Največje prednosti besedilne modalitete
Besedilo omogoča:
- zelo natančno podajanje navodil,
- hitro prenašanje znanja,
- povzemanje velikih količin vsebine,
- prevajanje med jeziki,
- ustvarjanje dokumentov in kode,
- abstraktno sklepanje,
- povezovanje z iskalniki in bazami podatkov,
- beleženje in preverjanje komunikacije.
Posebna prednost besedila je njegova kompaktnost. Ena stran besedila lahko vsebuje veliko bolj natančno izraženo informacijo kot ena sama fotografija.
10. Glavne omejitve
Halucinacije
Model lahko ustvari jezikovno prepričljiv, vendar napačen odgovor. Njegov osnovni cilj je ustvariti verjetno nadaljevanje, ne samodejno preveriti resničnost vsake trditve.
Občutljivost na formulacijo
Majhna sprememba vprašanja lahko spremeni rezultat. Nejasna navodila puščajo modelu več prostora za napačno interpretacijo.
Izguba širšega konteksta
Dolgi dokumenti vsebujejo protislovja, izjeme in oddaljene povezave, ki jih model lahko spregleda.
Težave s simbolno natančnostjo
Jezikovni model lahko naredi napake pri:
- dolgih izračunih,
- štetju znakov,
- doslednem sledenju zapletenim pravilom,
- natančnem kopiranju številk,
- preverjanju lastnih trditev.
Zato se pri takih nalogah povezuje s kalkulatorjem, programsko kodo, spletnim iskanjem ali bazami podatkov.
Odsotnost neposrednega stika z resničnostjo
Besedilo lahko nekaj opisuje, vendar opis ni enak stvarnosti. Model brez dodatnih virov ne more vedeti, ali je neka trditev resnična, aktualna ali izmišljena.
11. Kaj ni samostojna modaliteta?
Pomembno je ločiti modaliteto od drugih zmogljivosti:
| Pojem | Modaliteta? | Pojasnilo |
|---|---|---|
| Besedilo | Da | vrsta vhodne oziroma izhodne informacije |
| Programska koda | Večinoma ne | strukturirana oblika besedila |
| Sestavljena | besedilo, slike, tabele in postavitev | |
| Sklepanje | Ne | način obdelave informacij |
| Spomin | Ne | način shranjevanja informacij |
| Spletno iskanje | Ne | zunanje orodje |
| Uporaba računalnika | Ne | sposobnost izvajanja dejanj |
| RAG | Ne | pridobivanje zunanjega konteksta |
| AI-agent | Ne | sistem modela, orodij, spomina in pravil |
Bistvo besedilne modalitete
Besedilna modaliteta deluje približno takole:
jezikovni simboli → tokeni → matematični vektorji → kontekstualne povezave → verjetnost naslednjega tokena → odgovor
Njena moč ni samo v »poznavanju besed«, ampak v sposobnosti, da v ogromnem prostoru naučenih vzorcev povezuje jezik, znanje, navodila, strukture in načine razmišljanja. Njena največja omejitev pa je, da prepričljivo besedilo še ni samodejno resnična, preverjena ali fizično izkušena informacija.