Ultrazvok pri AI- oziroma večmodalnem LLM-ju praviloma ne deluje tako, da bi jezikovni model neposredno »slišal« ultrazvočne valove. Ultrazvočna sonda in naprava najprej pretvorita odboje visokofrekvenčnih zvočnih valov v digitalne podatke oziroma slike. Šele nato lahko te podatke obdela specializirani vizualno-jezikovni model.
Po domače: ultrazvočna naprava ustvari sliko, vizualni del AI jo pretvori v matematične predstavitve, LLM pa jih poveže z medicinskim znanjem in jezikom.
Celoten potek
1. Oddajanje ultrazvoka
Sonda vsebuje piezoelektrične elemente, ki električno energijo pretvorijo v ultrazvočne valove. Ti imajo frekvenco, ki je človek ne sliši – pri medicinskem slikanju praviloma nekaj megahercev.
Valovi potujejo skozi telo in se različno odbijajo od:
- tekočin,
- mehkih tkiv,
- maščobe,
- mišic,
- organov,
- kosti,
- meja med različnimi vrstami tkiv.
Sonda nato sprejme odboje in jih pretvori nazaj v električni signal.
2. Izdelava ultrazvočne predstavitve
Naprava izračuna, kako dolgo je signal potoval in kako močan je bil odboj. Iz tega lahko izdela več vrst podatkov:
| Ultrazvočni podatek | Kaj prikazuje |
|---|---|
| B-mode slika | Običajna črno-bela anatomija |
| M-mode | Gibanje strukture skozi čas, na primer srčne zaklopke |
| Doppler | Smer in hitrost pretoka krvi |
| Barvni Doppler | Pretok krvi, prikazan z barvami |
| Elastografija | Približno trdoto oziroma elastičnost tkiva |
| Video oziroma cine loop | Zaporedje ultrazvočnih slik med premikanjem sonde |
| Surovi RF-signal | Neposrednejši podatki o prejetih odbojih |
Za večino današnjih modelov je vhod predvsem slika ali video. Naprednejši specializirani sistemi pa lahko kombinirajo več vrst ultrazvočnih podatkov, meritve, bolnikovo dokumentacijo in govor zdravnika.
Kako sliko razume LLM?
Sam jezikovni model praviloma ni najboljši pri analizi slik. Zato sistem uporablja vizualni kodirnik – na primer Vision Transformer ali medicinsko prilagojen model.
Ta razdeli sliko na manjše dele in pri vsakem išče značilnosti, kot so:
- robovi in oblike organov,
- velikost in položaj struktur,
- tekstura tkiva,
- temnejša ali svetlejša območja,
- gibanje,
- pretok krvi,
- morebitne lezije,
- sence in druge ultrazvočne posebnosti.
Rezultat niso besede, ampak množica številskih vektorjev oziroma »vizualnih žetonov«. Poseben povezovalni sloj jih prevede v obliko, ki jo lahko sprejme LLM.
LLM lahko nato poveže:
»okrogla temnejša tvorba z gladkimi robovi«
z medicinskimi pojmi, navodili, prejšnjimi izvidi in vprašanjem zdravnika. Iz tega lahko pripravi opis, odgovori na vprašanje ali ustvari osnutek strukturiranega izvida.
Kako se takšen model nauči ultrazvoka?
Potrebuje velike zbirke povezanih podatkov:
- ultrazvočne slike ali posnetke,
- zdravniške izvide,
- oznake anatomskih struktur,
- meritve,
- diagnoze,
- označene lezije,
- vprašanja in strokovne odgovore.
Med učenjem model poskuša uskladiti sliko z ustreznim besedilom. Če je na posnetku na primer fetalno srce, se mora njegova matematična predstavitev približati pravilnemu opisu fetalnega srca in oddaljiti od nepovezanih opisov.
Novejši sistemi gredo še dlje. Sonomate je bil na primer razvit za razumevanje fetalnih ultrazvočnih videov in uporablja video skupaj s prepisanim govorom sonografa. FetalCLIP je bil učen na več kot 210.000 parih fetalnih slik in besedila. Leta 2026 objavljena zbirka SonoInstruct pa vsebuje več kot 110.000 slik in 260.000 primerov navodil za ultrazvočne modele. Sonomate, FetalCLIP, SonoInstruct in SonoBench
Kaj lahko tak AI dejansko počne?
Specializiran ultrazvočni večmodalni model lahko pomaga pri:
- prepoznavanju vrste organa in standardne projekcije,
- označevanju anatomskih struktur,
- segmentaciji organov ali sprememb,
- merjenju velikosti in razdalj,
- zaznavanju sumljivih tvorb,
- primerjavi več posnetkov,
- spremljanju gibanja na videu,
- povezovanju slike z anamnezo,
- izdelavi osnutka ultrazvočnega izvida,
- opozarjanju na manjkajoče posnetke,
- odgovarjanju na zdravnikova vprašanja.
V prihodnje bi lahko AI sonografu tudi sproti sporočal:
»Sondo nekoliko obrnite v levo. Trenutni prerez še ne prikazuje celotne strukture. Za pravilno meritev potrebujemo bolj standardno ravnino.«
To pomeni, da ne bi analiziral samo končne slike, ampak bi sodeloval tudi pri samem zajemu.
Zakaj je ultrazvok za AI posebej težaven?
Ultrazvočna slika ni podobna običajni fotografiji. Njena kakovost je močno odvisna od:
- položaja in pritiska sonde,
- izkušenosti izvajalca,
- kota slikanja,
- nastavitev naprave,
- telesne zgradbe bolnika,
- vrste ultrazvočnega aparata,
- šuma, senc in drugih artefaktov.
Ista struktura je zato lahko na dveh posnetkih videti zelo različno. Raziskave opozarjajo, da splošni vizualno-jezikovni modeli še vedno težko obvladujejo prostorsko razumevanje ultrazvoka in ustvarjanje zanesljivega kliničnega jezika. U2-BENCH
Ključna razlika
»Ultrazvočna modaliteta« večinoma ni samostojen čut LLM-ja, kakor sta besedilo ali običajna slika. Gre za celoten sistem:
ultrazvočni senzor → obdelava odbojev → slika/video/podatki → specializirani vizualni model → LLM → razumljiv odgovor.
LLM je pri tem predvsem sloj za povezovanje ugotovitev, medicinskega konteksta in jezika. Najbolj občutljivo delo – prepoznavanje majhnih struktur, merjenje in segmentacija – pogosto še vedno opravijo specializirani računalniško-vidni modeli.
Tak sistem je zato bolje razumeti kot medicinskega kopilota, ne kot samostojnega zdravnika. Lahko pospeši pregledovanje, standardizira poročila in opozori na sumljive značilnosti, vendar rezultat še vedno zahteva preverjanje ustrezno usposobljenega strokovnjaka.