AI-modaliteta za zvok pomeni, da umetna inteligenca ne obdeluje samo besedila ali slik, temveč zna zvok tudi poslušati, analizirati, razumeti in ustvarjati. Pri tem zvoka ne »sliši« tako kot človek, ampak zvočno valovanje pretvori v matematično predstavitev, iz katere prepoznava govor, glasove, glasbo in druge zvočne dogodke.
Kako poteka obdelava zvoka?
Digitalizacija→
Zvočni vzorci ali tokeni→
Multimodalni AI-model→
Razumevanje→
Besedilo, odločitev ali nov zvok
1. Zajem in digitalizacija
Mikrofon spremeni zvočno valovanje v digitalni signal. Posnetek je sestavljen iz velikega števila meritev amplitude zvoka na sekundo. Običajen govor je lahko na primer zajet s frekvenco 16.000 ali 48.000 vzorcev na sekundo.
2. Pretvorba v obliko, razumljivo modelu
AI običajno ne obdeluje neposredno datoteke MP3 ali WAV. Zvok najprej razdeli na kratke časovne odseke in jih spremeni v:
- spektrogram, nekakšno vizualno karto frekvenc skozi čas;
- numerične značilnosti oziroma »embeddinge«;
- ali zvočne tokene, podobne besednim tokenom pri jezikovnih modelih.
Iz njih lahko model razbere, kdaj nekdo govori, katere glasove izgovarja, kakšen je ton glasu in kateri drugi zvoki so prisotni.
Dva glavna načina delovanja
Klasični cevovod
Pri starejšem oziroma modularnem pristopu sodeluje več ločenih modelov:
- model za prepoznavanje govora zvok prepiše v besedilo;
- jezikovni model prebere prepis in oblikuje odgovor;
- sistem za sintezo govora odgovor spremeni nazaj v zvok.
Tak sistem je praktičen, vendar se med pretvorbami lahko izgubijo informacije o intonaciji, čustvih, premorih, poudarkih in zvokih iz okolice.
Neposredni multimodalni model
Sodobnejši model lahko zvočne tokene sprejema neposredno. Zato ne obdeluje samo besed, ampak lahko zazna tudi:
- hitrost, glasnost in ritem govora;
- vprašalno, jezno, veselo ali negotovo intonacijo;
- smeh, kašelj, vzdih ali premore;
- več govorcev;
- glasbo in zvoke iz okolice;
- približno smer ali oddaljenost zvoka, če posnetek vsebuje prostorske podatke.
Odgovor lahko prav tako ustvarja neposredno kot zaporedje zvočnih tokenov. To omogoča naravnejši pogovor z manjšo zakasnitvijo, prekinjanje govora in prilagajanje tona situaciji.
Kaj vse lahko AI počne z zvokom?
| Naloga | Primer |
|---|---|
| Prepoznavanje govora | izdelava prepisa sestanka |
| Prevajanje | govor v slovenščini pretvori v angleški govor |
| Ločevanje govorcev | ugotovi, kdo je govoril in kdaj |
| Analiza zvokov | prepozna alarm, motor, lom stekla ali ptičje petje |
| Analiza glasbe | zazna tempo, instrumente, akorde ali žanr |
| Izboljšanje posnetka | odstrani šum in poudari govor |
| Sinteza govora | besedilo prebere z izbranim glasom |
| Ustvarjanje zvoka | izdela glasbo, zvočni učinek ali ambientalni posnetek |
| Glasovni agent | posluša uporabnika, razmišlja in odgovarja v realnem času |
Pomembna razlika: prepoznati zvok ni isto kot razumeti ga
Model lahko pravilno prepiše stavek, vendar še vedno napačno razume namen govorca. Prav tako lahko iz tona glasu sklepa, da je nekdo razburjen, vendar to ni zanesljiva diagnoza njegovega čustvenega ali zdravstvenega stanja.
Težave lahko povzročijo:
- hrup in odmev;
- močni naglasi in narečja;
- govor več ljudi hkrati;
- zelo tih ali popačen posnetek;
- ironija in sarkazem;
- redki jeziki ter strokovni izrazi;
- posnemanje ali umetno ustvarjeni glasovi.
Najbolje si je torej predstavljati, da je zvok za multimodalni AI še en jezik: namesto zaporedja napisanih besed dobi zaporedje matematično predstavljenih zvočnih dogodkov. Model nato išče vzorce, jih povezuje z znanjem in iz njih sestavi najverjetnejšo razlago ali odgovor.