Mit jelent a multimodális?
A modalitás egy adattípus: szöveg, kép, hang, videó. Egy multimodális modell többfélét is közvetlenül fogad vagy előállít — nem úgy, hogy előbb egy másik program leírja neki, mi van a képen, hanem úgy, hogy maga látja.
Ez a különbség a lényeg. A régi megoldás láncba kötött külön rendszereket: egy képfelismerő leírta a képet, a leírást megkapta a nyelvi modell. Minden lépésnél veszett információ, és a nyelvi modell csak azt látta, amit a másik program fontosnak tartott.
Egy multimodális modellnél nincs ez a fordítási lépés. A kép és a szöveg ugyanabba a belső ábrázolásba kerül, és a modell egyszerre dolgozik velük. Ezért tud olyat, amit a lánc nem: rákérdezhetsz a kép egy apró részletére, összevetheted két kép különbségét, vagy megkérdezheted, mi hiányzik róla.
Mit tud ma a gyakorlatban
Kép bemenetként — ez a legérettebb. Fotózol egy papír számlát, és megkapod táblázatban. Beteszel egy képernyőképet egy hibaüzenetről, és megmondja, mi a baj. Odaadsz egy kézzel rajzolt vázlatot, és HTML lesz belőle. Lefotózol egy műszerfalat, egy alaprajzot, egy kézírásos jegyzetet.
Hang bemenetként — megbízható, de nyelvfüggő. A leiratozás angolul kiváló. Magyarul jó, de a szakszavakat és a neveket érdemes utólag átnézni. Ha a felvételen többen beszélnek egyszerre, a beszélők szétválasztása még mindig a gyenge pont.
Hang kimenetként — természetes, de nem tökéletes. A felolvasás ma már nem gépies. A hangsúly viszont a hosszú, összetett magyar mondatoknál el tud csúszni, és az idegen neveket néha félreejti.
Videó — a legkevésbé érett. Videót bemenetként több modell elfogad, de jellemzően úgy, hogy képkockákra bontja. Ez azt jelenti, hogy a gyors mozgás és a folyamatos történés kicsúszhat.
Ami a napi munkában tényleg számít
Nem az, hogy a modell „lát". Az, hogy eltűnik a gépelés a folyamatból.
Eddig, ha egy papíron lévő adattal akartál dolgozni, valakinek be kellett gépelnie. Ez volt a szűk keresztmetszet: nem a döntés, nem az elemzés, hanem az adatbevitel. A multimodalitás pont ezt a lépést vágja ki.
Három hely, ahol ez azonnal pénzben mérhető:
- Beérkező dokumentumok — számla, szállítólevél, jegyzőkönyv fotóból strukturált adattá.
- Hibabejelentés — az ügyfél lefotózza, mi a baj, ahelyett hogy leírná.
- Terepen készült jegyzet — hangfelvétel a kocsiban, kész jegyzőkönyv az irodában.
Négy dolog, amiben megbízhatatlan
Érdemes ismerni a határokat, mert magabiztosan hibázik.
Pontos leolvasás sűrű táblázatból. Egy zsúfolt táblázat fotójáról az oszlopok összecsúszhatnak, és a modell magabiztosan rossz számot ír ki. Amit számolásra használsz, azt ellenőrizd.
Kézírás. A nyomtatott szöveggel jól boldogul, a folyóírással változó eredménnyel — és a hibát nem jelzi.
Térbeli viszonyok. „Mi van a bal szélső doboz mögött?" — az ilyen kérdéseknél gyakran téved, még ha a képen minden látszik is.
Számolás a képen. Hány ember van a fotón, hány doboz a polcon: meglepően gyenge pont. Ha a szám számít, ne a modellel számoltasd meg.
Mindegyik esetre ugyanaz a szabály érvényes, mint máshol: ha nem ismernéd fel a rossz választ, ne bízd rá. Erről szól az Alkalmas rá az AI? Egyperces döntési módszer .
Hogyan kérdezz képről okosan
Mondd meg, mit keresel. A „mi van ezen a képen?" általános leírást ad. A „mennyi a végösszeg és mi a fizetési határidő?" azt adja, ami kell.
Kérj formátumot. „Add vissza táblázatban, oszlopok: tétel, mennyiség, nettó, áfa." Így továbbadható az eredmény.
Adj kapaszkodót. „Ez egy magyar nyelvű szállítólevél, a dátum formátuma ÉÉÉÉ.HH.NN." A modell így nem tippel a formátumra.
Kérd, hogy jelezze a bizonytalanságot. „Ahol nem olvasható tisztán, írd oda, hogy [nem olvasható], ne találd ki." Ez a mondat több hibát fog ki, mint bármi más.
Amit érdemes elvinni
A multimodalitás nem attól hasznos, hogy látványos. Attól, hogy a papír és a hang is bemenetté válik, gépelés nélkül. Keresd meg a folyamataidban azt a pontot, ahol ma valaki azért gépel, mert az adat rossz formátumban érkezik — ott van a valódi nyereség.