Kezdjük azzal, amit már ismersz
Írd be a telefonodba, hogy „Jó reggelt", és felajánlja, hogy „kívánok". Nem érti, mit írsz. Csak azt tudja, hogy a nálad látott szövegekben a „Jó reggelt" után gyakran ez jött.
Egy nyelvi modell pontosan ugyanezt csinálja. A különbség három dologban van, és mind a három mennyiségi — mégis minőségi ugrást ad.
1. Sokkal több szövegen tanult
A telefonod a te üzeneteidből tanul. A modell az internet jelentős részéből: könyvekből, dokumentációkból, fórumokból, kódtárakból. Nem azért, mert az több adat, hanem mert elég sok mintázatot lát ahhoz, hogy a ritka esetekre is legyen tippje. Ha valaki életében először kérdez rá arra, hogyan kell egy 1978-as varrógépet beszabályozni, a modell nem emlékszik erre a mondatra — de látott elég varrógép-leírást és elég beszabályozás-leírást ahhoz, hogy összerakja.
2. Nem szavakban, hanem tokenekben számol
A modell nem szavakat lát, hanem tokeneket — szódarabokat. Az angol „unbelievable" három tokenre esik szét, a magyar „megvizsgáltatnánk" jóval többre. Ez nem csak technikai részlet: ez határozza meg, mennyibe kerül és mennyi fér bele egy beszélgetésbe. Erről szól a Token és context window cikk.
3. Egyszerre látja az egész szöveget
Ez a legfontosabb, és 2017-ben ez volt az áttörés. A régebbi rendszerek balról jobbra araszoltak végig a mondaton, és mire a végére értek, az elejét már elfelejtették.
A transformer architektúra ezt oldotta meg: benne minden szó megnézheti az összes többit, és eldöntheti, melyik számít neki. Ezt hívják figyelemnek.
Egy példával: „A serpenyőt a tűzhelyre tettem, mert __ hideg volt." A hiányzó szó a „az" vagy az „ő"? A helyes kitöltéshez a modellnek vissza kell néznie a „serpenyő"-re, öt szóval korábbra, és el kell döntenie, hogy a hideg a serpenyőre vonatkozik-e. Régen ez nem ment. Ma megy, és a mondat elején lévő utasítást is ugyanígy tartja szem előtt húsz bekezdéssel később.
Hogyan lesz ebből válasz
Amikor kérdezel, a modell nem „megkeresi" a választ. Egyesével rakja le a tokeneket, mindig az addigi szöveg alapján. Minden lépésnél kiszámolja, milyen valószínű minden lehetséges következő token, választ egyet, hozzáírja, és kezdi elölről.
A válasz tehát nem előre megvan és utána íródik ki. Menet közben keletkezik. Ezért van, hogy ugyanarra a kérdésre kétszer kérdezve két különböző választ kapsz — a választás nem mindig a legvalószínűbb tokenre esik. Hogy mennyire kalandozik el, azt egy beállítás szabályozza; erről a Prompt, system prompt, temperature cikk szól.
Ami ebből következik, és sokakat meglep
A modell nem tudja előre, hogy hol fog kilyukadni. Ha megkérdezed, hány szó lesz a válasz, nem tudja megmondani, mert még nem írta meg. Ezért rossz a szószámlálásban és ezért nem tud pontos „három bekezdésben" válaszolni elsőre.
Ami egyszer leíródott, azt nem vonja vissza. Ha az első mondatban rossz irányba indult, a többit ahhoz igazítja, mert minden következő tokent az addigi szöveg alapján választ. Ezért működik jobban egy rossz válasz javítása úgy, hogy elmondod, mi a baj, mint úgy, hogy ugyanazt kérdezed újra.
Ezért segít, ha lépésenként gondolkodtatod. Ha a levezetést is kéred, a modell a saját korábbi mondataira támaszkodhat, amikor a végeredményt írja. Nem okosabb lett — csak több támpontot rakott le magának.
És ezért hallucinál. Ha nincs jó tippje, akkor is a legvalószínűbb tokent teszi le, nem azt, hogy „nem tudom". A Miért hazudik az AI? cikk erről szól bővebben.
Amit érdemes elvinni
Egy nyelvi modell nem tudásbázis, amiből kikeresel valamit. Egy szövegfolytató gép, ami nagyon jól tippel. Minden erőssége és minden gyengesége ebből az egy tulajdonságból következik — és ha ezt tartod fejben, sosem fogsz meglepődni azon, mit tud és mit nem.