Az LLM egyetlen dolgot csinál: megjósolja, mi a következő legvalószínűbb darabka a szövegben, aztán ezt újra és újra megismétli. A telefonod szövegjavítója ugyanezt teszi, csak sokkal butábban és sokkal rövidebb emlékezettel. A különbség nem az elvben van, hanem a méretben és a tanítóanyag mennyiségében.
Ebből a mechanizmusból következik minden fontos tulajdonsága. Azért tud összefoglalni, fordítani és átfogalmazni, mert ezek mind „folytatás" feladatok. Azért hallucinál, mert a valószínű folytatás nem mindig igaz. És azért nem számol jól fejben, mert a számolás nem statisztikai folytatás.
A leggyakoribb tévhit, hogy az LLM adatbázisként lekérdezhető. Nem az: nem tárolja a tanítóanyagát kereshető formában, és nincs benne „igaz–hamis" kapcsoló. Ha megbízható tényekre van szükséged, a tényeket oda kell adni neki — ez a RAG.
A mechanizmusról, érthető nyelven, hogyan találja ki a gép a következő szótcímű írás szól. A közvetlenül kapcsolódó fogalmak: token, transformer és foundation model.