Mi az a token?
A modell a szöveget tokenekre bontja: szavakra, szótöredékekre, írásjelekre. Egy angol szöveg nagyjából annyi token ből áll, mint ahány szóból — plusz egyharmad. A gyakori szavak egy tokent kapnak, a ritkák többre esnek szét.
Miért nem szavakkal dolgozik? Mert így a soha nem látott szavakat is kezelni tudja. A „gyorsforralóban" nincs a szótárban, de a darabjai igen.
És itt jön a magyar nyelv számlája. A tokenizálók túlnyomórészt angol szövegen készültek, ezért az angol szavakat egészben ismerik, a magyarokat pedig feldarabolják. Ugyanaz a tartalom magyarul jellemzően két-háromszor annyi tokent fogyaszt, mint angolul. Ez nem elméleti: ha egy hosszú dokumentumot dolgoztatsz fel, ugyanazért a munkáért két-háromszor annyit fizetsz — és hamarabb ütközöl a hosszkorlátba.
Ebből következik egy azonnal használható trükk: ha a bemenet nyelve nem számít, angolul add oda. A választ kérheted magyarul.
Mi az a context window?
A context window az a legnagyobb szövegmennyiség, amit a modell egyszerre lát. Nem a memóriája — az emlékezete.
Beleszámít minden:
- a rendszerutasítás, amiről nem is tudsz
- a beszélgetés eddigi teljes története
- minden feltöltött fájl
- és a válasz, amit épp ír
Ma a nagy modellek jellemzően egymillió token körüli ablakkal dolgoznak. Ez körülbelül egy vaskos regény — vagy néhány száz oldal céges dokumentáció.
Ami akkor történik, amikor betelik
Nem hibaüzenetet kapsz. Ez a probléma.
A legtöbb felület csendben elkezdi levágni vagy összefoglalni a beszélgetés elejét, hogy a friss rész beleférjen. A modell így továbbra is válaszol — csak épp már nem emlékszik arra, amit két órája megbeszéltetek. Innen jön az érzés, hogy „elbutult" egy hosszú beszélgetés végére.
Van egy finomabb jelenség is: jóval a korlát elérése előtt romlik a pontosság. Egy nagyon hosszú szövegben a közepén lévő információt a modell megbízhatatlanabbul használja, mint az elején vagy a végén lévőt. Ezért éri meg a fontos utasítást a prompt végére tenni, nem a közepére.
A számla logikája
Két külön tételt fizetsz:
- Bemeneti token — amit odaadsz neki. Olcsóbb.
- Kimeneti token — amit ír. Jellemzően három-ötször drágább.
Ez a különbség két gyakorlati következménnyel jár.
Egy hosszú beszélgetés költsége nem lineáris, hanem négyzetes. Minden új kérdésnél a teljes eddigi beszélgetés újra bemenetként megy át. A huszadik kérdésnél nem húszszor, hanem sokkal többet fizettél, mint az elsőnél.
A „foglald össze röviden" spórol, a „fejtsd ki bővebben" költ. Ha automatizálsz valamit, a kimenet hossza a fő költségtétel — nem az, hogy milyen okos modellt választottál.
Egy konkrét példa
Van egy 40 oldalas szerződésed, és tíz kérdést akarsz feltenni róla.
Rossz módszer: feltöltöd, és sorban kérdezel egy beszélgetésben. A szerződés minden kérdésnél újra átmegy bemenetként — tízszer fizeted ki ugyanazt a 40 oldalt, és a beszélgetés vége felé a modell már az elején mondottakra sem emlékszik pontosan.
Jó módszer: egy kérdésben megkérdezed mind a tízet, számozott listában. A szerződés egyszer megy át. Ha a válaszok alapján van visszakérdezés, arra indíts új beszélgetést, és csak az érintett szakaszt add oda.
Ugyanaz az eredmény, töredék költségért — és pontosabb, mert a modell egyszerre látja az egészet.
Ha rendszeresen dolgozol ugyanazokkal a dokumentumokkal, van ennél jobb megoldás is: nem a teljes anyagot adod oda minden kérdésnél, hanem csak a releváns részt kerested ki előtte. Erről szól a Fine-tuning, RAG vagy jobb prompt? cikk.
Két gyakori félreértés
„Nagyobb ablak mindig jobb." Nem. A nagy ablak lehetőség, nem kötelezettség. Ha nyolcvan oldalt adsz oda, amiből három számít, a hetvenhét oldalnyi zaj rontja a választ és növeli a számlát. A jó prompt kevés, jól válogatott anyagot ad.
„Ha nem törlöm a beszélgetést, akkor emlékszik." A beszélgetésen belül igen, két beszélgetés között alapesetben nem. Több eszközben van külön memóriafunkció, de az nem a modellt változtatja meg: feljegyzéseket tesz elé induláskor — és azok is a context windowból esznek.
Amit érdemes elvinni
Két szabály, amivel a legtöbbet nyered:
- Hosszú munkánál új beszélgetést kezdj, ahelyett hogy a régit toldozgatnád.
- Csak azt add oda, ami kell. A context window nem tárhely, hanem figyelem — és a figyelem szűkös.