A context window tokenben mérve adja meg, mennyi fér be egyetlen kérésbe. Ami kifér belőle, azt a modell nem „elfelejti", hanem nem is látja. Ez magyarázza a hosszú beszélgetések elbutulását: a legkorábbi részek kiesnek, és a modell úgy válaszol, mintha soha nem hangzottak volna el.
Két gyakorlati következménye van. Az egyik a számla: a bemeneti tokenek után is fizetsz, tehát minden felesleges melléadott anyag pénzbe kerül. A másik a nyelv — a magyar szöveg tokenizálása pazarlóbb az angolnál, vagyis ugyanaz a dokumentum magyarul több helyet foglal és többe kerül.
A leggyakoribb tévhit, hogy a hirdetett ablakméret a használható ablakméret. Egy tizenkét modellen végzett mérésben, ahol a kérdés és a keresett mondat között nem volt szó szerinti átfedés, 32 ezer tokennél tizenkettőből tíz modell a saját rövid-context eredményének a fele alá esett — az egyiknél 99,3%-ról 69,7%-ra.
A tokenek és az ablak összefüggéséről, és arról, mit jelent mindez a számládon, a token és a context window című írás szól. A közvetlenül kapcsolódó fogalmak: token, context engineering és RAG.