A modell nem szavakat lát, hanem tokeneket: gyakori szavaknál egy token egy szó, ritkábbaknál a szó több darabra esik. Angolban nagyjából négy karakter egy token. Minden, amit fizetsz és minden korlát, amibe beleütközöl, tokenben van mérve — a bemenet, a kimenet és a context window is.
Ennek van egy közvetlen magyar vonatkozása: a magyar szöveg tokenizálása pazarlóbb, mint az angolé, mert a modellek tanítóanyagában sokkal kevesebb magyar szöveg volt. Ugyanaz a dokumentum magyarul több tokent fogyaszt, tehát többe kerül és hamarabb tölti meg az ablakot, mint angolul.
A leggyakoribb tévhit, hogy a token a szó szinonimája. Nem az, és a különbség pont ott a legnagyobb, ahol számít: tulajdonneveknél, szakszavaknál, számoknál és nem angol nyelveknél. Aki szóban becsül, az magyarul rendszeresen alábecsli a költséget.
A tokenek és az ablak összefüggéséről a token és a context windowcímű írás szól. A közvetlenül kapcsolódó fogalmak: tokenizer, context window és inference.