Két lista, ami sosem egyezik
Van egy lista arról, melyik modell a legjobb. És van egy másik arról, melyiket használják a legtöbben. Aki mindkettőt látta már, annak feltűnt, hogy a kettő nem is hasonlít egymásra.
Ez nem ellentmondás, hanem következmény. A ranglista azt méri, mit tud egy modell egy feladatkészleten. A használati adat azt mutatja, mit választanak az emberek, amikor fizetniük is kell érte, gyorsan kell a válasz, és holnap is működnie kell. A kettő ritkán ugyanaz. A ranglisták olvasásáról egyébként külön szól a Hogyan olvassunk AI-benchmarkot cikk.
Egy konkrét pillanatkép
A model routerek nyilvánosan közlik, melyik modellen mennyi token fut át rajtuk. Ez ritka alkalom: nem marketingszám, hanem tényleges forgalom. 2026 szeptemberében az egyik legnagyobb ilyen szolgáltatónál így nézett ki az élmezőny:
- Az első helyen egy kínai gyártó előzetes kiadása, közel 20 billió tokennel.
- A másodikon egy nyugati gyártó legolcsóbb szintje — nem a csúcsmodellje.
- A harmadik, negyedik és ötödik helyen nyílt súlyú kínai modellek, jellemzően a gyors, olcsó változataik.
Az első öt helyből négyet nyílt súlyú modellek vittek. Egyetlen nyugati csúcsmodell sem volt köztük — pedig a ranglisták élén pont azok állnak.
Négy ok, amiért nem a listavezetőt használják
A magyarázat nem az, hogy a fejlesztők nem ismerik a jobb modelleket. Négy nagyon prózai ok van:
- Ár. A tömegmunkát a legolcsóbbra teszik, ami átmegy a minőségi küszöbön. Huszonötszörös árkülönbségnél ez nem fukarság, hanem számtan — erről szól a megfelelő szint választása.
- Sebesség. Ahol a felhasználó várakozik, ott a gyors, közepes modell jobb termék, mint a lassú, okos.
- Elérhetőség. Egy éles rendszerben az számít, hogy a hívás mindig lefusson. Aki tartalékot épít, az több modellt tart, és a forgalom szétoszlik.
- Átállási költség. Ami működik, azt nem cserélik le havonta. Egy bejáratott modell körül promptok, példák és ellenőrzések vannak, amiket újra kellene hangolni.
Amit a ranglista tényleg megmond
Ne dobd ki a ranglistát — csak tudd, mire jó. Három valódi haszna van.
Megmutatja a plafont. Ha egy feladattípuson a legjobb modell is csak 60 százalékot ér el, akkor a te feladatod sem fog 90-en futni. Ez a legértékesebb információ, és ez nem is derül ki máshonnan.
Megmutatja a padlót. Ha egy modell egy alapvető képességen látványosan gyenge, azt érdemes komolyan venni. A negatív jelzés megbízhatóbb, mint a pozitív.
Szűkíti a mezőnyt. Ötszáz modellből nem tudsz mindent kipróbálni. A ranglista jó arra, hogy legyen öt jelölted, amivel aztán tényleg mérsz.
Ahol a ranglista félrevezet
Négy konkrét torzítás, amit érdemes fejben tartani:
- A formázás jutalmazása. Az emberi szavazáson alapuló ranglisták rendszerint a hosszabb, listákba szedett, magabiztos hangvételű választ díjazzák — ami nem ugyanaz, mint a pontos válasz.
- Az adat beszivárgása. A népszerű tesztkészletek előbb-utóbb bekerülnek a tanítóanyagba. Egy régi benchmark on elért magas pontszám ezért kevesebbet ér, mint egy frissen összeállítotté.
- A gyártó saját mérése. A bejelentésekben szereplő számok a gyártó saját beállításaival készültek. Nem hamisak, de nem is összehasonlíthatók.
- A nyelv. Szinte minden nyilvános ranglista angolul mér. A magyar és a spanyol teljesítményről semmit nem mondanak — azt külön kell mérni .
A használati adat sem tiszta
Az őszinteség kedvéért: a fenti forgalmi lista sem a teljes igazság. Egyetlen közvetítő adatait mutatja, ahol fejlesztők futtatnak tömegfeladatokat — nem azt, mit használ egy irodai dolgozó egy chatablakban.
Ott a sorrend egészen más lenne: a fogyasztói felületeken a nagy márkák dominálnak, és az árérzékenység alig számít, mert az előfizetés fix. Vagyis nem egy igaz lista van és egy hamis — hanem több lista, mindegyik a maga kérdésére válaszol.
A saját ranglistád
Az egyetlen mérce, ami a te döntésedhez tartozik, az a sajátod. Nem nehéz összerakni:
- Húsz valódi feladat a saját munkádból, a nehéz esetekkel együtt.
- Mindegyikhez leírt jó válasz — ez a lépés a munka, és ez az, amit ki szoktak hagyni.
- Három-négy modell, lehetőleg különböző szintekről és gyártóktól.
- Négy oszlop a végén: hány jó válasz, mennyi idő, mennyi pénz, hány feltűnő hiba.
Ez a húsz feladat aztán évekig elkísér: modellváltáskor, árváltozásnál, új kiadásnál ugyanezt futtatod le, és fél óra alatt tudod a választ. A Kétheti modell-verseny cikk ezt írja le részletes recepttel.
Amit érdemes elvinni
A ranglista képességet mér, a használati adat döntést — és a döntésben az ár, a sebesség és a megbízhatóság többet nyom, mint az utolsó néhány százaléknyi pontosság. A ranglista arra jó, hogy megmutassa a plafont és szűkítse a mezőnyt; a választ a saját húsz feladatod adja meg.