Mi az a benchmark?
Szabványosított tesztsor, amit minden modellen lefuttatnak, hogy összehasonlíthatók legyenek. Van, amelyik iskolai vizsgakérdésekből áll, van, amelyik valódi programhibák javításából, és van, amelyik szándékosan megoldhatatlanul nehéz feladatokból.
Hasznosak: enélkül csak marketinganyagunk lenne. De egy dologra nem valók: arra, hogy eldöntsd, melyik modell kell neked.
Négy dolog, amit a pontszám nem árul el
1. A teszt beszivároghatott a tanításba
A modelleket az internet nagy részén tanítják. A népszerű tesztek kérdései és megoldásai fent vannak az interneten. Ha egy modell látta őket tanításközben, a jó eredmény részben emlékezet, nem képesség.
A gyártók igyekeznek kiszűrni ezt, de tökéletesen nem lehet. Ezért van, hogy egy modell brillírozik egy ismert teszten, és megbotlik ugyanolyan nehéz, de új feladaton.
Kapaszkodó: a friss, nemrég készült tesztek eredményei többet érnek, mint a több éve keringőké.
2. Egy szám sok részeredményt takar
A legtöbb benchmark több tucat részterületet mér, és a végén átlagol. Két modell azonos összpontszámmal teljesen máshol lehet erős: az egyik matematikában, a másik szövegértésben.
Ha van részletes bontás, azt nézd, és abban is csak azt a szeletet, ami rád tartozik.
3. Nem méri, ami a napi használatban számít
A tesztek jellemzően egy kérdés — egy válasz formában futnak. A valódi munkában viszont ez számít:
- követi-e pontosan a formátumot, amit kértél
- mit csinál, ha az utasítás ellentmondásos
- mennyire konzisztens ugyanarra a kérdésre
- hogyan teljesít magyarul — ezt szinte egyetlen nagy benchmark sem méri érdemben
- mennyi idő és mennyi pénz egy válasz
Ez utóbbi kettő különösen fontos: két modell azonos pontszámmal ötszörös költségkülönbséggel futhat.
4. A ranglista eleje és a valós használat két külön világ
Ha megnézed, mely modelleket használják ténylegesen a legtöbbet, a lista nem azonos a ranglista tetejével. A gyakorlatban a legtöbb feladatot közepes méretű, olcsó, gyors modellek végzik — mert elég jók hozzá, és tizedannyiba kerülnek.
Ez nem a felhasználók tudatlansága. Ez a helyes döntés.
Ami helyette működik: a saját tesztkészlet
Fél nap munka, és utána évekig szolgál.
1. Gyűjts össze húsz valódi feladatot. Ne kitaláltat — olyat, ami tényleg felmerült nálad. Vegyél bele öt könnyűt, tíz tipikusat és öt olyat, ami eddig sem ment jól.
2. Írd le, mitől jó a válasz. Feladatonként egy-két mondat. Ez a legnehezebb lépés, és ez a legértékesebb: kiderül belőle, hogy sok esetben te magad sem tudtad pontosan, mit vársz.
3. Futtasd le mindegyik jelölttel, ugyanazzal a prompttal. Változtatás nélkül — ha a prompt ot modellenként igazítod, nem a modelleket hasonlítod össze.
4. Pontozz vakon. Keverd össze a válaszokat, és úgy pontozz, hogy ne lásd, melyik melyiktől jött. Enélkül azt fogod jobbnak látni, amelyiktől többet vártál.
5. Írd fel az időt és a költséget is. A döntés ritkán a legjobb válaszról szól, sokkal inkább arról, hogy mennyiért kapod.
A végén nem az derül ki, melyik a legjobb modell, hanem hogy melyik a legolcsóbb, ami még elég jó. Ez a helyes kérdés.
Egy dolog, amit érdemes előre eldönteni
Fusd le a tesztet egy nagy és egy kicsi modellel is. Ha a kicsi ugyanazt hozza, azzal dolgozz — a különbség éves szinten sok pénz. Ha nem, most már tudod, miért fizetsz a nagyobbért.
Ugyanez a húsz feladat egyébként másra is jó: ez lesz a regressziós tesztkészleted. Amikor a gyártó frissíti a modellt vagy kivezet egyet, lefuttatod, és fél óra alatt megtudod, romlott-e valami. Enélkül csak akkor derül ki, ha egy ügyfél szól.
Amit érdemes elvinni
A benchmark arra jó, hogy lásd, hol tart a mezőny. Arra nem, hogy eldöntsd, mit használj. Az a döntés húsz valódi feladaton, vakon pontozva, költséggel együtt születik meg — és fél napba telik.