Miért nem a bejelentésekből dől el?
Mert a bejelentés a gyártó saját mérése, a ranglista angolul mér egy általános feladatkészleten, a kollégák véleménye pedig három emlékezetes esetből áll. Egyik sem a te munkád.
A modell választás valójában mérési feladat, nem kutatási. Nem kell hozzá se adattudós, se eszköz — húsz valódi feladat kell hozzá, és valaki, aki megszámolja a hibákat. Ez a cikk ezt írja le lépésről lépésre.
Az első hét: a feladatkészlet
Ez a munka háromnegyede, és ez az, amit ki szoktak hagyni. Négy szabály:
- Húsz feladat, valódi anyaggal. Ne kitalált példák: kimásolt, valóban előfordult esetek, névtelenítve.
- A valódi megoszlás. Ha a bejövő ügyek fele egyszerű, akkor a húszból is tíz legyen egyszerű. Csak a nehéz esetekre mérni ugyanolyan félrevezető, mint csak a könnyűekre.
- Legyen benne öt „csúnya" eset. Hiányos adat, ellentmondó információ, rossz helyesírás, két nyelv keveredése egy szövegben. Itt válnak el a modellek.
- Egy hét gyűjtés. Ne egy ülésben rakd össze — egy héten át, ahogy jönnek. Így lesz valódi a megoszlás.
Hogyan írd le a „jó választ"?
Ez a lépés dönti el, hogy a mérésed számot ad vagy véleményt. Feladatonként le kell írni előre, mi számít jó válasznak — mielőtt bármelyik modellt láttad volna.
Nem kell szó szerinti megoldás. Elég három-négy pont: mit kell tartalmaznia, mit nem szabad tartalmaznia, és milyen formában. Például: „Tartalmazza a határidőt és a felelőst. Ne találjon ki összeget. Legyen legfeljebb három mondat."
Ha egy feladatnál nem tudod leírni, mi a jó válasz, akkor az a feladat nem mérhető — vedd ki a készletből. Ez nem kudarc: hasznos felismerés arról, hogy ott nem modellprobléma van, hanem meghatározatlan elvárás. Ez ugyanaz a gondolat, ami a Alkalmas rá az AI?cikkben is az első kérdés.
A második hét: a futtatás
Innen már gyors. Négy lépés, összesen fél nap:
- Válassz három-négy modellt. Ne a négy legdrágábbat: egy olcsó szint, egy középszint, egy csúcs, és ha van értelme, egy nyílt súlyú . A model routeren keresztül ez egy fiók.
- Ugyanaz a prompt mindegyiken. Ha modellenként külön hangolsz, nem a modelleket hasonlítod össze, hanem a saját türelmedet.
- Futtasd le kétszer. Ugyanaz a kérdés kétszer nem mindig ugyanazt adja. Ha a két futás eltér, az önmagában eredmény.
- Mentsd el a kimeneteket. Nem csak a pontszámot: a nyers válaszokat is. Ezek lesznek a viszonyítási alapod a következő modellváltásnál.
A pontozólap
Öt szempont, és nem egyformán fontosak. A súlyt a saját feladatod adja:
| Szempont | Hogyan méred | Mikor a legfontosabb |
|---|---|---|
| Pontosság | hány feladat jó a 20-ból | mindig |
| Formátumtartás | hányszor tartja a kért szerkezetet | ha gép dolgozza fel |
| Sebesség | átlagos válaszidő | ha felhasználó várakozik |
| Ár | a 20 feladat token-költsége | ha sokszor fut |
| Nyelvi minőség | ragozás, szakszó, hangnem | magyar és spanyol munkánál |
Egy fontos részlet: a formátumtartást külön számold, ne a pontosságba olvasztva. Egy modell lehet tartalmilag jobb és közben használhatatlan automatizált folyamatban, mert nem tartja a kért szerkezetet .
Öt hiba, ami elrontja a mérést
Mindegyikkel találkozni fogsz, ha nem figyelsz rá:
- A jó választ utólag írod le. Ilyenkor önkéntelenül ahhoz igazítod, amit láttál.
- Modellenként más promptot használsz. Ez a leggyakoribb, és ez teszi tönkre az összehasonlíthatóságot.
- Csak a nehéz eseteket méred. Látványos, de nem a napi munkádat írja le.
- Benyomásra pontozol. „Ez szimpatikusabb" — a hosszabb, magabiztosabb választ az ember akkor is jobbnak érzi, ha rosszabb.
- Csak angolul mérsz. Ha a munkád magyar, a magyar teljesítmény a lényeg — és az máshogy alakul , mint az angol.
A döntés
A végén egy táblázatod lesz. Három tipikus kimenet van, és mindegyikre más a helyes lépés.
Nagy a különbség pontosságban. Ilyenkor egyszerű: a jobb modell kell, még ha drágább is. Ez a ritkább eset.
Kicsi a különbség, nagy az árkülönbség. Ez a leggyakoribb. Ilyenkor az olcsóbb nyer, és a maradék néhány hibás esetre lépcsőzéstépítesz: a bizonytalan eseteket továbbküldöd a drágábbnak.
Mindegyik gyenge. Ez is eredmény, és értékesebb, mint gondolnád. Ilyenkor nem modellt kell váltani, hanem a feladatot szétbontani vagy a prompt ot újraírni — a prompt öt alapeleme jó kiindulás.
Mi marad utána?
A döntésnél fontosabb, amit közben létrehoztál: húsz feladat leírt jó válaszokkal és mentett kimenetekkel. Ez a készlet évekig elkísér.
Ezt futtatod le, ha jön egy új modell, ha megváltozik egy ár, ha kivezetikazt, amit használsz, vagy ha valaki azt mondja, hogy „mostantól ez a jobb". Fél óra, és tudod a választ. A készletet és a promptokat a Prompt library mintája szerint érdemes tárolni, gazdával és dátummal.
Amit érdemes elvinni
Egy hét gyűjtés, fél nap futtatás, és a végén szám, nem vélemény. A munka nem a futtatás, hanem a húsz valódi feladat és az előre leírt jó válaszok — ezek nélkül a mérés csak benyomás. És ami marad, az többet ér a döntésnél: egy tesztkészlet, amivel minden jövőbeli modellkérdést fél óra alatt eldöntesz.