Miért nehezebb ez, mint amire számítasz?
Egy hagyományos szoftvernél a teszt bináris: lefut vagy nem, a kimenet egyezik vagy nem. Egy agentnél három dolog egyszerre változik: a modell nem determinisztikus, a környezet is változik (weboldal, adatbázis, naptár), és a helyes válasz gyakran nem egyetlen szöveg.
Ehhez jön egy negyedik, amit sokan csak később vesznek észre: a naplózás szabványa maga sem kész. A nyomkövetés iparági szabványának generatív AI-ra szóló része 2026 szeptemberében még mindig „fejlesztés alatt" státuszú — nem stabil, még csak nem is kiadásjelölt. Időközben külön tárolóba is költözött, és a hivatkozási sémája a dokumentációban máig „teendő" jelölésű.
Ez nem apróság. Azt jelenti, hogy az agent-futások naplózására nincs olyan bevett forma, amire hosszú távon építhetnél — a szállítók saját mezőnevekkel dolgoznak, és ezek még változnak.
A három pontozási mód
Az elsődleges dokumentáció három módot különböztet meg, és rangsorolja is őket. Érdemes szó szerint venni, mert a sorrend nem az, amit a legtöbben gondolnak:
| Mód | Értékelés |
|---|---|
| Kódalapú | „A leggyorsabb és a legmegbízhatóbb, rendkívül jól skálázódik" — cserébe nem tud árnyalni. |
| Emberi | „A legrugalmasabb és a legjobb minőségű, de lassú és drága. Kerüld, ha lehet." |
| Modellel végzett | „Gyors és rugalmas, skálázható, összetett megítéléshez is alkalmas. Előbb ellenőrizd a megbízhatóságát, aztán skálázd." |
A sorrend üzenete: kezdd a kóddal. A legtöbb agentfeladatnál sokkal több ellenőrizhető kódból, mint gondolnád — létrejött a fájl? Érvényes a JSON? Benne van a kötelező mező? Nem hívott olyan eszközt, amit nem szabadott volna? Ezek gyorsak, ingyenesek és nem tévednek.
A modellel végzett bírálat csak ott jön, ahol a kód nem tud dönteni. És — ahogy a következő fejezet mutatja — ott sem szabad vakon megbízni benne.
A modell mint bíráló: mérve, mindkét irányban
Ez a cikk legfontosabb fejezete, mert itt van a legtöbb csendes hiba.
A jó hír. Egy 2023-as akadémiai vizsgálat szerint az erős bírálómodellek 80% fölötti egyezést érnek el az emberi preferenciákkal — ugyanakkorát, mint amekkora két ember között van. Egy multi-agent hibatipológiához épített bírálópipeline 94%-os pontosságot és 0,77-es egyetértési együtthatót ért el az emberi annotációhoz mérve, és korábban nem látott rendszerekre is általánosított (0,79). Összevetésül: ugyanott az emberi annotátorok között 0,88 volt az egyetértés.
A rossz hír, és ez a fontosabb.
Van egy böngészőagenteket mérő ranglista, ami ugyanazokra a rendszerekre két külön eredménysort publikál: egy ember által ellenőrzöttet és egy automata bírálóval készültet.
[Saját számítás] Összepárosítottam a kettőt, 13 rendszerre:
| Érték | |
|---|---|
| Rendszerek száma | 13 |
| Átlagos eltérés | −5,49 százalékpont |
| Terjedelem | −0,4-től −14,0 pontig |
| Ahány esetben az automata bíró alábecsült | 13 a 13-ból |
Az automata bíró nem véletlenszerűen téved, hanem szisztematikusan, egy irányba: alulértékel. És az eltérés nem egyenletes — a legjobb rendszereknél is előfordult 14 pont.
(Módszertani fenntartás: a két adatsor nem biztosan ugyanazokból a futásokból származik, tehát a különbség egy része mérési zaj. Az irány következetessége — 13 a 13-ból — viszont nem magyarázható zajjal.)
A gyakorlati következmény: ha csak modellel bírálsz, nem tudod, merre és mennyivel tévedsz. Ezért érdemes időnként — nem minden futásnál, hanem mintavétellel — emberi ellenőrzést tenni mellé, és megnézni, mekkora az eltolódás. Ha ismered az eltolódás mértékét, a modellbírálat használható; ha nem ismered, a számaid nem összevethetők semmivel.
Három szabály, ami megbízhatóbbá teszi a bírálót
A gyártói útmutató konkrét:
1. RÉSZLETES, EGYÉRTELMŰ PONTOZÓLAP
Ne "jó-e a válasz" legyen, hanem: "a válasznak az
első mondatban tartalmaznia kell X-et; ha nem, a
válasz automatikusan hibás".
2. KÉRJ SZÁMOT VAGY CÍMKÉT, NE VÉLEMÉNYT
"helyes" / "helytelen", vagy 1-5 skála. A tisztán
szöveges értékelést nem lehet gyorsan és nagy
mennyiségben feldolgozni.
3. HAGYD GONDOLKODNI - AZTÁN DOBD EL
Kérd meg, hogy előbb érveljen, csak utána adjon
pontot; az érvelést utána eldobod. Ez mérhetően
javítja a bírálat minőségét.
Mit mérj? — a pontosság önmagában nem elég
Egy komolyan vett nyilvános ranglista minden bejegyzéshez ezt közli, és ez jó minta a saját mérésedhez is:
| Amit mérni kell | Miért |
|---|---|
| Pontosság | az alapkérdés: sikerült-e |
| Konfidenciaintervallum | enélkül nem tudod, valódi-e a különbség |
| Futások száma | ezen múlik, mekkora különbséget tudsz kimutatni |
| Sikerarány több próbálkozásból | mást mér, mint az egy próbálkozásos |
| Token be és ki, gyorsítótárral bontva | itt látszik, hova megy a pénz |
| Dollár futásonként | az egyetlen szám, ami az üzletet érdekli |
| Futásidő | a felhasználói élmény korlátja |
A sikerkritériumok között pedig a dokumentáció nyolc kategóriát nevesít, és ezek közül a legtöbb mérés csak az elsőt nézi: feladathűség, következetesség, relevancia és koherencia, hangnem és stílus, adatvédelem megőrzése, kontextushasználat, késleltetés, ár.
Az „adatvédelem megőrzése" mint kiértékelési szempont a leggyakrabban kihagyott tétel. Pedig egyszerűen automatizálható: keresel a kimenetben olyan mintákat, amiknek nem szabadna ott lenniük.
Mekkora minta kell egy regresszió kimutatásához?
Erre van konkrét, mért példa. Egy ranglista minden bejegyzéshez 330 futást közöl, és így a konfidenciaintervalluma ±2,4 és ±3,9 pont között van.
És ebből következik a legfontosabb gyakorlati szabály. Ha háromszázharminc futás kell a három pont körüli bizonytalansághoz, akkor tíz futásnál a bizonytalanság húsz százalékpont fölött van — a bizonytalanság a futásszám négyzetgyökével csökken. Ha tehát az agented tíz tesztesetből nyolcat old meg, és a frissítés után hetet, az színtiszta zaj.
Konkrét illusztráció ugyanonnan: ugyanaz a modell két gondolkodási szinten 57,88% és 58,18% — a különbség a hibahatáron belül van, miközben az árkülönbség 43%. Aki a 0,3 pontért fizette ki a 43%-ot, egy zajt vásárolt meg.
Gyakorlati ajánlás: kevesebb tesztesetet használj, de mindegyiket futtasd többször. Húsz teszteset öt ismétléssel többet ér, mint száz teszteset egyszer.
A modellfrissítés a leggyakoribb csendes regresszió
Itt van a cikk legpraktikusabb része, mert ez mindenkit érint, aki működő agentet üzemeltet.
2026-ban ez nem is választható: a nagy szolgáltatók tételesen kivezették a korábbi modellgenerációkat. Aki 2025-ben beállított egy agentet és nem nyúlt hozzá, annak 2026-ban kötelezően modellt kellett váltania. A kivezetés kezeléséről az amikor a modelledet kivezetik című írás szól lépésről lépésre.
És a váltás nem semleges. A gyártói migrációs útmutató tételesen felsorolja, milyen viselkedésváltozások törhetnek el egy működő agentet:
| Változás | Mit ront el |
|---|---|
| Hosszabb alapértelmezett válaszok | felborul a hosszkontroll; az erőfeszítés csökkentése a gondolkodást rövidíti, a látható választ nem megbízhatóan |
| Szó szerinti utasításkövetés | az új modell nem általánosít csendben egyik elemről a másikra, és nem következtet ki nem kimondott kérést |
| Túlellenőrzés | az új modell magától ellenőrzi a munkáját — a régi promptból örökölt önellenőrzési utasítás így duplikálja a munkát |
| Több delegálás | készségesebben indít subagentet, ami több tokent és más hibamódokat jelent |
| Átárazott erőfeszítési szintek | ugyanaz a beállítás más tokenmennyiséget jelent, mint korábban |
A harmadik sor a legalattomosabb. Ha a promptodban ott van egy „ellenőrizd a munkádat, mielőtt válaszolsz" mondat, amit két éve tettél bele, akkor az új modellen nem javít, hanem ront — az agent kétszer ellenőriz, lassabb és drágább lesz.
Ehhez jön egy technikai csapda: az újabb modelleknél a véletlenszerűséget szabályozó paraméterek (hőmérséklet, mintavételi küszöbök) elavulttá váltak, és ha nem alapértelmezett értékre állítod őket, a hívás hibával tér vissza. Egy 2024-ben megírt kliens ezen egyszerűen elhasal.
A migrációs ellenőrzőlista
MODELLVÁLTÁSKOR, EBBEN A SORRENDBEN
1. MÉRD ÚJRA A KÖLTSÉGET ÉS A KÉSLELTETÉST
A saját terheléseden, nem a gyártói adatlapon.
A gondolkodási tokenek kimeneti tokenként
számlázódnak: ami eddig nem gondolkodott,
most több kimenetet termelhet.
2. VEDD KI A RÉGI HOSSZKORLÁTOZÓ MONDATOKAT
Előbb mérd meg a natúr hosszat, és csak utána
szabályozd - ne a két éve bevált mondattal.
3. VEDD KI A RÉGI ÖNELLENŐRZŐ MONDATOKAT
Az új modellek maguktól ellenőriznek.
A benne hagyott utasítás túlellenőrzést okoz.
4. FUTTASS FRISS ERŐFESZÍTÉS-SOROZATOT
Ne vidd át a korábbi modellre hangolt beállítást.
5. KORLÁTOZD A SUBAGENTEK SZÁMÁT
Vagy mondd meg kifejezetten, mikor indokolt
a delegálás.
6. FUTTASD LE A TELJES TESZTKÉSZLETET, TÖBBSZÖR
Egy futás nem mérés. Lásd a konfidencia-
intervallumot.
A modellek összehasonlító kipróbálásáról részletesebben a modellverseny című írás szól.
Két mérési csapda, amit érdemes előre tudni
1. A subagentek elrontják a szegmentálást. Ha modellenként bontod a statisztikát, vigyázz: egy munkamenet több modellt is használhat. Ha nem szűrsz a fő kérésekre, a segéd- és subagent-hívások olyan modellre könyvelik a munkamenet eredményét, ami nem is csinálta. A többagentes felépítések mérési következményeiről a multi-agent rendszerek témájú poszt szól bővebben.
2. Maga a költségmérés is tudott hibázni. Egy dokumentált esetben a kliens egy bizonyos verzió előtt túlszámolta a tokent és a költséget ott, ahol a válasz több részletben érkezett — nagyjából egy plusz teljes kéréssel darabonként. A gyártó saját megfogalmazása szerint egyébként is: a költségmetrikák közelítések, a hivatalos elszámoláshoz a számlázási adatokat kell nézni.
A tanulság mindkettőből ugyanaz: a mérőrendszered maga is szoftver, és neki is van hibája. Ezért érdemes a fontos számokat két független forrásból nézni — telemetria és számla, automata bíráló és mintavételes emberi ellenőrzés.
A minimális felállás
Ha egyetlen napot szánsz erre, ezt építsd meg:
1. HÚSZ TESZTESET, ÍRÁSBAN
Valódi feladatok az elmúlt hónapból. Mindegyikhez:
mi a bemenet, mi a helyes kimenet, mi számít
elfogadhatónak.
2. KÓDALAPÚ ELLENŐRZÉS, AMI CSAK LEHET
Formátum, kötelező mezők, tiltott eszközhívás,
tiltott minta a kimenetben. Ez az alap.
3. MODELLBÍRÁLÓ A MARADÉKRA, PONTOZÓLAPPAL
Címkét kérj, ne véleményt. Előbb érveljen,
aztán dobd el az érvelést.
4. MINDEGYIK LEGALÁBB ÖTSZÖR FUT
Egy futás nem mérés.
5. HÉT SZÁM MENTÉSE FUTÁSONKÉNT
Siker, token be, token ki, dollár, másodperc,
eszközhívások száma, hibakód.
6. HAVONTA HÚSZ FUTÁS EMBERI ÁTNÉZÉSE
Ez méri be a bírálódat. Enélkül nem tudod,
mekkora az eltolódásod.
7. MINDEN MODELLVÁLTÁS ELŐTT: TELJES FUTTATÁS
Ez egy nap munka, és onnantól tudod, hogy romlott-e valami — nem sejted.
Tipikus félreértések
- „Van naplózásunk, tehát mérünk." A napló azt mondja meg, mi történt. A kiértékelés azt, hogy jó volt-e. A felmérésben a válaszadóknak kevesebb mint 40%-a mérte a másodikat.
- „A modellbíráló majd megmondja." Egy 13 rendszeres összevetésben az automata bíráló 13-ból 13 esetben alulértékelt, átlagosan 5,5 ponttal. Használható — de csak akkor, ha ismered az eltolódását.
- „Egy futás elég egy teszteset ellenőrzésére." A modell nem determinisztikus. Öt futás alatt nem tudsz zajt és romlást megkülönböztetni.
- „A frissítés csak jobb lehet." Az új modell hosszabban válaszol, szó szerintibb, magától ellenőriz és többet delegál. Mind a négy elronthat egy bevált promptot.
- „A pontosság a lényeg." A pontosság konfidenciaintervallum nélkül nem szám. És a dollár per sikeres futás legalább ennyire fontos.
- „A megfigyelhetőség megoldott probléma." A vonatkozó iparági szabvány generatív AI-ra szóló része 2026 szeptemberében még „fejlesztés alatt" státuszú.
Amit érdemes elvinni
A kiértékelés nem azért hiányzik a legtöbb helyről, mert nehéz, hanem mert nincs kényszer, ami kikövetelje — az agent láthatóan működik, amíg valaki észre nem veszi, hogy nem.
Három dolog, ami egy nap alatt megépíthető: húsz valódi teszteset, kódalapú ellenőrzés mindenre, amire lehet, és hét szám mentése minden futásból. Ez a három megfogja a csendes romlások többségét.
És egy szám, amit érdemes megjegyezni: öt ismétlés alatt nem mérés, hanem benyomás. A legtöbb vitát arról, hogy „romlott-e a modell", ez a különbség dönti el. Hogy a benchmarkszámokat általában hogyan érdemes olvasni, arról a benchmarkok olvasása című írás szól, a háttérben futó agentek naplózásáról pedig az időzített agentek témájú poszt.