Négy metrika, és mit mérnek valójában
A bevett RAG-metrikák négy külön kérdésre válaszolnak. Ezt érdemes tisztán tartani, mert a legtöbb csalódás abból ered, hogy valaki egyetlen számra próbálja lefordítani mind a négyet:
| Metrika | Mit mér | Hol keletkezik a hiba |
|---|---|---|
| Megalapozottság | A válasz állításai levezethetők-e a behozott szövegből | a válaszadásnál |
| Válaszrelevancia | A válasz a feltett kérdésre válaszol-e | a válaszadásnál |
| Kontextus-precizitás | A behozott részletek közül mennyi releváns | a keresésnél |
| Kontextus-recall | A szükséges információ bekerült-e egyáltalán | a keresésnél |
A felső két sor a modellről szól, az alsó kettő a keresésről. Ha nem méred őket külön, akkor egy rossz szám láttán nem tudod, mit javíts.
A diagnosztikai táblázat
Ez a cikk legpraktikusabb része. Négy alaphelyzet, és mindegyikhez más beavatkozás tartozik:
| Bekerült a jó szöveg? | Használta a modell? | Diagnózis | Mit javíts |
|---|---|---|---|
| Nem | — | A válasz nincs is a behozott részletekben | darabolás, index, keresés, találatszám |
| Igen | Nem | Ott volt előtte, de nem használta | prompt, kontextushossz, rangsor |
| Igen | Igen, de kitalál mellé | Használta és hozzáköltött | prompt, hőmérséklet, modell |
| Igen | Nem — a saját tudásából válaszolt | Jó választ adott, csak nem a forrásból | idézetkötelezettség, forrásra kényszerítés |
Egyetlen összesített szám — „megalapozottság: 0,82" — ezek közül egyiket sem különbözteti meg a másiktól. Ezért kell két mérés, nem egy.
Mennyire hihetők ezek a számok?
Itt a cikk legfontosabb anyaga, és kellemetlen.
Az első mérés egy nyilvános kiértékelési verseny hivatalos bírálati anyagán készült: 45 beküldött rendszer, 36 téma, 6 742 kézi annotáció. A kérdés az volt, hogy egy adott állítást alátámaszt-e a hivatkozott dokumentum.
| Összehasonlítás | Egyetértés (véletlenre korrigálva) |
|---|---|
| Bírálómodell vs. emberi bíráló | 0,29 |
| Független ember vs. emberi bíráló | −0,03 |
A második sor a lényeg. A mínusz azt jelenti, hogy a két ember egyetértése rosszabb volt, mint a véletlené. Vagyis a probléma nem a gép: a részleges alátámasztás megítélése emberek között sem konzisztens.
De van egy jó hír is ugyanonnan, és ez adja a gyakorlati választ. Rendszerszinten — vagyis arra a kérdésre, hogy melyik beállítás jobb — a bírálómodell és az ember erősen korrelált (0,79 fölött).
A használható szabály tehát: a bírálómodell rangsorolásra jó, egyedi válasz megítélésére nem. Arra használd, hogy eldöntsd, az A vagy a B beállítás jobb-e. Ne arra, hogy megmondd, ez a konkrét válasz helyes-e.
És egy szisztematikus torzítás, amit érdemes tudni: ugyanabban a mérésben az emberi bírálók a „nincs alátámasztva" címkét részesítették előnyben (47%), a modell a „részben alátámasztva" címkét (49-51%). A bírálómodell elnézőbb — vagyis szebb számot kapsz, mint amit ember adna.
A második mérés még keményebb: 21 bírálómodell, kilenc szolgáltatótól, három benchmarkon, mintegy 541 ezer ítélettel. Az egyetértés emberrel véletlenre korrigálva 0,376 és 0,511 között mozgott.
És a legfontosabb módszertani megállapítás:
A puszta egyezés-számolás 33,8 és 41,3 százalékpont között becsüli túl a véletlenre korrigált egyetértést; a 21 modell átlagában 38,6 százalékponttal.
Magyarul: aki azt mondja, hogy „a bírálónk 85%-ban egyetért az emberrel", az átlagosan közel negyven ponttal túlbecsüli a valóságot.
Egy ellenintuitív benchmark céges adatról
2026 májusában megjelent egy benchmark, ami kifejezetten céges belső tudásra épül — nem webes szövegre. Az adathalmaz nagyjából félmillió dokumentum kilenc forrásból: csevegőüzenetek, levelek, feladatkezelő, dokumentumtár, hibajegyek, jegyzőkönyvek. Az értékelés 500 kérdésen, tíz kategóriában.
Az eredmény:
| Módszer | Helyesség | Teljesség | Dokumentum-recall |
|---|---|---|---|
| Kulcsszavas keresés | 68,8% | 56,0% | 68,4% |
| Beágyazásos keresés | 51,4% | 42,9% | 46,0% |
| Parancssori kereső agent | 60,6% | 61,1% | 55,8% |
A jó öreg kulcsszavas keresés 17 ponttal verte a beágyazásos keresést. Céges dokumentumokon.
A tanulság nem az, hogy a vektoros keresés rossz — hanem hogy a céges adat érdemben más, mint a nyilvános benchmarkok, amikre a legtöbb ajánlás épül. Erről a hibaosztályról szól bővebben a hybrid search című írás.
Hány teszteset kell?
Erre van konkrét, elsődleges ajánlás:
„Minimum 100 kérdés-válasz pár szükséges. Nagyobb területeknél 150-et javaslunk."
A kérdések legyenek önmagukban értelmezhetők, a válaszokat pedig szakértő validálja — különösen azokat, amiket eredetileg modell generált.
[Saját számítás] Ehhez érdemes hozzátenni, mit tud kimutatni ez a mintaméret. Egy bináris (sikerült / nem sikerült) mérésnél a bizonytalanság nagyjából:
hibahatár ≈ 1,96 × √( p(1−p) / n )
Vagyis 100 tesztesetnél, 75%-os körüli eredménynél a 95%-os hibahatár ±8,5 százalékpont. Ez azt jelenti:
| Teszteset | Kimutatható különbség |
|---|---|
| 20 | ~±19 pont — csak nagyságrendi változás |
| 100 | ~±8,5 pont |
| 500 | ~±3,8 pont |
| 1 200 | ~±2,5 pont |
(Ez egyetlen arány konfidenciaintervalluma. Ha ugyanazon a teszthalmazon hasonlítasz össze két beállítást, a párosított összehasonlítás bizonytalansága ennél kisebb — de a nagyságrend marad.)
Húsz teszteseten nem tudsz öt pontos javulást kimutatni. Ez nem szigorúság, hanem aritmetika — és a legtöbb „úgy érzem, jobb lett" vita ezen múlik.
Egy módszertani csapda ehhez: ha a kérdések csoportokban érkeznek (például ugyanabból a dokumentumból tíz kérdés), akkor nem függetlenek, és a valódi hibahatár akár háromszorosa lehet a számítottnak. Ilyenkor csoportszinten kell számolni.
A zaj, ami segít, és a majdnem jó találat, ami öl
Van egy lektorált mérés, ami két egymásnak látszólag ellentmondó dolgot mutat ki ugyanabban a kísérletben — és mindkettő megváltoztatja, hogyan érdemes mérni.
Az első, ellenintuitív eredmény: teljesen véletlenszerű, irreleváns dokumentumok hozzáadása a kontextushoz javította a pontosságot, akár 35%-kal.
A második, sokkal fontosabb: egyetlen zavaró dokumentum — olyan, ami témába vág, de rossz választ tartalmaz — 25%-kal, egyes esetekben 67%-kal rontotta a pontosságot.
És a pozíció is számít: ugyanabban a mérésben a helyes dokumentum a kérdéshez közel 0,37-es pontosságot adott, középen elhelyezve 0,23-at.
Három következmény a mérésre nézve:
- A kontextus-precizitás félrevezető metrika önmagában. A mérés szerint az irreleváns zaj nem árt — a „majdnem jó" találat árt.
- Nem elég azt mérni, hány releváns találat van. Azt kell mérni, van-e köztük megtévesztően rossz.
- A sorrend számít. Két rendszer azonos találathalmazzal, más sorrendben, mérhetően más eredményt ad.
A minimális felállás
1. HÚSZ KÉRDÉS ELSŐ KÖRBEN, SZÁZ A DÖNTÉSHEZ
Húsz elég ahhoz, hogy lásd, működik-e egyáltalán.
Beállítások összehasonlításához száz kell.
2. MINDEN KÉRDÉSHEZ HÁROM DOLGOT ÍRJ LE
a) a kérdés, ahogy egy kolléga feltenné
b) a helyes válasz
c) MELYIK dokumentumból kell jönnie
3. A HARMADIK PONT A LEGFONTOSABB
Ezzel tudod külön mérni a keresést és a választ.
Enélkül csak egy összesített szám van.
4. ELŐBB A KERESÉST MÉRD
Bekerült-e a jó dokumentum a találatok közé?
Ha nem, a modellen semmit nem érdemes állítani.
5. A BÍRÁLÓMODELLT RANGSOROLÁSRA HASZNÁLD
"Az A vagy a B beállítás jobb?" - erre jó.
"Ez a válasz helyes?" - erre nem.
6. HAVONTA NÉZZ ÁT HÚSZ VÁLASZT KÉZZEL
Nem abszolút ítéletért: az ELTOLÓDÁST méred.
A modell elnézőbb, mint az ember - a különbség
iránya akkor is használható, ha a határesetek
megítélése emberek közt sem egységes.
7. MÉRD A ZAVARÓ TALÁLATOT, NE A ZAJT
Az irreleváns találat nem árt. A témába vágó,
de rossz információt tartalmazó igen.
8. NÉZD MEG A KONFIDENCIÁT, MIELŐTT ÖRÜLSZ
100 tesztesetnél ±8,5 pont. A 74-ről 78-ra
javulás lehet, hogy nem történt meg.
A második pont c) alpontja az, amit szinte mindenki kihagy — és ami nélkül a mérésed egyetlen homályos számot ad ahelyett, hogy megmondaná, hol a hiba.
Tipikus félreértések
- „A bírálómodell megmondja, jó-e a válasz." Egyedi válaszoknál az egyetértése az emberrel 0,29 volt — miközben két ember egyetértése ugyanott −0,03. Rangsorolásra viszont jó.
- „A bírálónk 85%-ban egyetért az emberrel." A puszta egyezés-számolás átlagosan 38,6 százalékponttal becsül túl. A valódi, korrigált érték jóval alacsonyabb.
- „Egy jó metrika elég." A megalapozottság önmagában nem különbözteti meg a „nem találta meg" és a „megtalálta, de nem használta" esetet.
- „A vektoros keresés jobb, mint a kulcsszavas." Egy 2026-os, félmillió céges dokumentumon készült benchmarkban a kulcsszavas keresés 17 ponttal jobb volt.
- „Húsz teszteset elég." Húszon a hibahatár ±19 pont körül van. Ötpontos javulást ott nem lehet kimutatni.
- „A releváns találatok arányát kell maximalizálni." A mérés szerint a véletlen zaj javított, a témába vágó rossz találat viszont akár 67%-ot rontott.
Amit érdemes elvinni
A RAG-mérés nem attól nehéz, hogy nincsenek metrikák — hanem attól, hogy a metrikák megbízhatósága maga is mérési kérdés, és a számok jelentős része optimistább a valóságnál.
Két dolog, ami ennek ellenére működik. Külön mérni a keresést és a választ — mert a diagnózis ezen múlik, nem a pontosabb metrikán. És a bírálómodellt rangsorolásra használni, nem ítélkezésre: arra bizonyítottan alkalmas.
A leghasznosabb dolog pedig, amit ma megtehetsz, egy táblázat három oszloppal: kérdés, helyes válasz, és melyik dokumentumból kell jönnie. Száz sor. Ez a fájl többet ér, mint bármelyik kiértékelő keretrendszer — mert enélkül egyik sem tud mit mérni. A teljes képhez a RAG-magyarázat című pillércikk ad hátteret, a bevezetés tervezéséhez pedig a céges tudásbázis-chatbot témájú írás.