A független mérés
Van egy 2026 márciusi mérés, ami szándékosan valódi hibákra fókuszál, nem stílusra: 174 ellenőrzött pull request, és a metrikái közt ott a jel-zaj arány is.
| Beállítás | Felidézés | Precizitás | Jel-zaj arány |
|---|---|---|---|
| Egylépéses, erős modell | 27,01% | 3,56% | 5,11 |
| Egylépéses, kis modell | 18,39% | 3,51% | 2,89 |
| Önreflexiós, erős modell | 32,76% | 5,10% | 1,95 |
| Önreflexiós, kis modell | 27,59% | 3,19% | 0,91 |
Két dolgot olvass ki belőle.
Az egyik: a valódi hibáknak 18–33%-át találja meg, és amit mond, annak 3–5%-a valódi. Húsz megjegyzésből egy.
A másik, ami fontosabb: az önreflexiós agent javította a felidézést — több valódi hibát talált —, de a szerzők szerint „egyúttal meredek árat fizet a jelintegritásban". A legrosszabb esetben a jel-zaj arány 0,91: több a zaj, mint a jel.
Ez a legközelebbi mutató, amink a review fatigue-ra van. Nem attól fárad el a bíráló, hogy sok a hiba, hanem attól, hogy sok a téves riasztás.
(Fontos korlát: ez a mérés általános modell- és agent-paradigmákat vizsgál, nem a nevesített kereskedelmi termékeket.)
A gyártói mérés — ami lektorált, és mást mond
Van egy másik szám, ami ugyanolyan komolyan veendő: egy nagy fejlesztőeszköz-gyártó egyéves kiértékelést publikált a saját platformján, és a tanulmány lektorált konferenciakiadványban jelent meg.
- A generált megjegyzések 38,7%-a kódváltozást váltott ki a következő commitokban.
- A PR-átfutás 30,8%-kal rövidült.
- 35,6%-kal kevesebb ember által írt megjegyzés kellett.
Ez látszólag szöges ellentéte az előzőnek. Pedig nem az.
Miért nem mond ellent a két szám
Erre is van mérés, és ez a cikk legfontosabb módszertani része.
Egy 2026-os vizsgálat 2 604 bot által generált megjegyzést nézett meg, amiket valódi mérnökök „javítva" vagy „nem javítjuk" címkével láttak el. Aztán összevetette, mennyire egyezik ezzel az automatizált, modellel végzett kiértékelés: 0,44 és 0,62 közötti egyezés.
A magyarázat szó szerint: a fejlesztői döntések „nemcsak a megjegyzés minőségét tükrözik, hanem a kontextuális korlátokat is". Az interjúk szerint a címkézési viselkedést „erősen befolyásolja a munkafolyamat nyomása és a szervezeti korlátok".
Magyarul: az, hogy valaki kijavított-e egy megjegyzést, nem ugyanaz, mint hogy a megjegyzés helyes volt. Egy elfoglalt fejlesztő a könnyű megjegyzést kijavítja, a nehezet elengedi — függetlenül attól, melyik volt fontosabb.
A 38,7% és a 3,2% tehát nem ugyanaz a mérőszám. Az egyik azt méri, mennyire hat a bot a viselkedésre; a másik azt, mennyire van igaza.
Mibe kerül
A piac ma így néz ki, listaárak alapján:
- Ingyenes szint van a legtöbb szolgáltatónál, jellemzően korlátozott számú átvizsgálással, és külön ingyenes csomag nyílt forrású projekteknek.
- Fizetős csomagok nagyjából havi 20–72 dollár között fejenként, éves fizetéssel; vannak használatalapú, kreditre épülő modellek is.
- Vállalati szint: saját üzemeltetés, egyszeri bérlős vagy helyi telepítés, jogosultságkezelés, audit napló — árat ezekre ritkán közölnek.
- Nyílt forrású alternatíva is van, saját modellkulccsal futtatva.
Az ár azonban nem itt dől el.
A kérdés, ami tényleg dönt: mit lát a bot, és tanítanak-e rajta
Ez a cikk gyakorlati haszna, mert a gyártói alapértelmezések nem egyformák — és szerződésben különböznek.
Az egyik szolgáltató dokumentációja szó szerint azt írja: „soha nem használja az ügyfélkódot tanításra", az adatmegőrzési beállítástól függetlenül. Ugyanitt viszont azt is kiírja, hogy a kódot megosztja a modellszolgáltatókkal — kizárólag az átvizsgálás céljából.
Egy másik, hasonló árfekvésű szolgáltató ezt írja: „aggregálhatja és anonimizálhatja az ügyféladatot… mesterséges intelligencia algoritmusok és modellek tanítására és fejlesztésére" — és hozzáteszi, hogy ez a fiókbeállításokban kikapcsolható.
Ugyanaz az árszint, két ellentétes alapértelmezés. Zárt kódnál ez a különbség dönt, nem a funkciólista.
Amit érdemes végigkérdezni, mielőtt bevezetsz egyet:
1. Tanít-e a kódomon? Alapból IGEN vagy NEM?
És ha igen, hol kapcsolom ki?
2. Melyik modellszolgáltatóhoz megy ki a kód, és milyen
feltételekkel?
3. Meddig tárolják? Mi történik, ha felmondom?
4. Van-e saját üzemeltetés / saját modellkulcs / helyi
telepítés? Milyen csomagtól?
5. Hol van az adat földrajzilag?
6. Van-e független biztonsági tanúsítvány, és elkérhető-e
a jelentés?
Hogyan teszteld le magadnak — húsz PR-on
Ez az egyetlen módszer, ami a te kódbázisodra ad választ. Két óra munka.
1. VÁLASSZ 20 MÁR BEMERGELT PR-T az elmúlt fél évből.
Olyanokat, ahol TUDOD, mi lett a vége: melyikből lett
hibajegy, melyikhez kellett utólagos javítás.
2. FUTTASD RÁ A BOTOT, vakon - a bíráló ne lássa
a megjegyzéseit előre.
3. SZÁMOLD MEG HÁRMAT:
- hány VALÓDI hibát talált meg abból, amit utólag
tudsz, hogy ott volt -> felidézés
- a megjegyzéseinek hány százaléka volt valódi
-> precizitás
- hány megjegyzés volt tiszta zaj -> ezt a bírálóid
fogják elszenvedni
4. VESD ÖSSZE azzal, amit a csapatod amúgy megtalált.
Ha a bot csak azt találja meg, amit az ember is, akkor
nem hibát fog, hanem időt vesz el.
5. DÖNTS SZÁMMAL, ne a demóval.
A demó mindig jól sikerül - válogatott PR-on.
Amit el kell ismerni
A tisztesség kedvéért három dolog, amit nem tudunk:
- Nincs független precizitás- és felidézésmérés a nevesített kereskedelmi botokról, valódi pull requesteken. A független mérés paradigmákat vizsgál, nem termékeket; a gyártói összehasonlítások marketinganyagok.
- Nincs független mérés arról, hogy a gépi átvizsgálás csökkenti-e a kicsúszott hibák arányát. A gyártói tanulmány átfutást és kiváltott kódváltozást mér, nem hibaarányt.
- A review fatigue nincs számszerűsítve a szakirodalomban. A legközelebbi mutató a fenti jel-zaj arány.
Tipikus félreértések
- „A bot a megjegyzések 38%-át találja el." Ez azt méri, hány megjegyzésre született kódváltozás — nem azt, hány volt helyes. A precizitásmérés 3–5%-ot mutat.
- „Minél több hibát talál, annál jobb." Az önreflexiós beállítás több valódi hibát talált, de a jel-zaj arány közben 0,91-re esett: több zaj, mint jel.
- „Biztonságos, mert fizetek érte." Két hasonló árú szolgáltató közül az egyik soha nem tanít az ügyfélkódon, a másik alapból taníthat. Szerződésben különböznek.
- „A demó meggyőző volt." A demó válogatott PR-on fut. Húsz saját, már bemergelt PR két óra alatt megmondja az igazat.
- „Kiváltja az emberi bírálatot." A mért haszon az átfutásban és az emberi megjegyzések számában van. A felelősség nem mozdult.
Amit érdemes elvinni
Az AI a code review-ban nem a hibaarányt javítja, hanem az átfutást — a legjobb mért eredmény is erről szól. Amit kapsz: gyorsabb első visszajelzés és kevesebb apró emberi megjegyzés. Amit nem: garanciát arra, hogy a valódi hibák megvannak, hiszen a valódi hibáknak is csak harmadát-ötödét fogja meg.
Két dolgon dőljön el a bevezetés: mit ír a szerződés az adataidról, és mit mutat húsz saját, már bemergelt PR.
Hogy mit érdemes ezen felül kézzel átnézni, arról a generált kód átvizsgálása poszt szól; a biztonsági oldal számairól pedig az AI-kód biztonsági számlája poszt.