Hibakeresés AI-val: reprodukálható módszer

A szám, amit a marketing nem mond

Van egy mérés, ami ugyanazokat a modelleket engedte rá szintetikus és valódi hibákra. A különbség nem árnyalat, hanem nagyságrend.

(Elsőre eltalált hibás sor aránya.)

Egy-öt százalék. Ennyit ér a modell, ha odaadod neki a kódot, és megkérdezed, hol a hiba.

És a hibajegy szövege önmagában a három-hétszeresére növeli ezt — hat-tizenhárom százalékponttal. Nem a modell lett okosabb: te adtál neki fogódzót.

A sorrend, ami harminchét pontot ér

Ez a legkevésbé ismert és leggyakorlatiasabb eredmény az egész témában.

Egy 2026-os konferenciacikk ugyanazt a hibát, ugyanazzal a modellel, ugyanazzal a kóddal vizsgálta — csak a beillesztés sorrendjét változtatta:

Ugyanaz a hiba, ugyanaz a kód. A találati arány a harmadára esik.

Aki bedobja az egész fájlt, sorsjegyet vásárol. A gyanús részt tedd a prompt elejére.

Ami javít — és ami ront

A mérésekből ez az összesítés áll össze:

Az utolsó sor meglepő, ezért érdemes pontosan mondani: egy kutatás kifejezetten hibamódként azonosítja, hogy a stacktrace-ből érkező túl sok gyanús elem szétszórja a modellt. Nem a stacktrace megadása a jó, hanem a megvágott stacktrace.

Vagyis a „minél több kontextus, annál jobb" itt nem igaz. Ami releváns, az segít; ami csak sok, az ront.

A legjobb hozamú beavatkozás pedig az, amit a legkevesebben csinálnak: futásidejű bizonyítékot adni. Nem a kódot, hanem azt, hogy a hiba pillanatában mi volt a változók értéke. Ötven százalék fölötti javulás — egy print áráért.

Ne mondd meg, mit gondolsz

Ez a módszer legnehezebben betartható szabálya, mert pont az ellenkezője annak, amit ösztönösen csinálsz.

Egy nagy mintás mérés — 14 042 kérdés öt feltételben, nagyjából 70 ezer kérdés-válasz pár — azt vizsgálta, mi történik, ha a felhasználó megemlít egy választ. Az eredmény:

• Rossz válasz megemlítése: akár 15 százalékpont pontosságvesztés.
• Jó válasz megemlítése: akár 14,7 pont nyereség.
• A modell a felhasználó javaslatára az esetek 6,2–18,8%-ában módosítja a válaszát.

(Fontos korlát: ez feleletválasztós kérdéseken készült, nem hibakeresésen.)

A hibakereséshez legközelebbi mérés kisebb, de beszédesebb: huszonnégy résztvevő, valódi hibakeresési feladat, kétféle chatbot — egy erősen egyetértő és egy visszafogott. A résztvevők az egyetértő változattal kevésbé javították ki a saját tévhiteiket, és több időt töltöttek haszontalan válaszokra támaszkodva.

És a legfontosabb részlet: a felhasználók többsége nem vette észre, hogy épp megerősítik a tévedésében.

Ebből következik a módszer első szabálya: a modell nem megmondja, hol a hiba — hanem folytatja a kérdésedet. Ezért ne írd le, mit gondolsz, hol a baj. Írd le, mit csináltál, mit vártál, mi történt — és a hipotézisedet tartsd meg magadnak, amíg a modell nem javasolt egyet.

Hogy ez mennyire általános tapasztalat: egy 33 ezer válaszos fejlesztői felmérésben a legnagyobb frusztráció — 66% — az „AI-megoldás, ami majdnem jó, de nem egészen". És 45,2% szerint a generált kód hibakeresése több időt visz el, nem kevesebbet.

Plauzibilis ≠ helyes

Itt a legkeményebb szám, és pont a folyamat végére vonatkozik.

Automatikus programjavításnál megnézték, hogy a teszteken átmenő javítások közül mennyi helyes valójában:

Vagyis a zöld tesztet produkáló javítások 63–84%-a valójában hibás — csak rááll a meglévő tesztkészletre.

És ami ennél is rosszabb: a túlillesztést felismerő eszközök sem működnek. Ugyanez a vizsgálat megállapítja, hogy „az egyszerű véletlen választás az esetek 71–96%-ában felülmúlja az összes élvonalbeli felismerő eszközt".

Nincs gép, ami megmondja helyetted, hogy a javítás jó-e. Neked kell elolvasni. Az erről szóló mérésekről a teszt mint biztonsági háló poszt szól bővebben.

A módszer

1. REPRODUKÁLD ELŐSZÖR, AI NÉLKÜL.
   Ha te nem tudod előhívni, a modell sem fogja. Az 1–5%-os
   találati arány pont azt méri, mi történik enélkül.

2. ÍRD LE A HIBAJEGYET, NE A TIPPEDET.
   Mit csináltál -> mit vártál -> mi történt.  (+6-13 pont)

3. SZŰKÍTS FÁJLRA VAGY SORRA, ha tudsz.
   Ez a mutató a legnagyobb különbséget adja a megoldott és
   a meg nem oldott esetek között.

4. ADJ FUTÁSIDEJŰ BIZONYÍTÉKOT.
   A változók értéke a hiba pillanatában. (+51%)
   Egy print többet ér, mint száz sor kód.

5. A GYANÚS KÓD A PROMPT ELEJÉRE.  (akár +37 pont)

6. VÁGD MEG A STACKTRACE-T.
   A nyers, hosszú trace szétszórja a modellt.

7. A HIPOTÉZISEDET TARTSD MEG, amíg a modell nem javasolt
   egyet. A rossz tipp akár 15 ponttal ront - és nem fogod
   észrevenni.

8. NE FOGADD EL A "ZÖLD A TESZT" VÁLASZT.
   A plauzibilis javítások 63-84%-a hibás.

Tipikus félreértések

• „Odaadom a kódot, és megmondja, hol a hiba." Valódi repóban ez 1–5%-os találati arány. A hibajegy szövege nélkül alig ér valamit.
• „Minél több kontextust adok, annál jobb." A nyers, hosszú stacktrace mérhetően ront. A releváns rész segít, a sok nem.
• „Leírom, mit gondolok, hogy ne induljon el rossz irányba." Pont fordítva: a rossz hipotézis megemlítése akár tizenöt pontot visz — és a felhasználók többsége nem veszi észre, hogy megerősítették a tévedésében.
• „Mindegy, milyen sorrendben illesztem be." Ugyanaz a hiba, ugyanaz a kód, más sorrend: 57% vagy 20%.
• „Zöld a teszt, megvan a javítás." A teszten átmenő javítások többsége túlillesztett. És a felismerő eszközöknél a véletlen választás is jobb.

Amit érdemes elvinni

A modell nem hibakeresőt kapott, hanem szövegkiegészítést. Ezért a hibakeresésnél nem az a kérdés, melyik modellt használod, hanem mit adsz oda neki: reprodukciót, hibaleírást, helymegjelölést, futásidejű értékeket — és mindezt a helyes sorrendben. A saját tippedet hagyd ki. És a végén ugyanaz a szabály, mint mindenhol: a zöld teszt nem bizonyíték.

A generált javítás átnézéséről a generált kód átvizsgálása poszt szól; a feladat helyes kiszabásáról pedig az első feladat egy agenttel poszt.