A szorzás, ami mindent megmagyaráz
A képlet egyszerű: ha egy lépés p valószínűséggel sikerül, és n lépés kell, akkor a végponti siker p⁽ⁿ⁾.
| Lépésenkénti pontosság | 5 lépés | 10 lépés | 20 lépés | 50 lépés | 100 lépés |
|---|---|---|---|---|---|
| 99,9% | 99,5% | 99,0% | 98,0% | 95,1% | 90,5% |
| 99,5% | 97,5% | 95,1% | 90,5% | 77,8% | 60,6% |
| 99,0% | 95,1% | 90,4% | 81,8% | 60,5% | 36,6% |
| 98,0% | 90,4% | 81,7% | 66,8% | 36,4% | 13,3% |
| 95,0% | 77,4% | 59,9% | 35,8% | 7,7% | 0,6% |
| 90,0% | 59,0% | 34,9% | 12,2% | 0,5% | 0,0% |
(Saját számítás. A modell feltételezi, hogy a lépések függetlenek, és hogy egyetlen hibás lépés megbuktatja a feladatot. A valóságban egyik sem pontosan igaz — erről lentebb.)
Olvasd el a 98%-os sort. Ez egy nagyon jó agent: húsz lépésből tizenkilencet hibátlanul csinál. És a feladatok harmadát elrontja.
A megfordítás, ami megdöbbentő
Fordítsuk meg a kérdést: mekkora lépéspontosság kell egy adott végponti célhoz?
| Lépésszám | 90%-os végponti cél | 95%-os cél | 99%-os cél |
|---|---|---|---|
| 5 | 97,9% | 99,0% | 99,8% |
| 10 | 99,0% | 99,5% | 99,90% |
| 20 | 99,475% | 99,74% | 99,95% |
| 50 | 99,79% | 99,90% | 99,98% |
| 100 | 99,895% | 99,95% | 99,99% |
(Saját számítás: a szükséges lépéspontosság a cél n-edik gyöke.)
Húsz lépésnél a „kilencvenszázalékos agent" nem 90%-os lépéspontosságot jelent, hanem 99,5%-osat. Ez a különbség az, amit a felhasználók úgy élnek meg, hogy „majdnem jó, de valahol mindig elrontja".
Valódi mérés: egy hívás vagy több kör?
Ez nem csak elmélet. Van benchmark , ami ugyanazon a modellen összeveti az egyetlen eszközhívás pontosságát a több körös feladatéval.
| Egyetlen hívás | Több kör | Relatív esés | |
|---|---|---|---|
| A legjobb modellek | 86–91% | 53–68% | −22% … −38% |
| A leggyengébb eredmény a mezőnyben | 85,4% | 33,9% | −60% |
(Saját számítás a nyilvános ranglista adataiból, 2026. áprilisi állapot.)
A modellek tehát közel 90%-os pontossággal hívnak meg egyetlen függvényt — de amint többször kell ezt egymás után megtenniük, 53 és 68% közé esnek.
És van egy külön, elválasztható hatás. Ugyanez a benchmark méri a hosszú kontextusú változatot is:
| Több kör, alap | Több kör, hosszú kontextussal | Esés | |
|---|---|---|---|
| A mezőny élmezőnye | 63–81% | 56–70% | modellenként −0,5 … −10,5 pont |
Vagyis két külön dolog rontja az eredményt. A lépésszám önmagában 20–33 százalékpontot visz el, és a hosszú kontextus ezen felül még 5–10-et — modellenként 0,5 és 10,5 pont között, a hét vizsgált modell mediánja 8 pont.
Nem a nehézség, hanem a végrehajtás
Van egy 2025-ös kísérlet, ami elegánsan szétválasztja a tervezést és a végrehajtást: explicit tervet és minden szükséges tudást megad a modellnek, és csak azt méri, végre tudja-e hajtani.
Az eredmény:
- Majdnem minden modell 100%-os pontossággal csinálja meg az első lépést.
- A legjobb modell pontossága 15 lépésen belül 50% alá esik.
Ez az empirikus cáfolata annak, hogy a hosszú feladat azért bukik el, mert „nehéz". A tudás megvan, a terv megvan — a végrehajtás romlik el.
És van egy második, kellemetlenebb lelet ugyaninnen, amit önkondicionálásnak neveztek el: ha a kontextusban ott vannak a modell saját korábbi hibái, akkor nő a további hibázás valószínűsége. Minél több hibát injektáltak a kontextusba, annál rosszabb lett a századik lépésnél a pontosság.
Ez nem a hosszú kontextus kezelésének problémája, és nem szűnik meg attól, hogy nagyobb a modell. Ami segít rajta: a gondolkodó üzemmód.
A 80%-os horizont, ami nem mozdult
Van egy metrika, ami azt méri, milyen hosszú emberi munkának megfelelő feladatot old meg egy modell adott valószínűséggel. Két értéket szoktak közölni: az 50%-os és a 80%-os horizontot.
A hét év adatából egyetlen arány ugrik ki: a 80%-os horizont végig 4–6-szor rövidebb az 50%-osnál.
A mérés szerzőinek megfogalmazásában: még azok a modellek is, amelyek néha sikeresek nehéz és sokféle feladaton, nem tudják megbízhatóan elvégezni a közepes hosszúságú feladatokat.
Ez a legfontosabb egyetlen szám ebben a témában. Nem az számít, milyen hosszú feladatot old meg néha — hanem hogy milyen hosszút old meg megbízhatóan. És a kettő között hét éve ugyanakkora a szakadék.
Hol romlik el? Hibatipológia mérésből
Van egy vizsgálat, ami 1 642 valódi, annotált agent-futást dolgozott fel hét különböző keretrendszerből, emberi annotátorok közötti 0,88-as egyetértéssel — ez módszertanilag erős.
Tizennégy hibamódot azonosítottak, három csoportban:
| Csoport | Arány | A legfontosabb hibamód benne |
|---|---|---|
| Rendszertervezési hiba | 44,2% | lépésismétlés, hurok — 15,7% (a leggyakoribb egyetlen hibamód) |
| Agentek közti félreértés | 32,3% | érvelés–cselekvés eltérése — 13,2% |
| Ellenőrzés hiánya | 23,5% | hibás ellenőrzés — 9,1%, hiányzó ellenőrzés — 8,2% |
Néhány további tétel, ami a gyakorlatban ismerős lesz:
- nem ismeri fel a leállási feltételt: 12,4% — vagyis nem tudja, mikor van kész;
- feladat-specifikáció megsértése: 11,8% — mást csinál, mint amit kértél;
- idő előtti leállás: 6,2% — azt hiszi, kész van, pedig nem;
- nem kérdez vissza tisztázásért: 6,8%.
Két dolog, amit érdemes kiemelni ebből. Az egyik: a hurok a leggyakoribb egyetlen hibamód — az agent nem elrontja a feladatot, hanem nem tud kijönni belőle. A másik: a „nem tudja, mikor van kész" és az „idő előtt leáll" együtt 18,6% — vagyis majdnem minden ötödik hiba a leállásról szól, nem a munkáról.
(Egy korlát: ez a tipológia nem tartalmaz önálló kategóriát a rossz eszközválasztásra.)
Mit segít, és mit nem?
Az önjavítás nem. Egy konferenciakiadványban megjelent vizsgálat szerint a modellek külső visszajelzés nélkül nem tudják kijavítani a saját érvelésüket, és időnként az önjavítás után rosszabb lesz a teljesítmény.
A külső ellenőrzés viszont igen, és mérhetően. Ugyanaz a fenti vizsgálat két beavatkozást is végigmért, azonos alapmodellel, csak a rendszer felépítését változtatva:
| Beavatkozás | Hatás |
|---|---|
| A munkafolyamat átalakítása | +9,4 százalékpont |
| Az ellenőrzési lépés megerősítése | +15,6 százalékpont |
Ez a cikk legfontosabb gyakorlati üzenete: a különbség nem a modellben van, hanem abban, hogy van-e a rendszerben külső, determinisztikus ellenőrzési pont. Az önellenőrzés nem javít. A külső verifikáció igen.
És az újrapróbálkozás nem ingyenes. Ha a folyamat mellékhatásos — ír adatbázisba, levelet küld, megrendelést ad fel —, akkor a második próbálkozás nem „még egy esély", hanem még egy művelet.
Az ellensúly: azért javult
Ez a fejezet kötelező, különben a cikk hamis képet ad.
A mérhető képesség gyorsan nő. Az 50%-os horizont duplázódási ideje a teljes idősoron 188 nap, 2023 óta viszont 129 nap — a legfrissebb szegmensen még rövidebb. Konkrétan: egy 2025 februári modell 50%-os horizontja 60 perc volt, egy 2026 áprilisi előzetesé 1 045 perc. Ez tizenhétszeres növekedés tizennégy hónap alatt.
De négy fenntartás tartozik hozzá, és mind a négyet ki kell mondani:
- A bizonytalansági sávok hatalmasak. Az egyik modellnél a mért 719 perc mellé tartozó sáv 317-től 3 634 percig terjed — a felső határ tizenegyszerese az alsónak.
- A leghosszabb feladatoknál az emberi referencia hiányos. A mérők saját közlése szerint a nyolc óránál hosszabb feladatok közül 31-ből 5-nek van ténylegesen mért emberi alapvonala.
- A benchmark elszennyeződik. Egy 2026 júniusi értékelésnél a mérők azt írták, hogy a vizsgált modell minden korábbinál nagyobb arányban próbált csalni — kihasználta a kiértékelés hibáit és rejtett forráskódot nyert ki. A mért horizont a csalás kezelésétől függően 11 óra, 71 óra vagy 270 óra fölött volt, és a mérők maguk írták oda, hogy egyik számot sem tekintik megbízható mérésnek.
- A 80%-os horizont továbbra is 4–6-szor rövidebb. A képesség nőtt, az arány nem változott — a „néha megcsinálja" és a „mindig megcsinálja" közti szakadék ugyanakkora, mint hét éve.
Tipikus félreértések
- „Ez egy 95%-os agent." Egy lépésre igen. Húsz lépésnél 35,8% a végponti siker.
- „Ha elrontja, futtasd újra." Ha a folyamat mellékhatásos, a második futás nem javítás, hanem még egy művelet.
- „Kérjük meg, hogy ellenőrizze magát." A mérés szerint az önjavítás külső visszajelzés nélkül nem segít, és néha ront.
- „A hosszú feladat azért nehéz, mert bonyolult." Egy kísérletben teljes tervet és tudást adtak a modellnek, és a pontosság így is 50% alá esett tizenöt lépésen belül.
- „A nagyobb modell megoldja." Az önkondicionálás — hogy a saját korábbi hibái tovább rontják a teljesítményt — a mérés szerint nem szűnik meg a modellmérettel.
- „Az agent elrontja a feladatot." A leggyakoribb egyetlen hibamód a hurok: nem elrontja, hanem nem tud kijönni belőle.
Amit érdemes elvinni
Három mondat, amit érdemes fejben tartani, ha agentet vezetsz be.
Az első: a lépésszám a legfontosabb tervezési döntés. Nem a modell. Húsz lépésből öt lépéssé alakítani egy feladatot többet ér, mint bármelyik modellváltás.
A második: külső ellenőrzési pont kell, nem önellenőrzés. A mérés szerint az előbbi 15 pontot ér, az utóbbi nullát vagy annál kevesebbet.
A harmadik: a „néha megcsinálja" nem üzleti szám. Amit el kell dönteni, az a nyolcból nyolcszori siker — és pont erről van a legkevesebb nyilvános adat.
Hogy hova érdemes tenni az emberi jóváhagyást ebben a láncban, arról az ember a folyamatban poszt szól mérésekkel; a feladat felbontásáról és a tiszta kontextusról pedig a subagentek és a párhuzamos munka poszt.