Először: erre mérés nincs
Dedikált, lektorált vizsgálat kifejezetten arról, hogy egy visszatérő riport automatizálása mennyi időt takarít meg, nem létezik. Kerestem.
Ami van, az kétféle. Az egyik az általános írásbeli munka mérése: egy 444 fős kísérletben a foglalkozásspecifikus írásfeladatok ideje érdemben csökkent, a minőség pedig nőtt. A másik a 6 000 fős, 56 cégre kiterjedő randomizált vállalati kísérlet, telemetriával mérve: a tényleges használók heti fél órával kevesebbet olvastak levelet, és 12%-kal gyorsabban zárták le a dokumentumaikat.
És van egy harmadik, amit gyakran idéznek: egy 11 749 fős iparági felmérésben a rendszeres AI-használók 42%-a mondta, hogy heti egy teljes napot vagy többet takarít meg. Ugyanez a felmérés viszont azt is közli, hogy a válaszadók 66%-a nem kap semmilyen iránymutatást arról, mit kezdjen a felszabaduló idővel, és több mint felük nem is fordítja értékesebb munkára.
Az „egy nap hetente" nem mért idő, hanem becsült. És ebben a témában az önbecslés bizonyítottan felfelé téved — erről a valódi időnyereség poszt szól számokkal.
Amit viszont mérnek: hol romlik el
Itt van a 2026-os anyag legjobb része. Egy benchmark kifejezetten adatelemző agenteket tesztelt: 54 természetes nyelvű kérdés, 12 adathalmaz, kilenc szakterület, négy különböző adatbázisrendszer.
| Rendszer | Elsőre helyes válasz |
|---|---|
| A legjobb | 38% |
| A második | 30% |
| A harmadik | 25% |
| A negyedik | 23% |
| Az ötödik | 9% |
És ami fontosabb: ötven próbálkozásból is csak 69% jött össze a legjobbnál. Vagyis nem véletlen ingadozásról van szó, hanem szerkezeti korlátról. Egy adathalmazon minden agent nulla százalékot ért el, minden próbálkozásban.
A hibák megoszlása megmondja, mire kell figyelni:
| Hibatípus | Arány | Példa |
|---|---|---|
| Implementációs hiba | 45% | egy mintaillesztő, ami a MALE mintát megtalálja a FEMALE szóban |
| Hibás terv | 40% | évtizedes átlagot úgy számol, hogy előbb tételenként átlagol, nem az összes adatra |
| Rossz adat kiválasztása | 15% | rossz oszlopot vagy táblát használ — miközben sikeresnek látszik |
Mindhárom közös vonása, hogy nem dob hibát. A riport elkészül, szépen néz ki, és rossz.
A néma hiba
Ez a rész a cikk lényege.
Az első fajta: a csendes leállás. A mérésben az egyik modell az esetek 63,4%-ában üres választ adott, miután nagy, csonkolt eredményt kapott vissza. Nem próbált másik utat, nem jelezte, hogy baj van. Egyszerűen nem talált semmit — és ezt eredményként adta vissza.
A második fajta: a mintaillesztéssel kinyert adat. A vizsgálat megjegyzi, hogy minden tesztelt agent szabályos kifejezésekkel próbált strukturált értéket kinyerni szabad szöveges mezőkből, és egyik sem próbált nyelvi elemzést. Változatos dátumformátumokon ez rendszeresen elhasal — hibaüzenet nélkül.
A harmadik, ami a karbantartást lehetetlenné teszi: egy táblázatos munkafolyamatokat mérő másik benchmarkon a legjobb modell összesített pontossága 34,9% volt, hibakeresésen viszont 12%. Vagyis ha egy automatizált riport elromlik, az agent nem fogja megtalálni, mi romlott el. A hibakeresés a mért leggyengébb képessége.
Ezt érdemes egyben elolvasni: ha havonta automatizálsz egy riportot, és a rendszer az esetek jelentős részében elront valamit, de közben nem dob hibát, akkor nem automatizáltál — rejtett kockázatot vettél fel.
A riport hossza a kockázat
Van egy egyszerű számítás, ami megmagyarázza, miért romlanak el a hosszú riportok akkor is, ha minden egyes szám külön-külön megbízható.
Ha a riport N metrikát közöl, és metrikánként p a hiba valószínűsége, akkor a teljesen hibátlan riport valószínűsége (1 − p)^N.
Vegyünk egy nagyon kegyes feltevést: minden huszadik metrika hibás (p = 0,05).
| Metrikák száma | Esély a hibátlan riportra |
|---|---|
| 5 | 77,4% |
| 10 | 59,9% |
| 20 | 35,8% |
(Saját számítás. Képlet: P(hibátlan) = (1 − p)^N. Feltétel, hogy a hibák függetlenek — a valóságban gyakran korreláltak, tehát az eredmény ennél jobb is, rosszabb is lehet.)
A tanulság nem az, hogy a modell rossz. Az, hogy a riport hosszú. Aki húsz metrikás havi riportot automatizál, annál közel kétharmad eséllyel van benne legalább egy hiba — 95%-os metrikánkénti pontosság mellett.
Ebből egyenesen következik a legfontosabb tervezési döntés: metrikánkénti ellenőrzés kell, nem riportszintű „jónak tűnik".
Az ellenőrző, amit ellenőrizni kell
Kézenfekvő ötlet, hogy a riportot egy másik AI nézze át. Ez működhet — de van hozzá egy szám, amit érdemes ismerni.
Egy százmillió felhasználót kiszolgáló rendszer nyilvánosságra hozta, hogyan építették fel a saját automatikus ellenőrzőiket. Az ellenőrzők közti egyetértés a kiinduló, kézzel írt utasításokkal gyakorlatilag nulla volt. Optimalizálás után 0,745 és 0,950 között.
Vagyis egy rosszul megírt automatikus ellenőrző nulla információt ad — miközben úgy néz ki, mintha ellenőrizne.
A négy ellenőrzőjük pontossága optimalizálás előtt és után:
| Mit ellenőriz | Előtte | Utána |
|---|---|---|
| Ismételt hiba | 77,8% | 82,0% |
| Bemenet-ellenőrzés | 68,9% | 88,9% |
| Adatellenőrzés | 58,1% | 73,0% |
| Tömörség | 74,0% | 76,9% |
A leggyengébb az adatellenőrzés — pont az, ami egy riportnál a legfontosabb.
A recept: öt réteg
Ez a rész működő rendszerek leírásából jön, nem szabványból — ilyen szabvány nincs.
1. ELŐBB AZ ESZKÖZ, AZTÁN A SZÖVEG
A modell ne mondja meg a számot. Hívja meg azt,
ami lekéri. A produkciós rendszerek ezzel oldották
meg a kitalált határidőket.
2. ÉRTELMES ADATRÉTEG, NE NYERS SÉMA
Ugyanaz a modell szemantikus réteggel 51%, anélkül
44%. Hét pont a megfogalmazásból, nem a modellből.
3. "NINCS ADAT" JELZÉS, KÍVÜLRŐL KIKÉNYSZERÍTVE
A lekérdezés adja vissza a sorszámot. A riport írja
ki. Üres eredménynél álljon meg, ne írjon nullát.
4. METRIKÁNKÉNTI TARTOMÁNYELLENŐRZÉS
Minden számhoz tartozzon egy elvárt sáv. Ami kilóg,
az megjelölve megy ki, nem simán.
5. HAVI ÖSSZEVETÉS AZ ELŐZŐVEL
Nem a riport helyességét nézed, hanem a változást.
A csendes hiba jellemzően ugrásként látszik.
A harmadik pont a legfontosabb és a legolcsóbb. A mért 63,4%-os néma üres válasz pont azt mutatja, hogy a modell magától nem jelzi, ha nincs adata. Ezt nem lehet prompt ban kérni — a folyamatba kell tenni.
Az ötödik pont pedig azért kell, mert a hibakeresésre a gép a leggyengébb. Ha havonta összeveted az előzővel, nem kell megtalálnod a hibát: elég, ha látod, hogy valami elmozdult.
Ütemezés és elszámolás
Két gyakorlati részlet, ami a havi számlát eldönti.
Az ütemezés finomsága csomagfüggő. Az egyik nagy automatizáló szolgáltatónál az ellenőrzési intervallum ingyenes szinten 15 perc, fizetős szinten 2 perc, a felső csomagokban 1 perc. Egy havi riportnál ez lényegtelen — egy napi vagy órás értesítésnél nem.
Az elszámolási egység viszont nagyon nem mindegy. Van olyan szolgáltató, ahol minden egyes lépés külön elszámolási tétel, és van olyan, ahol a teljes munkafolyamat egy futtatása az egység, függetlenül attól, hány lépésből áll és mennyi adatot dolgoz fel. Egy sok lépéses riportnál ez a kettő között többszörös különbséget jelent — és pont a riportautomatizálás az a feladat, ami sok lépésből áll.
Tipikus félreértések
- „Mérték, hogy X órát spórol a riportautomatizálás." Nem mérték. Az idézett számok általános írásbeli munkára vagy önbevallásra vonatkoznak.
- „Ha hibázik, majd szól." A mért hibák túlnyomó része néma: rossz mintaillesztés, rossz terv, rossz tábla — mind hibaüzenet nélkül.
- „Ha nincs adat, üresen hagyja, az látszik." Nem látszik. A mérésben az egyik modell az esetek közel kétharmadában adott csendben üres választ, ami a riportban nullaként jelenik meg.
- „Majd megkérem, hogy keresse meg, mi romlott el." Ez a mért leggyengébb képessége: 12%.
- „Egy másik AI ellenőrzi." Csak ha az ellenőrzőt magát is kimérted. Kézzel írt utasítással az egyetértése nulla is lehet, miközben magabiztosan minősít.
- „Minél több metrika, annál értékesebb a riport." Fordítva is igaz: húsz metrikánál már közel kétharmad eséllyel van benne hiba, ugyanazzal a metrikánkénti pontossággal.
Amit érdemes elvinni
A riportautomatizálásnál nem a generálás a nehéz rész, hanem az, hogy észreveszed-e, ha elromlott. A mérések egybehangzóan azt mutatják, hogy a hibák némák: nincs hibaüzenet, nincs figyelmeztetés, csak egy szám, ami rossz.
Ezért van a receptben a sorszám, a tartomány és az előző hónappal való összevetés. Egyik sem AI — mindhárom hagyományos adatellenőrzés. A gép a megfogalmazást viszi el, az ellenőrzés marad ott, ahol volt.
Hogy a táblázatos adaton belül pontosan hol csal a gép, arról a táblázatok poszt szól hibatipológiával; a projektriportok felőli oldalról pedig a projektkezelés poszt.