A két szám, ami nem fér meg egymás mellett
2025 nyarán egy MIT-hez köthető kutatócsoport jelentése bejárta a szaksajtót: „a szervezetek 95%-a nulla megtérülést ér el" a generatív AI-ból. A jelentés maga írja oda, hogy az adatok „irányadóak, egyéni interjúk alapján, nem hivatalos vállalati beszámolókból" — a minta 52 interjú és 153 vezetői kérdőív volt, utóbbi négy iparági konferencián gyűjtve. Egy pennsylvaniai egyetemi kutató nyilvánosan azt írta róla: többször végigolvasta a dokumentumot, és nem érti, honnan jön a 95%.
Három hónappal később egy másik egyetemi kutatócsoport 800-nál több vállalati döntéshozót kérdezett meg, 50 millió dollár feletti árbevételű cégeknél. Az eredmény: négyből három vezető pozitív megtérülésről számolt be, és 72%-uk szerint a cégük már követi is a generatív AI nyereséghez, átbocsátáshoz vagy termelékenységhez kötött mutatóit.
Ugyanaz a technológia, ugyanaz a fél év, ugyanaz a módszer — vezetői önbevallás —, és a két eredmény egymás ellentéte. Ha egy kérdésre két komoly felmérés az ellenkezőjét adja, a probléma nem a technológiában van. A mérésben van.
A szám, amit gyakran rosszul idéznek
Nemrég futótűzként terjedt, hogy „a cégek 94%-a nem mér AI-eredményt". Ilyen felmérés nincs. A 94% egy szaklapi főcímből származik, ami egy tanácsadói felmérés 6%-os számából vonta ki: a felmérés szerint a válaszadók 6%-a tekinthető kiemelkedően teljesítőnek — vagyis 94% nem az. Ez a megtérülés hiányáról szól, nem a mérés hiányáról. A kettő nem ugyanaz.
A mérésre viszont van valódi adat, ugyanabból a felmérésből (1 719 válaszadó 97 országból, 2026. május–június): a „van meghatározott folyamatunk arra, hogy számszerűsítsük az AI-kezdeményezéseink hatását" állítást a kiemelkedően teljesítők 52%-a, a többiek 33%-a vállalja.
Vagyis az átlagos cégek nagyjából kétharmadának egyáltalán nincs folyamata arra, hogy megmérje. Ez a szám védhető, és pontosan azt mondja, amit mondani érdemes.
A 40 százalékpont: miért nem kérdezheted meg egyszerűen
Ez a cikk legfontosabb bizonyítéka, mert ugyanaz a csapat mérte a valóságot és az érzetet, ugyanazokon az embereken.
Egy 2025-ös randomizált kísérletben 16 tapasztalt nyílt forráskódú fejlesztő dolgozott 246 valódi feladaton (a feladatokat sorsolták AI-engedélyezett és AI-tiltott csoportba), átlagosan kétórás munkákon, olyan kódbázisokon, amelyeken átlagosan öt éve dolgoztak:
| Mit kérdeztek / mértek | Eredmény |
|---|---|
| Előzetes várakozás | az AI 24%-kal gyorsít |
| A kísérlet után, saját becslés | az AI 20%-kal gyorsított |
| Ténylegesen mért idő | az AI 19%-kal lassított |
A résztvevők tehát 20%-os gyorsulást éreztek, miközben 19%-kal lassabbak lettek. Ugyanez a csapat 2026 tavaszán, 349 technikai munkavállalón végzett önbevallásos felmérésében maga írta le a következtetést: a 2025-ös vizsgálatban az emberek átlagosan 40 százalékponttal becsülték túl az AI hatását a feladatra fordított idejükre. És hozzátették: a felmérésekből származó termelékenységi becslések rendszerint nagyobbak, mint a terepkísérletekből származók.
Van ennek egy őszinte utójátéka is. 2026 februárjában ugyanez a kutatócsoport bejelentette, hogy meg kell változtatnia a kísérleti elrendezését, mert a fejlesztők 30–50%-a közölte: bizonyos feladatokat egyszerűen nem ad be, mert nem akarja AI nélkül megcsinálni. A kontrollcsoport tehát elkezdett kiürülni. Valószínűnek tartják, hogy 2026-ban már nagyobb a gyorsulás, mint amit 2025-ben mértek — de azt is kimondják, hogy erre nagyon gyenge a bizonyítékuk.
A tanulság a cégedre: ha megkérdezed a csapatot, hogy mennyit segít az AI, egy 40 százalékpontos torzítású számot kapsz vissza. Nem azért, mert füllentenek.
Mit mérj, ha nem az érzetet
Az egyik nagy tanácsadói felmérés két száma egymás mellett elmondja az egész történetet: a válaszadók 80%-a érzi úgy, hogy javult az egyéni termelékenysége, miközben 37% lát bármilyen eredményhatást és 6% jelentőset.
A különbség oka nem misztikus. A megtakarított munkaóra csak akkor megtakarítás, ha azt az órát tényleg másra fordítja valaki, vagy ha emiatt nem kell felvenni valakit. Ha csak lazább lett a nap, az nem jelenik meg az eredményben — és nem is fog.
Ebből következik a mérés öt szabálya:
1. Alapvonal a bevezetés előtt, két héten át. Három szám, mindhárom a rendszerből: darabszám, átfutási idő időbélyegből, hibaarány. Ha nincs időbélyeg, a projekt az időbélyegzéssel kezdődik.
2. Egy folyamat, ne öt. Egy randomizált kísérletsorozat egy globális online piactéren hét AI-alkalmazást tesztelt ugyanabban a cégben: az értékesítés előtti chatbot 16,3%-kal, a keresésfinomítás 2,9%-kal, a termékleírás-generálás 2,1%-kal növelte az eladást — a push-üzenet és a hirdetéscím-generálás semmit. Ha ezeket egyszerre vezeted be, a nyerteseket és a veszteseket összemosod.
3. Kontroll, akkor is, ha kicsi a cég. Két ember, két hasonló ügyfélkör, egyikük AI-val, másikuk anélkül, két hét után csere. Ha ez nem megy, váltakozó hetek. Ha az sem, akkor csak előtte–utána van — és akkor írd oda a jelentésbe, hogy ez jelzés, nem bizonyíték.
4. A mérőszám a kimenet, nem az idő. Kiment ajánlat hetente, megnyert ajánlat a kimentek arányában, első válaszig eltelt idő, visszaküldött anyagok aránya, ugyanannyi emberrel számlázott óra. Az „mennyi időt spóroltam" kérdés a 40 százalékpontos csapda.
5. A költségoldal teljesen. Nem csak az előfizetés:
Havi nettó haszon = (megtakarított munkaóra × órabér)
− előfizetés
− (ellenőrzési óra × órabér)
Egyszeri bevezetési költség = bevezetési óra × órabér + képzési óra × órabér
Megtérülési idő (hónap) = egyszeri bevezetési költség / havi nettó haszon
Az ellenőrzési idő az a tétel, amit szinte mindenki kihagy: ha minden kimenetet átnéz valaki három percig, és havonta 400 kimenet van, az 20 óra.
A statisztikai korlát, amit jobb előre tudni
Az a 246 feladatos kísérlet a saját leírása szerint „épp csak elegendő" statisztikai erővel bírt ahhoz, hogy a nulla hatást elvesse. Tizenhat ember, professzionális lebonyolítás, 246 megfigyelés — egyetlen 19%-os hatás kimutatásához.
[Saját számítás] Ha a te folyamatod heti tíz tételt termel, 246 megfigyeléshez közel fél év kell. Ha a várt hatás feleakkora (10%), a szükséges mintaméret nagyjából négyszeresére nő, mert a mintaigény a hatásméret négyzetével fordítottan arányos — az már közel két év.
Ebből az következik, hogy egy kisvállalkozás nem tud statisztikai szignifikanciát elérni a saját folyamatán, és nem is kell megpróbálnia. Amit célozni lehet, az a nagy, szemmel látható különbség: kétszeres darabszám, feleakkora átfutás. Ha csak apró eltérés van, az őszinte válasz az, hogy nem mérhető — nem az, hogy „azért érezhetően jobb".
Mit mondanak a szigorú mérések, amikor mégis sikerül mérni
Érdemes tudni, hogy hol mérnek hatást és hol nem, mert a különbség tanulságos.
| Vizsgálat | Minta | Mit mért | Eredmény |
|---|---|---|---|
| Ügyfélszolgálati bevezetés | 5 179 fő | megoldott ügy óránként | +14% átlag, +34% a kezdőknél, ~0% a tapasztaltaknál |
| Termékfejlesztési terepkísérlet | 776 fő | megoldás minősége | az AI-val dolgozó egyén ugyanolyan jó, mint egy AI nélküli kétfős csapat |
| Hirdetéskészítés | 2 234 fő, 11 024 hirdetés | kimenet és teljesítmény | +50% hirdetés fejenként, de homogénebb kimenet |
| Dán bérszámfejtési adatok | országos, adminisztratív adat | bér és ledolgozott óra | 2%-nál nagyobb hatás kizárva két évvel a bevezetés után |
Az első három a kimenetet mérte közvetlenül: darabot, minőséget, teljesítményt. A negyedik a bérekben és az órákban kereste a hatást, és nem találta — miközben ugyanez a vizsgálat kimutatta, hogy a feladatok átrendeződtek és sokan pályát váltottak.
A különbség nem az AI-ban van, hanem abban, hogy mit mérsz.
A gyakori félreértések
„A 95% azt jelenti, hogy a pilotok 95%-a megbukik." Nem ezt jelenti. A jelentés a megtérülésről állít valamit, konferenciákon gyűjtött kérdőívek alapján, és maga jelöli irányadónak.
„Ha nem látszik a számokban, akkor nem működik." Lehet, hogy csak a mintád kicsi. Lásd fent.
„Ha látszik a számokban, akkor működik." Csak ha volt kontroll. Szezonalitás, egy jó hónap, egy új ügyfél — mind produkál 20%-os javulást önmagában.
„Majd a végén megmérjük." Alapvonal nélkül nincs mit mérni. Ez az egyetlen lépés, amit utólag nem lehet pótolni.
Amit érdemes elvinni
A megtérülés kérdésében a felmérések nem megbízhatóak, mert önbevalláson alapulnak, és az önbevallás 40 százalékponttal téved. A saját cégedben viszont mérhetsz, ha a mérés a bevezetés része, nem utólagos kérdés: két hét alapvonal, egy folyamat, valamilyen kontroll, kimeneti mutató, és a költségoldalon az ellenőrzési idő is.
És ha mégsem látszik semmi, annak két oka lehet: vagy tényleg nincs hatás, vagy a folyamat maradt ugyanaz, csak gyorsabb lett egy lépése. A másodikról — arról, hogy miért nem elég az eszközt lecserélni — a folyamat újratervezéseszól. Az első három hónap felépítését pedig, alapvonallal együtt, a kisvállalkozói AI-stratégiaírja le lépésenként.