Három dokumentált kudarc, mielőtt bármit terveznél
1. A chatbot mondata a cég mondata. A fenti ügyben a bot azt írta, hogy a kedvezmény visszamenőleg is igényelhető 90 napon belül. A cég saját weboldalán, egy statikus lapon ennek az ellenkezője állt. A bíróság megállapítása: a vállalatnak ésszerű gondossággal kell biztosítania, hogy a közlései pontosak és nem félrevezetők.
Ez nem technikai hiba volt, hanem ellentmondás két saját forrás között. Erről szól bővebben a tudásbázis frissen tartása című írás.
2. A bot kitalált egy szabályzatot. 2025 áprilisában egy fejlesztőeszköz ügyfélszolgálati botja — emberi néven aláírva a leveleket — azt közölte, hogy a termék nem használható több gépen. Ilyen szabály sosem létezett. A háttérben egy valódi hiba volt: egy versenyhelyzet kiléptette a felhasználókat, és a bot erre kitalált egy magyarázatot.
A cég társalapítójának válasza: „Sajnos ez egy helytelen válasz volt egy első vonalbeli AI-támogató bottól." Amit utána bevezettek: az AI-válaszokat azóta egyértelműen megjelölik.
Ez a legtanulságosabb eset a három közül, mert nem rossz forrásból dolgozott. A tudásbázis ban egyszerűen nem volt ilyen szabály. A bot nem talált választ — és gyártott egyet.
3. A hatósági chatbot törvénysértésre biztatott. Egy nagyvárosi önkormányzat vállalkozóknak szánt chatbotja többek között azt állította, hogy a háztulajdonosnak nem kell elfogadnia lakhatási utalványt, hogy a bérlő kizárása jogszerű, és hogy a vállalkozás lehet készpénzmentes. Mindhárom helyi jogszabályba ütközik.
És a legfontosabb részlet: a bot a dokumentált hibák nyilvánosságra kerülése után hónapokkal is élt. Ez nem technikai, hanem szervezeti kudarc: nem volt kiértékelés, nem volt küszöb, és nem volt kikapcsolási kritérium.
A jó hír, számokkal — és mi van mögötte
A leggyakrabban idézett sikertörténet egy nagy pénzügyi szolgáltatóé. A cég saját sajtóközleménye szerint „a tanácsadói csapatok 98%-a bevezette az asszisztenst."
A részletszámok viszont a szolgáltató esettanulmányából jönnek: 100 ezer dokumentum a tudásbázisban, korábban 7 000 kérdésre tudtak válaszolni, és a dokumentum-elérési arány 20%-ról 80%-ra nőtt.
Két dolgot érdemes ehhez hozzátenni. Az egyik: a 98% a cég saját közlése, tehát erős forrás — de „bevezette", nem „naponta használja". A kettő nem ugyanaz. A másik: a 20%→80% szám a szolgáltató marketinganyagából való, módszertan nélkül — nem derül ki, hogyan mérték.
És a szám, amit mindenki idéz
Az „AI-projektek 95%-a megbukik" állítás egy 2025-ös jelentésből származik. Érdemes tudni, mi van mögötte:
| Módszertan | Mennyi |
|---|---|
| Strukturált interjú | 52 |
| Megkérdezett vezető, négy konferencián | 153 |
| Átnézett, nyilvánosan bejelentett kezdeményezés | 300+ |
| Kutatási időszak | 2025. január – június |
Ez nem lektorált kutatás, és a minta nem reprezentatív. A címszám ezért óvatosan kezelendő.
Ugyanebből a jelentésből viszont van egy sokkal hasznosabb megállapítás — ugyanazzal a fenntartással, mert ugyanabból a mintából jön: a külső partnerrel végzett bevezetések 66%-a volt sikeres, a saját fejlesztéseké 33%, és a dolgozói használat is nagyjából kétszerese volt a külső eszközöknél.
A meglepetés: kezdd kulcsszavas kereséssel
Ez a cikk legellentmondásosabb tanácsa, de mérés áll mögötte.
2026 májusában megjelent egy benchmark , ami kifejezetten céges belső tudásra épül: nagyjából félmillió dokumentum kilenc forrásból — csevegőüzenetek, levelek, feladatkezelő, dokumentumtár, hibajegyek, jegyzőkönyvek. Ötszáz kérdés, tíz kategóriában.
| Módszer | Helyesség | Dokumentum-recall |
|---|---|---|
| Kulcsszavas keresés | 68,8% | 68,4% |
| Beágyazásos keresés | 51,4% | 46,0% |
Tizenhét pont különbség — a kulcsszavas keresés javára.
A tanulság nem az, hogy a vektor os keresés rossz, hanem hogy a céges adat érdemben más, mint a nyilvános benchmarkok, amikre a legtöbb ajánlás épül. Aki azzal kezd, hogy vektoradatbázist vesz, lehet, hogy rosszabb helyről indul, mint aki kulcsszavas kereséssel kezd — és utólag méri meg, mennyit tesz hozzá a vektor. Erről a hibaosztályról a hybrid search témájú poszt hoz méréseket.
A jogosultság: az első döntés, nem az utolsó
Ez a legdrágább és leginkább alábecsült rész, és a legtöbb tervből kimarad.
A probléma egyszerű: a chatbot ne adjon vissza olyat, amit a kérdező nem láthatna. A megvalósítás nem egyszerű, és a gyártói dokumentáció szokatlanul őszinte a korlátairól:
NÉGY DOLOG, AMIT AZ ELSŐ NAPON EL KELL DÖNTENI
1. UTÓLAG NEM MINDIG KAPCSOLHATÓ BE
Van olyan platform, ahol a jogosultság-átvétel
csak az első indexeléskor állítható be. Utána
új indexet kell építeni.
2. A JOGOSULTSÁGVÁLTOZÁS NEM AZONNALI
A forrásrendszerben végzett változás csak a
következő szinkronizáció után látszik. Van egy
ablak, amiben a régi jog érvényes.
3. AZ ÖRÖKÖLT JOG MÁSKÉNT VISELKEDIK
Az elemre egyedileg adott jogot a rendszerek
futásonként frissítik; a mappáról vagy oldalról
ÖRÖKÖLT változás külön frissítést igényel.
4. DARABOLT INDEXNÉL KÜLÖN BE KELL ÁLLÍTANI
A dokumentumra vonatkozó szűrés nem terjed ki
automatikusan a darabokra.
A második pont a legveszélyesebb, és konkrét kérdés formájában így hangzik: mi történik, ha valakit elbocsátanak? Ha a szinkronizációs ablak órákban mérhető, akkor órákig még hozzáfér a tudásbázison keresztül ahhoz, amitől a forrásrendszerben már megfosztották.
És a felelősségi záradék, amit a gyártó saját dokumentációja mond ki: a te felelősséged annak kezelése, hogy az adat kilép-e a szervezeted megfelelőségi és földrajzi határain, és hogy a megfelelő jogosultságok be vannak-e állítva.
Mibe kerül, és mennyi idő?
Kezdjük az őszinte résszel: publikált, módszertannal alátámasztott idő- és költségadatot céges RAG-chatbotra nem találtam. Sem gyártótól, sem tanácsadótól, sem kutatásból. Ami az interneten „RAG bevezetési költség" címmel kering, az becslés.
Amit viszont elsődleges forrásból meg lehet adni, azok a komponensárak — és ezekből saját számítás készíthető.
[Saját számítás] Feltevés: egy átlagos dokumentum öt oldal, nagyjából 3 300 token angolul. Az alábbi táblázat végig ezzel az angol tokenszámmal számol — magyar dokumentumoknál szorozd fel másfél-kétszeresére.
| Méret | Dokumentum | Token | Egyszeri beágyazás |
|---|---|---|---|
| Kicsi | 1 000 | 3,3 M | < 1 USD |
| Közepes | 10 000 | 33 M | ~5 USD |
| Nagy | 100 000 | 330 M | ~50 USD |
A beágyazás gyakorlatilag ingyen van. Ez a szám mindig meglepetés.
A havi üzemeltetés két tételből áll. A tárolás és a keresés menedzselt szolgáltatásnál nagyságrendileg gigabájtonként néhány dollár, plusz ezer lekérdezésenként egy-négy dollár. A válaszadás viszont a modelltől függ, és itt van a huszonnégyszeres szorzó: ugyanaz a havi tízezer kérdés a legolcsóbb és a legdrágább modellel nagyságrendileg 26 és 635 dollár között kerül.
A valódi költség viszont egyikben sincs benne: az emberi munka. A dokumentumok előkészítése, a jogosultságok feltérképezése, a tesztkérdések összeállítása és a havi karbantartás. Erre nincs publikált szám — de a fenti tételekhez képest nagyságrendekkel nagyobb.
Használni fogják egyáltalán?
Erre őszintén: nyilvános, mért adat nincs. Publikált, módszertanos longitudinális mérést arról, hogy hány százalékban használják a bevezetett belső chatbotokat pár hónap után, nem találtam. A cégek nem publikálják a belső eszközeik használati görbéit.
Ami van, az egy sajtóközleményben szereplő 98%-os bevezetési arány, és néhány önbevalláson alapuló felmérés.
A gyakorlati következtetés viszont pont ebből jön: ha nincs összehasonlítási alap, akkor magadnak kell mérned. A bevezetés első napjától naplózd a heti aktív használók számát és a kérdésenkénti visszajelzést — mert utólag nem tudod rekonstruálni, és nincs iparági szám, amihez hasonlíthatnád.
A terv
0. DÖNTS A JOGOSULTSÁGI MODELLRŐL
Ez az ELSŐ lépés. Van platform, ahol utólag
nem kapcsolható be.
1. EGY SZŰK TERÜLET, 500-2000 DOKUMENTUM
Egy osztály, egy dokumentumtípus. A mérések
szerint a szűk, körülhatárolt eset a sikeres.
2. KULCSSZAVAS KERESÉSSEL KEZDJ
És MÉRD MEG, mennyit tesz hozzá a vektoros.
Céges adaton 17 ponttal jobb volt a kulcsszó.
3. SZÁZ-SZÁZÖTVEN TESZTKÉRDÉS, SZAKÉRTŐVEL
Kérdés, helyes válasz, és MELYIK dokumentumból.
Enélkül nincs mihez mérni.
4. MÉRJ A BEVEZETÉS ELŐTT, KÜLÖN KÉT DOLGOT
Megtalálta-e a jó dokumentumot, és jól
használta-e fel. Nem ugyanaz a hiba.
5. RÖGZÍTS KIKAPCSOLÁSI KRITÉRIUMOT
Előre, írásban: mi az a hibaarány, aminél
leállítod. A hatósági chatbot azért futott
hónapokig hibásan, mert ilyen nem volt.
6. JELÖLD, HOGY AI VÁLASZOLT
Egyértelműen. Ezt vezette be az a cég is,
amelyiknek a botja kitalált egy szabályzatot.
7. NAPLÓZD A HASZNÁLATOT AZ ELSŐ NAPTÓL
Heti aktív használó, visszajelzés kérdésenként.
Iparági benchmark nincs - magadnak kell mérned.
8. NEVEZZ MEG GAZDÁT
Nem projektvezetőt: gazdát, aki havonta átnézi.
Az ötödik pont az, ami a három dokumentált kudarcból a legközvetlenebbül következik. Egyik esetben sem az volt a baj, hogy a rendszer hibázott — hanem hogy nem volt előre rögzítve, mi történik akkor.
Amire tipikusan nem gondolsz
Öt kérdés, amit a tervezésnél érdemes feltenni, mert utólag mind drága:
- Ki felel a tartalomért, ha rossz választ ad? A hivatkozott bírósági döntés szerint: a cég.
- Mi történik, ha valakit elbocsátanak? Mekkora a jogosultsági szinkronizációs ablak?
- Mi van, ha két dokumentum ellentmond egymásnak? Ez okozta az első esetet.
- Mennyi a karbantartás, és ki végzi?
- Mi az a mérce, ami alatt leállítod?
Tipikus félreértések
- „A chatbot csak egy segédeszköz, nem hivatalos közlés." A bírósági döntés szerint nincs jelentősége, hogy az információ statikus oldalról vagy chatbottól jön.
- „Ha jó a tudásbázis, nem hallucinál." A hivatkozott esetben a tudásbázisban nem volt ilyen szabály — a bot nem talált választ, és kitalált egyet.
- „Vektoros keresés kell hozzá." Céges dokumentumokon a kulcsszavas keresés 17 ponttal jobb volt egy 2026-os benchmarkban.
- „A jogosultságot majd a végén megoldjuk." Van platform, ahol utólag egyáltalán nem kapcsolható be, és mindenhol van szinkronizációs késés.
- „A modell és a tárolás a fő költség." A beágyazás centekben mérhető, a tárolás dollárokban. A modell havi 26-635 dollár — az emberi munka még ennél is nagyságrendekkel nagyobb tétel.
- „Ha jó lesz, majd használni fogják." Erre nincs iparági adat. Ami van: a külső partnerrel épített eszközöket nagyjából kétszer annyian használták.
Amit érdemes elvinni
A céges tudásbázis-chatbot nem technológiai projekt. A három dokumentált kudarcból egyik sem modellhiba volt: az egyik ellentmondás két saját forrás között, a másik hiányzó tartalom, a harmadik hiányzó kikapcsolási kritérium.
Három döntés, ami az első héten meghozandó, és mindhárom szervezeti: a jogosultsági modell (mert utólag drága vagy lehetetlen), a kikapcsolási kritérium (mert e nélkül a hibás rendszer tovább fut), és a gazda (mert az érvényesítés csak üzem közben lehetséges).
És egy szám, amit érdemes fejben tartani a tervezésnél: 812 dollár. Ennyi volt a kártérítés abban az ügyben, ami precedenst teremtett. Nem az összeg a tanulság, hanem az, hogy a chatbotod mondata a te mondatod. A mérés részleteiről a RAG-rendszer ellenőrzése című írás szól, az alapokról pedig a RAG-magyarázat témájú pillércikk.