Ami valójában történik
A modell nem tudja a választ, hanem megjósolja, mi következik valószínűleg. Ha van elég támpontja, a legvalószínűbb folytatás történetesen igaz. Ha nincs, akkor is lerakja a legvalószínűbb folytatást — mert nincs másik üzemmódja.
A hallucináció tehát nem az, hogy a rendszer elromlott. Az, hogy pontosan azt csinálja, amire tervezték, olyan helyzetben, ahol ez rossz eredményt ad. A mechanizmusról a Hogyan találja ki a gép a következő szót? cikk szól bővebben.
Ezért nem lehet kikapcsolni. Ugyanaz a képesség, ami miatt olyan feladatot is megold, amire senki nem tanította meg külön, felelős azért is, hogy magabiztosan kitalál egy nem létező jogszabályt. A kettő nem választható szét.
Miért ilyen magabiztos?
Mert a magabiztosság a szövegformának a része, nem a tudásnak. A modell azt tanulta meg, hogyan néz ki egy szakszerű válasz — és egy szakszerű válasz nem így kezdődik: „nagyjából rémlik, hogy". A hangnem attól függ, milyen szövegeken tanult, nem attól, mennyire biztos a dolgában.
Van ennél kellemetlenebb következmény is: a modell belső bizonytalansága nem látszik a szövegen. Egy pontos és egy kitalált mondat ugyanolyan határozottan hangzik. Ránézésre nem tudod megkülönböztetni őket — ezért nem elég az, hogy „majd feltűnik, ha hülyeséget mond".
Mikor a legvalószínűbb?
Nem véletlenszerűen jön. Öt helyzetben ugrik meg az esélye:
- Konkrét szám, dátum, név, hivatkozás. Ez a legveszélyesebb kategória: pontosan az a fajta adat, amit nem szoktunk ellenőrizni, mert olyan konkrétan hangzik.
- Ritka vagy szűk szakterület. Ahol kevés tanítóanyag volt, ott kevesebb a támpont, és nagyobb a tippelés aránya.
- Friss esemény. A modell tanítóadat a egy adott dátumig tart. Utána csak akkor tud valamit, ha keres, vagy ha te adod oda.
- Amikor te sugallod a választ. „Ugye igaz, hogy a cég 2019-ben alapult?" — a modell hajlamos ráerősíteni. A kérdés formája befolyásolja a választ.
- Hosszú beszélgetés vége felé. Amikor az eleje már kicsúszott a context windowból, a modell a saját korábbi állításaira épít, azokat viszont már nem látja pontosan.
Öt dolog, ami tényleg csökkenti
Ezek nem trükkök, hanem munkamódszerek.
1. Add oda az anyagot. A különbség óriási aközött, hogy „mit ír a szerződés a felmondási időről" és aközött, hogy „itt a szerződés, mit ír a felmondási időről". Az elsőnél emlékezetből dolgozik, a másodiknál olvas.
2. Kérj hivatkozást a megadott anyagra. Nem általános forrásmegjelölést — azt is ki tudja találni —, hanem azt, hogy melyik bekezdésre alapozza. Ha nem tud rámutatni, az válasz önmagában.
3. Engedd meg neki, hogy ne tudja. Írd bele az utasításba: „ha az anyag nem tartalmazza a választ, azt írd, hogy nem szerepel benne". Enélkül a modellnek nincs elfogadható kimenete a nemtudásra, és inkább tippel.
4. Kérdezz vissza külön beszélgetésben. Ha ugyanabban a szálban kérdezel rá, hogy „biztos vagy benne?", a modell a saját korábbi állítását látja, és hajlamos megvédeni. Új beszélgetésben, az eredeti anyaggal, sokkal őszintébb.
5. Ellenőrizd, ami számít. Nem az egészet — a számokat, neveket, dátumokat, jogszabályokat és hivatkozásokat. Ez a lista rövid, és pont ez a kockázatos rész.
Ami nem segít
A „ne hallucinálj" utasítás. A modell nem tudja, mikor csinálja. Ha tudná, nem csinálná.
A „légy nagyon pontos" kérés. Legfeljebb a hangnemet változtatja meg, a tényeket nem.
Az, hogy megkérdezed, biztos-e benne. Ugyanazt a mechanizmust futtatod még egyszer. A „teljesen biztos vagyok benne" mondat pontosan annyit ér, mint az eredeti állítás.
Egy példa, ami emlékezetes marad
Kérdezd meg egy modelltől, hogy egy szakterületed közismert szakkönyvének hányadik oldalán szerepel egy adott fogalom. Gyakran kapsz oldalszámot. Kerek, hihető oldalszámot.
Aztán kérdezd meg ugyanezt úgy, hogy előtte odaadod a könyv tartalomjegyzékét. A válasz vagy pontos lesz, vagy az, hogy nem derül ki belőle.
Ugyanaz a modell, ugyanaz a kérdés, két teljesen eltérő megbízhatóság. A különbség nem a modellben van, hanem abban, hogy adtál-e neki mire támaszkodnia.
Amit érdemes elvinni
A hallucináció nem a rendszer betegsége, hanem az üzemi jellemzője. Nem gyógyítod meg — megtervezed körülötte a munkádat: anyagot adsz, hivatkozást kérsz, engeded, hogy nemet mondjon, és ellenőrzöd azt a néhány dolgot, ami tényleg számít.