Mi volt ez, és miért működött?
Ha egy modell t megkérsz, hogy előbb vezesse le a feladatot, és csak utána mondja meg a választ, összetett kérdéseken pontosabb lesz. Ez a chain-of-thought.
Az oka a működésben van. A modell egyesével rakja le a tokeneket, és mindig az addigi szöveg alapján választ. Ha előbb leír egy levezetést, akkor a végeredmény írásakor a saját korábbi mondataira támaszkodhat. Nem lett okosabb — csak több támpontot rakott le magának.
Ami megváltozott
Ez ma be van építve. A mai modellek nagy részén van gondolkodási üzemmód, ami pontosan ezt csinálja magától, mielőtt válaszol — erről szól a Reasoning modecikk.
Ebből következik, amit a szolgáltatók saját útmutatói is kimondanak: ha a gondolkodás be van kapcsolva, a kézzel írt „gondolkodj lépésről lépésre" nagyrészt felesleges. A modell úgyis megteszi.
Sőt, az ajánlás ennél élesebb: egy általános kérés („gondold át alaposan") gyakran jobb eredményt ad, mint egy előírt lépéssor. Ha te szabod meg a gondolatmenetet, azzal a modellt beszorítod egy útvonalra, amit ő magától nem választott volna — és amit a feladat sem feltétlenül kíván.
Amitől ma rosszabb lesz
Három szokás maradt ránk a régi modellek korából, és mindhárom aktívan árt.
Az előírt lépéssor. „Először sorold fel a tényeket, másodszor elemezd őket, harmadszor vonj le következtetést." Ha a feladat nem ilyen alakú, a modell erőlteti a formát, és a lényeg elsikkad.
A többszörös ellenőriztetés. „Ellenőrizd a választ, majd ellenőrizd újra." Ez a régi modelleknél segített. A maiaknál túl-ellenőrzéshez vezet: hosszabban töpreng, több gondolkodási tokentfogyaszt, és néha átír egy már jó választ egy rosszabbra.
A levezetés kérése egyszerű feladatnál. Egy kategorizálásnál vagy egy átfogalmazásnál a levezetés csak zajt és költséget termel. Ott a formátumkérés a hasznos, nem a gondolatmenet.
Amikor viszont még mindig kell
Négy eset maradt, ahol a kézi chain-of-thought valódi hasznot hoz:
- Ha a gondolkodás ki van kapcsolva. Olcsóbb vagy kisebb modelleken, illetve alacsony erőfeszítésen a régi trükk pontosan úgy működik, ahogy régen.
- Ha látni akarod a levezetést. A beépített gondolkodás nagyrészt rejtve marad. Ha neked kell a magyarázat — mert ellenőriznöd kell, vagy mert az olvasónak szól —, azt külön kérni kell.
- Ha a feladatnak van kötött módszertana. Egy ellenőrzőlista vagy egy jogszabályi teszt esetében a lépések nem a gondolkodást irányítják, hanem a feladat részei.
- Ha a modell rendszeresen ugyanazt hagyja ki. Ilyenkor nem az egész gondolatmenetet írod elő, csak egy hiányzó szempontot teszel hozzá.
A különbség, ami sokakat megzavar
Két különböző dolgot hívunk ugyanúgy:
Gondolkodtatni — hogy a modell alaposabban dolgozzon. Ezt ma a beállítás intézi, nem a prompt.
Levezetést kérni — hogy a válaszban ott legyen az indoklás. Ez formátumkérés, és továbbra is a te dolgod. „Minden állításhoz írd oda, melyik bekezdésre alapozod" — ez nem gondolkodtatás, hanem ellenőrizhetőség.
A kettő összekeverése miatt írnak sokan feleslegesen hosszú promptot: gondolkodtatni akarnak, közben csak a kimenetet kellene formázniuk.
Amit nem old meg
A hallucinációt nem szünteti meg. Ha nincs támpontja, a hosszabb levezetés egy jobban felépített tévedést ad. Az anyag odaadása többet ér — lásd a Miért hazudik az AI? cikket.
A rossz promptot nem javítja ki. Ha az utasításból hiányzik az információ, a modell tovább töpreng ugyanazon a hiányon.
Egy próba, öt perc
Fogj egy tipikus, összetettebb feladatot, és futtasd le háromféleképp: kézi lépéssorral, sima „gondold át alaposan" kéréssel, és minden külön utasítás nélkül.
A legtöbb mai modellen a második vagy a harmadik nyer. Ha nálad az első, az általában azt jelenti, hogy a feladatnak tényleg kötött módszertana van — akkor viszont nem promptot írtál, hanem eljárást, és annak a helye a system prompt.
Amit érdemes elvinni
A „gondolkodj lépésről lépésre" nem hibás tanács, csak elavult: a modell ma magától megteszi. Amit érdemes helyette kérni, az nem a gondolkodás, hanem a látható indoklás — mert azt továbbra sem kapod meg magától, és neked arra van szükséged az ellenőrzéshez.