Mi történik, amikor „gondolkodik"?
Alapesetben a modell azonnal kezdi írni a választ. Reasoning módban előbb levezet magának valamit: felbontja a feladatot, megvizsgál lehetőségeket, ellenőrzi a részeredményt — és csak ezután írja meg a választ. Ez a levezetés jellemzően nem látszik, csak az eredménye.
Ez nem másik modell és nem magasabb intelligencia. Ugyanaz a modell, több lépéssel. Az elv régóta ismert: ha kéred, hogy lépésenként gondolkodjon, pontosabb választ ad összetett feladatokon. A reasoning mode ezt építi be a rendszerbe, magától.
A fontos változás: ez ma egy szabályzó
Egy-két éve ez még termékkategória volt: külön „gondolkodó" modellek léteztek külön néven. Ma már nem. A mai modellek nagy részén ez egy beállítás — a szolgáltatók nevezik erőfeszítésnek, kiterjesztett gondolkodásnak vagy gondolkodási keretnek, de mindegyik ugyanazt szabályozza: mennyit dolgozzon a válasz előtt.
Ha valahol azt olvasod, hogy „a gondolkodó modellek jobbak, mint a hagyományosak", az a szöveg elavult.
Mit fizetsz érte?
Ez az a pont, ahol a legtöbb költségbecslés elhasal.
A gondolkodási lépések kimeneti tokenként számítanak. Nem látod őket, de a számlán ott vannak — és a kimeneti token a drágább fajta. Egy nehéz kérdésnél a láthatatlan levezetés simán lehet tízszer hosszabb, mint maga a válasz.
Ezért fordulhat elő, hogy két modell listaára hasonló, a tényleges költségük mégis nagyságrenddel eltér. Az összehasonlítás egyetlen értelmes módja: futtasd le mind a kettőn ugyanazt a húsz valódi feladatot, és nézd meg a végösszeget. A tokenárak táblázata erre nem alkalmas.
A másik ára az idő. Magas erőfeszítésen a válasz nem másodpercekig, hanem tíz-egynéhány másodpercig, néha percekig készül. Egy beszélgetős felületen ez elviselhető. Egy ügyfélszolgálati chatben nem.
Mikor tekerd fel?
Feltekerni akkor érdemes, ha a feladatnak több lépése van, és a lépések egymásra épülnek:
- matematika, számolás, mértékegység-átváltás
- kódhiba felderítése, ahol az okot kell megtalálni, nem a tünetet
- jogi vagy szerződéses szöveg elemzése feltételekkel, kivételekkel
- több szempontot mérlegelő döntés-előkészítés
- olyan feladat, ahol a rossz válasz drágább, mint a várakozás
Mikor ne?
Alacsonyan hagyni akkor érdemes, ha a feladat egylépéses vagy formai:
- összefoglalás, átfogalmazás, fordítás
- kategorizálás, címkézés, adatkinyerés
- levélfogalmazvány, termékleírás
- bármi, amiből naponta sok fut
Ezeken a magas erőfeszítés nem javítja az eredményt, csak a költséget és a várakozást növeli. Egy összefoglalást nem lehet jobban összefoglalni attól, hogy a modell előtte hosszan töpreng rajta.
Két dolog, amit nem old meg
A hallucinációt nem szünteti meg. Ha nincs támpontja, a hosszabb gondolkodás egy jobban felépített, meggyőzőbb tévedést ad. Ettől nem lesz igaz. Az anyag odaadása többet segít, mint bármilyen erőfeszítési szint — lásd a Miért hazudik az AI?cikket.
A rossz promptot nem javítja ki. Ha az utasításból hiányzik az információ, amitől a feladat egyértelmű lenne, a modell tovább fog töprengeni ugyanazon a hiányon. Egy pontosabb kérdés többet ér, mint egy feltekert szabályzó.
Egy próba, ami öt percbe kerül
Válassz egy tipikus feladatot a munkádból. Futtasd le alacsony és magas erőfeszítéssel is, ugyanazzal a prompttal.
Három eset lehet:
- A magas érezhetően jobb → a feladat összetett, hagyd feltekerve.
- Nincs érdemi különbség → alacsonyon fut tovább, ez a leggyakoribb eset.
- A magas rosszabb → ez is előfordul: a modell túlgondolja az egyszerű feladatot, és olyat is megmagyaráz, amit nem kértél.
Ez az ötperces próba a legjobb megtérülésű dolog, amit egy AI-eszközzel tehetsz.
Amit érdemes elvinni
A reasoning mode nem „okosabb üzemmód", hanem több befektetett munka ugyanattól a modelltől. Összetett, kevés számú feladatra tekerd fel. Sok, egyszerű feladatra hagyd lent — ott csak a számládat növeli.