Az alapértelmezett hiba
Amikor valaki először használ AI-t komolyan, a legerősebb modellt választja. Ez érthető: ha a válasz minősége számít, miért választanál gyengébbet?
A baj az, hogy ez a döntés egyszer születik és utána sosem kerül elő újra. Fél év múlva már napi ezer besorolás fut a csúcsmodellen, amit a legolcsóbb szint is ugyanúgy megcsinálna — csak huszonötödannyiért, és háromszor gyorsabban.
Mi különbözteti meg a szinteket?
Nem az, amit a legtöbben gondolnak. A szintek között nem a tudás a különbség — mindegyik ugyanazon a nagy szövegmennyiségen tanult. Négy dologban térnek el:
- Következetesség nehéz eseteken. A könnyű feladatot mindegyik megoldja. A különbség a szélső, kétértelmű, hiányos eseteknél jön elő.
- Több lépéses munka. Ahol a feladat öt egymásra épülő lépésből áll, ott az olcsó szint a harmadiknál elveszti a fonalat.
- Hosszú anyag kezelése. Nagy context windowban a drágább szint megbízhatóbban használja a közepére eső információt.
- Levezetés. A reasoning mode jellemzően csak a felsőbb szinteken van, és ez az egyetlen igazi képességkülönbség.
Mennyi a különbség számokban?
Vegyünk egy valódi példát. Napi 300 ügyfélpanasz besorolása, panaszonként nagyjából 800 bemeneti és 150 kimeneti token .
Havi 9000 futás esetén ez körülbelül 7,2 millió bemeneti és 1,35 millió kimeneti token. A legolcsóbb szinten ez néhány dollár havonta. A csúcsszinten ugyanez több tíz dollár, és ha levezetéses üzemmódban fut, akkor több száz — mert a gondolkodás is kimeneti tokennek számít.
A tétel önmagában nem hangzik nagynak. De ez egyetlen feladat. Egy cégben húsz ilyen van, és a húszszorosa már költségvetési sor.
A lépcsőzés: olcsó először, drága csak ha kell
Ez a legjobb ár-érték arányú minta, és meglepően kevesen használják. A lényege: nem egy modellt választasz, hanem sorrendet.
- Első lépcső: az olcsó szint megkapja a feladatot, és azt is megmondod neki, hogy ha bizonytalan, írja ki:
BIZONYTALAN. - Második lépcső: ami bizonytalan lett, azt — és csak azt — küldöd tovább a drágább szintre.
- Harmadik lépcső: ami ott is bizonytalan, az emberhez megy.
A gyakorlatban az esetek nagy része az első lépcsőn elintéződik. A drága modell csak arra a töredékre fut le, ahol tényleg kell — és a végeredmény minősége nem az olcsó szinté lesz, hanem a drágáé.
Amikor a sebesség a döntő
Van, ahol nem az ár dönt, hanem a várakozás. Ha a felhasználó ott ül és néz, akkor a válaszidő a termék része.
Az olcsó szintek nemcsak olcsóbbak, hanem lényegesen gyorsabbak is, a levezetéses üzemmód pedig nagyságrenddel lassabb lehet. Egy ügyfél előtti automatikus javaslatnál ez a különbség a használható és a használhatatlan között húzódik.
Fordítva is igaz: ha a feladat éjjel fut kötegelve, a sebesség nem számít — és sok szolgáltatónál a kötegelt futtatás feleannyiba kerül.
Hogyan dönts? A negyven eset
Nem kell hozzá mérnök, egy délután kell hozzá.
- Gyűjts össze 40 valódi esetet a saját munkádból. Ne a legszebbeket: a valódi megoszlást, a nehéz esetekkel együtt.
- Írd le, mi a jó válasz mindegyikre. Ez a lépés a legfontosabb, és ezt szokták kihagyni.
- Futtasd le mind a 40-et a legolcsóbb és a középszinten. Ha a különbség érdemi, futtasd a csúcson is.
- Számold meg a hibákat, ne a benyomást. „Jobbnak tűnik" nem adat.
Ha a legolcsóbb szint 38-at jól csinál a 40-ből, és a csúcsmodell 39-et, akkor a kérdés már nem az, melyik a jobb, hanem hogy megéri-e huszonötszörös árat fizetni egy esetért — és a válasz a feladattól függ, nem a modelltől.
Amiben az olcsó szint tényleg gyenge
Hogy ne legyen félreértés: van, ahol nem szabad spórolni.
- Ahol a hiba drága. Szerződés, jogi szöveg, orvosi tartalom, pénzügyi számítás.
- Ahol sok szabályt kell egyszerre betartani. Az olcsó szint hamarabb ejt el szabályokat — és nem szól róla, ahogy a Korlátok, amiket betart cikk kifejti.
- Ahol több lépés épül egymásra. Egy agent tíz lépésén a kis hibák felszorzódnak.
- Kis nyelveknél. A magyar és a spanyol teljesítmény sokkal jobban szór az olcsó szinteken — ezt mérni kell, nem feltételezni.
Amit érdemes elvinni
A szintválasztás többet spórol, mint a gyártóváltás — egy családon belül huszonötszörös az árkülönbség, és a legtöbb mindennapi feladatot az olcsó szint is elvégzi. A jó minta nem az, hogy egyet választasz, hanem hogy lépcsőzöl: olcsó először, drága csak a bizonytalan esetekre. És a döntés negyven valódi eseten dől el, nem érzésre.