Miért rossz kérdés, hogy melyik a legjobb?
Mert nincs rá válasz, ami egy hónapnál tovább igaz marad, és mert a „legjobb" nem egy tulajdonság. Egy modell lehet a legpontosabb és közben húszszor drágább; lehet a leggyorsabb és közben a leggyengébb magyarul.
A gyakorlatban a modellválasztás nem rangsorolás, hanem szűrés. Öt kérdés, és a maradékból már mindegy, melyiket veszed.
1. Hol futhat az adat?
Ez az első, mert ez kizár, nem rangsorol. Ha ügyféladat, egészségügyi adat vagy szerződés megy át rajta, akkor a kérdés nem az, melyik a jobb modell, hanem melyik szolgáltatóval van olyan szerződésed, ami megengedi.
Ha a válasz „nem mehet ki az EU-ból" vagy „nem mehet ki a cégből", akkor a mezőny máris a töredékére szűkül — és a maradékon belül a minőségkülönbség jellemzően kisebb, mint a megfelelés kockázata. Erről szól az Európai AI-opciók cikk részletesen.
2. Mekkora a feladat, és hányszor fut le?
Két szélsőség van, és teljesen más modellt kívánnak.
Ritkán, de sokat számít. Egy szerződéselemzés, egy stratégiai anyag, egy ajánlat. Havonta tíz ilyen van. Itt a legdrágább modell is olcsó — a különbség néhány euró, a rossz válasz ára viszont nem néhány euró.
Sokszor, kis tétekkel. Napi ötezer beérkező levél kategorizálása. Itt a modellár a teljes költséged, és a legolcsóbb szint jellemzően elég. A Gyors és olcsó vagy lassú és okos? cikk ezt a döntést járja körül számokkal.
A legtöbb csapat fordítva csinálja: a mindennapi tömegmunkát futtatja a csúcsmodellen, a fontos döntést meg bedobja egy chatbe.
3. Kell hozzá gondolkodás vagy csak átalakítás?
Ez a kérdés dönti el a modellszintet, és három csoportba osztja a feladatokat:
- Átalakítás. Összefoglalás, fordítás, átfogalmazás, adatkinyerés. A legolcsóbb szint is jól csinálja.
- Ítélet. „Melyik a kettő közül?", „Mi hiányzik ebből?", „Jogos ez a kifogás?" Itt már számít a modell.
- Levezetés. Több lépéses számítás, kódhibakeresés, egymásnak ellentmondó forrásokból következtetés. Ide kell a reasoning mode, és ide érdemes a drágább szint.
A csapda: az átalakítás tűnik egyszerűnek, és az is — de ha húszezer sorra fut, a modellválasztás ott számít a legtöbbet.
4. Milyen nyelven?
Az angol minden modellen jól megy. Minden más nyelvnél két dolog romlik: a minőség és az ár.
A magyar szöveg 2,71-szer annyi tokenre bomlik, mint az ugyanolyan hosszú angol; a spanyol 1,46-szor. Ez a szorzó közvetlenül a számládon jelenik meg, és a context windowt is ugyanennyivel eszi. A minőség pedig modellenként nagyon eltér — ezt mérni kell, nem kitalálni, és a Melyik modell tud jól magyarul? cikk mutatja, hogyan öt perc alatt.
5. Kell hozzá eszköz vagy csak szöveg?
Ha a feladat végén a modellnek csinálnia kell valamit — keresni a neten, fájlt olvasni, API-t hívni, kódot futtatni —, akkor nem modellt választasz, hanem rendszert. Ez másik döntés, és a Chatbot, API vagy alkalmazás? cikk tárgya.
Ugyanígy: ha képet, hangot vagy videót is fel kell dolgoznia, az szűkíti a mezőnyt — nem minden modell multimodális, és amelyik az, az sem egyformán jó mindegyikben.
A gyakorlati sorrend
A fenti öt kérdés nem egyenrangú. Így érdemes végigmenni rajtuk:
- Adat — ez kizár. Ami nem megy, az nem megy.
- Képesség — nyelv, modalitás, eszközhasználat. Ami nem tudja, az kiesik.
- Szint — átalakítás, ítélet vagy levezetés.
- Ár — csak a maradékon belül, és csak akkor, ha sokszor fut.
- Mérés — a maradék kettő-háromból a saját feladataidon dönts.
Az ötödik lépés az, amit szinte mindenki kihagy, pedig ez az egyetlen, ami a te helyzetedre ad választ. Húsz valódi feladat, két modell, egy délután — a Kétheti modell-verseny cikk pontosan ezt írja le receptként.
Amit ne vegyél figyelembe
A ranglistát. Nem hazudik, csak nem a te feladatodat méri. A legtöbbet használt modellek rendszeresen nem a lista élén állnak — erről szól a Leaderboard és valóság cikk.
A bejelentéseket. Egy új modell attól, hogy új, még nem jobb a te feladatodon. Az egyetlen, ami ezt megmondja, a saját tesztkészleted.
A gyártó nevét. Egy gyártón belül nagyobb a különbség a szintek között, mint a gyártók között azonos szinten. A nagy modellcsaládokat érdemes ismerni, de a döntést nem ez hozza meg.
Egy döntés, végigvezetve
A feladat: beérkező ügyfélpanaszokból kategória, sürgősség és egymondatos összefoglaló. Napi 300 darab, magyarul.
- Adat: ügyfélnév és e-mail-cím van benne → EU-s végpont vagy adatfeldolgozói szerződés kell. Ez kizárja a mezőny egy részét.
- Képesség: magyar szöveg, kép nincs, eszköz nincs. Marad a szövegmodell.
- Szint: ez besorolás, tehát átalakítás és egy csipetnyi ítélet. Nem kell levezetés.
- Ár: napi 300 × 30 nap = havi 9000 futás. Itt a legolcsóbb szint és a csúcsmodell között tízszeres a különbség — ez már számít.
- Mérés: kiveszel 40 valódi panaszt, lefuttatod a két legolcsóbb szóba jöhető modellen, és megnézed, hányat sorol be rosszul.
A döntés a 40 panaszon dől el, nem a ranglistán. És ha fél év múlva jön egy új modell, ugyanaz a 40 panasz mondja meg, megéri-e váltani.
Amit érdemes elvinni
Előbb szűrj, utána válassz. Az adat és a képesség kizár, a szint és az ár rangsorol — és a végső döntést a saját feladataidon végzett mérés hozza meg, nem a ranglista. Ez az öt kérdés akkor is működik, ha holnap minden modellnek új neve lesz.