A két teljesen különböző költség
Training — a modellmegépítése. Egyszeri, hónapokig tartó, borzasztóan drága művelet. Több tízezer videokártya fut hetekig, és a végén kijön egy fájl: a súlyok halmaza. Egy élvonalbeli modellnél ez a nagyságrend ma több száz millió dollár, a legnagyobbaknál efölött.
Inference — a kész modell használata. Amikor kérdezel, és válaszol. Ez kérdésenként néhány fillértől néhány forintig terjed.
A kettő aránya elképesztő: ugyanannyi pénzből, amiből egyetlen élvonalbeli modellt betanítasz, sok százmillió kérdést tehetsz fel egy kész modellnek.
Miért fontos ez neked?
Mert ebből következik az AI-piac egész logikája — és a te döntésed is.
A tanítás költségét nem te fizeted. Néhány nagyon nagy cég fizeti, aztán a hozzáférést adja el. Ezért van, hogy egy több száz millió dolláros fejlesztés eredményét havi húsz euróért használhatod.
A használat költsége viszont a tiéd, és skálázódik. Egy ember napi húsz kérdése elhanyagolható. Egy ügyfélszolgálati rendszer napi húszezer kérdése már költségvetési tétel.
Ez fordítja meg azt a reflexet, amit a hagyományos szoftverből hozunk. Ott a fejlesztés drága és a futtatás olcsó. Itt a futtatás a folyamatos tétel — és ezért nem az a fő kérdés, hogy „megéri-e bevezetni", hanem hogy „mennyibe kerül havonta, ha tényleg használják".
Ami az árban van, és amit nem látsz
A kimeneti token jellemzően három-ötször drágább, mint a bemeneti. Ennek oka a működésben van: a bemenetet a modell egyszerre dolgozza fel, a kimenetet viszont tokenenként, egyesével állítja elő.
Van egy tétel, ami sokakat meglep: a gondolkodási token is kimeneti tokenként számít. Ha a modell hosszan levezet valamit magában, mielőtt válaszol, azt a levezetést nem látod, de kifizeted. Ezért térhet el drámaian két modell tényleges költsége akkor is, ha a listaáruk hasonló. Erről szól a Reasoning mode cikk.
Hova tart az ár?
Két ellentétes irányba egyszerre, és ezt érdemes külön kimondani, mert a közhely csak az egyik felét ismeri.
Lefelé, a mezőny alján. Egy adott képességszint ára évről évre drasztikusan esik. Amit két éve csak a legdrágább modell tudott, azt ma egy töredékáron futó kisebb modell is megoldja. Ez az egyik legmegbízhatóbb trend a piacon.
Felfelé, a csúcson. Az élvonalbeli modellek listaára viszont nem csökken — egyes esetekben emelkedett. A gyártók a legfejlettebb képességért többet kérnek, és a nagyon hosszan gondolkodó üzemmódok külön, magasabb tarifán futnak.
A gyakorlati következtetés: „az AI folyamatosan olcsóbb lesz" csak akkor igaz, ha nem ragaszkodsz mindig a legerősebb modellhez. Ha igen, a számlád nem fog csökkenni.
Egy számolás, amit érdemes elvégezned
Mielőtt bármit bevezetsz, becsüld meg ezt a négy számot:
- Hány kérés lesz naponta?
- Átlagosan mekkora a bemenet? (A feltöltött dokumentum is bemenet.)
- Átlagosan mekkora a kimenet?
- Kell-e hozzá a legerősebb modell, vagy elég egy kisebb?
A negyedik kérdés a legfontosabb, és a legtöbben átugorják. A feladatok többségéhez — kategorizálás, összefoglalás, formátumátalakítás, adatkinyerés — nem kell a csúcsmodell. Egy kisebb, gyorsabb modell ugyanazt az eredményt adja a költség töredékéért, és gyorsabban is válaszol.
Egy jó gyakorlat: kezdd a legerősebbel, amíg a megoldás formálódik. Amikor működik, próbáld ki ugyanazt a prompt ot egy olcsóbbal, húsz valódi eseten. Ha az eredmény ugyanolyan jó, váltsd le. Ez a lépés gyakran a költség nyolcvan százalékát viszi el.
Mit jelent ez a saját modellre?
Rendszeresen felmerül, hogy „építsünk sajátot". Érdemes tisztán látni, mit jelent ez:
- Saját modellt tanítani a nulláról — gyakorlatilag kizárt. Ez az a több száz millió dollár.
- Meglévő modellt továbbtanítani (fine-tuning) — reális, de nem arra való, amire a legtöbben gondolják. A Fine-tuning, RAG vagy jobb prompt? cikk erről szól.
- Kész modellt saját szerveren futtatni — reális, és az inference költsége itt hardverbérlet, nem tokenszámla. Adatvédelmi okból gyakran ez az egyetlen járható út; a mérlegelést az Open-weight és zárt modellek cikk bontja ki.
Amit érdemes elvinni
A tanítás a gyártó problémája. A tiéd az inference — és az annyiszor fizetendő, ahányszor használják. Ezért az AI-projekt megtérülése nem a bevezetéskor dől el, hanem akkor, amikor eldöntöd, melyik feladatra melyik méretű modellt engeded rá.