Egy modelléletének két szakasza van. A training az egyszeri, hatalmas befektetés, amiből maga a modell lesz. Az inference minden ezután: minden egyes kérdés, amit bárki feltesz. A kettő között több nagyságrend a különbség — a megépítés több száz millió dollár, egy kérdés megválaszolása néhány fillér.
Ez a különbség dönti el, mit érdemes venned és mit építened. Az inference ára tokenben mérve nyilvános, és szintenként huszonötszörös szórás van ugyanannál a szolgáltatónál: a legdrágább és a legolcsóbb kínált szint között ekkora a rés. A költséged tehát nem attól függ elsősorban, hogy használsz-e AI-t, hanem hogy melyik szintet hívod meg.
A leggyakoribb tévhit, hogy az inference „ingyen van, ha egyszer megvan a modell". Nem: minden kérés áramot, hardvert és időt fogyaszt, és a helyben futtatásnál is ez az a tétel, ami nem tűnik el — csak átkerül a saját villanyszámládra.
A két szakasz gazdaságtanáról a training és az inference költségecímű írás szól. A közvetlenül kapcsolódó fogalmak: training, token és local LLM.