Hardver a local LLM-hez: VRAM, memória, Apple Silicon

Első fél: a súlyok

[Saját számítás] A képlet egyszerű:

súlyok mérete [GiB] = bit_per_súly × paraméterszám / 8 / 2^30

A bit_per_súly a kvantálási szinttől függ. A kész táblázat, csak a súlyokra:

Egy empirikus korrekció, amit szinte sehol nem írnak le. [Saját számítás mért fájlméretekből] A négy-, öt- és hatbites változatoknál a valódi fájl 6-7%-kal nagyobb, mint a névleges érték — mert a kvantáló a beágyazási és a kimeneti réteget magasabb pontosságon hagyja. A nyolcbites viszont pontosan annyi, amennyit a képlet ad.

Vagyis: a négybites szinteknél számolj plusz hét százalékot.

Második fél: a KV cache, amit mindenki kihagy

Ez a cikk legfontosabb része, mert a legtöbb méretezési hiba innen jön.

Generálás közben a modell minden feldolgozott token hez eltárol egy kulcs- és egy érték-vektort, hogy ne kelljen újraszámolnia. Ez a KV cache, és a kontextushosszal lineárisan nő.

[Saját számítás] A képlet:

KV cache [bájt/token] = 2 × rétegszám × KV-fejek × fej-dimenzió × bájt

  2      : külön kulcs és érték
  bájt   : 2 tizenhat bitesnél, 1 nyolcbitesnél, 0,5 négybitesnél

Egy konkrét, nyolcmilliárd paraméteres modellen — 36 réteg, 8 KV-fej, 128-as fejdimenzió:

Olvasd össze a két táblázattal: ugyanennek a modellnek a négybites súlyai 4,6 GiB-ot esznek. A natív kontextusa szintén 4,5 GiB-ot. A teljes, kiterjesztett kontextusa 18 GiB-ot — a modell négyszeresét.

Két gyakorlati következmény:

1. A KV cache kvantálható, és szinte ingyen van. Egy fejlesztői mérés szerint a nyolcbites KV cache +0,0043 perplexitás-növekedést okoz — gyakorlatilag mérhetetlen. A négybites már +0,21-et, ami érezhető, de sok feladatra elfogadható. A megtakarítás viszont a fele, illetve a negyede.

(A mérés szerzőjének figyelmeztetése: beágyazó és képfeldolgozó modelleknél ne használd, és óvatosan a sok figyelmi fejjel dolgozóknál.)

2. A csoportosított figyelem az egyetlen ok, amiért ez egyáltalán elfér. [Saját számítás] Ha ugyanez a modell hagyományos figyelmi mechanizmust használna 32 KV-fejjel 8 helyett, a 128 ezer tokenes kontextus 72 GiB lenne. Így 18.

A teljes képlet

Szükséges memória ≈

    súlyok
  + KV cache × párhuzamos kérések száma
  + aktivációk és számítási puffer (0,5-2 GiB)
  + futtatókörnyezet (0,5-1 GiB)
  + [Apple gépeken] a rendszer és a többi alkalmazás

A „paraméterszám osztva kettővel" szabály rövid kontextuson igaz. 32 ezer token fölött viszont nagyságrendet téved — a fenti példában a KV cache maga 400%-os ráterhelés.

A meglepetés: a prompt és a generálás nem ugyanaz

Itt van a cikk legkevésbé ismert, elsődleges forrásból alátámasztott ténye.

A gyártó saját kutatási blogja szerint: „az első token előállítása számításkorlátos és teljesen kihasználja a gyorsítókat. A következő tokenek előállítását viszont a memóriasávszélesség korlátozza, nem a számítási képesség."

Ez első olvasásra technikai részlet. Aztán az ember megnézi, mit jelent a gyakorlatban:

Az olcsóbb, feleannyi GPU-maggal és 56%-nyi sávszélességgel rendelkező chip majdnem kétszer gyorsabban dolgozza fel a promptot — és ötödével lassabban generál.

A gyakorlati döntés ebből következik:

HOSSZÚ PROMPTOT ADSZ BE?
(kódbázis, dokumentumok, RAG-részletek)
-> a SZÁMÍTÁSI kapacitás számít
-> újabb generációs chip, mátrixgyorsítókkal

HOSSZÚ VÁLASZT GENERÁLTATSZ?
(írás, agent-lépések, összefoglalás)
-> a SÁVSZÉLESSÉG számít
-> nagyobb, drágább chip

ÉS A LEGFONTOSABB:
egy marketinganyagban szereplő "token per
másodperc" szám MINDIG az egyiket méri,
nem mindkettőt.

Apple gép vagy videokártya?

Nem a „megosztott vagy dedikált memória" a lényeg, hanem három szám: kapacitás, sávszélesség, és a kettő aránya.

A valódi különbség négy pontban:

1. Kapacitás. A csúcs fogyasztói videokártyán 32 gigabájt a plafon. Egy 70 milliárd paraméteres modell négybites súlyai 37,3 GiB — nem fér be egyetlen fogyasztói videokártyába sem, de befér egy 64 gigabájtos Apple gépbe.
2. Sávszélesség. A videokártya sávszélessége nagyjából háromszorosa az erős Apple chipének. Ami befér, azt a videokártya sokkal gyorsabban generálja.
3. Nincs másolás. Egységes memóriánál a processzor és a grafikus mag ugyanazt látja. Diszkrét kártyánál a busz szűk keresztmetszet, amikor rétegeket kell mozgatni.
4. Fogyasztás. Az erős Apple asztali gép maximuma 145 watt; a csúcs videokártyáé 575. Ez a megtérülési számításba is beleszól, amiről a helyi futtatás értelme című írás szól.

Egy használható ökölszabály [Saját számítás]:

Elméleti max. generálási sebesség ≈ sávszélesség / modellméret

(mert minden generált tokenhez a teljes modellt
 át kell olvasni a memóriából)

A mért érték ennek jellemzően 45-82%-a a különböző chipeken. Egy példa: 3,8 gigabájtos modell, 614 GB/s sávszélesség → elméleti 161 token/mp, mért 120 — 74%-os kihasználtság.

Mért sebességek

Egy hivatalos, folyamatosan karbantartott teljesítménytáblázat adatai, azonos hétmilliárd paraméteres modellel. PP = prompt feldolgozása, TG = szöveg generálása:

És egy tanulság, ami ugyanolyan fontos, mint a hardverválasztás: ugyanazon a gépen, ugyanazzal a modellel a futtatószoftver megválasztása 1,2-1,9-szeres különbséget okozott egy akadémiai mérésben. Egy másik, más gyártójú hardveren végzett mérésnél a háttérkönyvtár megválasztása hétszeres különbséget okozott a nyers számítási teljesítményben. A futtatókról a helyi modellfuttatók című összehasonlítás szól.

Mennyi kell, és mennyibe kerül?

A fenti számokból levezetve, négybites kvantálással és valós kontextushosszal számolva:

* A súlyok oszlopa itt már tartalmazza a fenti +7%-os korrekciót; a puszta képlet 37,3 GiB-ot ad.

A jobb oldali oszlop tartalmazza a rendszert és a többi alkalmazást is — ezért nem elég a két középső összege.

És egy piaci figyelmeztetés, ami 2026-ban nem hagyható ki: a memóriaárak nem a vásárló oldalán állnak. 2026 szeptemberében a felső kategóriás videokártyák utcai ára a gyártói ajánlott ár két-két és félszerese volt, az adatközponti kereslet miatt. Ez a megtérülési számítást érdemben eltolja.

A how-to

1. SZÁMOLD KI A KV CACHE-T IS, NE CSAK A SÚLYOKAT
   Hosszú kontextusnál a KV cache a modell
   többszöröse lehet. Ez a leggyakoribb hiba.

2. DÖNTSD EL, MIT CSINÁLSZ TÖBBET
   Hosszú promptot adsz be, vagy hosszú választ
   generálsz? Más chip nyer a kettőben.

3. NÉGYBITES KVANTÁLÁS AZ ALAPÉRTELMEZÉS
   Innen indulj. A számokat lásd a quantization
   cikkben - a 4 bites gyakorlatilag ingyen van.

4. KAPCSOLD BE A NYOLCBITES KV CACHE-T
   Felezi a kontextus memóriaigényét, mérhetetlen
   minőségromlásért. NE használd beágyazó és
   képfeldolgozó modelleknél.

5. HA NEM FÉR BE, ELŐBB KISEBB MODELL
   Egy gyors kisebb modell jobb, mint egy nagy,
   ami félig a lemezről dolgozik.

6. AZ ÜRESJÁRATOT IS SZÁMOLD
   Egy mindig bekapcsolt asztali gép évi
   600 kWh-t fogyaszthat semmittevéssel.

7. PRÓBÁLD KI, MIELŐTT VESZEL
   Ugyanaz a modell ugyanazon a gépen, más
   futtatóval, akár kétszeres sebességkülönbség.

Tipikus félreértések

• „Paraméterszám osztva kettővel, és kész." Rövid kontextuson igaz. 32 ezer token fölött a KV cache nagyságrendet tesz hozzá.
• „Több GPU-mag, gyorsabb generálás." A generálást a sávszélesség korlátozza. A mérésben a feleannyi maggal rendelkező chip gyorsabban dolgozta fel a prompt ot, és lassabban generált.
• „A megosztott memória mindig rosszabb." Kapacitásban jobb: 70 milliárd paraméteres modell nem fér fogyasztói videokártyára, de 64 gigabájtos egységes memóriába igen.
• „A négybites kvantálás jelentősen ront." Egy 2026-os egységes mérésben a perplexitás-növekedés +0,24 a leggyakoribb szinten — kisebb, mint a modellek közti szórás.
• „A hardver dönt el mindent." Ugyanazon a gépen a futtató és a háttérkönyvtár megválasztása kétszeres, illetve hétszeres különbséget okozott mérésben.
• „A 'tokens per second' szám összehasonlítható." Csak ha tudod, prompt-feldolgozásra vagy generálásra vonatkozik. A kettő ugyanazon a gépen akár huszonötszörösen is eltérhet.

Amit érdemes elvinni

A méretezés két számból áll, nem egyből: a súlyokból és a KV cache-ből. A második a kontextushosszal nő, és hosszú kontextusnál a modell többszöröse lehet — ez a leggyakoribb és legdrágább tervezési hiba.

A hardverválasztásnál pedig egyetlen kérdés dönt: hosszú promptot adsz be, vagy hosszú választ generálsz? Az elsőhöz számítási kapacitás kell, a másodikhoz sávszélesség — és ugyanaz a pénz a kettőben más gépet vesz.

És mielőtt bármit veszel: ugyanaz a modell ugyanazon a gépen, más futtatóval, kétszeres sebességkülönbséget mutatott mérésben. Érdemes előbb a szoftvert optimalizálni, mint hardvert cserélni. A kvantálásról a quantization című írás szól részletesen.