Mi a kvantálás, egy bekezdésben?
A modellsúlyai számok. Alapból 16 biten tárolják őket. A kvantálás ezt csökkenti — 8, 5, 4, néha 3 bitre —, és cserébe a fájl kisebb lesz, gyorsabban olvasható, és elfér ott, ahol addig nem.
A tárolt információ viszont kevesebb, tehát a modell valamennyit veszít. A kérdés csak az, hogy mennyit — és mikor.
Az elnevezés Q<bitszám>_<változat> alakú, ahol a _K a fejlettebb, „k-kvant" családot jelöli, az _S / _M / _L pedig a családon belüli méretet. A tényleges bit/súly ritkán kerek szám:
| Jelölés | bit/súly |
|---|---|
| Q3_K_M | 3,74 |
| Q4_0 | 4,34 |
| Q4_K_S | 4,37 |
| Q4_K_M | 4,58 |
| Q5_0 | 5,21 |
| Q5_K_M | 5,33 |
| Q6_K | 6,14 |
| Q8_0 | 8,50 |
(A háromrészes jelölésekből: Q3_K_S 3,41 bit/súly.)
Mennyit ront? A mérés
A legjobb elérhető adat egy 2026 januári, egységes vizsgálatból származik: egy modell, 13 kvantálási konfiguráció, nyilvános kiértékelő keretrendszerrel.
Először a perplexitás — a nyelvi modellek klasszikus mérőszáma:
| Konfiguráció | Perplexitás | Eltérés a referenciától |
|---|---|---|
| 16 bites (referencia) | 7,32 | — |
| Q3_K_S | 8,96 | +1,64 |
| Q3_K_M | 7,96 | +0,64 |
| Q4_K_M | 7,56 | +0,24 |
| Q5_K_M | 7,40 | +0,08 |
| Q8_0 | 7,33 | +0,01 |
Eddig szép és unalmas. A feladatpontosság viszont mást mutat:
| Benchmark | 16 bites | Q3_K_S | Q4_K_S | Q5_0 |
|---|---|---|---|---|
| Matematikai szöveges feladat | 77,6% | 68,3% (−9,3) | 77,3% | 79,1% (+1,5) |
| Utasításkövetés | 78,9% | 73,9% (−5,0) | 80,3% (+1,4) | 80,1% |
| Általános tudás | 63,5% | 59,3% (−4,2) | ~63% | 63,7% |
| Józan ész | 72,5% | ~71-74% | ~71-74% | ~71-74% |
| Súlyozatlan átlag (öt benchmarkon) | 69,5% | 65,5% | 69,2% | 69,9% |
Négy megállapítás, és mind a négy megváltoztat valamit:
1. A négybites k-kvantok gyakorlatilag ingyen vannak. A vizsgálat teljes benchmarkkészletén az átlagos veszteség 0,43 százalékpont, 71%-os méretcsökkentés mellett.
2. A három bit már fáj — de nem egyenletesen. A matematikai feladatokon 9,3 pontot esik, a józan ész típusú feladatokon alig valamit. A többlépéses gondolatmenet törik el először.
3. A perplexitás rossz jós. A szerző megfogalmazása: több ötbites változat perplexitása gyakorlatilag azonos, miközben a feladatpontosságuk jelentősen eltér. Vagyis a perplexitás nem mondja meg, hogy elromlik-e a modell azon, amire használod.
4. A név nem a bitszám. A Q3_K_L ugyanazon a névleges bitszélességen belül szinte teljesen visszahozza a Q3_K_S veszteségét. A szerző szerint a formátum részletei legalább annyira számítanak, mint a bitszélesség címkéje.
(A mérés korlátai, amiket ki kell írni: egyetlen modell, egyetlen méret, processzoros futtatás, egy szerző. A kvantált modellek nyilvánosak, a módszertan reprodukálható.)
És a táblázat, ami minden blogban kering
Van egy 2023-as perplexitás-táblázat, amit szinte minden összefoglaló idéz. Érdemes tudni, hogy elavult, és nem enyhén: ugyanarra a szintre az akkori mérés +0,05 perplexitás-növekedést mutatott, a 2026-os +0,24-et.
Az ok érdekes: az újabb, jobban „telített" modellek érzékenyebbek a kvantálásra. Ahogy a modellek kevesebb paraméterbe többet zsúfolnak, úgy lesz kevesebb tartalék a súlyokban.
Ahol aránytalanul ront — és itt jön a magyar rész
Ez az a fejezet, amit egyetlen angol nyelvű összefoglaló sem ír meg.
Egy lektorált, 2025-ös vizsgálat kifejezetten azt mérte, mi történik hosszú bemeneten (64 ezer token fölött) és nem angol nyelven. A minta: 9 700 tesztpélda, 5 kvantálási módszer, 5 modell, öt benchmarkon — köztük egy 26 nyelvű kereséses feladaton.
Átlagos romlás módszerenként:
| Módszer | Bit | Átlagos változás |
|---|---|---|
| Nyolcbites lebegőpontos | 8 | −0,2% |
| Nyolcbites egész | 8 | −0,8% |
| Aktivációtudatos négybites | 4 | −1,8% |
| Kalibrált négybites | 4 | −2,7% |
| Tanításra szánt négybites formátum | 4 | −6,9% |
És a legnagyobb egyedi zuhanások:
| Eset | Romlás |
|---|---|
| 70 milliárd paraméteres modell, többnyelvű keresés | −59% |
| 8 milliárd paraméteres modell, hosszú kontextusú keresés | −30,7% |
| 8 milliárd, kalibrált négybites, ugyanaz | −21,2% |
A nyelvi lelet, amiért ez a cikk másképp végződik magyarul:
| Nyelvkategória | Romlás hosszú kontextusú kereséses feladaton |
|---|---|
| Angol | −2,1% … −4,6% |
| Kis erőforrású nyelvek | akár −8,4% |
| Nagy erőforrású, nem angol nyelvek | akár −14% |
A vizsgálat összegzése szerint a nem angol romlás akár ötszöröse az angolénak — és a vizsgált 26 nyelv között ott van a magyar is.
A szerzők szó szerinti összegzése: „a nyolcbites kvantálás megőrzi a pontosságot (~0,8%-os esés), míg a négybites módszerek jelentős veszteséghez vezetnek, különösen hosszú kontextusú bemeneteknél (akár 59%-os eséssel). Ez a romlás jellemzően súlyosbodik, ha a bemenet nem angol nyelvű."
Két mérés, két ellentétes tanulság — és nem mondanak ellent egymásnak. A különbség a bemenet hossza és nyelve:
RÖVID, ANGOL BEMENET
-> a 4 bites kvantálás gyakorlatilag ingyen van
(0,43 pont veszteség, 71% méretcsökkentés)
HOSSZÚ (64k+) VAGY NEM ANGOL BEMENET
-> a 4 bites nem ugyanaz az üzlet
(a nem angol romlás akár ötszörös)
Magyarul dolgozó, hosszú dokumentumokat feldolgozó helyi modellnél tehát érdemes feljebb lépni öt vagy nyolc bitre. Ez a cikk legkonkrétabb, magyar olvasónak szóló tanácsa — és nincs benne semmilyen angol nyelvű útmutatóban.
A megtérülési görbe
[Saját számítás] Összeolvasva a méret- és a minőségtáblát, jól látszik, hol éri meg lépni:
| Lépés | Memórianyereség | Ára |
|---|---|---|
| 16 bit → 8 bit | −47% | +0,01 perplexitás. Ingyen. |
| 8 bit → 4 bit (k-kvant) | további −46% | +0,23 perplexitás. Majdnem ingyen. |
| 4 bit → 3 bit (közepes) | további −18% | +0,40 perplexitás. Már fizetsz. |
| 3 bit közepes → kicsi | további −9% | +1,00 perplexitás, −4 pont átlag, matekon −9,3. Drága. |
A nagy nyereség az első két lépésben van. A négy bit alá menni rossz üzlet — hacsak nem az a kérdés, hogy elfér-e egyáltalán.
És jár hozzá sebesség is: mivel a generálást a memóriasávszélesség korlátozza, a kisebb fájl gyorsabban is generál. A prompt feldolgozásánál viszont ez nem így van — ott a sebesség formátumonként szabálytalanul változik, mert a kernelek eltérőek. Erről a hardver a local LLM-hez című írás szól bővebben.
A másik fele, amit mindenki elfelejt
A legtöbben a súlyokat kvantálják, a kontextust nem. Pedig 32 ezer token fölött a KV cache eszi a memóriát — ugyanazon a modellen a kontextus akár a modell négyszeresét is elfoglalhatja.
A KV cache is kvantálható, és a mérés szerint majdnem ingyen:
| KV cache formátum | Perplexitás-növekedés | Memória |
|---|---|---|
| 16 bites (a legtöbb futtató alapja) | — | 100% |
| 8 bites | +0,0043 | 50% |
| 4 bites | +0,21 | 25% |
A nyolcbites KV cache felezi a kontextus memóriaigényét, gyakorlatilag mérhetetlen minőségromlásért. Két kivétel, amire a mérés szerzője figyelmeztet: beágyazó és képfeldolgozó modelleknél ne használd, és óvatosan a sok figyelmi fejjel dolgozóknál.
Melyik eszközzel? — és mi halt meg
Ez a rész gyorsan avul, ezért érdemes ellenőrizni. 2026 szeptemberi állapot:
| Eszköz / formátum | Állapot |
|---|---|
| A helyi futtatás szabványos formátuma | Él, napi több kiadás |
| A klasszikus kalibrált kvantáló | ARCHIVÁLVA 2025 áprilisában |
| Ugyanennek az utódja | Él, ez a hivatalos ajánlás |
| Az aktivációtudatos kvantáló eredeti könyvtára | Kivezetve 2025 májusában |
| Maga az aktivációtudatos algoritmus | Él, más könyvtárakban |
| A tanításra szánt négybites formátum | Él, a finomhangolás szabványa |
| Apple saját keretrendszere | Él, aktív |
A kimondható tanulság: aki 2026-ban a klasszikus nevén telepíti a kvantálót, egy archivált tárolóból telepít. A funkció él, csak más néven.
Egy technikai részlet, ami sokat számít: a fontossági mátrix. Ez egy kalibrációs adathalmazon mért súlyozás, amivel a kvantáló a fontos csatornákat kíméli. A hivatalos dokumentáció szerint Q5_K_M alatti szinteknél kifejezetten ajánlott, és tipikusan 10-30%-kal javítja az eredményt.
Mit válassz?
RÖVID, ANGOL FELADAT, KEVÉS MEMÓRIA
-> Q4_K_S vagy Q4_K_M
Ez az általános alapértelmezés.
MINŐSÉGPÁRTI, VAN HELY
-> Q5_0 vagy Q5_K_M
Egy mérésben a Q5_0 átlagosan JOBB volt,
mint a 16 bites referencia.
HOSSZÚ KONTEXTUS VAGY MAGYAR SZÖVEG
-> Q8_0, vagy legalább Q5
Itt a 4 bites nem ugyanaz az üzlet.
CSAK ÍGY FÉR BE
-> Q3_K_L, NE Q3_K_S
Azonos névleges bitszélességen belül a K_L
szinte teljesen visszahozza a veszteséget.
ÉS MINDEN ESETBEN
-> kapcsold be a 8 bites KV cache-t
(kivéve beágyazó és képfeldolgozó modellnél)
Tipikus félreértések
- „A kvantálás butítja a modellt." Négy biten a teljes benchmarkkészleten átlagosan 0,43 százalékpontot vesz el, 71%-os méretcsökkentésért. Rövid, angol feladaton ez gyakorlatilag ingyen van.
- „A perplexitás megmondja, mennyit romlott." Nem. Azonos perplexitású változatok feladatpontossága jelentősen eltért ugyanabban a mérésben.
- „A bitszám mindent elárul." A formátum részletei legalább annyit számítanak: a Q3_K_L azonos névleges bitszélességen visszahozza a Q3_K_S veszteségét.
- „Ami angolul igaz, magyarul is." A 26 nyelvű mérésben a nem angol romlás akár ötszöröse volt az angolénak, hosszú bemeneten.
- „Elég a súlyokat kvantálni." 32 ezer token fölött a KV cache lehet a nagyobb tétel. A nyolcbites KV cache felezi, mérhetetlen áron.
- „A blogokban keringő perplexitás-táblázat aktuális." 2023-as, és az újabb modellek érzékenyebbek: ugyanarra a szintre +0,05 helyett +0,24 a mai érték.
Amit érdemes elvinni
A kvantálás a helyi futtatás legjobb üzlete — a négybites szint hetven százalék memóriát spórol fél százalékpont pontosságért, és a legtöbb feladatra ennyi.
De két helyen nem így van, és mindkettő fontos a magyar olvasónak: hosszú bemeneten és nem angol nyelven a romlás nagyságrenddel nagyobb, a vizsgálat szerint akár ötszörös. Ha magyar dokumentumokkal dolgozol helyi modellen, lépj fel öt vagy nyolc bitre — ott a négy bit nem ugyanaz az üzlet.
És egy beállítás, amit szinte senki nem kapcsol be: a nyolcbites KV cache. Felezi a kontextus memóriaigényét, és a mérés szerint a minőségromlás gyakorlatilag nem mérhető. A futtatók összehasonlításáról a helyi modellfuttatók című írás szól, a megtérülésről pedig a helyi futtatás értelme témájú poszt.