¿Qué es la quantization, en un párrafo?
Los pesos de un modeloson números. Por defecto se guardan en 16 bits. La quantization reduce eso — a 8, 5, 4, a veces 3 bits — y a cambio el archivo se hace más pequeño, se lee más rápido y cabe donde antes no cabía.
La información guardada, sin embargo, es menor, así que el modelo pierde algo. La única pregunta es cuánto — y cuándo.
La nomenclatura tiene la forma Q<bits>_<variante>, donde _K señala la familia más avanzada, la de los «k-quant», y _S / _M / _L el tamaño dentro de esa familia. Los bits por peso reales rara vez son un número redondo:
| Etiqueta | bits/peso |
|---|---|
| Q3_K_M | 3,74 |
| Q4_0 | 4,34 |
| Q4_K_S | 4,37 |
| Q4_K_M | 4,58 |
| Q5_0 | 5,21 |
| Q5_K_M | 5,33 |
| Q6_K | 6,14 |
| Q8_0 | 8,50 |
(De las etiquetas de tres partes: Q3_K_S son 3,41 bits/peso.)
¿Cuánto empeora? La medición
El mejor dato disponible viene de un estudio unificado de enero de 2026: un modelo, 13 configuraciones de quantization, con un marco de evaluación público.
Primero la perplexity, la métrica clásica de los modelos de lenguaje:
| Configuración | Perplexity | Diferencia con la referencia |
|---|---|---|
| 16 bits (referencia) | 7,32 | — |
| Q3_K_S | 8,96 | +1,64 |
| Q3_K_M | 7,96 | +0,64 |
| Q4_K_M | 7,56 | +0,24 |
| Q5_K_M | 7,40 | +0,08 |
| Q8_0 | 7,33 | +0,01 |
Hasta aquí, limpio y aburrido. La precisión por tarea cuenta otra cosa:
| Benchmark | 16 bits | Q3_K_S | Q4_K_S | Q5_0 |
|---|---|---|---|---|
| Problemas de matemáticas con enunciado | 77,6 % | 68,3 % (−9,3) | 77,3 % | 79,1 % (+1,5) |
| Seguimiento de instrucciones | 78,9 % | 73,9 % (−5,0) | 80,3 % (+1,4) | 80,1 % |
| Conocimiento general | 63,5 % | 59,3 % (−4,2) | ~63 % | 63,7 % |
| Sentido común | 72,5 % | ~71-74 % | ~71-74 % | ~71-74 % |
| Media sin ponderar (sobre cinco benchmarks) | 69,5 % | 65,5 % | 69,2 % | 69,9 % |
Cuatro conclusiones, y las cuatro cambian algo:
1. Los k-quant de cuatro bits salen prácticamente gratis. Sobre el conjunto completo de benchmarks del estudio, la pérdida media es de 0,43 puntos porcentuales, con un 71 % de reducción de tamaño.
2. Tres bits ya duele, pero no de forma uniforme. En los problemas de matemáticas cae 9,3 puntos; en las tareas de sentido común, apenas nada. Lo primero que se rompe es el razonamiento en varios pasos.
3. La perplexity es mal profeta. En palabras del autor: varias variantes de cinco bits tienen una perplexity prácticamente idéntica mientras su precisión por tarea difiere de forma notable. Es decir, la perplexity no te dice si el modelo se estropea justo en aquello para lo que lo usas.
4. El nombre no es el número de bits. Dentro del mismo ancho nominal de bits, Q3_K_L recupera casi por completo la pérdida de Q3_K_S. Según el autor, los detalles del formato cuentan al menos tanto como la etiqueta del ancho de bits.
(Los límites de la medición, que hay que escribir: un solo modelo, un solo tamaño, ejecución en procesador, un solo autor. Los modelos cuantizados son públicos y la metodología es reproducible.)
Y la tabla que circula por todos los blogs
Hay una tabla de perplexity de 2023 que cita casi todo resumen. Conviene saber que está desfasada, y no levemente: para el mismo nivel, aquella medición mostraba un aumento de perplexity de +0,05, y la de 2026 muestra +0,24.
El motivo es interesante: los modelos más nuevos, más «saturados», son más sensibles a la quantization. A medida que los modelos meten más cosas en menos parámetros, queda menos holgura en los pesos.
Donde empeora de forma desproporcionada: la parte no inglesa
Este es el capítulo que se cae de casi todos los resúmenes del tema.
Un estudio revisado por pares de 2025 midió expresamente qué pasa con entrada larga (por encima de 64k tokens) y en idiomas distintos del inglés. La muestra: 9.700 casos de prueba, 5 métodos de quantization, 5 modelos, en cinco benchmarks — entre ellos una tarea de retrieval en 26 idiomas.
Deterioro medio por método:
| Método | Bits | Cambio medio |
|---|---|---|
| Coma flotante de ocho bits | 8 | −0,2 % |
| Entero de ocho bits | 8 | −0,8 % |
| Cuatro bits sensible a la activación | 4 | −1,8 % |
| Cuatro bits calibrado | 4 | −2,7 % |
| Formato de cuatro bits pensado para entrenamiento | 4 | −6,9 % |
Y los mayores desplomes individuales:
| Caso | Deterioro |
|---|---|
| Modelo de 70 mil millones de parámetros, retrieval multilingüe | −59 % |
| Modelo de 8 mil millones de parámetros, retrieval de contexto largo | −30,7 % |
| 8 mil millones, cuatro bits calibrado, la misma tarea | −21,2 % |
El hallazgo lingüístico, y la razón por la que este artículo no termina donde terminan los resúmenes en inglés:
| Categoría de idioma | Deterioro en retrieval de contexto largo |
|---|---|
| Inglés | −2,1 % … −4,6 % |
| Idiomas de pocos recursos | hasta −8,4 % |
| Idiomas de muchos recursos distintos del inglés | hasta −14 % |
Según el resumen del propio estudio, fuera del inglés el deterioro llega a ser cinco veces el del inglés — y el húngaro era uno de los 26 idiomas medidos.
El resumen literal de los autores: «la quantization de ocho bits preserva la precisión (caída de ~0,8 %), mientras que los métodos de cuatro bits provocan pérdidas notables, sobre todo con entradas de contexto largo (con caídas de hasta el 59 %). Ese deterioro suele agravarse cuando la entrada no está en inglés.»
Dos mediciones, dos lecciones opuestas — y no se contradicen. La diferencia está en la longitud y el idioma de la entrada:
ENTRADA CORTA Y EN INGLÉS
-> la quantization de 4 bits sale casi gratis
(0,43 puntos de pérdida, 71 % menos tamaño)
ENTRADA LARGA (64k+) O NO INGLESA
-> 4 bits ya no es el mismo negocio
(fuera del inglés, hasta cinco veces peor)
Así que en un modelo local que trabaja en un idioma distinto del inglés y procesa documentos largos, conviene subir a cinco u ocho bits. Es el consejo más concreto de este artículo — y no aparece en ninguna de las guías habituales.
La curva de amortización
[Cálculo propio] Leyendo juntas la tabla de tamaños y la de calidad, se ve bien dónde merece la pena dar el paso:
| Paso | Memoria ganada | Precio |
|---|---|---|
| 16 bits → 8 bits | −47 % | +0,01 de perplexity. Gratis. |
| 8 bits → 4 bits (k-quant) | otro −46 % | +0,23 de perplexity. Casi gratis. |
| 4 bits → 3 bits (medio) | otro −18 % | +0,40 de perplexity. Ya pagas. |
| 3 bits medio → pequeño | otro −9 % | +1,00 de perplexity, −4 puntos de media, −9,3 en matemáticas. Caro. |
La gran ganancia está en los dos primeros pasos. Bajar de cuatro bits es mal negocio, salvo que la pregunta sea si cabe siquiera.
Y viene acompañado de velocidad: como la generación la limita el ancho de banda de memoria, un archivo más pequeño también genera más rápido. Con el procesado del prompt no ocurre lo mismo: ahí la velocidad varía de forma irregular según el formato, porque los kernels son distintos. Eso lo detalla el post hardware para local LLM con más números.
La otra mitad, la que todo el mundo olvida
La mayoría cuantiza los pesos y deja el contexto en paz. Y sin embargo, por encima de 32k tokens es la KV cache la que se come la memoria: en el mismo modelo, el contexto puede ocupar hasta cuatro veces el modelo.
La KV cache también se puede cuantizar y, según la medición, casi gratis:
| Formato de la KV cache | Aumento de perplexity | Memoria |
|---|---|---|
| 16 bits (la base en la mayoría de ejecutores) | — | 100 % |
| 8 bits | +0,0043 | 50 % |
| 4 bits | +0,21 | 25 % |
La KV cache de ocho bits reduce a la mitad la memoria que pide el contexto, por una pérdida de calidad prácticamente inmedible. Dos excepciones sobre las que avisa el autor de la medición: no la uses con modelos de embedding ni de visión, y con cuidado en los que tienen muchas cabezas de atención.
¿Con qué herramienta? — y qué ha muerto
Esta parte envejece deprisa, así que conviene comprobarla. Estado en septiembre de 2026:
| Herramienta / formato | Estado |
|---|---|
| El formato estándar de la ejecución local | Vivo, varias publicaciones al día |
| El cuantizador calibrado clásico | ARCHIVADO en abril de 2025 |
| Su sucesor | Vivo, y es la recomendación oficial |
| La biblioteca original del cuantizador sensible a la activación | Retirada en mayo de 2025 |
| El algoritmo sensible a la activación en sí | Vivo, en otras bibliotecas |
| El formato de cuatro bits pensado para entrenamiento | Vivo, es el estándar del fine-tuning |
| El framework propio de Apple | Vivo, en desarrollo activo |
La conclusión que se puede enunciar: quien en 2026 instale el cuantizador por su nombre clásico está instalando desde un repositorio archivado. La función vive, solo que con otro nombre.
Un detalle técnico que pesa mucho: la matriz de importancia. Es una ponderación medida sobre un conjunto de calibración, con la que el cuantizador protege los canales que importan. Según la documentación oficial está expresamente recomendada por debajo de Q5_K_M, y suele mejorar el resultado entre un 10 y un 30 %.
¿Cuál eliges?
TAREA CORTA EN INGLÉS, POCA MEMORIA
-> Q4_K_S o Q4_K_M
Es el valor por defecto general.
PRIORIDAD A LA CALIDAD, HAY SITIO
-> Q5_0 o Q5_K_M
En una medición, Q5_0 salió de media MEJOR
que la referencia de 16 bits.
CONTEXTO LARGO O TEXTO NO INGLÉS
-> Q8_0, o al menos Q5
Aquí 4 bits no es el mismo negocio.
SOLO ASÍ CABE
-> Q3_K_L, NO Q3_K_S
Con el mismo ancho nominal de bits, K_L
recupera casi toda la pérdida.
Y EN CUALQUIER CASO
-> activa la KV cache de 8 bits
(salvo en modelos de embedding y de visión)
Malentendidos habituales
- «La quantization atonta al modelo.» A cuatro bits, sobre el conjunto completo de benchmarks, se lleva de media 0,43 puntos porcentuales, por un 71 % de reducción de tamaño. En tareas cortas y en inglés eso sale prácticamente gratis.
- «La perplexity te dice cuánto ha empeorado.» No. Variantes con la misma perplexity tuvieron precisiones por tarea muy distintas en la misma medición.
- «El número de bits lo dice todo.» Los detalles del formato cuentan otro tanto: con el mismo ancho nominal, Q3_K_L recupera la pérdida de Q3_K_S.
- «Lo que vale en inglés vale en todas partes.» En la medición sobre 26 idiomas, fuera del inglés el deterioro llegó a ser cinco veces mayor con entrada larga.
- «Basta con cuantizar los pesos.» Por encima de 32k tokens la KV cache puede ser la partida mayor. La de ocho bits la reduce a la mitad, a un precio inmedible.
- «La tabla de perplexity que circula por los blogs está al día.» Es de 2023, y los modelos nuevos son más sensibles: para el mismo nivel, hoy la cifra es +0,24 en lugar de +0,05.
Lo que conviene llevarse
La quantization es el mejor negocio de la ejecución local: el nivel de cuatro bits ahorra un setenta por ciento de memoria por medio punto porcentual de precisión, y para la mayoría de las tareas ahí se acaba la historia.
Pero hay dos sitios donde no funciona así, y los dos importan: con entrada larga y en idiomas distintos del inglés el deterioro es un orden de magnitud mayor, hasta cinco veces según el estudio. Si trabajas con documentos en húngaro sobre un modelo local, sube a cinco u ocho bits: ahí cuatro bits no es el mismo negocio.
Y un ajuste que casi nadie activa: la KV cache de ocho bits. Reduce a la mitad la memoria que pide el contexto y, según la medición, la pérdida de calidad prácticamente no se mide. La comparación de los ejecutores la recorre el post ejecutores de IA local uno a uno, y de la amortización se ocupa el post por qué ejecutar IA en local , con las cuentas.