Hardware para local LLM: VRAM, RAM y Apple Silicon

Primera mitad: los pesos

[Cálculo propio] La fórmula es sencilla:

tamaño de los pesos [GiB] = bits_por_peso × parámetros / 8 / 2^30

bits_por_peso depende del nivel de quantization. La tabla ya hecha, solo para los pesos:

Una corrección empírica que casi nadie escribe. [Cálculo propio a partir de tamaños de archivo medidos] En las variantes de cuatro, cinco y seis bits el archivo real es un 6-7 % mayor que el valor nominal, porque el cuantizador deja las capas de embedding y de salida con más precisión. La de ocho bits, en cambio, sale exactamente lo que da la fórmula.

Es decir: en los niveles de cuatro bits, súmale un siete por ciento.

Segunda mitad: la KV cache que todos se saltan

Esta es la parte más importante del artículo, porque de aquí salen casi todos los errores de dimensionamiento.

Mientras genera, el modelo guarda un vector de clave y otro de valor por cada token procesado, para no tener que recalcularlos. Eso es la KV cache, y crece linealmente con la longitud del contexto.

[Cálculo propio] La fórmula:

KV cache [bytes/token] = 2 × capas × cabezas KV × dim. cabeza × bytes

  2       : clave y valor por separado
  bytes   : 2 en dieciséis bits, 1 en ocho bits, 0,5 en cuatro bits

Sobre un modelo concreto de ocho mil millones de parámetros — 36 capas, 8 cabezas KV, dimensión de cabeza 128:

Léelo junto con la primera tabla: los pesos de cuatro bits de ese mismo modelo ocupan 4,6 GiB. Su contexto nativo ocupa también 4,5 GiB. Su contexto completo, ampliado, ocupa 18 GiB — cuatro veces el modelo.

Dos consecuencias prácticas:

1. La KV cache se puede cuantizar, y sale casi gratis. Según una medición de un desarrollador, la KV cache de ocho bits cuesta +0,0043 de perplexity — prácticamente inmedible. La de cuatro bits ya cuesta +0,21, que se nota pero resulta aceptable para muchas tareas. El ahorro, a cambio, es la mitad y una cuarta parte respectivamente.

(La advertencia del autor de esa medición: no la uses con modelos de embedding ni de visión, y con cuidado en los que tienen muchas cabezas de atención.)

2. La atención agrupada es la única razón por la que esto cabe. [Cálculo propio] Si ese mismo modelo usara atención clásica con 32 cabezas KV en lugar de 8, su contexto de 128k tokens serían 72 GiB. Así son 18.

La fórmula completa

Memoria necesaria ≈

    pesos
  + KV cache × nº de peticiones en paralelo
  + activaciones y búfer de cálculo (0,5-2 GiB)
  + entorno de ejecución (0,5-1 GiB)
  + [en equipos Apple] el sistema y el resto de apps

La regla del "número de parámetros dividido entre dos" vale con contexto corto. Por encima de 32k tokens se equivoca en un orden de magnitud: en el ejemplo anterior, la KV cache sola supone un 400 % de recargo.

La sorpresa: el prompt y la generación no son lo mismo

Aquí está el dato menos conocido del artículo, y viene de una fuente primaria.

Del blog de investigación del propio fabricante: «generar el primer token está limitado por cómputo» y aprovecha del todo los aceleradores. «Generar los tokens siguientes, en cambio, lo limita el ancho de banda de memoria», no la capacidad de cálculo.

En una primera lectura suena a detalle técnico. Después uno mira qué significa en la práctica:

El chip barato, con la mitad de núcleos gráficos y el 56 % del ancho de banda, procesa el prompt casi el doble de rápido — y genera una quinta parte más lento.

La decisión práctica sale de ahí:

¿METES PROMPTS LARGOS?
(código, documentos, chunks de RAG)
-> lo que cuenta es el CÓMPUTO
-> chip de nueva generación, con aceleradores

¿GENERAS RESPUESTAS LARGAS?
(escribir, pasos de agent, resumir)
-> lo que cuenta es el ANCHO DE BANDA
-> chip más grande y más caro

Y LO MÁS IMPORTANTE:
la cifra de "tokens por segundo" de cualquier
folleto SIEMPRE mide una de las dos cosas,
nunca las dos.

¿Equipo Apple o tarjeta gráfica?

La clave no es "memoria compartida o dedicada", sino tres números: capacidad, ancho de banda y la relación entre ambos.

La diferencia real cabe en cuatro puntos:

1. Capacidad. En la tarjeta gráfica de consumo tope el techo son 32 gigabytes. Los pesos de cuatro bits de un modelo de 70 mil millones de parámetros son 37,3 GiB: no caben en ninguna tarjeta gráfica de consumo, pero sí en un equipo Apple de 64 gigabytes.
2. Ancho de banda. La tarjeta gráfica tiene aproximadamente el triple de ancho de banda que el chip Apple potente. Lo que cabe, la tarjeta gráfica lo genera mucho más rápido.
3. Sin copias. Con unified memory, el procesador y el núcleo gráfico ven lo mismo. Con una tarjeta discreta el bus es el cuello de botella cada vez que hay que mover capas.
4. Consumo. El sobremesa Apple potente llega a 145 W como máximo; la tarjeta gráfica tope, a 575. Eso también entra en el cálculo de amortización, que recorre el post por qué ejecutar IA en local con números concretos.

Una regla general utilizable [Cálculo propio]:

Velocidad máx. teórica ≈ ancho de banda / tamaño del modelo

(porque cada token generado exige leer el modelo
 entero desde la memoria)

El valor medido suele quedarse en el 45-82 % de eso, según el chip. Un ejemplo: modelo de 3,8 gigabytes, 614 GB/s de ancho de banda → 161 tokens/s en teoría, 120 medidos: un 74 % de aprovechamiento.

Velocidades medidas

Datos de una tabla de rendimiento oficial y mantenida al día, todos con el mismo modelo de siete mil millones de parámetros. PP = procesado del prompt, TG = generación de texto:

Y una lección que pesa tanto como la elección de hardware: en la misma máquina y con el mismo modelo, la elección del ejecutor provocó una diferencia de 1,2-1,9× en una medición académica. En otra medición, sobre hardware de otro fabricante, la elección de la biblioteca de fondo provocó una diferencia de siete veces en cómputo bruto. Los ejecutores los compara el post ejecutores de IA local uno por uno.

¿Cuánto hace falta y cuánto cuesta?

Deducido de los números anteriores, con quantization de cuatro bits y longitudes de contexto realistas:

* La columna de los pesos ya incluye aquí la corrección del +7 % anterior; la fórmula pura da 37,3 GiB.

La columna de la derecha incluye también el sistema y el resto de aplicaciones — por eso no basta con sumar las dos columnas centrales.

Y un aviso de mercado que en 2026 no se puede omitir: los precios de la memoria no están del lado del comprador. En septiembre de 2026 el precio de calle de las tarjetas gráficas de gama alta era dos veces y media el precio recomendado por el fabricante, por la demanda de los centros de datos. Eso desplaza el cálculo de amortización de forma apreciable.

La guía práctica

1. CUENTA TAMBIÉN LA KV CACHE, NO SOLO LOS PESOS
   Con contexto largo la KV cache puede ser varias
   veces el modelo. Es el error más frecuente.

2. DECIDE QUÉ HACES MÁS
   ¿Metes prompts largos o generas respuestas
   largas? Gana un chip distinto en cada caso.

3. QUANTIZATION DE CUATRO BITS POR DEFECTO
   Empieza ahí. Las cifras están en el artículo
   de quantization: cuatro bits sale casi gratis.

4. ACTIVA LA KV CACHE DE OCHO BITS
   Reduce a la mitad la memoria del contexto, con
   una pérdida de calidad inmedible. NO la uses en
   modelos de embedding ni de visión.

5. SI NO CABE, PRIMERO UN MODELO MÁS PEQUEÑO
   Un modelo pequeño y rápido gana a uno grande
   que trabaja medio desde el disco.

6. CUENTA TAMBIÉN EL CONSUMO EN REPOSO
   Un sobremesa siempre encendido puede gastar
   600 kWh al año sin hacer nada.

7. PRUEBA ANTES DE COMPRAR
   El mismo modelo en la misma máquina, con otro
   ejecutor: hasta el doble de diferencia.

Malentendidos habituales

• «Parámetros entre dos y listo.» Cierto con contexto corto. Por encima de 32k tokens la KV cache añade un orden de magnitud.
• «Más núcleos gráficos, generación más rápida.» La generación la limita el ancho de banda. En la medición, el chip con la mitad de núcleos procesó el prompt más rápido y generó más lento.
• «La memoria compartida siempre es peor.» En capacidad es mejor: un modelo de 70 mil millones de parámetros no cabe en una tarjeta gráfica de consumo, pero sí en 64 gigabytes de unified memory.
• «La quantization de cuatro bits empeora mucho.» En una medición unificada de 2026, el aumento de perplexity es de +0,24 en el nivel más habitual: menor que la dispersión entre modelos.
• «El hardware lo decide todo.» En la misma máquina, la elección del ejecutor y la de la biblioteca de fondo provocaron diferencias del doble y de siete veces en mediciones.
• «La cifra de 'tokens por segundo' es comparable.» Solo si sabes si se refiere al procesado del prompt o a la generación. Las dos pueden diferir hasta veinticinco veces en la misma máquina.

Lo que conviene llevarse

El dimensionamiento se compone de dos números, no de uno: los pesos y la KV cache. El segundo crece con la longitud del contexto y, con contexto largo, puede ser varias veces el modelo: el error de planificación más frecuente y más caro que existe.

Y para elegir hardware decide una sola pregunta: ¿metes prompts largos o generas respuestas largas? Lo primero pide cómputo, lo segundo ancho de banda — y el mismo dinero compra una máquina distinta en cada caso.

Y antes de comprar nada: el mismo modelo en la misma máquina, con otro ejecutor, mostró el doble de velocidad en una medición. Merece la pena optimizar el software antes de cambiar el hardware. De la quantization habla en detalle el post quantization , con las cifras.