El error por defecto
Cuando alguien usa IA en serio por primera vez, elige el modelomás potente. Es comprensible: si la calidad de la respuesta cuenta, ¿por qué escoger uno más flojo?
El problema es que esa decisión se toma una vez y después no se vuelve a tocar. Medio año después hay mil clasificaciones al día corriendo en el modelo tope que el nivel más barato haría igual de bien — por la veinticincoava parte del precio y tres veces más rápido.
¿Qué distingue a los niveles?
No lo que casi todo el mundo supone. Entre los niveles la diferencia no es el conocimiento — todos aprendieron del mismo montón enorme de texto. Se diferencian en cuatro cosas:
- Constancia en los casos difíciles. La tarea fácil la resuelven todos. La diferencia asoma en los casos límite: ambiguos, incompletos, raros.
- Trabajo de varios pasos. Donde la tarea son cinco pasos encadenados, el nivel barato pierde el hilo hacia el tercero.
- Manejo de material largo. En un context window grande, el nivel más caro aprovecha con más fiabilidad la información del medio.
- Razonamiento. El reasoning mode suele estar solo en los niveles altos, y esa es la única diferencia real de capacidad.
¿De cuánto es la diferencia en números?
Tomemos un ejemplo real. 300 reclamaciones de clientes al día que clasificar, con unos 800 tokens de entrada y 150 de salida por reclamación.
Con 9.000 pasadas al mes eso son unos 7,2 millones de tokens de entrada y 1,35 millones de salida. En el nivel más barato, unos pocos dólares al mes. En el nivel tope, lo mismo son decenas de dólares, y si corre en modo de razonamiento, cientos — porque el pensamiento también cuenta como tokens de salida.
La cifra no suena grande por sí sola. Pero esto es una sola tarea. En una empresa hay veinte parecidas, y veinte veces eso ya es una línea de presupuesto.
El escalonado: barato primero, caro solo si hace falta
Es el patrón con mejor relación calidad-precio, y lo usa sorprendentemente poca gente. La idea: no eliges un modelo, eliges un orden.
- Primer escalón: el nivel barato recibe la tarea, y le dices además que cuando dude escriba
DUDOSO. - Segundo escalón: lo que vuelva como dudoso — y solo eso — pasa al nivel más caro.
- Tercer escalón: lo que siga dudoso ahí va a una persona.
En la práctica la gran mayoría de los casos se resuelve en el primer escalón. El modelo caro corre solo sobre la fracción donde de verdad hace falta — y la calidad del resultado final es la del nivel caro, no la del barato.
Cuando lo que decide es la velocidad
Hay sitios donde no decide el precio sino la espera. Si el usuario está ahí mirando, el tiempo de respuesta es parte del producto.
Los niveles baratos no solo son más baratos, son bastante más rápidos, y el modo de razonamiento puede ser un orden de magnitud más lento. En una sugerencia automática mostrada delante de un cliente, esa diferencia pasa entre lo usable y lo inservible.
Al revés también vale: si la tarea corre de noche por lotes, la velocidad no cuenta — y en muchos proveedores una pasada por lotes cuesta la mitad.
¿Cómo decidir? Los cuarenta casos
Para esto no hace falta un ingeniero, hace falta una tarde.
- Reúne 40 casos reales de tu propio trabajo. No los más bonitos: la distribución real, con los casos difíciles incluidos.
- Escribe cuál es la buena respuesta en cada uno. Es el paso más importante, y es el que la gente se salta.
- Pasa los 40 por el nivel más barato y el medio. Si la diferencia es apreciable, pásalos también por el tope.
- Cuenta los errores, no la impresión. «Parece mejor» no es un dato.
Si el nivel más barato acierta 38 de 40 y el modelo tope 39, la pregunta ya no es cuál es mejor sino si un caso vale pagar veinticinco veces el precio — y la respuesta depende de la tarea, no del modelo.
En qué es realmente flojo el nivel barato
Para que no haya malentendidos: hay sitios donde no hay que ahorrar.
- Donde el error sale caro. Contratos, textos jurídicos, contenido médico, cálculo financiero.
- Donde hay que cumplir muchas reglas a la vez. El nivel barato suelta reglas antes — y no lo avisa, como explica Restricciones que se cumplen .
- Donde varios pasos se apoyan unos en otros. A lo largo de los diez pasos de un agent , los pequeños errores se multiplican.
- En idiomas pequeños. El rendimiento en húngaro y en español varía mucho más en los niveles baratos — eso hay que medirlo, no suponerlo.
Qué llevarte
Elegir el nivel ahorra más que cambiar de fabricante — dentro de una familia la diferencia de precio es de veinticinco veces, y el nivel barato resuelve la mayoría de las tareas diarias. El buen patrón no es elegir uno sino escalonar: barato primero, caro solo para los casos dudosos. Y la decisión se resuelve con cuarenta casos reales, no con una sensación.