Ir al contenido

Clasificaciones y realidad: por qué no coinciden

Los modelos más usados no están con regularidad en lo alto de las clasificaciones. No porque la clasificación mienta — porque no mide aquello sobre lo que la gente elige de verdad.
11 de septiembre de 2026 por
Clasificaciones y realidad: por qué no coinciden
Krisztian Eyssen, Krisztian Eyssen

Dos listas que nunca coinciden

Hay una lista de qué modelo es el mejor. Y hay otra de cuáles usa más gente. Quien haya visto las dos habrá notado que no se parecen ni de lejos.

No es una contradicción sino una consecuencia. Una clasificación mide qué sabe hacer un modelo sobre un conjunto de tareas. El dato de uso muestra qué elige la gente cuando además tiene que pagarlo, cuando la respuesta tiene que ser rápida y cuando mañana también tiene que funcionar. Rara vez son lo mismo. De cómo leer las clasificaciones trata Cómo leer un benchmark de IA por extenso.

Una foto concreta

Los model routers publican cuántos tokens pasan por ellos en cada modelo. Es una ocasión rara: no una cifra de marketing sino tráfico real. En septiembre de 2026, en uno de los mayores servicios de este tipo, la cabeza de la lista era así:

  • En primer puesto, el lanzamiento preliminar de un fabricante chino, con cerca de 20 billones de tokens.
  • En segundo, el nivel más barato de un fabricante occidental — no su buque insignia.
  • En tercero, cuarto y quinto, modelos chinos de pesos abiertos, normalmente sus variantes rápidas y baratas.

Cuatro de los cinco primeros puestos fueron para modelos de pesos abiertos. No había ni un buque insignia occidental — y son justamente esos los que encabezan las clasificaciones.

Cuatro razones por las que no se usa al líder

La explicación no es que los desarrolladores desconozcan los modelos mejores. Hay cuatro razones muy prosaicas:

  • Precio. El trabajo masivo va a lo más barato que pase el listón de calidad. Con veinticinco veces de diferencia eso no es tacañería sino aritmética — de eso trata elegir el nivel adecuado con números.
  • Velocidad. Donde el usuario espera, un modelo rápido y mediano es mejor producto que uno lento y listo.
  • Disponibilidad. En un sistema en producción lo que cuenta es que la llamada se complete siempre. Quien monta un respaldo mantiene varios modelos, y el tráfico se reparte.
  • Coste de cambio. Lo que funciona no se sustituye cada mes. Alrededor de un modelo asentado hay prompts, ejemplos y controles que habría que reajustar.

Lo que la clasificación sí te dice

No tires la clasificación — solo sé consciente de para qué sirve. Tiene tres utilidades reales.

Te enseña el techo. Si en un tipo de tarea ni el mejor modelo pasa del 60 por ciento, tu tarea tampoco va a ir al 90. Es la información más valiosa, y no se obtiene de ningún otro sitio.

Te enseña el suelo. Si un modelo es llamativamente flojo en una capacidad básica, conviene tomárselo en serio. La señal negativa es más fiable que la positiva.

Estrecha el campo. No puedes probar todo entre quinientos modelos. Una clasificación sirve para llegar a cinco candidatos que después midas de verdad.

Dónde induce a error la clasificación

Cuatro distorsiones concretas que conviene tener en la cabeza:

  • Premiar el formato. Las clasificaciones basadas en voto humano tienden a premiar la respuesta más larga, en viñetas y de tono seguro — que no es lo mismo que la respuesta exacta.
  • La filtración de datos. Los conjuntos de prueba populares acaban tarde o temprano en el material de entrenamiento. Una puntuación alta en un benchmark viejo vale por eso menos que una en un conjunto recién montado.
  • La medición del propio fabricante. Las cifras de los anuncios se produjeron con los ajustes del fabricante. No son falsas, pero tampoco comparables.
  • El idioma. Casi todas las clasificaciones públicas miden en inglés. No dicen nada del rendimiento en un idioma pequeño — eso hay que medirlo aparte con tus propias tareas.

El dato de uso tampoco es limpio

Por honestidad: la lista de tráfico de arriba tampoco es toda la verdad. Muestra los datos de un solo intermediario, donde desarrolladores ejecutan tareas masivas — no lo que usa una persona de oficina en una ventana de chat.

Ahí el orden sería muy distinto: en las interfaces de consumo dominan las marcas grandes, y la sensibilidad al precio apenas cuenta, porque la suscripción es fija. O sea que no hay una lista verdadera y otra falsa — hay varias listas, y cada una responde a su propia pregunta.

Tu propia clasificación

La única vara que pertenece a tu decisión es la tuya. No cuesta montarla:

  • Veinte tareas reales de tu propio trabajo, con los casos difíciles incluidos.
  • Una buena respuesta escrita para cada una — este paso es el trabajo, y es el que la gente se salta.
  • Tres o cuatro modelos, a ser posible de distintos niveles y fabricantes.
  • Cuatro columnas al final: cuántas respuestas buenas, cuánto tiempo, cuánto dinero, cuántos errores llamativos.

Esas veinte tareas después te acompañan durante años: al cambiar de modelo, al cambiar el precio o al salir una versión nueva pasas el mismo conjunto y en media hora tienes la respuesta. Un torneo de modelos en dos semanas lo describe como receta detallada.

Qué llevarte

La clasificación mide capacidad, el dato de uso mide decisiones — y en la decisión el precio, la velocidad y la fiabilidad pesan más que los últimos puntos porcentuales de exactitud. La clasificación sirve para enseñar el techo y estrechar el campo; la respuesta la dan tus propias veinte tareas.

Clasificaciones y realidad: por qué no coinciden
Krisztian Eyssen, Krisztian Eyssen 11 de septiembre de 2026
Compartir esta publicación
Archivar