¿Qué es un benchmark?
Un juego de pruebas estandarizado que se pasa a todos los modelos para poder compararlos. Los hay construidos con preguntas de examen, con la corrección de errores reales de software, y con problemas hechos a propósito casi imposibles.
Son útiles: sin ellos solo tendríamos material de marketing. Pero hay una cosa para la que no sirven: decidir qué modelo necesitas tú.
Cuatro cosas que la puntuación no cuenta
1. La prueba puede haberse colado en el entrenamiento
Los modelos se entrenan con una parte enorme de internet. Las preguntas y las soluciones de las pruebas populares están en internet. Si un modelo las vio durante el entrenamiento, el buen resultado es en parte memoria y no capacidad.
Los fabricantes intentan filtrarlo, pero no se puede hacer perfectamente. Por eso un modelo puede brillar en una prueba conocida y tropezar en una tarea igual de difícil pero nueva.
Un asidero útil: los resultados de pruebas recientes valen más que los de pruebas que llevan años circulando.
2. Un solo número esconde muchos resultados parciales
La mayoría de los benchmarks miden decenas de subáreas y al final promedian. Dos modelos con la misma puntuación global pueden ser fuertes en sitios completamente distintos: uno en matemáticas, otro en comprensión lectora.
Si hay desglose detallado, mira eso — y dentro de eso, solo la porción que te concierne.
3. No mide lo que importa en el uso diario
Las pruebas se ejecutan normalmente en formato una pregunta, una respuesta. En el trabajo real lo que importa es esto:
- si respeta exactamente el formato que pediste
- qué hace cuando la instrucción es contradictoria
- cuánta consistencia tiene ante la misma pregunta
- cómo rinde en tu idioma — casi ningún benchmark grande mide esto en serio
- cuánto tiempo y cuánto dinero cuesta una respuesta
Estas dos últimas importan especialmente: dos modelos con la misma puntuación pueden correr con una diferencia de coste de cinco a uno.
4. La cabeza del ranking y el uso real son dos mundos distintos
Si miras qué modelos se usan realmente más, la lista no coincide con la cabeza del ranking. En la práctica, la mayor parte del trabajo la hacen modelos medianos, baratos y rápidos — porque son suficientemente buenos y cuestan diez veces menos.
Esto no es ignorancia de los usuarios. Es la decisión correcta.
Lo que sí funciona: tu propio juego de pruebas
Media jornada de trabajo, y después te sirve durante años.
1. Reúne veinte tareas reales. No inventadas — cosas que hayan surgido de verdad en tu trabajo. Mete cinco fáciles, diez típicas y cinco de las que nunca han salido bien.
2. Escribe qué hace buena a una respuesta. Una o dos frases por tarea. Es el paso más difícil y el más valioso: revela que en muchos casos tú tampoco sabías con exactitud qué esperabas.
3. Ejecútalas con cada candidato usando el mismo prompt. Sin cambios — si ajustas el prompt para cada modelo, no estás comparando los modelos.
4. Puntúa a ciegas. Mezcla las respuestas y puntúalas sin ver de cuál viene cada una. Sin eso, verás mejor aquella de la que esperabas más.
5. Anota también el tiempo y el coste. La decisión rara vez va de la mejor respuesta, y mucho más a menudo de qué recibes por lo que pagas.
Al final no sale cuál es el mejor modelo, sino cuál es el más barato que todavía es suficientemente bueno. Esa es la pregunta correcta.
Una cosa que conviene decidir de antemano
Pasa la prueba con un modelo grande y uno pequeño. Si el pequeño da lo mismo, trabaja con él — la diferencia al cabo del año es dinero de verdad. Si no lo da, ahora ya sabes por qué pagas el más grande.
Esas mismas veinte tareas sirven además para otra cosa: se convierten en tu juego de pruebas de regresión. Cuando el fabricante actualice un modelo o retire otro, las pasas y en media hora sabes si algo ha empeorado. Sin eso, solo te enteras cuando te lo dice un cliente.
Qué llevarte
Los benchmarks sirven para ver por dónde va el sector. No sirven para decidir qué usar. Esa decisión se toma con veinte tareas reales, puntuadas a ciegas, coste incluido — y cuesta media jornada.