¿Por qué no lo deciden los anuncios?
Porque un anuncio es la medición del propio fabricante, una clasificación mide en inglés sobre un conjunto genérico de tareas, y las opiniones de los compañeros se componen de tres casos memorables. Ninguna de esas cosas es tu trabajo.
Elegir modelo es en realidad una tarea de medición, no de investigación. No hace falta ni un científico de datos ni una herramienta — hacen falta veinte tareas reales y alguien que cuente los errores. Este artículo lo describe paso a paso.
Semana uno: el conjunto de tareas
Es tres cuartas partes del trabajo, y es la parte que la gente se salta. Cuatro reglas:
- Veinte tareas, con material real. Nada de ejemplos inventados: casos copiados, que ocurrieron de verdad, anonimizados.
- La distribución real. Si la mitad de los casos entrantes son fáciles, que diez de las veinte sean fáciles. Medir solo los casos difíciles induce a error exactamente igual que medir solo los fáciles.
- Incluye cinco casos «feos». Datos que faltan, información contradictoria, faltas de ortografía, dos idiomas mezclados en un texto. Ahí es donde se separan los modelos.
- Una semana recopilando. No lo montes de una sentada — a lo largo de una semana, según vayan llegando. Así la distribución sale real.
¿Cómo se escribe la «buena respuesta»?
Este paso decide si tu medición produce un número o una opinión. Para cada tarea hay que escribir de antemano qué cuenta como buena respuesta — antes de haber visto la salida de ningún modelo.
No hace falta una solución literal. Bastan tres o cuatro puntos: qué debe contener, qué no debe contener y en qué forma. Por ejemplo: «Debe incluir el plazo y el responsable. No debe inventar un importe. Tres frases como máximo.»
Si en una tarea no sabes escribir cuál es la buena respuesta, entonces esa tarea no es medible — sácala del conjunto. No es un fracaso: es una constatación útil de que ahí no hay un problema de modelo sino una expectativa sin definir. Es la misma idea con la que arranca ¿Sirve la IA para esta tarea?, un artículo aparte.
Semana dos: la ejecución
A partir de aquí va rápido. Cuatro pasos, media jornada en total:
- Elige tres o cuatro modelos. No los cuatro más caros: un nivel barato, uno medio, uno tope y, si tiene sentido, uno de pesos abiertos . A través de un model router eso es una sola cuenta.
- El mismo prompt en todos. Si ajustas modelo por modelo, no comparas modelos, comparas tu propia paciencia.
- Pásalo dos veces. La misma pregunta dos veces no siempre da lo mismo. Si las dos pasadas difieren, eso ya es un resultado.
- Guarda las salidas. No solo la puntuación: también las respuestas en bruto. Serán tu referencia en el próximo cambio de modelo.
La hoja de puntuación
Cinco criterios, y no pesan igual. El peso lo da tu propia tarea:
| Criterio | Cómo lo mides | Cuándo importa más |
|---|---|---|
| Exactitud | cuántas de las 20 salen bien | siempre |
| Respeto del formato | cuántas veces mantiene la estructura pedida | si lo procesa una máquina |
| Velocidad | tiempo medio de respuesta | si hay un usuario esperando |
| Precio | coste en tokens de las 20 tareas | si corre muchas veces |
| Calidad lingüística | gramática, términos, registro | en trabajo fuera del inglés |
Un detalle importante: cuenta el respeto del formato aparte, no fundido en la exactitud. Un modelo puede ser mejor en contenido y a la vez inservible en un flujo automatizado, porque no mantiene la estructura pedida todas las veces.
Cinco errores que estropean la medición
Te vas a encontrar con todos si no estás atento:
- Escribir la buena respuesta después. Sin querer, la ajustarás a lo que has visto.
- Usar un prompt distinto por modelo. Es el más común, y es el que destroza la comparabilidad.
- Medir solo los casos difíciles. Es vistoso, pero no describe tu trabajo diario.
- Puntuar por impresión. «Este me cae mejor» — la respuesta más larga y más segura se siente mejor aunque sea peor.
- Medir solo en inglés. Si tu trabajo es en otro idioma, lo que cuenta es el rendimiento en ese idioma — y se comporta de otra manera que el inglés.
La decisión
Al final tendrás una tabla. Hay tres resultados típicos, y cada uno pide un movimiento distinto.
Gran diferencia de exactitud. Entonces es sencillo: hace falta el modelo mejor, aunque cueste más. Es el caso más raro.
Poca diferencia, mucha diferencia de precio. Es el más común. Aquí gana el más barato, y para los pocos fallos que queden montas un escalonado: los casos dudosos suben al caro.
Todos van flojos. Eso también es un resultado, y más valioso de lo que parece. Aquí la respuesta no es cambiar de modelo sino partir la tarea o reescribir el prompt — los cinco elementos de un prompt son un buen punto de partida.
¿Qué queda después?
Más importante que la decisión es lo que has construido por el camino: veinte tareas con buenas respuestas escritas y salidas guardadas. Ese conjunto te acompaña durante años.
Lo pasas cuando sale un modelo nuevo, cuando cambia un precio, cuando retiranel que usas, o cuando alguien dice «ahora este es el mejor». Media hora y tienes la respuesta. El conjunto y los prompts conviene guardarlos como una entrada de la biblioteca de prompts , con responsable y fecha.
Qué llevarte
Una semana recopilando, media jornada ejecutando, y al final un número en vez de una opinión. El trabajo no es la ejecución sino las veinte tareas reales y las buenas respuestas escritas de antemano — sin eso, la medición es solo una impresión. Y lo que queda vale más que la decisión: un conjunto de pruebas que resuelve cualquier futura duda de modelo en media hora.