La multiplicación que lo explica todo
La fórmula es simple: si un paso acierta con probabilidad p y la tarea necesita n pasos, el éxito de punta a punta es p⁽ⁿ⁾.
| Precisión por paso | 5 pasos | 10 pasos | 20 pasos | 50 pasos | 100 pasos |
|---|---|---|---|---|---|
| 99,9 % | 99,5 % | 99,0 % | 98,0 % | 95,1 % | 90,5 % |
| 99,5 % | 97,5 % | 95,1 % | 90,5 % | 77,8 % | 60,6 % |
| 99,0 % | 95,1 % | 90,4 % | 81,8 % | 60,5 % | 36,6 % |
| 98,0 % | 90,4 % | 81,7 % | 66,8 % | 36,4 % | 13,3 % |
| 95,0 % | 77,4 % | 59,9 % | 35,8 % | 7,7 % | 0,6 % |
| 90,0 % | 59,0 % | 34,9 % | 12,2 % | 0,5 % | 0,0 % |
(Cálculo propio. El modelo supone que los pasos son independientes y que un único paso fallido hunde la tarea. En la realidad ninguna de las dos cosas es exacta — algo más abajo.)
Lee la fila del 98 %. Es un agent muy bueno: de cada veinte pasos hace diecinueve impecables. Y falla un tercio de las tareas.
La inversión, que resulta asombrosa
Dale la vuelta a la pregunta: ¿cuánta precisión por paso hace falta para un objetivo dado de punta a punta?
| Número de pasos | Objetivo del 90 % | Objetivo del 95 % | Objetivo del 99 % |
|---|---|---|---|
| 5 | 97,9 % | 99,0 % | 99,8 % |
| 10 | 99,0 % | 99,5 % | 99,90 % |
| 20 | 99,475 % | 99,74 % | 99,95 % |
| 50 | 99,79 % | 99,90 % | 99,98 % |
| 100 | 99,895 % | 99,95 % | 99,99 % |
(Cálculo propio: la precisión por paso necesaria es la raíz enésima del objetivo.)
Con veinte pasos, un «agent del noventa por ciento» no significa un 90 % de precisión por paso, sino un 99,5 %. Esa diferencia es justo lo que los usuarios viven como «casi lo hace bien, pero siempre falla en algún sitio».
Medición real: ¿una llamada o varios turnos?
Nada de esto es solo teoría. Hay un benchmark que compara la precisión de una única llamada a herramienta con la de la tarea de varios turnos sobre los mismos modelos.
| Una sola llamada | Varios turnos | Caída relativa | |
|---|---|---|---|
| Los mejores modelos | 86–91 % | 53–68 % | −22 % … −38 % |
| El peor resultado del grupo | 85,4 % | 33,9 % | −60 % |
(Cálculo propio a partir de los datos públicos del ranking, situación de abril de 2026.)
Es decir, los modelos llaman a una única función con una precisión cercana al 90 %, pero en cuanto tienen que hacerlo varias veces seguidas caen a entre el 53 y el 68 %.
Y hay un segundo efecto, separable del anterior. El mismo benchmark mide también la variante de contexto largo:
| Varios turnos, base | Varios turnos, contexto largo | Caída | |
|---|---|---|---|
| La cabeza del grupo | 63–81 % | 56–70 % | −0,5 a −10,5 puntos según el modelo |
O sea que hay dos cosas distintas empeorando el resultado. El número de pasos por sí solo se lleva de 20 a 33 puntos porcentuales, y el contexto largo añade otros 5 a 10 por encima: entre 0,5 y 10,5 puntos según el modelo, con una mediana de 8 puntos en los siete modelos medidos.
No es la dificultad, es la ejecución
Hay un experimento de 2025 que separa con elegancia la planificación de la ejecución: le da al modelo un plan explícito y todo el conocimiento necesario, y mide únicamente si es capaz de ejecutarlo.
El resultado:
- Casi todos los modelos hacen el primer paso con un 100 % de precisión.
- La precisión del mejor modelo cae por debajo del 50 % antes de los 15 pasos.
Esta es la refutación empírica de que la tarea larga falle porque es «difícil». El conocimiento está, el plan está — lo que se degrada es la ejecución.
Y hay un segundo hallazgo, más incómodo, de la misma fuente, al que llamaron autocondicionamiento: si en el contexto están los propios errores anteriores del modelo, sube la probabilidad de que siga equivocándose. Cuantos más errores inyectaron en el contexto, peor fue la precisión en el paso cien.
Esto no es un problema de manejo del contexto largo, y no desaparece porque el modelo sea más grande. Lo que sí ayuda: el modo de razonamiento.
El horizonte del 80 %, que no se ha movido
Hay una métrica que mide cuán largo es el trabajo humano equivalente que un modelo resuelve con una probabilidad dada. Suelen publicarse dos valores: el horizonte del 50 % y el del 80 %.
De siete años de datos destaca una proporción: el horizonte del 80 % ha sido todo el tiempo de 4 a 6 veces más corto que el del 50 %.
En palabras de quienes hicieron la medición: incluso los modelos que a veces tienen éxito en tareas difíciles y variadas no son capaces de completar de forma fiable las tareas de longitud media.
Este es el número más importante del tema, si solo te quedas con uno. No importa cuán larga es la tarea que el modelo resuelve a veces, sino cuán larga es la que resuelve de forma fiable. Y entre las dos hay la misma distancia desde hace siete años.
¿Dónde se rompe? Una tipología de fallos medida
Hay un estudio que procesó 1.642 ejecuciones reales y anotadas de agents de siete frameworks distintos, con un acuerdo de 0,88 entre anotadores humanos: metodológicamente sólido.
Identificaron catorce modos de fallo en tres grupos:
| Grupo | Proporción | El modo de fallo más importante del grupo |
|---|---|---|
| Fallo de diseño del sistema | 44,2 % | repetición de pasos, bucle — 15,7 % (el modo de fallo individual más frecuente) |
| Malentendido entre agents | 32,3 % | desajuste razonamiento-acción — 13,2 % |
| Falta de verificación | 23,5 % | verificación incorrecta — 9,1 %, verificación ausente — 8,2 % |
Algunos elementos más que en la práctica sonarán familiares:
- no reconoce la condición de parada: 12,4 %, es decir, no sabe cuándo ha terminado;
- incumplimiento de la especificación de la tarea: 11,8 %: hace algo distinto de lo que pediste;
- parada prematura: 6,2 %: cree que ha terminado y no es así;
- no pregunta para aclarar dudas: 6,8 %.
Dos cosas merecen destacarse de aquí. Una: el bucle es el modo de fallo individual más frecuente; el agent no hace mal la tarea, es que no consigue salir de ella. Otra: «no sabe cuándo ha terminado» y «para antes de tiempo» suman un 18,6 % entre las dos, o sea que casi uno de cada cinco fallos va de parar, no del trabajo.
(Un límite: esta tipología no incluye una categoría propia para la mala elección de herramienta.)
¿Qué ayuda y qué no?
La autocorrección no. Según un estudio publicado en las actas de un congreso, los modelos no son capaces de corregir su propio razonamiento sin retroalimentación externa, y a veces el rendimiento empeora después de la autocorrección.
La verificación externa sí, y de forma medible. Ese mismo estudio midió dos intervenciones completas, con el mismo modelo base y cambiando solo cómo estaba construido el sistema:
| Intervención | Efecto |
|---|---|
| Rediseño del flujo de trabajo | +9,4 puntos porcentuales |
| Refuerzo del paso de verificación | +15,6 puntos porcentuales |
Este es el mensaje práctico más importante del artículo: la diferencia no está en el modelo, sino en si el sistema tiene un punto de verificación externo y determinista. La autoevaluación no mejora nada. La verificación externa sí.
Y reintentar no sale gratis. Si el proceso tiene efectos secundarios (escribe en una base de datos, envía un correo, cursa un pedido), el segundo intento no es «otra oportunidad», sino otra operación.
El contrapeso: sí ha mejorado
Este capítulo es obligatorio; sin él, el artículo daría una imagen falsa.
La capacidad medible crece deprisa. El tiempo de duplicación del horizonte del 50 % es de 188 días en toda la serie, pero de 129 días desde 2023, y todavía menos en el tramo más reciente. En concreto: un modelo de febrero de 2025 tenía un horizonte del 50 % de 60 minutos, y una preview de abril de 2026, de 1.045 minutos. Eso es un aumento de diecisiete veces en catorce meses.
Pero lleva cuatro reservas, y hay que decir las cuatro:
- Las bandas de incertidumbre son enormes. En un modelo, la banda que acompaña a los 719 minutos medidos va de 317 a 3.634 minutos: el límite superior es once veces el inferior.
- En las tareas más largas la referencia humana está incompleta. Según reconocen los propios medidores, de las tareas de más de ocho horas solo 5 de 31 tienen una línea base humana realmente medida.
- El benchmark se contamina. En una evaluación de junio de 2026 los medidores escribieron que el modelo examinado intentó hacer trampas en mayor proporción que ninguno anterior: aprovechó fallos de la evaluación y extrajo código fuente oculto. Según cómo se tratasen las trampas, el horizonte medido quedaba en 11 horas, 71 horas o por encima de 270 horas, y los propios medidores anotaron que no consideran fiable ninguna de esas cifras.
- El horizonte del 80 % sigue siendo de 4 a 6 veces más corto. La capacidad creció, la proporción no: el hueco entre «a veces lo hace» y «siempre lo hace» es igual de grande que hace siete años.
Malentendidos habituales
- «Es un agent del 95 %.» Para un paso, sí. Con veinte pasos el éxito de punta a punta es del 35,8 %.
- «Si falla, vuelve a ejecutarlo.» Si el proceso tiene efectos secundarios, la segunda ejecución no es una corrección, sino otra operación.
- «Pidámosle que se revise a sí mismo.» La medición dice que la autocorrección sin retroalimentación externa no ayuda, y a veces empeora.
- «La tarea larga es difícil porque es complicada.» En un experimento le dieron al modelo el plan completo y el conocimiento, y aun así la precisión cayó por debajo del 50 % antes de los quince pasos.
- «Un modelo más grande lo resuelve.» El autocondicionamiento (que los errores previos del propio modelo empeoren lo que viene) no desaparece con el tamaño del modelo, según la medición.
- «El agent hace mal la tarea.» El modo de fallo individual más frecuente es el bucle: no la hace mal, es que no sabe salir de ella.
Lo que conviene llevarse
Tres frases que conviene tener en la cabeza si vas a implantar un agent.
La primera: el número de pasos es la decisión de diseño más importante. No el modelo. Convertir una tarea de veinte pasos en una de cinco vale más que cualquier cambio de modelo.
La segunda: hace falta un punto de verificación externo, no una autoevaluación. Según la medición, lo primero vale 15 puntos y lo segundo cero o menos.
La tercera: «a veces lo hace» no es un dato de negocio. Lo que hay que decidir es el ocho de ocho, y justo de eso es de lo que menos datos públicos hay.
Dónde conviene colocar la aprobación humana en esa cadena lo mide con datos el post humano en el bucle , caso por caso; cómo trocear la tarea y mantener el contexto limpio lo recorre el post subagents y trabajo en paralelo con sus propias cifras.