Errores acumulados del agente de IA: por qué el 95% de acierto por paso no basta
El error acumulado del agente de IA (compounding error) es el efecto por el que la probabilidad de éxito de una tarea larga es el producto de las probabilidades de éxito de cada paso. Con un 95% de acierto por paso, una cadena de 10 pasos sale bien en torno al 60% de los casos y una de 20 solo en el 36%. El harness lo combate verificando cada paso y fijando el estado comprobado, para que el error no se arrastre.
Qué son los errores acumulados
El agente resuelve una tarea no con una sola acción, sino con una cadena: leer un archivo, modificar una función, ejecutar las pruebas, corregir un import. Si cada paso es correcto con probabilidad p, los pasos son independientes y el error de uno rompe todo lo que viene después, la probabilidad de que salga bien una cadena de n pasos es p elevado a n. Eso es lo que se conoce como errores acumulados del agente de IA, en inglés compounding error.
La intuición engaña: un 95% por paso suena a fiabilidad. Pero la potencia consume ese margen muy rápido.
| Pasos | p = 0,95 | p = 0,99 |
|---|---|---|
| 1 | 95% | 99% |
| 10 | ≈ 60% | ≈ 90% |
| 20 | ≈ 36% | ≈ 82% |
| 50 | ≈ 8% | ≈ 61% |
El modelo es grosero: en la práctica los pasos no son del todo independientes y parte de los errores es inofensiva. Pero la dirección que muestra es correcta: cuanto más largo es un recorrido autónomo sin verificaciones, menor es la probabilidad de que el resultado sea correcto.
Por qué se hunden las cadenas largas
Un error en un paso temprano no se queda quieto. El agente construye los cambios siguientes sobre una base incorrecta, y cuando algo se nota roto, sobre el fallo hay una decena de capas de código. Lo peor ocurre cuando el agente evalúa el resultado por sí mismo: su juicio está sesgado hacia «todo está bien», así que el informe «listo, las pruebas están en verde» puede llegar aunque el código esté a medio funcionar.
Qué hace el harness al respecto
Subir p solo en parte es posible: el modelo no se vuelve infalible por eso. La palanca principal es no dejar que el error pase al siguiente paso. El harness cierra el circuito de retroalimentación.
- Sensor después de cada paso. Un único comando de verificación (por ejemplo,
make verifycon las pruebas y el linter) mide el resultado de forma objetiva, en lugar de confiar en la autoevaluación del agente. - Punto de restauración. Cada paso que supera la verificación se fija con un commit. A partir de ahí la cadena empieza desde un estado comprobado, y el contador de errores se reinicia en la práctica.
- Corrección mínima. Si la verificación falla, el agente corrige la causa concreta en lugar de reescribir todo: así se reducen las oscilaciones.
- Tareas cortas. Una tarea a la vez, pasos pequeños, verificaciones frecuentes: en lugar de veinte pasos a ciegas, se obtienen veinte cadenas de un solo paso.
En Claude Code la verificación se puede enganchar a hooks para que se ejecute automáticamente y no dependa de la buena voluntad del modelo.
En resumen
Los errores acumulados del agente de IA son una aritmética sencilla: 0,95 elevado a la décima potencia es aproximadamente 0,60, y elevado a la vigésima, aproximadamente 0,36. No se corrigen con un «modelo más inteligente», sino con el harness: verificación de cada paso, commit del estado comprobado y tareas cortas. Las matemáticas del bucle y las leyes que hay detrás se analizan en detalle en una lección del curso.
Preguntas frecuentes
¿Significa esto que el agente no podrá con una tarea de 50 pasos?
Sin verificaciones intermedias, las probabilidades de éxito son realmente bajas. Con verificación y commit después de cada paso, la tarea se convierte en una serie de cadenas cortas, y el éxito global ya no depende del producto de todos los pasos.
¿Ayuda un modelo más potente?
Sí: subir la precisión del 95% al 99% eleva el éxito de 20 pasos del 36% al 82%. Pero incluso con un 99% en 50 pasos se obtiene alrededor del 61%, así que las verificaciones siguen siendo necesarias.
¿Por qué el agente está seguro del resultado aunque se haya equivocado?
Sin un sensor externo, el agente compara el resultado con sus propias expectativas, no con la realidad. Su confianza crece con independencia de que el código sea correcto.
¿Basta con pedirle al agente que se verifique a sí mismo?
Una petición en el prompt no garantiza su cumplimiento. Es más fiable convertir la verificación en un mecanismo: un comando aparte, un hook o una comprobación en CI.
Este tema se explica a fondo y con práctica en el curso «Harness Engineering: инженерия надёжности AI-агентов».
Ir al curso