Acúmulo de erros do agente de IA: por que 95% de acerto por passo não bastam
O acúmulo de erros do agente de IA (compounding error) é o efeito em que a probabilidade de uma tarefa longa dar certo é o produto das probabilidades de acerto de cada passo. Com 95% de acerto por passo, uma cadeia de 10 passos dá certo em cerca de 60% dos casos e uma de 20 passos, em apenas 36%. O harness combate isso verificando cada passo e fixando o estado já validado, para que o erro não avance para o passo seguinte.
O que é o acúmulo de erros
O agente resolve uma tarefa não com uma única ação, mas com uma cadeia: ler um arquivo, alterar uma função, rodar os testes, corrigir um import. Se cada passo está certo com probabilidade p, os passos são independentes e o erro de um quebra tudo o que vem depois, a chance de sucesso da cadeia inteira de n passos é p elevado a n. É isso o acúmulo de erros do agente de IA, em inglês compounding error.
A intuição engana: 95% por passo soa como confiabilidade. Mas a potência consome essa margem muito depressa.
| Passos | p = 0,95 | p = 0,99 |
|---|---|---|
| 1 | 95% | 99% |
| 10 | ≈ 60% | ≈ 90% |
| 20 | ≈ 36% | ≈ 82% |
| 50 | ≈ 8% | ≈ 61% |
O modelo é grosseiro: na prática os passos não são totalmente independentes, e parte dos erros é inofensiva. Mesmo assim, ele indica a direção certa: quanto mais longa a execução autônoma sem verificações, menor a chance de o resultado estar correto.
Por que as cadeias longas desmoronam
Um erro no início não fica parado. O agente constrói as mudanças seguintes sobre uma base errada, e, quando algo finalmente parece quebrado, já há uma dezena de camadas de código sobre o bug. O pior caso é quando o próprio agente avalia o resultado: o julgamento dele tende a "está tudo bem", então o relatório "pronto, testes verdes" pode vir mesmo com código meio quebrado.
O que o harness faz contra isso
Aumentar p só em parte é possível: o modelo não vai ficar infalível. A principal alavanca é impedir que o erro passe para o passo seguinte. O harness fecha o ciclo de realimentação.
- Sensor após cada passo. Um único comando de verificação (por exemplo,
make verifycom testes e linter) mede o resultado de forma honesta, em vez da autoavaliação do agente. - Ponto de restauração. O passo que passou na verificação é fixado em um commit. A partir daí a cadeia começa do estado validado, e o contador de erros efetivamente zera.
- Correção mínima. Se a verificação falha, o agente corrige a causa específica, em vez de reescrever tudo: isso reduz as oscilações.
- Tarefas curtas. Uma tarefa por vez, passos pequenos, verificações frequentes. Em vez de vinte passos às cegas, obtém-se vinte cadeias de um único passo.
No Claude Code, a verificação pode ser ligada a hooks, para rodar automaticamente, e não por boa vontade do modelo.
Resumindo
O acúmulo de erros do agente de IA é uma aritmética simples: 0,95 elevado a 10 dá cerca de 0,60, e elevado a 20, cerca de 0,36. A solução não é um "modelo mais inteligente", e sim o harness: verificar cada passo, fazer commit do estado validado e trabalhar com tarefas curtas. A matemática desse circuito e as leis por trás dele são explicadas em detalhe em uma aula do curso.
Perguntas frequentes
Isso significa que o agente não dá conta de uma tarefa de 50 passos?
Sem verificações intermediárias, as chances realmente são pequenas. Com verificação e commit após cada passo, a tarefa vira uma série de cadeias curtas, e o sucesso geral deixa de depender do produto de todos os passos.
Um modelo mais forte ajuda?
Ajuda: subir a precisão de 95% para 99% eleva o sucesso de 20 passos de 36% para 82%. Mas mesmo 99% em 50 passos dá cerca de 61%, por isso as verificações continuam necessárias.
Por que o agente tem certeza do resultado mesmo quando errou?
Sem um sensor externo, o agente compara o resultado com a sua própria expectativa, e não com a realidade. A confiança dele cresce independentemente da correção do código.
Basta pedir ao agente que se verifique sozinho?
Um pedido no prompt não garante execução. É mais confiável transformar a verificação em mecanismo: um comando separado, um hook ou uma checagem no CI.
Este tema é abordado em profundidade, com prática, no curso “Harness Engineering: инженерия надёжности AI-агентов”.
Ir para o curso