Накопление ошибок AI-агента: почему 95% точности на шаг — это мало
Накопление ошибок AI-агента (compounding error) — эффект, при котором вероятность успеха длинной задачи равна произведению вероятностей успеха каждого шага. При точности 95% на шаг цепочка из 10 шагов удаётся примерно в 60% случаев, из 20 — лишь в 36%. Харнес борется с этим, проверяя каждый шаг и фиксируя проверенное состояние, чтобы ошибка не переносилась дальше.
Что такое накопление ошибок
Агент решает задачу не одним действием, а цепочкой: прочитать файл, изменить функцию, запустить тесты, поправить импорт. Если каждый шаг верен с вероятностью p, а шаги независимы и ошибка одного ломает всё последующее, вероятность успеха всей цепочки из n шагов равна p в степени n. Это и есть накопление ошибок AI-агента, по-английски compounding error.
Интуиция подводит: 95% на шаг звучит как надёжность. Но степень быстро съедает запас.
| Шагов | p = 0,95 | p = 0,99 |
|---|---|---|
| 1 | 95% | 99% |
| 10 | ≈ 60% | ≈ 90% |
| 20 | ≈ 36% | ≈ 82% |
| 50 | ≈ 8% | ≈ 61% |
Модель — грубая: на практике шаги не вполне независимы, а часть ошибок безобидна. Но направление она передаёт верно: чем длиннее автономный прогон без проверок, тем меньше шанс, что результат правильный.
Почему длинные цепочки рушатся
Ошибка на раннем шаге не остаётся на месте. Агент строит следующие изменения на неверной основе, и к моменту, когда что-то заметно ломается, поверх бага лежит десяток слоёв кода. Хуже всего, когда агент оценивает результат сам: его суждение смещено к «всё хорошо», поэтому отчёт «готово, тесты зелёные» может прийти и при наполовину нерабочем коде.
Что с этим делает харнес
Повысить p можно лишь отчасти — модель от этого не станет безошибочной. Главный рычаг — не давать ошибке переходить к следующему шагу. Харнес замыкает контур обратной связи.
- Датчик после каждого шага. Одна команда проверки (например,
make verifyс тестами и линтером) честно меряет результат вместо самооценки агента. - Точка восстановления. Прошедший проверку шаг фиксируется коммитом. Дальше цепочка начинается с проверенного состояния, и счётчик ошибок фактически обнуляется.
- Минимальная коррекция. При красной проверке агент исправляет конкретную причину, а не переписывает всё заново: это гасит колебания.
- Короткие задачи. Одна задача за раз, маленькие шаги, частые проверки — вместо двадцати шагов вслепую получается двадцать цепочек длиной в один шаг.
В Claude Code проверку можно повесить на хуки, чтобы она запускалась автоматически, а не по доброй воле модели.
Коротко
Накопление ошибок AI-агента — простая арифметика: 0,95 в десятой степени около 0,60, в двадцатой — около 0,36. Лечится не «умной моделью», а харнесом: проверкой каждого шага, коммитом проверенного состояния и короткими задачами. Математику контура и законы, которые за ней стоят, подробно разбирают в лекции курса.
Частые вопросы
Значит ли это, что агент не справится с задачей из 50 шагов?
Без промежуточных проверок шансы действительно малы. С проверкой и коммитом после каждого шага задача превращается в серию коротких цепочек, и общий успех определяется уже не произведением всех шагов.
Помогает ли более сильная модель?
Помогает: рост точности с 95% до 99% поднимает успех 20 шагов с 36% до 82%. Но даже 99% на 50 шагах дают около 61%, поэтому проверки всё равно нужны.
Почему агент уверен в результате, если он ошибся?
Без внешнего датчика агент сравнивает результат со своим ожиданием, а не с реальностью. Его уверенность растёт независимо от корректности кода.
Можно ли просто попросить агента проверять себя?
Просьба в промпте не гарантирует выполнения. Надёжнее сделать проверку механикой: отдельной командой, хуком или проверкой в CI.
Эта тема подробно разобрана с практикой в курсе «Harness Engineering: инженерия надёжности AI-агентов».
Перейти к курсу