Anteprima della lezione

Почему AI-агент ломается в проде: пять слоёв отказа и диагностическая петля

Почему флагманские LLM проваливают простые задачи в реальных репозиториях: пять слоёв отказа агента (задача, инструкции, состояние, инструменты, верификация) и диагностическая петля поиска сломанного слоя.

пять слоёв отказа диагностическая петля способность модели против надёжности исполнения

Cosa imparerai in questa lezione

Перестанете чинить агента апгрейдом модели там, где проблема в harness.
Освоите пятислойную модель отказа и будете быстро находить, в каком слое дефект.
Проведёте диагностическую петлю на своём реальном провале агента.

Inizio della lezione

Знакомая картина: агент говорит «готово», а тесты красные

Добавил фичу — сломал три теста
Починил баг — родил два новых
Двадцать минут работы, уверенное «готово»
Открываете диф — а там не то, что просили

Вы даёте агенту реальную задачу в реальном репозитории. Он добавляет фичу и ломает три теста. Чинит баг и создаёт два новых. Работает двадцать минут и уверенно заявляет «готово», а вы открываете диф и видите совсем не то, что просили. Первая мысль почти всегда одна — нужна модель посильнее. Дальше в лекции разберём, почему эта мысль почти всегда неверная и на что смотреть вместо модели.

🤔 Миф: нужна модель посильнее

🤔 Миф / Часто путают: чтобы агент перестал проваливать задачи, нужно взять модель помощнее
✅ На самом деле: разрыв между бенчмарком и вашей реальностью решает не модель, а среда вокруг неё
📌 Запомните: закрывает этот разрыв инженерия harness, а не апгрейд модели

Первая мысль после провала агента почти всегда одна: нужна модель посильнее. Это миф. Разрыв между тем, что модель показывает на отобранных бенчмарках, и тем, что получается в вашем реальном репозитории, называется capability gap. И закрывается он не апгрейдом модели, а изменением среды вокруг неё — тем, как сформулирована задача, какой контекст доступен агенту, насколько воспроизводима среда исполнения и есть ли честная проверка результата. Дальше на конкретных экспериментах разберём, почему это так.

Способность модели и надёжность результата — не одно и то же

Лучшие кодинг-агенты на SWE-bench Verified держатся в районе 50–60%
Это на отобранных задачах с внятным описанием и уже готовыми тестами
В вашем репозитории требования размыты, тестов нет — и цифра падает ещё ниже
Разрыв между бенчмарком и реальностью — это и есть capability gap

К концу 2025 года лучшие кодинг-агенты на SWE-bench Verified держались в районе пятидесяти-шестидесяти процентов. И это на отобранных задачах с внятным описанием и уже существующими тестами. В вашем же репозитории требования размыты, тестов нет, бизнес-правила живут в головах людей — и цифра падает дальше. Способность модели решать задачи в вакууме и надёжность результата в вашем конкретном проекте — это два разных измерения, и путать их — источник большинства напрасных апгрейдов.

La lezione completa è disponibile con l'abbonamento

17 altre slide nella versione completa.

Video, tutte le slide, appunti, test, tutor AI e intervista si sbloccano dopo l'accesso e l'abbonamento.

Accedi o registrati Attiva l'abbonamento

Contenuti della lezione

Знакомая картина: агент говорит «готово», а тесты красные
🤔 Миф: нужна модель посильнее
Способность модели и надёжность результата — не одно и то же
🛠 Эксперимент Anthropic: та же модель, разная упряжь
📖 Кейс OpenAI: миллион строк без единой строчки от человека
Пять слоёв, где на самом деле ломается агент
Слой 1 и 2: задача понятна и агент знает конвенции?
Слой 3 и 4: среда воспроизводима и есть ли честная проверка?
Слой 5: знание переживает сессию или каждый раз с нуля
Грабли: чинят модель, а не слой
Сквозной проект курса: платёжный бэкенд на FastAPI
Диагностическая петля — ядро всей методологии
Применяем петлю к нашему платёжному бэкенду
❓ Стоп-проверка: в каком слое проблема
💡 Разбор: сразу два слоя
Шаг 1: пишите Definition of Done явно
Шаг 2: заведите AGENTS.md
Шаг 3: заведите журнал провалов
Домашний эксперимент: два прогона одной задачи, один неожиданный вывод
Модель редко виновата — виноват harness вокруг неё