Cuplikan materi

Почему AI-агент ломается в проде: пять слоёв отказа и диагностическая петля

Почему флагманские LLM проваливают простые задачи в реальных репозиториях: пять слоёв отказа агента (задача, инструкции, состояние, инструменты, верификация) и диагностическая петля поиска сломанного слоя.

пять слоёв отказа диагностическая петля способность модели против надёжности исполнения

Apa yang akan Anda pelajari dalam kuliah ini

Перестанете чинить агента апгрейдом модели там, где проблема в harness.
Освоите пятислойную модель отказа и будете быстро находить, в каком слое дефект.
Проведёте диагностическую петлю на своём реальном провале агента.

Awal materi

Знакомая картина: агент говорит «готово», а тесты красные

Добавил фичу — сломал три теста
Починил баг — родил два новых
Двадцать минут работы, уверенное «готово»
Открываете диф — а там не то, что просили

Вы даёте агенту реальную задачу в реальном репозитории. Он добавляет фичу и ломает три теста. Чинит баг и создаёт два новых. Работает двадцать минут и уверенно заявляет «готово», а вы открываете диф и видите совсем не то, что просили. Первая мысль почти всегда одна — нужна модель посильнее. Дальше в лекции разберём, почему эта мысль почти всегда неверная и на что смотреть вместо модели.

🤔 Миф: нужна модель посильнее

🤔 Миф / Часто путают: чтобы агент перестал проваливать задачи, нужно взять модель помощнее
✅ На самом деле: разрыв между бенчмарком и вашей реальностью решает не модель, а среда вокруг неё
📌 Запомните: закрывает этот разрыв инженерия harness, а не апгрейд модели

Первая мысль после провала агента почти всегда одна: нужна модель посильнее. Это миф. Разрыв между тем, что модель показывает на отобранных бенчмарках, и тем, что получается в вашем реальном репозитории, называется capability gap. И закрывается он не апгрейдом модели, а изменением среды вокруг неё — тем, как сформулирована задача, какой контекст доступен агенту, насколько воспроизводима среда исполнения и есть ли честная проверка результата. Дальше на конкретных экспериментах разберём, почему это так.

Способность модели и надёжность результата — не одно и то же

Лучшие кодинг-агенты на SWE-bench Verified держатся в районе 50–60%
Это на отобранных задачах с внятным описанием и уже готовыми тестами
В вашем репозитории требования размыты, тестов нет — и цифра падает ещё ниже
Разрыв между бенчмарком и реальностью — это и есть capability gap

К концу 2025 года лучшие кодинг-агенты на SWE-bench Verified держались в районе пятидесяти-шестидесяти процентов. И это на отобранных задачах с внятным описанием и уже существующими тестами. В вашем же репозитории требования размыты, тестов нет, бизнес-правила живут в головах людей — и цифра падает дальше. Способность модели решать задачи в вакууме и надёжность результата в вашем конкретном проекте — это два разных измерения, и путать их — источник большинства напрасных апгрейдов.

Materi lengkap tersedia dengan langganan

17 slide lagi di versi lengkap.

Video, semua slide, catatan, tes, tutor AI, dan wawancara terbuka setelah masuk dan berlangganan.

Masuk atau daftar Berlangganan

Isi materi

Знакомая картина: агент говорит «готово», а тесты красные
🤔 Миф: нужна модель посильнее
Способность модели и надёжность результата — не одно и то же
🛠 Эксперимент Anthropic: та же модель, разная упряжь
📖 Кейс OpenAI: миллион строк без единой строчки от человека
Пять слоёв, где на самом деле ломается агент
Слой 1 и 2: задача понятна и агент знает конвенции?
Слой 3 и 4: среда воспроизводима и есть ли честная проверка?
Слой 5: знание переживает сессию или каждый раз с нуля
Грабли: чинят модель, а не слой
Сквозной проект курса: платёжный бэкенд на FastAPI
Диагностическая петля — ядро всей методологии
Применяем петлю к нашему платёжному бэкенду
❓ Стоп-проверка: в каком слое проблема
💡 Разбор: сразу два слоя
Шаг 1: пишите Definition of Done явно
Шаг 2: заведите AGENTS.md
Шаг 3: заведите журнал провалов
Домашний эксперимент: два прогона одной задачи, один неожиданный вывод
Модель редко виновата — виноват harness вокруг неё