Наблюдаемость AI-агента: sprint contract, рубрика оценщика и чистый выход из сессии
Как понять, что сделал AI-агент: два слоя наблюдаемости, sprint contract (скоуп и вне скоупа), рубрика оценщика вместо общего мнения, чистая передача смены, чек-лист выхода из сессии и энтропия кода.
- Заведёте sprint contract и рубрику оценщика вместо расплывчатого «выглядит нормально».
- Внедрите чек-лист чистого выхода из сессии по пяти измерениям.
- Остановите рост энтропии harness — количественно, а не на ощущениях.
লেকচারের শুরু
Знакомая ситуация?
- Агент отчитался о готовности — но что именно проверено, никто не знает
- Следующая сессия начинает не с задачи, а с раскопок в чужом коде
- Чем дольше живёт проект, тем дороже становится каждый следующий заход агента
Это не разовый глюк, а системная дыра в наблюдаемости harness. Один и тот же агент за неделю может десять раз честно сказать «готово» — и каждый раз это будет означать что-то своё. А через месяц работы без явной уборки за собой каждая новая сессия тратит уже не пять минут на разгон, а полчаса — просто чтобы понять, что вообще происходит в проекте. Сегодня разбираем оба конца этой проблемы: как сделать работу агента объяснимой и как передавать смену между сессиями чисто.
Агент не тупит — ему просто нечего предъявить
- «Готово, но два теста падают» — «Почему?» — «Возможно, тайминг»
- «Какие критические пути затронул?» — «Дайте посмотреть в код…»
- Агент не тупой — ему физически нечего предъявить в качестве доказательства
Прокрутите этот диалог в голове — он наверняка знаком. Агент двадцать минут менял файлы и вернулся с фразой «готово, но два теста падают». На вопрос «почему» — гадание про тайминг. На вопрос «какие критические пути ты затронул» — агенту нужно заново лезть в код, чтобы ответить на вопрос про свою же работу. Дело не в интеллекте модели. Дело в том, что harness не дал ей ничего, на что можно сослаться: ни трассы выполнения, ни договора о том, что вообще должно было получиться. Нечего наблюдать — значит нечего объяснить, даже если объяснение существует.
Наблюдаемость — это на самом деле два разных слоя
- Рантайм: логи, трейсы, метрики — отвечает «что произошло»
- Процесс: sprint contract, рубрика, критерии приёмки — отвечает «почему сделано именно так»
- Только рантайм = видно, что упало, непонятно, чего хотели
- Только процесс = знаете, чего хотели, непонятно, почему не вышло
В harness есть два независимых слоя наблюдаемости, и путают их постоянно. Представьте автосервис: сначала мастер подписывает с вами наряд-заказ — что чинить и по каким признакам считать машину исправной. Это процессный слой: sprint contract, рубрика оценщика, критерии приёмки — они объясняют, почему изменение вообще должно быть принято. А когда машину забираете, вам показывают журнал работ — что сняли, что заменили. Это рантайм-слой: логи, трейсы, метрики — что система реально сделала. Только журнал работ — видно, что мастер крутил гайки, но не понятно, чинил ли он то, что было сломано. Только наряд-заказ — знаете цель, но не понимаете, почему машина всё равно скрипит. Нужны оба, и они усиливают друг друга.
পূর্ণ লেকচার সাবস্ক্রিপশনে পাওয়া যায়
পূর্ণ সংস্করণে আরও 23 টি স্লাইড আছে।
সাইন ইন ও সাবস্ক্রাইব করার পর ভিডিও, সব স্লাইড, নোট, পরীক্ষা, AI টিউটর ও ইন্টারভিউ খুলে যাবে।
সাইন ইন বা নিবন্ধন করুন সাবস্ক্রাইব করুনলেকচারের বিষয়সূচি
- Знакомая ситуация?
- Агент не тупит — ему просто нечего предъявить
- Наблюдаемость — это на самом деле два разных слоя
- Без наблюдаемости: корректно превращается в мистику
- ❓ Ваш ход: как остановить лотерею оценок
- Слепые ретраи и обрыв при передаче смены
- Почему агент не залатает это сам
- Sprint contract: договор до кода
- Sprint contract целиком: одна страница вместо гадания
- ✅ Ответ: рубрика вместо мнения
- Рубрика целиком: пять строк, которые ловят разъезд оценок
- Грабли: оценка без доказательства
- Трейс задачи: не истории, а агрегаты
- Агент может всё объяснить — и всё равно оставить завал
- Тридцать минут на то, чтобы понять, что делала прошлая сессия
- Почему энтропия растёт сама
- Грабли: «уберём потом»
- Сессия закрыта, только когда закрыты все пять измерений
- Чек-лист выхода из сессии
- Уборка — это два разных режима, и их нельзя путать
- Документ качества: .agent/quality.md
- Harness тоже стареет: упрощение — не опция
- Скрипт уборки обязан пережить собственный сбой
- Один цикл — либо он замыкается чисто, либо начинается заново с нуля
- Сквозной проект: шаг 6 для платёжного бэкенда
- Итог: harness, который объясняет сам себя
এই লেকচারের সম্পর্কিত নিবন্ধ
- Harness engineering কী: কীভাবে AI এজেন্টকে কার্যকর কাজের টুলে পরিণত করবেন
- AI এজেন্টকে কীভাবে নির্ভরযোগ্য করবেন: পরিমাপ থেকে স্বয়ংক্রিয় কাজ পর্যন্ত ধাপে ধাপে পরিকল্পনা
- CLAUDE.md ও AGENTS.md: এগুলো কী, কী লিখবেন, এবং এজেন্ট নিয়ম উপেক্ষা করে কেন
- এজেন্ট «সম্পন্ন» বলল, কিন্তু ফিচার কাজ করছে না: কেন হয় এবং AI এজেন্টের কাজ কীভাবে যাচাই করবেন
- Harness বনাম context engineering: harness engineering, prompt ও context engineering-এর পার্থক্য
এই কোর্সের সব লেকচার
- Что такое harness engineering: почему AI-агент ломается из-за среды, а не модели
- Накопление ошибок у AI-агента: почему 95% точности на шаг дают провал на 10-м шаге
- Метрики надёжности AI-агента: MTBF, MTTR, радиус поражения и закон Литтла
- Почему AI-агент ломается в проде: пять слоёв отказа и диагностическая петля
- Из чего состоит harness AI-агента: инструкции, инструменты, среда, состояние, обратная связь
- Карта репозитория для AI-агента: структура проекта и состояние без памяти между сессиями
- AGENTS.md: почему большой файл инструкций не работает и как устроить роутер
- Память AI-агента между сессиями: session handoff, PROGRESS.md и bootstrap-контракт
- feature_list.json для AI-агента: WIP=1, статусы фич и верификация через verify.sh
- Агент написал «готово», а фича не работает: verification gap и Definition of Done
- Все тесты зелёные, а фича сломана: E2E-тесты и архитектурные правила для AI-агента
- Наблюдаемость AI-агента: sprint contract, рубрика оценщика и чистый выход из сессии
- Автономный AI-агент часами без присмотра: Loop Engineering и условия остановки
- Graph Engineering для AI-агентов: когда одного цикла мало и нужен граф задач
- Харнес AI-агента с нуля: AGENTS.md, feature_list.json, verify.sh и автономный цикл