Наблюдаемость AI-агента: sprint contract, рубрика оценщика и чистый выход из сессии
Как понять, что сделал AI-агент: два слоя наблюдаемости, sprint contract (скоуп и вне скоупа), рубрика оценщика вместо общего мнения, чистая передача смены, чек-лист выхода из сессии и энтропия кода.
- Заведёте sprint contract и рубрику оценщика вместо расплывчатого «выглядит нормально».
- Внедрите чек-лист чистого выхода из сессии по пяти измерениям.
- Остановите рост энтропии harness — количественно, а не на ощущениях.
بداية الدرس
Знакомая ситуация?
- Агент отчитался о готовности — но что именно проверено, никто не знает
- Следующая сессия начинает не с задачи, а с раскопок в чужом коде
- Чем дольше живёт проект, тем дороже становится каждый следующий заход агента
Это не разовый глюк, а системная дыра в наблюдаемости harness. Один и тот же агент за неделю может десять раз честно сказать «готово» — и каждый раз это будет означать что-то своё. А через месяц работы без явной уборки за собой каждая новая сессия тратит уже не пять минут на разгон, а полчаса — просто чтобы понять, что вообще происходит в проекте. Сегодня разбираем оба конца этой проблемы: как сделать работу агента объяснимой и как передавать смену между сессиями чисто.
Агент не тупит — ему просто нечего предъявить
- «Готово, но два теста падают» — «Почему?» — «Возможно, тайминг»
- «Какие критические пути затронул?» — «Дайте посмотреть в код…»
- Агент не тупой — ему физически нечего предъявить в качестве доказательства
Прокрутите этот диалог в голове — он наверняка знаком. Агент двадцать минут менял файлы и вернулся с фразой «готово, но два теста падают». На вопрос «почему» — гадание про тайминг. На вопрос «какие критические пути ты затронул» — агенту нужно заново лезть в код, чтобы ответить на вопрос про свою же работу. Дело не в интеллекте модели. Дело в том, что harness не дал ей ничего, на что можно сослаться: ни трассы выполнения, ни договора о том, что вообще должно было получиться. Нечего наблюдать — значит нечего объяснить, даже если объяснение существует.
Наблюдаемость — это на самом деле два разных слоя
- Рантайм: логи, трейсы, метрики — отвечает «что произошло»
- Процесс: sprint contract, рубрика, критерии приёмки — отвечает «почему сделано именно так»
- Только рантайм = видно, что упало, непонятно, чего хотели
- Только процесс = знаете, чего хотели, непонятно, почему не вышло
В harness есть два независимых слоя наблюдаемости, и путают их постоянно. Представьте автосервис: сначала мастер подписывает с вами наряд-заказ — что чинить и по каким признакам считать машину исправной. Это процессный слой: sprint contract, рубрика оценщика, критерии приёмки — они объясняют, почему изменение вообще должно быть принято. А когда машину забираете, вам показывают журнал работ — что сняли, что заменили. Это рантайм-слой: логи, трейсы, метрики — что система реально сделала. Только журнал работ — видно, что мастер крутил гайки, но не понятно, чинил ли он то, что было сломано. Только наряд-заказ — знаете цель, но не понимаете, почему машина всё равно скрипит. Нужны оба, и они усиливают друг друга.
الدرس الكامل متاح بالاشتراك
و23 شريحة أخرى في النسخة الكاملة.
تُفتح الفيديو وجميع الشرائح والملاحظات والاختبارات والمرشد الذكي والمقابلة بعد تسجيل الدخول والاشتراك.
تسجيل الدخول أو إنشاء حساب الاشتراك الآنمحتوى الدرس
- Знакомая ситуация?
- Агент не тупит — ему просто нечего предъявить
- Наблюдаемость — это на самом деле два разных слоя
- Без наблюдаемости: корректно превращается в мистику
- ❓ Ваш ход: как остановить лотерею оценок
- Слепые ретраи и обрыв при передаче смены
- Почему агент не залатает это сам
- Sprint contract: договор до кода
- Sprint contract целиком: одна страница вместо гадания
- ✅ Ответ: рубрика вместо мнения
- Рубрика целиком: пять строк, которые ловят разъезд оценок
- Грабли: оценка без доказательства
- Трейс задачи: не истории, а агрегаты
- Агент может всё объяснить — и всё равно оставить завал
- Тридцать минут на то, чтобы понять, что делала прошлая сессия
- Почему энтропия растёт сама
- Грабли: «уберём потом»
- Сессия закрыта, только когда закрыты все пять измерений
- Чек-лист выхода из сессии
- Уборка — это два разных режима, и их нельзя путать
- Документ качества: .agent/quality.md
- Harness тоже стареет: упрощение — не опция
- Скрипт уборки обязан пережить собственный сбой
- Один цикл — либо он замыкается чисто, либо начинается заново с нуля
- Сквозной проект: шаг 6 для платёжного бэкенда
- Итог: harness, который объясняет сам себя
مقالات حول هذا الدرس
- ما هي هندسة الهارنس (Harness Engineering)؟ كيف تجعل وكيل الذكاء الاصطناعي أداة عملية
- كيف تجعل وكيل الذكاء الاصطناعي موثوقًا: خطة من ثماني خطوات من القياس إلى العمل المستقل
- CLAUDE.md وAGENTS.md: ما هما، وماذا تكتب فيهما، ولماذا يتجاهل الوكيل القواعد
- الوكيل يقول «اكتمل» والميزة لا تعمل: لماذا يحدث ذلك وكيف تتحقق من عمل وكيل الذكاء الاصطناعي
- الهارنس مقابل السياق: الفرق بين هندسة الهارنس وهندسة الأوامر وهندسة السياق
جميع دروس هذه الدورة
- Что такое harness engineering: почему AI-агент ломается из-за среды, а не модели
- Накопление ошибок у AI-агента: почему 95% точности на шаг дают провал на 10-м шаге
- Метрики надёжности AI-агента: MTBF, MTTR, радиус поражения и закон Литтла
- Почему AI-агент ломается в проде: пять слоёв отказа и диагностическая петля
- Из чего состоит harness AI-агента: инструкции, инструменты, среда, состояние, обратная связь
- Карта репозитория для AI-агента: структура проекта и состояние без памяти между сессиями
- AGENTS.md: почему большой файл инструкций не работает и как устроить роутер
- Память AI-агента между сессиями: session handoff, PROGRESS.md и bootstrap-контракт
- feature_list.json для AI-агента: WIP=1, статусы фич и верификация через verify.sh
- Агент написал «готово», а фича не работает: verification gap и Definition of Done
- Все тесты зелёные, а фича сломана: E2E-тесты и архитектурные правила для AI-агента
- Наблюдаемость AI-агента: sprint contract, рубрика оценщика и чистый выход из сессии
- Автономный AI-агент часами без присмотра: Loop Engineering и условия остановки
- Graph Engineering для AI-агентов: когда одного цикла мало и нужен граф задач
- Харнес AI-агента с нуля: AGENTS.md, feature_list.json, verify.sh и автономный цикл