Фрагмент лекции

Наблюдаемость AI-агента: sprint contract, рубрика оценщика и чистый выход из сессии

Как понять, что сделал AI-агент: два слоя наблюдаемости, sprint contract (скоуп и вне скоупа), рубрика оценщика вместо общего мнения, чистая передача смены, чек-лист выхода из сессии и энтропия кода.

наблюдаемость harness sprint contract рубрика оценщика чистая передача энтропия harness

Что вы изучите в этой лекции

Заведёте sprint contract и рубрику оценщика вместо расплывчатого «выглядит нормально».
Внедрите чек-лист чистого выхода из сессии по пяти измерениям.
Остановите рост энтропии harness — количественно, а не на ощущениях.

Начало лекции

Знакомая ситуация?

Агент отчитался о готовности — но что именно проверено, никто не знает
Следующая сессия начинает не с задачи, а с раскопок в чужом коде
Чем дольше живёт проект, тем дороже становится каждый следующий заход агента

Это не разовый глюк, а системная дыра в наблюдаемости harness. Один и тот же агент за неделю может десять раз честно сказать «готово» — и каждый раз это будет означать что-то своё. А через месяц работы без явной уборки за собой каждая новая сессия тратит уже не пять минут на разгон, а полчаса — просто чтобы понять, что вообще происходит в проекте. Сегодня разбираем оба конца этой проблемы: как сделать работу агента объяснимой и как передавать смену между сессиями чисто.

Агент не тупит — ему просто нечего предъявить

«Готово, но два теста падают» — «Почему?» — «Возможно, тайминг»
«Какие критические пути затронул?» — «Дайте посмотреть в код…»
Агент не тупой — ему физически нечего предъявить в качестве доказательства

Прокрутите этот диалог в голове — он наверняка знаком. Агент двадцать минут менял файлы и вернулся с фразой «готово, но два теста падают». На вопрос «почему» — гадание про тайминг. На вопрос «какие критические пути ты затронул» — агенту нужно заново лезть в код, чтобы ответить на вопрос про свою же работу. Дело не в интеллекте модели. Дело в том, что harness не дал ей ничего, на что можно сослаться: ни трассы выполнения, ни договора о том, что вообще должно было получиться. Нечего наблюдать — значит нечего объяснить, даже если объяснение существует.

Наблюдаемость — это на самом деле два разных слоя

Рантайм: логи, трейсы, метрики — отвечает «что произошло»
Процесс: sprint contract, рубрика, критерии приёмки — отвечает «почему сделано именно так»
Только рантайм = видно, что упало, непонятно, чего хотели
Только процесс = знаете, чего хотели, непонятно, почему не вышло

В harness есть два независимых слоя наблюдаемости, и путают их постоянно. Представьте автосервис: сначала мастер подписывает с вами наряд-заказ — что чинить и по каким признакам считать машину исправной. Это процессный слой: sprint contract, рубрика оценщика, критерии приёмки — они объясняют, почему изменение вообще должно быть принято. А когда машину забираете, вам показывают журнал работ — что сняли, что заменили. Это рантайм-слой: логи, трейсы, метрики — что система реально сделала. Только журнал работ — видно, что мастер крутил гайки, но не понятно, чинил ли он то, что было сломано. Только наряд-заказ — знаете цель, но не понимаете, почему машина всё равно скрипит. Нужны оба, и они усиливают друг друга.

Полная лекция — по подписке

Ещё 23 слайдов в полной версии.

Видео, все слайды, конспект, тесты, AI-тьютор и собеседование открываются после входа и оформления подписки.

Войти или зарегистрироваться Оформить подписку

Содержание лекции

Знакомая ситуация?
Агент не тупит — ему просто нечего предъявить
Наблюдаемость — это на самом деле два разных слоя
Без наблюдаемости: корректно превращается в мистику
❓ Ваш ход: как остановить лотерею оценок
Слепые ретраи и обрыв при передаче смены
Почему агент не залатает это сам
Sprint contract: договор до кода
Sprint contract целиком: одна страница вместо гадания
✅ Ответ: рубрика вместо мнения
Рубрика целиком: пять строк, которые ловят разъезд оценок
Грабли: оценка без доказательства
Трейс задачи: не истории, а агрегаты
Агент может всё объяснить — и всё равно оставить завал
Тридцать минут на то, чтобы понять, что делала прошлая сессия
Почему энтропия растёт сама
Грабли: «уберём потом»
Сессия закрыта, только когда закрыты все пять измерений
Чек-лист выхода из сессии
Уборка — это два разных режима, и их нельзя путать
Документ качества: .agent/quality.md
Harness тоже стареет: упрощение — не опция
Скрипт уборки обязан пережить собственный сбой
Один цикл — либо он замыкается чисто, либо начинается заново с нуля
Сквозной проект: шаг 6 для платёжного бэкенда
Итог: harness, который объясняет сам себя