AI Ajanı Gözlemlenebilirliği: Sprint Sözleşmesi, Değerlendirici Rubriği ve Temiz Oturum Çıkışı
AI kodlama ajanının ne yaptığını nasıl bilirsiniz: iki gözlemlenebilirlik katmanı, sprint sözleşmesi (kapsam içi / dışı), görüş yerine değerlendirici rubriği, temiz devir teslim, oturum çıkış kontrol listesi ve kod entropisi.
- «Normal görünüyor» gibi belirsiz ifadeler yerine sprint sözleşmesi ve değerlendirici rubriği oluşturacaksınız.
- Beş boyuta göre hazırlanmış temiz oturum kapanışı kontrol listesini uygulayacaksınız.
- Harness entropisinin artışını hislere dayanarak değil, ölçülebilir verilerle durduracaksınız.
पाठ की शुरुआत
Tanıdık geldi mi?
- Ajan işin bittiğini bildirdi — ama tam olarak neyin doğrulandığını kimse bilmiyor
- Bir sonraki oturum göreve değil, başkasının kodunu kazmaya başlıyor
- Proje ne kadar uzun yaşarsa, ajanın bir sonraki girişimi bir o kadar pahalıya mal olur
Bu tek seferlik bir hata değil; harness’ın gözlemlenebilirliğindeki sistematik bir boşluk. Aynı ajan bir hafta içinde on kez içtenlikle “bitti” diyebilir — ve her seferinde bu başka bir şeyi kastedebilir. Bir ay boyunca arkasında açıkça temizlik yapmadan çalışılan bir projede her yeni oturum, ısınmak için beş dakika değil yarım saat harcar — sadece projede neler olup bittiğini kavramak için. Bugün bu sorunun iki ucunu ele alıyoruz: ajanın çalışmasını nasıl açıklanabilir hâle getiririz ve oturumlar arası devri nasıl temiz yaparız.
Ajan salak değil — elinde göstereceği bir şey yok
- “Bitti ama iki test başarısız” — “Neden?” — “Muhtemelen zamanlama”
- “Hangi kritik yollara dokundun?” — “Koda bakmama izin verin…”
- Ajan aptal değil — kanıt olarak fiziksel olarak gösterebileceği hiçbir şey yok
Bu diyaloğu zihninizde canlandırın — muhtemelen çok tanıdık. Ajan yirmi dakika boyunca dosyaları değiştirdi ve “bitti ama iki test başarısız” cümlesiyle geri döndü. “Neden?” sorusuna zamanlama tahmini. “Hangi kritik yollara dokundun?” sorusuna ise ajan, kendi işiyle ilgili bu soruyu yanıtlamak için koda yeniden dalması gerektiğini söylüyor. Sorun modelin zekâsında değil. Sorun şu ki harness ona atıfta bulunabileceği hiçbir şey vermedi: ne bir yürütme trace’i, ne de sonuçta ne olması gerektiğine dair bir sözleşme. Gözlenecek bir şey yoksa açıklanacak da bir şey yoktur — açıklama gerçekte var olsa bile.
Gözlemlenebilirlik aslında iki farklı katmandır
- Çalışma zamanı (runtime): loglar, trace’ler, metrikler — “ne oldu” sorusunu yanıtlar
- Süreç: sprint sözleşmesi, değerlendirme rubriği, kabul kriterleri — “neden tam olarak böyle yapıldı” sorusunu yanıtlar
- Yalnızca runtime = neyin çöktüğü görünür, ne istendiği belirsiz
- Yalnızca süreç = ne istediğinizi bilirsiniz, neden olmadığını anlamazsınız
Harness’ta birbirinden bağımsız iki gözlemlenebilirlik katmanı var ve insanlar bunları sürekli karıştırıyor. Bir oto servisini düşünün: usta önce sizinle birlikte iş emrini imzalar — neyin tamir edileceğini ve arabaya “sağlam” denmesi için hangi belirtilere bakılacağını. İşte bu süreç katmanıdır: sprint sözleşmesi, değerlendirici rubriği, kabul kriterleri — değişikliğin neden kabul edilmesi gerektiğini açıklarlar. Arabanızı teslim alırken size tamirat raporu gösterilir — ne söküldü, ne değiştirildi. Bu da çalışma zamanı katmanıdır: loglar, trace’ler, metrikler — sistemin gerçekte ne yaptığı. Elinizde yalnızca tamirat raporu varsa ustanın somunları sıktığını görürsünüz ama bozuk olan parçayı tamir edip etmediğini anlayamazsınız. Elinizde yalnızca iş emri varsa amacı bilirsiniz ama arabanın neden hâlâ gıcırdığını anlayamazsınız. İkisine de ihtiyaç var ve birbirlerini güçlendirirler.
पूरा पाठ सदस्यता के साथ उपलब्ध है
पूर्ण संस्करण में 23 और स्लाइड्स हैं।
वीडियो, सभी स्लाइड्स, नोट्स, टेस्ट, AI ट्यूटर और इंटरव्यू लॉगिन करने और सदस्यता लेने के बाद खुलेंगे।
लॉग इन या रजिस्टर करें सदस्यता लेंपाठ की सामग्री सूची
- Tanıdık geldi mi?
- Ajan salak değil — elinde göstereceği bir şey yok
- Gözlemlenebilirlik aslında iki farklı katmandır
- Gözlemlenebilirlik olmadan: “doğru”, mistisizme dönüşür
- ❓ Sıra sizde: değerlendirme piyangosunu nasıl durdururuz
- Kör yeniden denemeler ve devir teslimdeki kopukluk
- Ajan bunu neden kendisi yamayamaz
- Sprint sözleşmesi: koddan önce anlaşma
- Sprint sözleşmesinin tamamı: tahmin yürütmek yerine tek sayfa
- ✅ Cevap: görüş yerine rubrik
- Rubriğin tamamı: notların dağılmasını yakalayan beş satır
- Tuzaklar: kanıtsız değerlendirme
- Görev trace'i: hikâyeler değil, agregalar
- Ajan her şeyi açıklayabilir — ve yine de dağınıklık bırakabilir
- Önceki oturumun ne yaptığını çözmeye giden otuz dakika
- Entropi neden kendiliğinden artıyor?
- Tuzaklar: «Sonra temizleriz»
- Oturum, beş boyutun tümü kapanmadan kapanmış sayılmaz
- Temizlik iki farklı moddur ve birbiriyle karıştırılmamalı
- Temizlik iki farklı moddur ve birbiriyle karıştırılmamalı
- Temizlik betiği kendi hatasından sağ çıkabilmelidir
- Harness da yaşlanır: sadeleştirme bir seçenek değil
- Temizlik betiği kendi hatasından sağ çıkabilmelidir
- Tek döngü — ya tertemiz kapanır ya da sıfırdan yeniden başlar
- Uçtan uca proje: ödeme backend'i için 6. adım
- Özet: Kendini açıklayan bir harness
इस व्याख्यान से जुड़े लेख
- Harness engineering क्या है: AI एजेंट को काम का उपकरण कैसे बनाएँ
- AI एजेंट को भरोसेमंद कैसे बनाएँ: मापने से लेकर स्वायत्त काम तक का चरण-दर-चरण मार्ग
- CLAUDE.md और AGENTS.md: ये क्या हैं, इनमें क्या लिखें और एजेंट नियम क्यों नज़रअंदाज़ करता है
- एजेंट ने "तैयार" लिखा, पर फ़ीचर काम नहीं करता: AI एजेंट का काम कैसे जाँचें
- Harness vs context engineering: harness engineering prompt और context engineering से कैसे अलग है
इस कोर्स के सभी पाठ
- Harness Engineering Nedir? AI Kodlama Ajanı Modelden Değil, Ortamdan Neden Çöker
- AI Ajanında Hata Birikimi: Adım Başına %95 Doğruluk Neden 10. Adımda Başarısız Olur
- AI Ajan Güvenilirlik Metrikleri: MTBF, MTTR, Patlama Yarıçapı ve Little Yasası
- AI Ajanı Üretimde Neden Çöker: Beş Hata Katmanı ve Teşhis Döngüsü
- AI Ajan Harness'ı Neyden Oluşur: Talimatlar, Araçlar, Ortam, Durum, Geri Bildirim
- AI Kodlama Ajanları İçin Depo Haritası: Oturumlar Arası Hafızasız Proje Yapısı
- AGENTS.md En İyi Uygulamaları: Dev Talimat Dosyası Neden Çalışmaz, Yönlendirici Nasıl Kurulur
- AI Ajanı Oturumlar Arası Hafıza: Oturum Devri, PROGRESS.md ve Başlangıç Sözleşmesi
- AI Ajanları İçin feature_list.json: WIP=1, Özellik Durumları ve verify.sh Doğrulaması
- Ajan 'Hazır' Dedi, Özellik Çalışmıyor: Doğrulama Boşluğu ve Definition of Done
- Tüm Testler Yeşil, Özellik Bozuk: AI Ajanları İçin E2E Testler ve Mimari Kurallar
- AI Ajanı Gözlemlenebilirliği: Sprint Sözleşmesi, Değerlendirici Rubriği ve Temiz Oturum Çıkışı
- AI Ajanını Saatlerce Denetimsiz Çalıştırmak: Loop Engineering ve Durdurma Koşulları
- AI Ajanları İçin Graph Engineering: Tek Döngü Yetmediğinde Görev Grafiği
- AI Ajan Harness'ını Sıfırdan Kurmak: AGENTS.md, feature_list.json, verify.sh ve Otonom Döngü