レッスンのプレビュー

Ajan 'Hazır' Dedi, Özellik Çalışmıyor: Doğrulama Boşluğu ve Definition of Done

AI kodlama ajanlarında doğrulama boşluğu: 'hazır' neden 'çalışıyor' demek değildir. Üç katmanlı tamamlanma doğrulaması, AGENTS.md'de Definition of Done, doğrulamadan önce refactoring yasağı ve uygulayıcı, doğrulayıcı, hakem rollerinin ayrımı.

Doğrulama boşluğu (verification gap) Tamamlanmış Tanımı (Definition of Done) Üç katmanlı doğrulama Rol ayrımı

このレッスンで学ぶこと

Kendi sürecinizin doğrulama boşluğunu ölçecek ve ajanın hazırlık konusunda nerede yanıltıcı bilgi verdiğini tespit edeceksiniz.
Ajanın öznel görüşüne değil, otomatik betikle doğrulanabilen bir Definition of Done yazacaksınız.
Uygulayıcı ve denetleyici rollerini birbirinin kararını geçersiz kılmayacak biçimde ayıracaksınız.

レッスンの冒頭

Tek Bir 'Hazır'ın Kronolojisi

Veritabanı şeması değişti, endpoint yazıldı, e-posta şablonu eklendi
Unit testler yeşil — ajan tamamlanmayı raporluyor
Migration yarıda düştü, e-posta gitmiyor, uçtan uca senaryo hiç çalıştırılmadı

Birkaç dakika geriye sarıp gerçekte ne olduğunu kare kare inceleyelim. Ajan veritabanı şemasını değiştiriyor, endpoint ekliyor, e-posta şablonunu bağlıyor, unit testleri çalıştırıyor — hepsi yeşil, rapor tamam. Ve 'hazır' diyor; kusursuz çalışan bir özellikten bahsederken kullanacağı aynı özgüvenle. Oysa migration aslında yarısında düşmüş ve şemayı tutarsız bir hâlde bırakmış. E-posta servisi hiç yapılandırılmamış. Uçtan uca senaryo ise — birinin linke tıklayıp yeni şifreyi girmesi — oturum boyunca hiçbir kez çalıştırılmamış. Bunu ilk fark eden ya code review olacak ya da canlı ortam.

Testlerin Yakalayamadığı Üç Arıza

Veritabanı şema migration'ı yarıda düştü — durum tutarsız
E-posta şablonu var ama SMTP yapılandırılmamış — e-posta gitmiyor
'Linke tıkla → şifreyi değiştir' uçtan uca senaryosu hiçbir kez çalıştırılmadı

Tek bir neşeli 'hazır'ın arkasında üç somut arıza var. Birincisi: şema migration'ı yarıda kesildi ve veritabanı ara, tutarsız bir durumda kaldı. İkincisi: e-posta şablonu mevcut, kod gayet güzel; ama mail sunucusunun adresini tutan ortam değişkeni tanımlanmamış — e-posta hiçbir zaman gitmiyor. Üçüncüsü: ajan dahil kimse senaryoyu baştan sona, link tıklamasından şifre değiştirmeye kadar hiç koşmadı. Unit testler tam da bu yüzden yeşil: her biri kendi küçük parçasını izole biçimde doğruluyor, sistemi bütün olarak değil.

Yapay Zekâ Neden Haklı Olduğundan Çok Daha Kendinden Emin?

Tek bir tedarikçinin değil, sistem sınıfının özelliği
Guo vd., ICML 2017: Sinir ağları kötü kalibre — güven, doğruluğun üstünde
Ajan gerçekten bitirmeden çok önce 'bitişi hisseder'

Bu, belirli bir modelin kaprisi değil; sistem sınıfının temel bir özelliği. Guo ve arkadaşlarının 2017'de ICML konferansında sunduğu klasik çalışma şunu gösterdi: modern sinir ağları kötü kalibre edilmiştir ve dile getirdikleri güven, fiilî doğruluklarının üzerindedir. Kodlama ajanı için bu son derece somut bir şekilde ortaya çıkar: görev gerçekten çözülmeden çok önce 'bittiğini hisseder'. Rapordaki güvenle sonucun gerçek kalitesi arasında korelasyon yoktur; daha güçlü bir modelin bunu düzelteceğini ummak da boşunadır.

完全版のレッスンはサブスクリプションで

18 枚のスライドが完全版にはさらにあります。

ログインして購読すると、動画、全スライド、ノート、テスト、AIチューター、面接が利用できます。

ログインまたは新規登録サブスクリプションに登録

レッスンの内容

Tek Bir 'Hazır'ın Kronolojisi
Testlerin Yakalayamadığı Üç Arıza
Yapay Zekâ Neden Haklı Olduğundan Çok Daha Kendinden Emin?
Model, Kendi Çıktısının En İyi Avukatıdır
Tek Çözüm: Yapanı ve Kontrol Eden Ayırmak
Ajanınızın Hazır Olma Konusunda Ne Kadar Yalan Söylediğini Gösterecek 10 Görev
❓ Dur-Kontrol: Verification Gap'iniz Ne?
💡 Analiz: çoğunda %30–50
Hazır sayılmadan önce her özelliğin mutlaka geçmesi gereken üç filtre
İlerleme kuralı: katman atlanamaz
AGENTS.md'de Definition of Done
🤔 Mit: birim testleri geçtiyse hazırdır
Tuzaklar: özellik doğrulanmadan refactor yapmak
Sıra katıdır: doğruluk → performans → stil
Kırmızı düzeltmeler: hata azarlamamalı, öğretmeli
Ajanın siz katılmadan kendi kendine düzelttiği hata mesajı
Planlayıcı, üretici, değerlendirici: ajanın kendini kandırmasına karşı üç rol
Değerlendirici neden üreticinin akıl yürütmesinin tek satırını bile görmemeli
🛠 Aynı prompt: birinde bozuk, diğerinde çalışıyor
Ödev: verification gap’inizi iki kez ölçün
“Bitti”: doğrulanan şeydir, söylenen değil