レッスンのプレビュー

AI Ajanında Hata Birikimi: Adım Başına %95 Doğruluk Neden 10. Adımda Başarısız Olur

Çok adımlı AI ajan görevlerinde hata birikimi: adım başına %95 doğruluk neden 10 adımda yaklaşık %60 başarı verir. Ajan kontrol döngüsü, Ashby yasası, Goodhart yasası, bağlam gürültüsü ve son koşullu sözleşmeler.

ajan kontrol döngüsü adım zincirinde hata birikimi Ashby Yasası Goodhart Yasası gürültülü kanal olarak bağlam sözleşmeler ve son koşullar

このレッスンで学ぶこと

Ajan arızasını «model salaklaşıyor» demek yerine geri besleme döngüsünün diliyle tanımlamayı öğreneceksiniz.
Adım başına doğruluk %95 olsa bile çok adımlı görevlerde güvenilirliğin neden üstel biçimde düştüğünü kavrayacaksınız.
Değişmezi ve son koşulu tek seferlik gözlemden ayırt edebilecek — ve neyin teste değer olduğunu, neyin olmadığını bileceksiniz.

レッスンの冒頭

“Her şey hazır” — sonra hiçbir şey çalışmıyor

Ajan bütün gece kod yazıyor, commit üstüne commit atıyor
Sabah raporu: testler yeşil, özellik hazır
Kontrolde: fonksiyonların yarısı çalışmıyor, diğer yarısı beklendiği gibi çalışmıyor
Sorun “model salaklaşıyor” değil — kontrol döngüsünün kendisi bozuk

Gece boyunca ajan dosya dosya değiştirdi, özenle commit attı ve sabaha kendinden emin bir rapor yazdı: her şey hazır, kontrol edildi, merge edilebilir. Uygulamayı çalıştırıyorsunuz — ekranların yarısı bomboş, diğer yarısı da anlaştığımız gibi değil, başka türlü çalışıyor. Ajan rol yapmıyordu: gerçekten böyle düşünüyordu, çünkü tek hakemi kendisiydi. Bundan sonra bunu modelin kaprisi olarak değil, bir mühendislik arızası olarak ele alacağız: döngüdeki sensör kaybolmuş, güven de kontrolün yerine oturmuş.

Ajan bir termostattır, “prompt → kod” fonksiyonu değil

Döngünün bir hedefi, bir yürütücüsü, bir sensörü ve bir düzeltme kuralı vardır
Termostat: hedef 22°, sensör termometre, yürütücü ısıtıcı
Öğelerden birini sökerseniz — ısıtıcı, termometreye bakmadan körlemesine ısıtır
Hata, hedef ile sensörün gösterdiği değer arasındaki farktır

Ajanı bir fonksiyon gibi düşünmek cazip gelir: prompt’u verirsiniz, kodu alırsınız. Oysa olay evinizdeki termostat gibi işler. İstediğiniz sıcaklığı ayarlarsınız — diyelim ki yirmi iki derece; bu hedeftir. İçerideki termometre odanın gerçek sıcaklığını dürüstçe ölçer; bu sensördür. Sensör yirmi iki yerine yirmiyi gösterir göstermez ısıtıcı devreye girer; bu yürütücüdür, değişikliği yapan odur. Sıcaklık yeniden hedefe ulaşınca ısıtıcı kapanır; düzeltme kuralı budur. Ajanın da tam olarak aynı dörtlüsü vardır: hedef — elde etmek istediğimiz şey; yürütücü — kodu değiştiren ajanın kendisi; sensör — sonucu dürüstçe ölçen kontrol komutu; düzeltme kuralı — uyumsuzluk çıkınca ne yapılacağı. Dört öğeden herhangi birini sökerseniz döngü kopar: ısıtıcı, termometreye bakmadan körlemesine ısıtmaya devam eder.

Görevden commit’e: ajanın kontrol döngüsü nasıl çalışır

Hedef — görev ve tamamlanma kriteri
Yürütücü değişikliği yapar, sensör (make verify) onu kontrol eder
Hata sıfırdan büyükse → hatanın en küçük nedenine müdahale
Hata sıfıra eşitse → geri dönüş noktası olarak commit

Aynı termostat; sadece oda yerine depo var. Ajanın her commit’i ya dürüst bir dönüş noktasıdır ya da saklanmış bir hata: her şey, ondan önceki tek kontrole bağlıdır. Hedef, tamamlanma kriteriyle birlikte gelen görevdir. Yürütücü, yani ajan, depoya değişiklikleri işler. Sensör, yani kontrol komutu, sonucu ölçer. Hata sıfırdan büyükse düzeltme devreye girer: her şeyi baştan yazmak değil, düşüşün en küçük nedenini düzeltmek. Hata sıfırsa bunu bir commit ile sabitliyoruz — bir sonraki adımın başlayacağı geri dönüş noktasıyla. Tüm bu düzenin sağlamlığı üç şeye bağlıdır: sensörün hassasiyetine, eylemle ölçüm arasındaki gecikmeye ve düzeltmenin gücüne.

完全版のレッスンはサブスクリプションで

22 枚のスライドが完全版にはさらにあります。

ログインして購読すると、動画、全スライド、ノート、テスト、AIチューター、面接が利用できます。

ログインまたは新規登録サブスクリプションに登録

レッスンの内容

“Her şey hazır” — sonra hiçbir şey çalışmıyor
Ajan bir termostattır, “prompt → kod” fonksiyonu değil
Görevden commit’e: ajanın kontrol döngüsü nasıl çalışır
Dört öğeden biri çıkarılırsa ne bozulur
Kötü sensör, uzun gecikme, aşırı güçlü düzeltme
🛠 “Hazır” denilen gecelik çalıştırma
Otonom çalıştırma, p üzeri n’dir
Aynı adım güvenilirliği: %82 başarı ya da yalnızca %8
Beş adımlık demo, elli adımlık gece çalıştırması hakkında hiçbir şey söylemez
Üç kaldıraç — ve yalnızca üç
❓ Kontrol molası: son çalıştırmanızın n ve p'sini hesaplayın
💡 Analiz: n elli aşmışsa ve p ölçülmemişse — cevap çoktan bellidir
Ashby Yasası: harness'ın çeşitliliği görevlerin çeşitliliğini karşılamalıdır
Goodhart Yasası: hedefe dönüşen metrik, metrik olmaktan çıkar
Ajanın metriği aldattığı beş yol
Metriği, hile yapıldığında bozulan bir antimetrikle eşleştirin
Mit: Ne kadar çok bağlam, o kadar iyi ≠ gerçek
Konum hacimden önemli: ortada kaybolma
Dosyada yüz kural vardır; model gerçekte en fazla yirmisini tutar
Sınav: ajanınız gerçekte kaç kural biliyor?
'Bitti' üç parçaya ayrılmadıkça, o sadece ajanın görüşüdür
Önkoşul, değişmez ve sonkoşul depoda nerede yaşar?
En zayıf halka kuralı
Tuzak: Değişmez (invariant) ile döngü varyantını karıştırmak
Artık «model salak» bahanesine yer yok