Yapay zeka ajanında hata birikimi: adım başına %95 doğruluk neden yetersiz
Yapay zeka ajanında hata birikimi (compounding error), uzun bir görevin başarı olasılığının her adımın başarı olasılıklarının çarpımına eşit olmasıdır. Adım başına %95 doğrulukla 10 adımlık zincir yaklaşık %60 oranında, 20 adımlık zincir ise yalnızca yaklaşık %36 oranında tamamlanır. Harness her adımı doğrulayıp kanıtlanmış durumu commit ederek hatanın sonraki adıma geçmesini engeller.
Hata birikimi nedir
Ajan bir görevi tek bir eylemle değil, bir zincir halinde çözer: bir dosyayı okur, bir fonksiyonu değiştirir, testleri çalıştırır, bir importu düzeltir. Her adım p olasılıkla doğruysa, adımlar bağımsızsa ve bir adımdaki hata sonrakileri bozuyorsa, n adımlık tüm zincirin başarı olasılığı p üssü n olur. Bu, yapay zeka ajanında hata birikimi, İngilizcesiyle compounding error olgusudur.
Sezgi yanıltır: adım başına %95, güvenilir gibi görünür. Ama üs, güvenlik payını hızla tüketir.
| Adım sayısı | p = 0,95 | p = 0,99 |
|---|---|---|
| 1 | %95 | %99 |
| 10 | ≈ %60 | ≈ %90 |
| 20 | ≈ %36 | ≈ %82 |
| 50 | ≈ %8 | ≈ %61 |
Bu model kabaca bir yaklaşımdır: pratikte adımlar tam olarak bağımsız değildir ve bazı hatalar zararsızdır. Yine de yönü doğru gösterir: kontrol olmadan geçen otonom çalışma ne kadar uzunsa, sonucun doğru olma şansı o kadar düşer.
Uzun zincirler neden çöker
Erken bir adımdaki hata yerinde kalmaz. Ajan sonraki değişikliklerini hatalı bir temel üzerine kurar; bir şeylerin bozulduğu fark edildiğinde, hatanın üstünde on kat kod birikmiş olur. En kötüsü, ajan sonucu kendisi değerlendirdiğinde ortaya çıkar: yargısı «her şey yolunda» yönüne kaymıştır, bu yüzden yarı çalışan bir kod için bile «tamam, testler yeşil» raporu gelebilir.
Harness bununla ne yapar
p değerini yükseltmek yalnızca kısmen mümkündür; model hiçbir zaman hatasız olmaz. Asıl kaldıraç, hatanın bir sonraki adıma geçmesine izin vermemektir. Harness geri bildirim döngüsünü kapatır.
- Her adımdan sonra bir sensör. Tek bir doğrulama komutu (örneğin testleri ve linter'ı içeren
make verify) sonucu ajanın kendi öz değerlendirmesi yerine dürüstçe ölçer. - Geri dönüş noktası. Kontrolden geçen her adım bir commit ile sabitlenir. Zincir artık doğrulanmış bir durumdan başlar ve hata sayacı fiilen sıfırlanır.
- Minimal düzeltme. Kırmızı bir kontrolde ajan tüm işi baştan yazmak yerine belirli nedeni düzeltir; bu salınımları söndürür.
- Kısa görevler. Her seferinde bir görev, küçük adımlar, sık kontrol. Yirmi adımı kör kör atmak yerine, her biri tek adımlık yirmi zincir elde edersiniz.
Claude Code'da kontrolü, modelin iyi niyetine bırakmak yerine, hook'lara bağlayarak otomatik çalıştırabilirsiniz.
Kısaca
Yapay zeka ajanında hata birikimi basit bir aritmetiktir: 0,95 üssü on yaklaşık 0,60, üssü yirmi yaklaşık 0,36'dır. Bunu çözen şey «daha akıllı bir model» değil, harness'tir: her adımın kontrolü, doğrulanmış durumun commit'lenmesi ve kısa görevler. Bu döngünün ardındaki matematik ve yasalar kursun dersinde ayrıntılı olarak ele alınır.
Sık sorulan sorular
Bu, ajanın 50 adımlık bir görevi çözemeyeceği anlamına mı geliyor?
Ara kontroller olmadan şans gerçekten düşüktür. Her adımdan sonra kontrol ve commit ile görev, kısa zincirlerden oluşan bir diziye dönüşür ve genel başarı artık tüm adımların çarpımına bağlı kalmaz.
Daha güçlü bir model yardımcı olur mu?
Evet: doğruluğu %95'ten %99'a çıkarmak, 20 adımlık başarıyı %36'dan %82'ye çıkarır. Ama %99 doğrulukla bile 50 adım yaklaşık %61 verir, bu yüzden kontroller yine de gerekir.
Ajan yanıldığında neden emin görünüyor?
Dış bir sensör olmadan ajan sonucu gerçekle değil, kendi beklentisiyle karşılaştırır. Kodun doğruluğundan bağımsız olarak özgüveni artar.
Ajandan kendini kontrol etmesini istemek yeterli mi?
Prompt'a yazılmış bir istek yerine getirilmeyi garanti etmez. Kontrolü mekanik hale getirmek daha güvenilirdir: ayrı bir komut, hook veya CI kontrolü.
Bu konu “Harness Engineering: AI Ajanları İçin Güvenilirlik Mühendisliği” kursunda uygulamalı olarak ayrıntılı işleniyor.
Kursa git