விரிவுரை முன்னோட்டம்

AI Ajan Güvenilirlik Metrikleri: MTBF, MTTR, Patlama Yarıçapı ve Little Yasası

AI ajan güvenilirliği nasıl ölçülür: MTBF ve MTTR, patlama yarıçapı (blast radius), Little yasası ve WIP kuyrukları, Markov oturum durumu, güven kalibrasyonu ve harness entropisi. Ajan hataları için hızlı teşhis tablosu.

MTBF/MTTR hasar yarıçapı (blast radius) Little Yasası WIP Markov oturum durumu güven kalibrasyonu harness entropisi Lehman Yasaları

இந்த விரிவுரையில் நீங்கள் என்ன கற்றுக்கொள்வீர்கள்

Ekibinizin ajanla birlikte çalışırken MTTR değerini hesaplayabilecek ve bir arızanın hasar yarıçapını gerçekten azaltan şeyin ne olduğunu anlayacaksınız.
Açık bir WIP yönetimi olmadan ajana neden iki görevin paralel olarak verilemeyeceğini kavrayacaksınız.
Teorinin özet tablosunu ilk teşhis için bir kontrol listesi (checklist) olarak kullanmayı öğreneceksiniz.

விரிவுரையின் தொடக்கம்

Gerçekten iyileşti mi, yoksa şans mı?

Bir mühendis, yeni prompt şablonunun her şeyi değiştirdiğine yemin ediyor
Diğeri bir ay önce aynı çalıştırmayı görmüş ve hiçbir fark görmemiş
İkisi de aynı log'a bakmış — ama tek bir metrik bile hesaplamamış
Sırada, hisleri sayılara dönüştüren altı teori var

Düşünün: ajan neredeyse bir ay boyunca hep aynı adımda takılıyordu; siz prompt'u düzelttiniz ve bir hafta boyunca tek bir takılma olmadı. Tesadüf mü, tamir mi? İş arkadaşınız, o hafta sadece görevlerde şanslı olduğunuzu söylüyor. Elinizde ne bir takılma günlüğü var, ne kurtarma süresi, ne de tek bir hatanın ne kadar kodu bozduğuna dair bir tahmin — sadece işlerin sakinleştiğine dair genel bir his var. Bugünkü ders, bu hissi somut sayılarla ve bir teşhis tablosuyla değiştiren araçlar hakkındadır.

MTBF ve MTTR: Güvenilirlik iki sayıdır, tek değil

Güvenilirlik = sistemin ne kadar seyrek bozulduğu (MTBF) + ne kadar hızlı toparlandığı (MTTR)
Kullanılabilirlik, ilkinin artmasından ve ikincinin azalmasından yükselir
İkincisi neredeyse her zaman ilkinden daha ucuzdur
Harness için: MTBF — ajanın takılana kadar attığı adım sayısı; MTTR — çalışır duruma dönene kadar geçen süre

Herhangi bir sistemin güvenilirliği tek bir sayıyla değil, bir çiftle tanımlanır — tıpkı ev aletlerinde olduğu gibi. Yılda bir bozulan ama ustası onu bir günde onaran bir Beko çamaşır makinesi, üç yılda bir bozulup her seferinde yedek parça için iki hafta bekleyen bir makineden günlük hayatta daha güvenilirdir. İlk sayı MTBF, arızalar arasındaki ortalama süre: her şeyin ne kadar seyrek bozulduğu. İkincisi MTTR, ortalama onarım süresi: çalışır duruma ne kadar hızlı döndüğünüz. Kullanılabilirlik, ilki arttıkça ve ikincisi azaldıkça yükselir; ama ikincisini düşürmek neredeyse her zaman daha ucuzdur. Harness için bu birebir geçerlidir: MTBF, ajanın takılana kadar attığı adım sayısıdır; MTTR ise arızadan sonra çalışır duruma dönmek için harcanan süredir.

Hasar yarıçapı, fail-fast, yedeklilik: dört metrik daha

Hasar yarıçapı — tek bir başarısız adımın ne kadar kodu bozduğu: diff limiti ve workspace izolasyonu ile küçültülür
Fail-fast — kontrol, anlaşılır bir mesajla ilk hatada düşer
Yedeklilik — aynı özelliğin ikinci bağımsız kontrolü (birim testlerin üzerinde E2E)
N-versiyonlama — iki bağımsız çözüm ve karşılaştırma: farklı bağlama sahip üretici ve değerlendirici

MTBF ve MTTR'nin yanı sıra aynı koordinat sisteminde dört parametre daha var — hepsi zaten evinizde, güvenlik sistemlerinizde duruyor. Hasar yarıçapı, sigorta kutusundaki otomat gibidir: bir cihazda kısa devre olursa tüm ev değil, yalnızca bir sigorta atar; harness için bu, diff limiti ve çalışma kopyasının izolasyonudur. Fail-fast, ilk duman belirdiğinde ötmeye başlayan duman dedektörü gibidir — bütün odaya yayılmasını beklemez; harness için bu, anlaşılır bir mesajla ilk hatada düşen kontroldür. Yedeklilik, evde hem duman hem karbonmonoksit dedektörünün ayrı ayrı bulunmasıdır; çünkü biri diğerinin yerine geçmez — harness için bu, birim testlerin üzerinde E2E'dir. N-versiyonlama, elektrik tesisatını birbirine danışmadan ayrı ayrı kontrol edip sonra bulgularını karşılaştıran iki bağımsız elektrikçi gibidir; harness için bu, farklı bağlama sahip üretici ve değerlendiricidir.

முழு விரிவுரை சந்தா மூலம் கிடைக்கும்

முழு பதிப்பில் மேலும் 20 ஸ்லைடுகள் உள்ளன.

உள்நுழைந்து சந்தா பெற்ற பிறகு வீடியோ, அனைத்து ஸ்லைடுகள், குறிப்புகள், தேர்வுகள், AI ஆசிரியர் மற்றும் நேர்காணல் திறக்கும்.

உள்நுழை அல்லது பதிவு செய் சந்தா பெறு

விரிவுரை உள்ளடக்கம்

Gerçekten iyileşti mi, yoksa şans mı?
MTBF ve MTTR: Güvenilirlik iki sayıdır, tek değil
Hasar yarıçapı, fail-fast, yedeklilik: dört metrik daha
Tuzak: Güvenilirliği başarılı çalıştırmalara göre ölçmek
MTTR, MTBF'den ucuzdur: kronometreyle test
Little Yasası: Paralel görevler çıktıyı artırmaz
WIP=1 neden çilecilik değil, aritmetiktir
Görev granülerliği: çok küçük, tam kıvamında, çok büyük
«Madem oradaydım» vanası: izinsiz düzenlemeler yerine BACKLOG.md
Markov durumu: ajan geçmişe değil, şimdiki ana bakarak karar verir
Proje durumunda neler bulunmalı
Sıkıştırma mı sıfırlama mı: önemli olan dosyalarda yaşar, bağlam penceresinde değil
❓ Dur-kontrolü: sıra sizde
💡 Değerlendirme: Markovluk bir toparlanma ölçütüdür
Güven kalibrasyonu: model kendinden emindir ama her zaman haklı değildir
Mit: Ajanın kendinden emin tonu ≠ doğru cevap
«Daha dikkatli ol» çağrıları yerine ne işe yarar
Hata asimetrisi: yanlış «hazır», yanlış «hazır değil»ten pahalıdır
Lehman yasaları: harness ya değişir ya da eskir
🛠 Altı ay sonra: yüz kural, kırkı ölü
Sadeleştirme ritüeli: sabit boyut kuralı
Tüm teorinin özet tablosu: doğru tekniği bir dakikada bulmak
Sayılardan pratiğe