Anteprima della lezione

AI Ajanı Üretimde Neden Çöker: Beş Hata Katmanı ve Teşhis Döngüsü

Amiral gemisi LLM'ler gerçek depolarda basit görevlerde neden başarısız olur: kodlama ajanının beş hata katmanı (görev, talimatlar, durum, araçlar, doğrulama) ve bozuk katmanı tek geçişte bulan teşhis döngüsü.

beş başarısızlık katmanı tanısal döngü model yeteneğine karşı yürütme güvenilirliği

Cosa imparerai in questa lezione

Sorun harness'ta (çalışma altyapısında) iken ajanı model yükseltmesiyle onarmayı bırakacaksınız.
Beş katmanlı arıza modeline hakim olacak ve kusurun hangi katmanda olduğunu hızla tespit edeceksiniz.
Gerçek bir ajan başarısızlığınız üzerinden tanısal döngüyü uygulayacaksınız.

Inizio della lezione

Tanıdık manzara: ajan “bitti” diyor, testler kırmızı

Özellik ekledi — üç test bozuldu
Hatayı düzeltti — iki yeni hata doğurdu
Yirmi dakikalık çalışma, kendinden emin bir “bitti”
Diff'i açıyorsunuz — içinde istediğiniz şey yok

Ajana gerçek bir repoda gerçek bir görev veriyorsunuz. O da bir özellik ekliyor ve üç testi bozuyor. Bir hatayı düzeltiyor, iki yeni hata yaratıyor. Yirmi dakika çalışıp kendinden emin bir şekilde “bitti” diyor; siz diff'i açtığınızda ise istediğinizden bambaşka bir şeyle karşılaşıyorsunuz. Aklınıza gelen ilk düşünce neredeyse her zaman aynı: daha güçlü bir model gerek. Bu derste bu düşüncenin neden neredeyse her zaman yanlış olduğunu ve modele değil, başka nerelere bakmanız gerektiğini ele alacağız.

🤔 Mit: Daha güçlü bir model gerekir

🤔 Mit / Sık karıştırılır: Ajanın görevleri başarısız olmayı bırakması için daha güçlü bir modele geçmek gerekir
✅ Aslında: Benchmark ile sizin gerçekliğiniz arasındaki uçurumu model değil, onu çevreleyen ortam kapatır
📌 Akılda tutun: Bu uçurumu kapatan şey model yükseltmesi değil, harness mühendisliğidir

Ajanın başarısızlığının ardından aklımıza gelen ilk düşünce neredeyse her zaman aynı: daha güçlü bir model gerek. Bu bir mit. Modelin özenle seçilmiş benchmark'larda gösterdiği performansla kendi reponuzda aldığınız sonuç arasındaki farka capability gap deniyor. Ve bu fark model yükseltmeyle değil, modelin çevresindeki ortamı değiştirerek kapanıyor: görev nasıl tanımlanmış, ajana hangi bağlam ulaşabiliyor, çalıştırma ortamı ne kadar yeniden üretilebilir ve sonucun dürüst bir doğrulaması var mı. Bunun neden böyle olduğunu birazdan somut deneylerle göreceğiz.

Modelin yeteneği ile sonucun güvenilirliği aynı şey değil

En iyi kodlama ajanları SWE-bench Verified'da %50–60 bandında seyrediyor
Üstelik bu, net açıklamalı ve testleri hazır seçilmiş görevlerde
Sizin reponuzda gereksinimler belirsiz, test yok — oran daha da aşağı düşüyor
Benchmark ile gerçeklik arasındaki bu fark, capability gap'in ta kendisi

2025'in sonuna gelindiğinde en iyi kodlama ajanları SWE-bench Verified'da yüzde elli ile altmış arasında bir banddaydı. Ve bu, net açıklamalı, testleri zaten hazır seçilmiş görevlerde. Sizin reponuzdaysa gereksinimler muğlak, test yok, iş kuralları insanların kafasında yaşıyor — ve oran daha da aşağı iniyor. Modelin boşlukta görev çözme yeteneği ile sizin somut projenizdeki sonucun güvenilirliği iki ayrı ölçümdür; ikisini karıştırmak, boşa giden model yükseltmelerinin çoğunun kaynağıdır.

La lezione completa è disponibile con l'abbonamento

17 altre slide nella versione completa.

Video, tutte le slide, appunti, test, tutor AI e intervista si sbloccano dopo l'accesso e l'abbonamento.

Accedi o registrati Attiva l'abbonamento

Contenuti della lezione

Tanıdık manzara: ajan “bitti” diyor, testler kırmızı
🤔 Mit: Daha güçlü bir model gerekir
Modelin yeteneği ile sonucun güvenilirliği aynı şey değil
🛠 Anthropic deneyi: Aynı model, farklı koşum
📖 OpenAI vakası: İnsan tek satır yazmadan bir milyon satır
Ajanın gerçekte kırıldığı beş katman
Katman 1 ve 2: Görev anlaşılır mı, ajan konvansiyonları biliyor mu?
Katman 3 ve 4: Ortam yeniden üretilebilir mi ve dürüst bir doğrulama var mı?
Katman 5: Bilgi oturumdan kalıcıyor mu, yoksa her seferinde sıfırdan mı?
Tuzaklar: Modeli düzeltiyorlar, katmanı değil
Kursun uçtan uca projesi: FastAPI ile ödeme backend'i
Teşhis döngüsü — tüm metodolojinin çekirdeği
Döngüyü kendi ödeme backend'imizde uyguluyoruz
❓ Kontrol molası: Sorun hangi katmanda
💡 Analiz: Tek seferde iki katman
Adım 1: Definition of Done'u açıkça yazın
Adım 2: AGENTS.md dosyası oluşturun
Adım 3: Başarısızlık günlüğü tutun
Ev deneyi: aynı görevle iki koşu, beklenmedik bir sonuç
Nadiren model suçludur — suçlu genellikle onu çevreleyen harness'tir