Akumulasi kesalahan agen AI: mengapa akurasi 95% per langkah itu masih kurang
Akumulasi kesalahan agen AI (compounding error) adalah efek ketika peluang keberhasilan tugas panjang sama dengan hasil kali peluang keberhasilan setiap langkahnya. Dengan akurasi 95% per langkah, rantai 10 langkah berhasil sekitar 60% kali, dan 20 langkah hanya sekitar 36%. Harness melawannya dengan memeriksa setiap langkah dan menyimpan keadaan yang sudah lolos pemeriksaan, sehingga kesalahan tidak terbawa lebih jauh.
Apa itu akumulasi kesalahan
Agen menyelesaikan tugas bukan dengan satu tindakan, melainkan dengan rantai: membaca berkas, mengubah fungsi, menjalankan tes, memperbaiki impor. Jika setiap langkah benar dengan peluang p, langkah-langkahnya independen, dan kesalahan satu langkah merusak semua langkah berikutnya, maka peluang keberhasilan seluruh rantai dengan n langkah adalah p pangkat n. Inilah yang disebut akumulasi kesalahan agen AI, dalam bahasa Inggris compounding error.
Intuisi sering menipu: 95% per langkah terdengar andal. Tetapi pangkat dengan cepat menghabiskan cadangan.
| Langkah | p = 0,95 | p = 0,99 |
|---|---|---|
| 1 | 95% | 99% |
| 10 | ≈ 60% | ≈ 90% |
| 20 | ≈ 36% | ≈ 82% |
| 50 | ≈ 8% | ≈ 61% |
Model ini kasar: dalam praktik langkah-langkah tidak sepenuhnya independen, dan sebagian kesalahan tidak berbahaya. Namun arahnya tepat: semakin panjang eksekusi otonom tanpa pemeriksaan, semakin kecil peluang hasilnya benar.
Mengapa rantai panjang runtuh
Kesalahan di langkah awal tidak diam di tempatnya. Agen membangun perubahan berikutnya di atas dasar yang keliru, dan ketika sesuatu mulai terlihat rusak, di atas bug itu sudah menumpuk belasan lapis kode. Yang paling berbahaya, ketika agen menilai hasilnya sendiri: penilaiannya cenderung condong ke kata «semua baik». Laporan «selesai, tes hijau» bisa muncul meskipun kodenya setengah tidak berfungsi.
Apa yang dilakukan harness
Meningkatkan p hanya bisa sampai batas tertentu, dan model tidak akan menjadi bebas kesalahan. Tuas utamanya adalah mencegah kesalahan berpindah ke langkah berikutnya. Harness menutup lingkaran umpan balik.
- Sensor setelah setiap langkah. Satu perintah pemeriksaan (misalnya
make verifydengan tes dan linter) mengukur hasil secara jujur, bukan berdasarkan penilaian diri agen. - Titik pemulihan. Langkah yang lolos pemeriksaan dicatat dengan commit. Rantai berikutnya dimulai dari keadaan yang sudah terverifikasi, dan penghitung kesalahan praktis kembali nol.
- Koreksi minimal. Ketika pemeriksaan gagal, agen memperbaiki penyebab yang spesifik, bukan menulis ulang semuanya. Cara ini meredam fluktuasi.
- Tugas pendek. Satu tugas per waktu, langkah kecil, pemeriksaan sering. Alih-alih dua puluh langkah tanpa pengawasan, Anda mendapat dua puluh rantai yang masing-masing hanya satu langkah.
Di Claude Code, pemeriksaan bisa dipasang pada hook agar berjalan otomatis, bukan bergantung pada kemauan model.
Ringkasnya
Akumulasi kesalahan agen AI adalah aritmetika sederhana: 0,95 pangkat sepuluh sekitar 0,60, pangkat dua puluh sekitar 0,36. Solusinya bukan «model yang lebih pintar», melainkan harness: pemeriksaan setiap langkah, commit untuk keadaan yang sudah terverifikasi, dan tugas yang singkat. Matematika lingkaran ini serta prinsip di baliknya dibahas lebih dalam di salah satu materi kursus.
Pertanyaan umum
Apakah ini berarti agen tidak bisa menyelesaikan tugas 50 langkah?
Tanpa pemeriksaan di tengah jalan, peluangnya memang kecil. Dengan pemeriksaan dan commit setelah setiap langkah, tugas berubah menjadi serangkaian rantai pendek, dan hasil akhirnya tidak lagi ditentukan oleh hasil kali semua langkah.
Apakah model yang lebih kuat membantu?
Membantu: naik dari 95% ke 99% per langkah meningkatkan keberhasilan 20 langkah dari 36% menjadi 82%. Namun bahkan 99% pada 50 langkah hanya menghasilkan sekitar 61%, jadi pemeriksaan tetap diperlukan.
Mengapa agen yakin pada hasilnya padahal ia keliru?
Tanpa sensor eksternal, agen membandingkan hasil dengan ekspektasinya sendiri, bukan dengan kenyataan. Keyakinannya naik terlepas dari benar atau salahnya kode.
Bisakah saya cukup meminta agen untuk memeriksa dirinya sendiri?
Permintaan di prompt tidak menjamin pelaksanaannya. Lebih andal jika pemeriksaan dijadikan mekanisme: perintah terpisah, hook, atau pemeriksaan di CI.
Topik ini dibahas mendalam dengan praktik di kursus “Harness Engineering: инженерия надёжности AI-агентов”.
Ke kursus