Naipong pagkakamali ng AI agent: bakit ang 95% na katumpakan kada hakbang ay hindi sapat
Ang naipong pagkakamali ng AI agent (compounding error) ay ang epekto kung saan ang tsansa ng tagumpay ng mahabang gawain ay katumbas ng produkto ng tsansa ng bawat hakbang. Sa 95% na katumpakan kada hakbang, ang kadenang may 10 hakbang ay nagtatagumpay sa humigit-kumulang 60% ng kaso, at ang may 20 hakbang ay sa 36% lamang. Nilalabanan ito ng harness sa pamamagitan ng pagtsek sa bawat hakbang at pag-iimbak ng na-verify na estado, para hindi na maipasa ang pagkakamali sa susunod na hakbang.
Ano ang naipong pagkakamali
Hindi nilulutas ng agent ang gawain sa isang aksyon lamang, kundi sa isang kadena: magbasa ng file, baguhin ang function, magpatakbo ng mga test, ayusin ang import. Kung tama ang bawat hakbang na may tsansang p, at independent ang mga hakbang, at ang isang maling hakbang ay sumisira sa lahat ng kasunod, ang tsansa ng tagumpay ng buong kadena na may n hakbang ay p na nakataas sa n. Ito ang naipong pagkakamali ng AI agent, na sa Ingles ay tinatawag na compounding error.
Nililinlang ka ng intuwisyon: ang 95% kada hakbang ay parang maaasahan. Pero mabilis kainin ng exponent ang puwang.
| Mga hakbang | p = 0.95 | p = 0.99 |
|---|---|---|
| 1 | 95% | 99% |
| 10 | ≈ 60% | ≈ 90% |
| 20 | ≈ 36% | ≈ 82% |
| 50 | ≈ 8% | ≈ 61% |
Magaspang ang modelong ito: sa totoong buhay, hindi lubusang independent ang mga hakbang, at may ilang pagkakamaling hindi nakasasama. Pero tama ang direksiyong ipinapakita nito: kung mas mahaba ang autonomous na takbo nang walang tseke, mas maliit ang tsansang tama ang resulta.
Bakit gumuguho ang mahahabang kadena
Hindi nananatili sa lugar ang pagkakamali sa maagang hakbang. Bumubuo ang agent ng mga kasunod na pagbabago sa maling pundasyon, at pagdating ng panahon na may mapansing sira, may sampung patong nang code sa ibabaw ng bug. Pinakamasama kapag ang agent mismo ang sumusuri sa resulta: may bias ang paghatol nito patungo sa "maayos naman ang lahat," kaya maaaring dumating ang ulat na "tapos na, berde ang mga test" kahit kalahati lang ng code ang gumagana.
Ano ang ginagawa ng harness dito
Mapapababa lamang nang bahagya ang p; hindi nito gagawing perpekto ang modelo. Ang pangunahing lever ay pigilan ang pagkakamali na makalipat sa susunod na hakbang. Isinasara ng harness ang feedback loop.
- Sensor pagkatapos ng bawat hakbang. Isang utos ng pagsusuri (halimbawa
make verifyna may test at linter) ang tapat na sumusukat sa resulta sa halip na self-assessment ng agent. - Restore point. Ang hakbang na pumasa sa pagsusuri ay isinasalang sa commit. Magsisimula ang susunod na kadena mula sa na-verify na estado, kaya praktikal na nagre-reset sa zero ang bilang ng pagkakamali.
- Minimal na pagwawasto. Kapag pula ang pagsusuri, inaayos ng agent ang partikular na sanhi at hindi isinusulat muli ang lahat. Pinipigilan nito ang pag-indayog.
- Maiikling gawain. Isang gawain sa isang pagkakataon, maliliit na hakbang, madalas na tseke. Sa halip na dalawampung hakbang na bulag, nagiging dalawampung kadenang may iisang hakbang ang nangyayari.
Sa Claude Code, maaaring ikabit ang tseke sa mga hook para tumakbo ito nang awtomatiko, hindi nakasalalay sa kagustuhan ng modelo.
Sa madaling sabi
Simpleng aritmetika ang naipong pagkakamali ng AI agent: 0.95 sa ikasampung kapangyarihan ay humigit-kumulang 0.60, sa ikadalawampu ay humigit-kumulang 0.36. Hindi ito nalulutas ng "mas matalinong modelo," kundi ng harness: pagtsek sa bawat hakbang, commit ng na-verify na estado, at maiikling gawain. Ang matematika ng loop at ang mga batas sa likod nito ay mas detalyadong tinatalakay sa lecture ng kurso.
Mga madalas itanong
Ibig bang sabihin nito na hindi kayang tapusin ng agent ang gawaing may 50 hakbang?
Kung walang tseke sa gitna, talagang maliit ang tsansa. Kapag may tseke at commit pagkatapos ng bawat hakbang, nagiging serye ng maiikling kadena ang gawain, at hindi na ang produkto ng lahat ng hakbang ang nagtatakda ng kabuuang tagumpay.
Nakatutulong ba ang mas malakas na modelo?
Oo: ang pagtaas ng katumpakan mula 95% patungong 99% ay nagpapataas ng tagumpay sa 20 hakbang mula 36% patungong 82%. Pero kahit 99% sa 50 hakbang ay nasa humigit-kumulang 61% lang, kaya kailangan pa rin ang mga tseke.
Bakit tiwala ang agent sa resulta kahit nagkamali ito?
Kapag walang panlabas na sensor, ikinukumpara ng agent ang resulta sa sarili nitong inaasahan, hindi sa realidad. Tumataas ang tiwala nito nang hiwalay sa kawastuhan ng code.
Maaari bang hilingin lang sa agent na suriin ang sarili?
Hindi garantisado ang pagsunod sa hiling sa prompt. Mas maaasahan kung gagawing mekanismo ang tseke: hiwalay na utos, hook, o pagsusuri sa CI.
Detalyadong tinatalakay ang paksang ito, may praktis, sa kursong “Harness Engineering: инженерия надёжности AI-агентов”.
Pumunta sa kurso