Makosa yanayojilimbikiza kwa wakala wa AI: kwa nini usahihi wa 95% kwa hatua ni mdogo
Makosa yanayojilimbikiza kwa wakala wa AI (compounding error) ni athari ambayo uwezekano wa kazi ndefu kufanikiwa ni sawa na bidhaa ya uwezekano wa kila hatua. Kwa usahihi wa 95% kwa hatua, mnyororo wa hatua 10 hufaulu takriban mara 60 kati ya 100, na wa hatua 20 mara 36 tu. Harness inapambana na hili kwa kukagua kila hatua na kurekodi hali iliyothibitishwa, ili kosa lisibebwe mbele.
Makosa yanayojilimbikiza ni nini
Wakala hasuluhishi kazi kwa hatua moja, bali kwa mnyororo: kusoma faili, kubadilisha kazi moja, kuendesha majaribio, kurekebisha import. Kila hatua ikiwa sahihi kwa uwezekano p, na hatua zikiwa huru na kosa la moja likiharibu zinazofuata, uwezekano wa mnyororo mzima wa hatua n ni p kwa nguvu ya n. Hii ndiyo makosa yanayojilimbikiza kwa wakala wa AI, kwa Kiingereza compounding error.
Hisia inapotosha: 95% kwa hatua inaonekana kama uaminifu wa kutosha. Lakini nguvu huondoa akiba haraka.
| Hatua | p = 0.95 | p = 0.99 |
|---|---|---|
| 1 | 95% | 99% |
| 10 | ≈ 60% | ≈ 90% |
| 20 | ≈ 36% | ≈ 82% |
| 50 | ≈ 8% | ≈ 61% |
Mfano huu ni wa jumla: kwa vitendo hatua hazijitegemei kikamilifu, na baadhi ya makosa hayana madhara. Lakini unaonyesha mwelekeo sahihi: kadiri kazi ya kujitegemea inavyokimbia kwa muda mrefu bila ukaguzi, ndivyo uwezekano wa matokeo sahihi unavyopungua.
Kwa nini minyororo mirefu huanguka
Kosa la hatua ya mapema halibaki mahali pake. Wakala anajenga mabadiliko yanayofuata juu ya msingi usio sahihi, na wakati kitu kinapoonekana kuvunjika, juu ya hitilafu kuna tabaka kadhaa za msimbo. Tatizo kubwa zaidi ni pale wakala anapotathmini matokeo yake mwenyewe: hukumu yake huelemea upande wa "kila kitu ni sawa", kwa hiyo ripoti ya "imekamilika, majaribio yote yamepita" inaweza kufika hata msimbo ukiwa umevunjika kwa nusu.
Harness inafanya nini kuhusu hili
Usahihi wa p unaweza kuboreshwa kwa sehemu tu, kwa sababu modeli haitakuwa isiyokosea kamwe. Njia kuu ni kuzuia kosa lisiingie hatua inayofuata. Harness inafunga mzunguko wa maoni.
- Kipimo baada ya kila hatua. Amri moja ya ukaguzi (kwa mfano
make verifyyenye majaribio na linter) hupima matokeo kwa uaminifu, badala ya kujitathmini kwa wakala. - Sehemu ya kurejesha. Hatua iliyopita ukaguzi inarekodiwa kwa commit. Mnyororo unaofuata unaanza kutoka hali iliyothibitishwa, na hesabu ya makosa inasifuriwa kwa vitendo.
- Marekebisho madogo. Ukaguzi ukishindwa, wakala anarekebisha sababu maalum, si kuandika upya kila kitu. Hii inapunguza mtikisiko.
- Kazi fupi. Kazi moja kwa wakati, hatua ndogo, ukaguzi wa mara kwa mara. Badala ya hatua ishirini kwa upofu, unapata minyororo ishirini ya hatua moja.
Katika Claude Code ukaguzi unaweza kuunganishwa na hooks ili uendeshwe kiotomatiki, si kwa hiari ya modeli.
Kwa ufupi
Makosa yanayojilimbikiza kwa wakala wa AI ni hesabu rahisi: 0.95 kwa nguvu ya kumi ni takriban 0.60, kwa nguvu ya ishirini ni takriban 0.36. Hutatuliwa si kwa "modeli nzuri zaidi", bali kwa harness: ukaguzi wa kila hatua, commit ya hali iliyothibitishwa, na kazi fupi. Hisabati ya mzunguko huu na sheria zinazoyasimamia zinafafanuliwa kwa kina katika somo la kozi.
Maswali ya mara kwa mara
Je, hii inamaanisha kwamba wakala hataweza kukamilisha kazi ya hatua 50?
Bila ukaguzi wa kati nafasi ni ndogo kweli. Kwa ukaguzi na commit baada ya kila hatua, kazi inageuka kuwa msururu wa minyororo mifupi, na mafanikio ya jumla hayategemei tena bidhaa ya hatua zote.
Je, modeli yenye nguvu zaidi inasaidia?
Ndiyo: kuongezeka kwa usahihi kutoka 95% hadi 99% kunapandisha mafanikio ya hatua 20 kutoka 36% hadi 82%. Lakini hata 99% kwa hatua 50 inatoa takriban 61%, kwa hiyo ukaguzi bado unahitajika.
Kwa nini wakala ana uhakika wa matokeo hata anapokosea?
Bila kipimo cha nje, wakala analinganisha matokeo na matarajio yake mwenyewe, si na hali halisi. Uhakika wake unaongezeka bila kujali usahihi wa msimbo.
Je, ninaweza kumwomba wakala ajikague mwenyewe?
Ombi katika prompt halihakikishi utekelezaji. Ni salama zaidi kufanya ukaguzi kuwa utaratibu wa kiufundi: amri tofauti, hook, au ukaguzi katika CI.
Mada hii inafundishwa kwa kina pamoja na mazoezi katika kozi “Harness Engineering: инженерия надёжности AI-агентов”.
Nenda kwenye kozi