AI एजेंट में त्रुटियों का संचय: 95% सटीकता प्रति चरण क्यों कम है
AI एजेंट में त्रुटि संचय (compounding error) वह प्रभाव है, जिसमें लंबे कार्य की सफलता की संभावना हर चरण की सफलता-संभावनाओं का गुणनफल होती है। प्रति चरण 95% सटीकता पर 10 चरणों की श्रृंखला लगभग 60% मामलों में सफल होती है, और 20 चरणों की केवल लगभग 36% में। हार्नेस हर चरण की जाँच करके और सत्यापित अवस्था को दर्ज करके इससे लड़ता है, ताकि त्रुटि आगे न बढ़े।
त्रुटि संचय क्या है
एजेंट कोई कार्य एक कदम में नहीं, बल्कि श्रृंखला में हल करता है: फ़ाइल पढ़ना, फ़ंक्शन बदलना, टेस्ट चलाना, इम्पोर्ट ठीक करना। अगर हर चरण p संभावना के साथ सही है, चरण स्वतंत्र हैं, और एक चरण की गलती आगे का सब कुछ तोड़ देती है, तो n चरणों की पूरी श्रृंखला सफल होने की संभावना p की n-वीं घात होती है। इसी को AI एजेंट में त्रुटि संचय कहते हैं, अंग्रेज़ी में compounding error।
सहज बुद्धि धोखा देती है: 95% प्रति चरण विश्वसनीय लगता है। पर घात जल्दी यह गुंजाइश खा जाती है।
| चरण | p = 0,95 | p = 0,99 |
|---|---|---|
| 1 | 95% | 99% |
| 10 | ≈ 60% | ≈ 90% |
| 20 | ≈ 36% | ≈ 82% |
| 50 | ≈ 8% | ≈ 61% |
यह मॉडल मोटा है: व्यवहार में चरण पूरी तरह स्वतंत्र नहीं होते, और कुछ त्रुटियाँ हानिरहित होती हैं। पर दिशा यह सही दिखाता है: जितनी लंबी स्वायत्त दौड़ बिना जाँच के होगी, परिणाम सही होने की संभावना उतनी कम होगी।
लंबी श्रृंखलाएँ क्यों टूटती हैं
शुरुआती चरण की गलती अपनी जगह नहीं रहती। एजेंट गलत आधार पर अगले बदलाव करता है, और जब कुछ साफ़ तौर पर टूटता है, तब तक बग के ऊपर कोड की दस परतें चढ़ चुकी होती हैं। सबसे बुरा तब होता है, जब एजेंट खुद परिणाम का मूल्यांकन करता है: उसका निर्णय «सब ठीक है» की ओर झुका होता है, इसलिए «हो गया, टेस्ट हरे हैं» वाली रिपोर्ट आधे-टूटे कोड पर भी आ सकती है।
हार्नेस इससे कैसे निपटता है
p को बढ़ाना केवल आंशिक रूप से संभव है: मॉडल इससे त्रुटिहीन नहीं बन जाता। मुख्य लीवर यह है कि त्रुटि को अगले चरण तक जाने न दिया जाए। हार्नेस फ़ीडबैक लूप बंद करता है।
- हर चरण के बाद सेंसर। एक जाँच-कमांड (उदाहरण के लिए, टेस्ट और लिंटर वाला
make verify) एजेंट की आत्म-रिपोर्ट के बजाय परिणाम ईमानदारी से मापती है। - पुनर्स्थापना बिंदु। जो चरण जाँच पास करे, उसे कमिट किया जाता है। इसके बाद श्रृंखला सत्यापित अवस्था से शुरू होती है, और त्रुटि-गिनती व्यावहारिक रूप से शून्य हो जाती है।
- न्यूनतम सुधार। लाल जाँच पर एजेंट पूरा कोड दोबारा लिखने के बजाय ठोस कारण ठीक करता है। इससे उतार-चढ़ाव कम होते हैं।
- छोटे कार्य। एक समय में एक कार्य, छोटे कदम, बार-बार जाँच। बीस चरण अंधेरे में चलाने के बजाय बीस श्रृंखलाएँ बनती हैं, जिनमें से हर एक केवल एक चरण लंबी है।
Claude Code में जाँच को हुक से जोड़ा जा सकता है, ताकि वह मॉडल की इच्छा पर नहीं, अपने-आप चले।
संक्षेप में
AI एजेंट में त्रुटि संचय सरल अंकगणित है: 0,95 की दसवीं घात लगभग 0,60 है, बीसवीं लगभग 0,36। इसका इलाज «स्मार्ट मॉडल» नहीं, बल्कि हार्नेस है: हर चरण की जाँच, सत्यापित अवस्था का कमिट और छोटे कार्य। इस लूप की गणित और उसके पीछे के नियम कोर्स के व्याख्यान में विस्तार से समझाए गए हैं।
अक्सर पूछे जाने वाले प्रश्न
क्या इसका मतलब है कि एजेंट 50 चरणों वाले कार्य को नहीं संभाल सकता?
मध्यवर्ती जाँच के बिना सफलता की संभावना सचमुच कम है। जाँच और कमिट के साथ कार्य छोटी श्रृंखलाओं की शृंखला बन जाता है, और कुल सफलता अब सभी चरणों के गुणनफल पर निर्भर नहीं करती।
क्या अधिक शक्तिशाली मॉडल मदद करता है?
हाँ: 95% से 99% तक सटीकता बढ़ाने से 20 चरणों की सफलता 36% से 82% हो जाती है। पर 50 चरणों पर 99% भी लगभग 61% ही देता है, इसलिए जाँच फिर भी ज़रूरी है।
एजेंट गलत होने पर भी अपने परिणाम को लेकर आश्वस्त क्यों रहता है?
बाहरी सेंसर के बिना एजेंट परिणाम की तुलना वास्तविकता से नहीं, बल्कि अपनी अपेक्षा से करता है। उसका आत्मविश्वास कोड की सही-गलत स्थिति से स्वतंत्र रूप से बढ़ता है।
क्या एजेंट से बस यह कहा जा सकता है कि वह खुद अपनी जाँच करे?
प्रॉम्प्ट में लिखी गई बात अमल की गारंटी नहीं देती। ज़्यादा भरोसेमंद यह है कि जाँच को मशीनरी बनाया जाए: अलग कमांड, हुक या CI में जाँच के रूप में।
यह विषय “Harness Engineering: инженерия надёжности AI-агентов” कोर्स में अभ्यास के साथ विस्तार से समझाया गया है।
कोर्स पर जाएँ