AI এজেন্টের ত্রুটি জমা হওয়া: কেন প্রতি ধাপে ৯৫% নির্ভুলতা যথেষ্ট নয়
AI এজেন্টের ত্রুটি জমা হওয়া (compounding error) হলো এমন একটি প্রভাব, যেখানে লম্বা কাজ সফল হওয়ার সম্ভাবনা হয় প্রতিটি ধাপের সম্ভাবনার গুণফল। প্রতি ধাপে ৯৫% নির্ভুলতায় ১০ ধাপের শৃঙ্খল প্রায় ৬০% ক্ষেত্রে সফল হয়, ২০ ধাপে মাত্র ৩৬%। Harness প্রতিটি ধাপ যাচাই করে এবং যাচাই-করা অবস্থা কমিট করে, যাতে ভুল পরের ধাপে না যায়।
ত্রুটি জমা হওয়া কী
এজেন্ট কোনো কাজ একটি মাত্র ধাপে করে না, বরং ধাপের একটি শৃঙ্খলে করে: ফাইল পড়া, একটি ফাংশন বদলানো, টেস্ট চালানো, একটি ইমপোর্ট ঠিক করা। ধরা যাক প্রতিটি ধাপ ঠিক হওয়ার সম্ভাবনা p, ধাপগুলো পরস্পর স্বাধীন, এবং একটি ধাপের ভুল পরের সব কাজ ভেঙে দেয়। তাহলে n ধাপের পুরো শৃঙ্খলের সফল হওয়ার সম্ভাবনা হবে p-এর n-তম ঘাত। এটাই AI এজেন্টের ত্রুটি জমা হওয়া, ইংরেজিতে compounding error।
অন্তর্জ্ঞান এখানে ধোঁকা দেয়: ৯৫% শুনতে নির্ভরযোগ্য লাগে। কিন্তু ঘাত খুব দ্রুত এই নির্ভরযোগ্যতা খেয়ে ফেলে।
| ধাপ | p = 0,95 | p = 0,99 |
|---|---|---|
| 1 | 95% | 99% |
| 10 | ≈ 60% | ≈ 90% |
| 20 | ≈ 36% | ≈ 82% |
| 50 | ≈ 8% | ≈ 61% |
এই মডেল মোটা দাগের: বাস্তবে ধাপগুলো পুরোপুরি স্বাধীন নয়, আর কিছু ভুল ক্ষতিহীনও। তবু দিকটা সে ঠিকভাবে দেখায়: স্বয়ংক্রিয় চলার সময় যত বেশি ধাপ যাচাই ছাড়া যাবে, ফলাফল ঠিক হওয়ার সুযোগ তত কমবে।
লম্বা শৃঙ্খল কেন ভেঙে পড়ে
প্রথম দিকের ভুল একই জায়গায় থেকে যায় না। এজেন্ট ভুল ভিত্তির ওপর পরের পরিবর্তনগুলো বানায়, ফলে যখন কিছু চোখে পড়ার মতো ভাঙে, তখন বাগের ওপর এক ডজন স্তরের কোড জমে গেছে। সবচেয়ে বিপজ্জনক অবস্থা হলো যখন এজেন্ট নিজেই ফলাফল মূল্যায়ন করে: তার বিচার «সব ঠিক আছে»-র দিকে ঝোঁকে, তাই «হয়ে গেছে, টেস্ট সবুজ» লেখা রিপোর্ট আসতে পারে, যদিও কোড অর্ধেক কাজ করছে না।
Harness এর প্রতিকার
নির্ভুলতা p বাড়ালে কিছুটা লাভ হয়, কিন্তু মডেল কখনো পুরোপুরি ভুলহীন হয় না। আসল লিভার হলো ভুলকে পরের ধাপে যেতে না দেওয়া। Harness এখানে প্রতিক্রিয়ার বৃত্ত বন্ধ করে।
- প্রতি ধাপের পরে সেন্সর। একটি যাচাই-কমান্ড (যেমন
make verify, যেখানে টেস্ট ও লিন্টার আছে) এজেন্টের নিজের মূল্যায়নের বদলে ফলাফল সৎভাবে মাপে। - পুনরুদ্ধারের বিন্দু। যাচাই পাস করা ধাপ একটি কমিট দিয়ে ধরে রাখা হয়। এরপর শৃঙ্খল যাচাই-করা অবস্থা থেকে শুরু হয়, এবং ত্রুটির হিসাব কার্যত শূন্যে ফিরে যায়।
- ছোট সংশোধন। লাল যাচাই এলে এজেন্ট নির্দিষ্ট কারণটি ঠিক করে, পুরো কাজ নতুন করে লেখে না। এতে দোল কমে।
- ছোট কাজ। একবারে একটি কাজ, ছোট ধাপ, ঘন ঘন যাচাই। বিশটি ধাপ অন্ধভাবে চালানোর বদলে পাওয়া যায় বিশটি এক-ধাপের শৃঙ্খল।
Claude Code-এ যাচাইটি হুকে বেঁধে দেওয়া যায়, যাতে তা মডেলের ইচ্ছার ওপর নির্ভর না করে নিজে থেকে চলে।
সংক্ষেপে
AI এজেন্টের ত্রুটি জমা হওয়া সরল পাটিগণিত: ০,৯৫-এর দশম ঘাত প্রায় ০,৬০, বিশতম ঘাত প্রায় ০,৩৬। এর প্রতিকার «আরও স্মার্ট মডেল» নয়, বরং harness: প্রতিটি ধাপের যাচাই, যাচাই-করা অবস্থার কমিট এবং ছোট কাজ। এই বৃত্তের গণিত ও তার পেছনের নিয়মগুলো কোর্সের একটি লেকচারে বিস্তারিত দেখানো হয়েছে।
সাধারণ প্রশ্ন
তাহলে কি এজেন্ট ৫০ ধাপের কাজ সামলাতে পারবে না?
মাঝখানে যাচাই ছাড়া সুযোগ সত্যিই কম। প্রতি ধাপের পরে যাচাই ও কমিট থাকলে কাজটি ছোট ছোট শৃঙ্খলের সিরিজে ভাগ হয়ে যায়, এবং সামগ্রিক সাফল্য আর সব ধাপের গুণফল থাকে না।
আরও শক্তিশালী মডেল কি সাহায্য করে?
করে: ৯৫% থেকে ৯৯% নির্ভুলতায় ২০ ধাপের সাফল্য ৩৬% থেকে ৮২%-এ ওঠে। কিন্তু ৯৯% নির্ভুলতাতেও ৫০ ধাপে প্রায় ৬১%, তাই যাচাই তবুও দরকার।
এজেন্ট ভুল করলেও কেন নিশ্চিত থাকে?
বাইরের সেন্সর না থাকলে এজেন্ট ফলাফলকে বাস্তবের সঙ্গে নয়, নিজের প্রত্যাশার সঙ্গে মেলায়। কোড ঠিক হোক বা না হোক, তার আত্মবিশ্বাস সমানভাবে বাড়ে।
এজেন্টকে নিজেকে যাচাই করতে বললেই কি হয়?
প্রম্পটে লেখা অনুরোধ কাজ করার নিশ্চয়তা দেয় না। যাচাইকে যান্ত্রিক করা নিরাপদ: আলাদা কমান্ড, হুক বা CI-তে যাচাই।
“Harness Engineering: инженерия надёжности AI-агентов” কোর্সে বিষয়টি অনুশীলনসহ বিস্তারিত শেখানো হয়েছে।
কোর্সে যান