تراكم الأخطاء في وكيل الذكاء الاصطناعي: لماذا لا تكفي دقة 95% في كل خطوة
تراكم أخطاء وكيل الذكاء الاصطناعي (compounding error) ظاهرة يساوي فيها احتمال نجاح المهمة الطويلة حاصل ضرب احتمالات نجاح كل خطوة. عند دقة 95% في كل خطوة تنجح سلسلة من 10 خطوات في نحو 60% من الحالات، ومن 20 خطوة في 36% فقط. الهارنس يواجه ذلك بفحص كل خطوة وتثبيت الحالة المتحقق منها كي لا ينتقل الخطأ إلى ما بعدها.
ما هو تراكم الأخطاء
لا يحل الوكيل المهمة بإجراء واحد، بل بسلسلة: يقرأ ملفاً، ثم يعدّل دالة، ثم يشغّل الاختبارات، ثم يصلح استيراداً. إذا كانت كل خطوة صحيحة باحتمال p، وكانت الخطوات مستقلة، وكان خطأ خطوة واحدة يفسد ما بعدها، فإن احتمال نجاح السلسلة كلها من n خطوة يساوي p أس n. وهذا هو تراكم أخطاء وكيل الذكاء الاصطناعي، ويُعرف بالإنجليزية باسم compounding error.
الحدس هنا يخدع: دقة 95% في كل خطوة تبدو موثوقة، لكن الأُسّ يستهلك الهامش بسرعة.
| عدد الخطوات | p = 0.95 | p = 0.99 |
|---|---|---|
| 1 | 95% | 99% |
| 10 | ≈ 60% | ≈ 90% |
| 20 | ≈ 36% | ≈ 82% |
| 50 | ≈ 8% | ≈ 61% |
النموذج تقريبي: في الممارسة لا تكون الخطوات مستقلة تماماً، وجزء من الأخطاء غير ضار. لكنه ينقل الاتجاه بصورة صحيحة: كلما طال التشغيل المستقل دون فحوص، قلّ احتمال أن تكون النتيجة صحيحة.
لماذا تنهار السلاسل الطويلة
الخطأ في خطوة مبكرة لا يبقى في مكانه. يبني الوكيل التغييرات التالية على أساس خاطئ، وحين يتبين أن شيئاً ما تعطّل يكون فوق العلة عشرات الطبقات من الشيفرة. والأسوأ أن الوكيل إذا قيّم النتيجة بنفسه فحكمه منحاز إلى «كل شيء على ما يرام»، فقد يصل تقرير «تم، والاختبارات خضراء» وإن كانت الشيفرة معطلة نصفها.
ماذا يفعل الهارنس بذلك
لا يمكن رفع p إلا جزئياً، فالنموذج لن يصبح خالياً من الأخطاء. الرافعة الأساسية هي منع الخطأ من الانتقال إلى الخطوة التالية. الهارنس يغلق حلقة التغذية الراجعة.
- مستشعر بعد كل خطوة. أمر تحقق واحد (مثلاً
make verifyمع الاختبارات والمدقق اللغوي) يقيس النتيجة بأمانة، بدلاً من تقييم الوكيل لنفسه. - نقطة استعادة. كل خطوة اجتازت الفحص تُثبَّت بـ commit. تبدأ السلسلة التالية من حالة متحقق منها، ويُصفَّر عداد الخطأ فعلياً.
- تصحيح بالحد الأدنى. عند فشل الفحص يصلح الوكيل السبب المحدد بدلاً من إعادة كتابة كل شيء، وهذا يُخمد التذبذب.
- مهام قصيرة. مهمة واحدة في كل مرة، وخطوات صغيرة، وفحوص متكررة. بدلاً من عشرين خطوة بلا رؤية نحصل على عشرين سلسلة طول كل منها خطوة واحدة.
في Claude Code يمكن ربط الفحص بالـ hooks ليعمل تلقائياً، لا بحسن نية النموذج.
خلاصة
تراكم أخطاء وكيل الذكاء الاصطناعي حساب بسيط: 0.95 أس 10 تقارب 0.60، وأس 20 تقارب 0.36. ولا يُعالَج بـ«نموذج أذكى» وحده، بل بالهارنس: فحص كل خطوة، وتثبيت الحالة المتحقق منها، ومهام قصيرة. ويُشرح المنطق الرياضي لهذه الحلقة والقوانين التي تقوم عليها بالتفصيل في إحدى محاضرات الدورة.
الأسئلة الشائعة
هل يعني هذا أن الوكيل لن ينجح في مهمة من 50 خطوة؟
بدون فحوص وسيطة تكون الفرص ضئيلة فعلاً. ومع فحص وcommit بعد كل خطوة تتحول المهمة إلى سلسلة قصيرة متتالية، ولا يتحدد النجاح الكلي بحاصل ضرب كل الخطوات.
هل يساعد نموذج أقوى؟
نعم، فرفع الدقة من 95% إلى 99% يرفع نجاح 20 خطوة من 36% إلى 82%. لكن حتى 99% على 50 خطوة تعطي نحو 61%، لذلك تبقى الفحوص ضرورية.
لماذا يثق الوكيل بالنتيجة وهو مخطئ؟
بدون مستشعر خارجي يقارن الوكيل النتيجة بتوقعه هو لا بالواقع، فتزداد ثقته بغض النظر عن صحة الشيفرة.
هل يكفي أن أطلب من الوكيل أن يتحقق من عمله بنفسه؟
الطلب في الـ prompt لا يضمن التنفيذ. الأضمن أن يصبح الفحص آلية: أمر منفصل، أو hook، أو فحص في CI.
يُشرح هذا الموضوع بالتفصيل مع التطبيق العملي في دورة «Harness Engineering: инженерия надёжности AI-агентов».
الانتقال إلى الدورة