AI முகவரில் பிழைகளின் குவிப்பு: 95% துல்லியம் ஏன் போதாது
AI முகவரில் பிழை குவிப்பு (compounding error) என்பது ஒரு நீண்ட பணியின் வெற்றி வாய்ப்பு ஒவ்வொரு படியின் வெற்றி வாய்ப்புகளின் பெருக்கல் ஆவதைக் குறிக்கும் விளைவு. ஒரு படிக்கு 95% துல்லியத்தில் 10 படி சங்கிலி ஏறத்தாழ 60% நேரங்களிலும், 20 படி சங்கிலி 36% நேரங்களிலும் வெற்றி பெறுகிறது. Harness ஒவ்வொரு படியையும் சரிபார்த்து, சரிபார்க்கப்பட்ட நிலையைப் பதிவு செய்வதன் மூலம் பிழை அடுத்த படிக்குச் செல்லாமல் தடுக்கிறது.
பிழை குவிப்பு என்றால் என்ன
முகவர் ஒரே செயலில் பணியை முடிப்பதில்லை, ஒரு சங்கிலியாகச் செய்கிறது: ஒரு கோப்பைப் படிப்பது, ஒரு செயல்பாட்டை மாற்றுவது, சோதனைகளை இயக்குவது, ஓர் இறக்குமதியைத் திருத்துவது. ஒவ்வொரு படியும் p நிகழ்தகவில் சரியாக இருந்து, படிகள் சுதந்திரமானவை என்றும், ஒரு படியின் பிழை அடுத்தவற்றை உடைக்கிறது என்றும் வைத்துக்கொண்டால், n படி சங்கிலியின் மொத்த வெற்றி வாய்ப்பு p-இன் n-ஆவது அடுக்கு ஆகும். இதுவே AI முகவரில் பிழை குவிப்பு, ஆங்கிலத்தில் compounding error.
உள்ளுணர்வு ஏமாற்றும்: 95% ஒரு படிக்கு நம்பகமாகத் தோன்றும். ஆனால் அடுக்கு விரைவாகவே அந்த விளிம்பைத் தின்றுவிடும்.
| படிகள் | p = 0,95 | p = 0,99 |
|---|---|---|
| 1 | 95% | 99% |
| 10 | ≈ 60% | ≈ 90% |
| 20 | ≈ 36% | ≈ 82% |
| 50 | ≈ 8% | ≈ 61% |
இந்த மாதிரி தோராயமானது: நடைமுறையில் படிகள் முழுமையாகச் சுதந்திரமானவை அல்ல, சில பிழைகள் பாதிப்பில்லாதவை. ஆனால் அது திசையைச் சரியாகக் காட்டுகிறது: சரிபார்ப்பு இல்லாமல் ஒரு முகவர் எவ்வளவு நீண்ட நேரம் தானாக ஓடுகிறதோ, முடிவு சரியாக இருக்கும் வாய்ப்பு அவ்வளவு குறையும்.
நீண்ட சங்கிலிகள் ஏன் சரிகின்றன
ஆரம்ப படியின் பிழை அங்கேயே நின்றுவிடுவதில்லை. முகவர் தவறான அடித்தளத்தின் மேல் அடுத்த மாற்றங்களைக் கட்டுகிறது, எதுவோ உடைகிறது என்று தெரியும் நேரத்தில் பிழைக்கு மேல் டஜன் கணக்கான அடுக்குகள் குறியீடு இருக்கும். மிகவும் மோசமானது, முகவரே தன் முடிவை மதிப்பிடும்போதுதான்: அதன் தீர்ப்பு «எல்லாம் நன்றாக இருக்கிறது» என்ற பக்கம் சாய்ந்திருக்கும், எனவே பாதி மட்டுமே வேலை செய்யும் குறியீட்டிலும் «முடிந்தது, சோதனைகள் பச்சை» என்ற அறிக்கை வரலாம்.
இதை harness எப்படி கையாள்கிறது
ஒரு படியின் துல்லியத்தை (p) ஓரளவுக்கே உயர்த்த முடியும்: மாதிரி ஒருபோதும் தவறில்லாததாக ஆகாது. முக்கிய நெம்புகோல் ஒரு பிழை அடுத்த படிக்குச் செல்வதைத் தடுப்பதே. Harness பின்னூட்ட வளையத்தை மூடுகிறது.
- ஒவ்வொரு படிக்குப் பின் ஓர் உணரி. ஒரே சரிபார்ப்பு கட்டளை (உதாரணமாக, சோதனைகளும் lint-உம் கொண்ட
make verify) முகவரின் சுய மதிப்பீட்டுக்குப் பதிலாக முடிவை நேர்மையாக அளக்கிறது. - ஒரு மீட்புப் புள்ளி. சரிபார்ப்பில் தேறிய படி ஒரு commit ஆகப் பதிவாகிறது. அதன் பின் சங்கிலி சரிபார்க்கப்பட்ட நிலையிலிருந்து தொடங்குகிறது, பிழை எண்ணிக்கை உண்மையில் பூஜ்ஜியமாகிறது.
- குறைந்தபட்ச திருத்தம். சிவப்பு சரிபார்ப்பு வந்தால் முகவர் குறிப்பிட்ட காரணத்தை மட்டும் சரிசெய்கிறது, எல்லாவற்றையும் மீண்டும் எழுதுவதில்லை: இது அலைவுகளைத் தணிக்கிறது.
- குறுகிய பணிகள். ஒரு பணி ஒரு நேரத்தில், சிறிய படிகள், அடிக்கடி சரிபார்ப்பு. இருபது படிகள் கண்மூடித்தனமாகச் செய்வதற்குப் பதிலாக, ஒவ்வொன்றும் ஒரு படி நீளமான இருபது சங்கிலிகள் கிடைக்கின்றன.
Claude Code-இல் சரிபார்ப்பை hooks-இல் இணைக்கலாம், அதனால் அது மாதிரியின் விருப்பத்தைச் சார்ந்திருக்காமல் தானாக ஓடும்.
சுருக்கமாக
AI முகவரில் பிழை குவிப்பு எளிய கணிதம்: 0,95-இன் பத்தாம் அடுக்கு ஏறத்தாழ 0,60, இருபதாம் அடுக்கு ஏறத்தாழ 0,36. இதைச் சரிசெய்வது «புத்திசாலி மாதிரி» அல்ல, harness: ஒவ்வொரு படியின் சரிபார்ப்பு, சரிபார்க்கப்பட்ட நிலையின் commit, குறுகிய பணிகள். இந்தச் சுற்றின் கணிதத்தையும் அதன் பின்னுள்ள விதிகளையும் பாடத்தில் விரிவாக விளக்குகிறோம்.
அடிக்கடி கேட்கப்படும் கேள்விகள்
இது 50 படி பணியை முகவர் முடிக்க முடியாது என்று அர்த்தமா?
இடைநிலை சரிபார்ப்புகள் இல்லாமல் வாய்ப்புகள் உண்மையிலேயே குறைவு. ஒவ்வொரு படிக்குப் பின்னும் சரிபார்ப்பும் commit-உம் இருந்தால், பணி குறுகிய சங்கிலிகளின் வரிசையாக மாறுகிறது, மொத்த வெற்றி எல்லாப் படிகளின் பெருக்கலால் இனி தீர்மானிக்கப்படுவதில்லை.
வலிமையான மாதிரி உதவுமா?
உதவும்: 95%-இலிருந்து 99% வரை துல்லியம் உயர்ந்தால் 20 படி வெற்றி 36%-இலிருந்து 82% ஆகிறது. ஆனால் 99% துல்லியத்திலும் 50 படிகளுக்கு ஏறத்தாழ 61% மட்டுமே, எனவே சரிபார்ப்புகள் இன்னும் தேவை.
பிழை இருந்தும் முகவர் ஏன் தன் முடிவில் உறுதியாக இருக்கிறது?
வெளிப்புற உணரி இல்லாவிட்டால் முகவர் தன் முடிவை உண்மையுடன் அல்ல, தன் எதிர்பார்ப்புடன் ஒப்பிடுகிறது. குறியீடு சரியா என்பதைப் பொருட்படுத்தாமல் அதன் நம்பிக்கை வளர்கிறது.
முகவரிடமே தன்னைச் சரிபார்க்கச் சொல்லலாமா?
prompt-இல் கேட்பது நிறைவேற்றப்படும் என்று உத்தரவாதம் இல்லை. சரிபார்ப்பைத் தனி கட்டளையாக, hook-ஆக அல்லது CI சரிபார்ப்பாக இயந்திரத்தனமாக்குவது நம்பகமானது.
“Harness Engineering: инженерия надёжности AI-агентов” பாடநெறியில் இந்தத் தலைப்பு பயிற்சியுடன் விரிவாக விளக்கப்பட்டுள்ளது.
பாடநெறிக்குச் செல்