Tích lũy lỗi của AI agent: vì sao độ chính xác 95% mỗi bước là chưa đủ
Tích lũy lỗi AI agent (compounding error) là hiện tượng xác suất thành công của tác vụ dài bằng tích xác suất thành công của từng bước. Với độ chính xác 95% mỗi bước, chuỗi 10 bước thành công khoảng 60% trường hợp, còn chuỗi 20 bước chỉ khoảng 36%. Harness chống lại hiện tượng này bằng cách kiểm tra từng bước và ghi lại trạng thái đã xác minh, để lỗi không lan sang bước tiếp theo.
Tích lũy lỗi là gì
Agent giải quyết tác vụ không phải bằng một hành động duy nhất mà bằng một chuỗi: đọc tệp, sửa một hàm, chạy kiểm thử, sửa một import. Nếu mỗi bước đúng với xác suất p, các bước độc lập và lỗi của một bước làm hỏng mọi bước sau, thì xác suất thành công của cả chuỗi n bước bằng p mũ n. Đây chính là tích lũy lỗi của AI agent, tiếng Anh là compounding error.
Trực giác đánh lừa: 95% mỗi bước nghe như độ tin cậy cao. Nhưng lũy thừa bào mòn biên an toàn rất nhanh.
| Số bước | p = 0,95 | p = 0,99 |
|---|---|---|
| 1 | 95% | 99% |
| 10 | ≈ 60% | ≈ 90% |
| 20 | ≈ 36% | ≈ 82% |
| 50 | ≈ 8% | ≈ 61% |
Mô hình này còn thô: trên thực tế các bước không hoàn toàn độc lập, và một phần lỗi vô hại. Nhưng chiều hướng nó thể hiện là đúng: chạy tự động càng dài mà không có kiểm tra thì khả năng kết quả đúng càng thấp.
Vì sao chuỗi dài đổ vỡ
Lỗi ở bước đầu không đứng yên. Agent xây các thay đổi tiếp theo trên nền sai, và khi có thứ gì đó hỏng rõ ràng, phía trên lỗi đã có cả chục lớp code. Tệ nhất là khi chính agent đánh giá kết quả: phán đoán của nó nghiêng về «mọi thứ ổn», nên báo cáo «xong, test đều xanh» vẫn có thể xuất hiện khi code mới chạy được một nửa.
Harness xử lý việc này thế nào
Chỉ nâng được p ở một mức độ nhất định — mô hình không vì thế mà không bao giờ sai. Đòn bẩy chính là không để lỗi đi sang bước tiếp theo. Harness khép vòng phản hồi.
- Cảm biến sau mỗi bước. Một lệnh kiểm tra (ví dụ
make verifyvới test và linter) đo kết quả một cách trung thực thay vì dựa vào tự đánh giá của agent. - Điểm khôi phục. Bước đã qua kiểm tra được ghi lại bằng commit. Chuỗi tiếp theo bắt đầu từ trạng thái đã xác minh, và bộ đếm lỗi thực tế được đặt lại về không.
- Sửa tối thiểu. Khi kiểm tra đỏ, agent sửa đúng nguyên nhân cụ thể thay vì viết lại mọi thứ từ đầu: như vậy dao động được giảm bớt.
- Tác vụ ngắn. Một tác vụ mỗi lần, các bước nhỏ, kiểm tra thường xuyên — thay vì hai mươi bước mù, bạn nhận được hai mươi chuỗi chỉ dài một bước.
Trong Claude Code, kiểm tra có thể gắn vào hook để chạy tự động, chứ không phụ thuộc vào thiện chí của mô hình.
Tóm lại
Tích lũy lỗi của AI agent là phép tính đơn giản: 0,95 mũ mười xấp xỉ 0,60, mũ hai mươi xấp xỉ 0,36. Cách chữa không phải «mô hình thông minh hơn» mà là harness: kiểm tra từng bước, commit trạng thái đã xác minh và tác vụ ngắn. Toán học của vòng lặp và các quy luật đứng sau nó được giải thích chi tiết trong bài giảng của khóa học.
Câu hỏi thường gặp
Điều này có nghĩa là agent không thể hoàn thành tác vụ 50 bước?
Nếu không có kiểm tra trung gian, cơ hội thật sự rất thấp. Khi có kiểm tra và commit sau mỗi bước, tác vụ trở thành chuỗi các đoạn ngắn, và thành công chung không còn phụ thuộc vào tích của tất cả các bước.
Mô hình mạnh hơn có giúp được không?
Có: nâng độ chính xác từ 95% lên 99% đưa tỷ lệ thành công của 20 bước từ 36% lên 82%. Nhưng ngay cả 99% trên 50 bước cũng chỉ cho khoảng 61%, nên kiểm tra vẫn cần thiết.
Vì sao agent vẫn tự tin khi đã sai?
Không có cảm biến bên ngoài, agent so sánh kết quả với kỳ vọng của chính nó chứ không phải với thực tế. Sự tự tin của nó tăng lên bất kể code đúng hay sai.
Có thể chỉ cần yêu cầu agent tự kiểm tra không?
Yêu cầu trong prompt không đảm bảo việc được thực hiện. Đáng tin hơn là biến việc kiểm tra thành cơ chế: một lệnh riêng, một hook hoặc bước kiểm tra trong CI.
Chủ đề này được giảng chi tiết kèm thực hành trong khóa học “Harness Engineering: инженерия надёжности AI-агентов”.
Đến khóa học