Harness engineering: วิธีสร้าง AI agent ที่น่าเชื่อถือ
บทความ: 8
Harness engineering (วิศวกรรม harness) คือศาสตร์ว่าด้วยการสร้างสภาพแวดล้อมรอบโมเดลภาษา เพื่อให้ AI agent ทำงานจริงได้อย่างน่าเชื่อถือ สูตรของหัวข้อนี้คือ Agent = Model + Harness โมเดลเดียวกันในโปรเจกต์หนึ่งทำงานเหมือนนักพัฒนามีประสบการณ์ แต่ในอีกโปรเจกต์หนึ่งกลับสูญเสียบริบทและรายงานว่าฟีเจอร์ที่ใช้งานไม่ได้เสร็จแล้ว ความต่างเกือบทุกครั้งอยู่ที่ harness ไม่ใช่ที่โมเดล
นี่คือแผนที่ของหัวข้อ รวบรวมแนวคิดหลักและลำดับที่เหมาะกับการเรียนรู้ แต่ละหัวข้อมีบทความแยกที่อธิบายโดยละเอียด
ห้าระบบย่อยของ harness
- คำสั่ง — ไฟล์ CLAUDE.md และ AGENTS.md เอกสารเฉพาะเรื่อง และ skills: agent รู้อะไรเกี่ยวกับโปรเจกต์
- เครื่องมือ — shell การแก้ไขไฟล์ เบราว์เซอร์ MCP server: agent ลงมือด้วยอะไร
- สภาพแวดล้อม — sandbox container สำเนาโค้ดแยก: agent รันคำสั่งที่ไหน
- สถานะ — ไฟล์แผนงานและความคืบหน้า git history: ความจำระหว่างเซสชัน
- วงป้อนกลับ — เทสต์ linter hooks ผู้ประเมินอิสระ: agent รู้ว่าตัวเองผิดได้อย่างไร
ระบบย่อยเหล่านี้ประกอบเป็นวงปิด หากขาดส่วนใดส่วนหนึ่ง วงจรจะขาด: ไม่มีการตรวจสอบ agent ไม่เห็นข้อผิดพลาด ไม่มีสถานะ ทุกเซสชันจะเริ่มจากศูนย์
เริ่มจากตรงไหน
หากหัวข้อนี้ยังใหม่สำหรับคุณ เริ่มจากบทความที่อธิบายว่า harness engineering คืออะไร และแตกต่างจาก prompt engineering และ context engineering อย่างไร คำนิยามสั้น ๆ พร้อมตัวอย่างอยู่ในบทความเรื่อง harness ของ agent
จากนั้นไปสู่การปฏิบัติ ไฟล์แรกที่ทุกคนพบคือคำสั่งของโปรเจกต์ ควรเขียนอะไรลงใน CLAUDE.md และ AGENTS.md สิ่งที่ไม่ควรเขียน และเหตุใด agent จึงเพิกเฉยต่อกฎที่เขียนไว้อย่างชัดเจนในไฟล์
เมื่อ agent ทำงานในโปรเจกต์แล้ว คำถามเรื่องความน่าเชื่อถือจะตามมา มีแนวทางทีละขั้นตั้งแต่บันทึกความล้มเหลวและตัวชี้วัด MTBF กับ MTTR ผ่านการย้อนกลับที่ทำได้ง่าย วงป้อนกลับ และความจำในไฟล์ ไปจนถึงวงวนอัตโนมัติที่ agent ทำงานหลายชั่วโมงโดยไม่มีคนกำกับ
หลักการสำคัญ
- Agent ไม่ได้เสีย สิ่งที่เสียคือสภาพแวดล้อม ให้หาช่องโหว่ในการออกแบบ harness ก่อนจะเปลี่ยนโมเดล
- เริ่มจากวงป้อนกลับ: คำสั่งตรวจสอบมีประโยชน์มากกว่าหน้าคำแนะนำ
- คำสั่งคือแผนที่ ไม่ใช่หนังสือเรียน: ไฟล์เข้าสั้น รายละเอียดโหลดเมื่อจำเป็น
- สิ่งสำคัญต้องอยู่ในไฟล์ ไม่ใช่ในหน้าต่างบริบท
- วัดผล: บันทึกความล้มเหลวแทนความรู้สึก
ระบบย่อยทั้งห้าและการประกอบ harness ทั้งหมดถูกอธิบายในทางปฏิบัติในหลักสูตร harness engineering