ความสามารถในการสังเกตคือชั้นเอเจนต์ที่หายไป
ทีมส่วนใหญ่จะจัดส่งเวิร์กโฟลว์ของตัวแทนก่อนที่จะจัดส่งเครื่องมือที่จำเป็นในการทำความเข้าใจ
โดยปกติคุณจะพบพร้อมต์ เอาต์พุตโมเดล และบันทึกดิบ สิ่งที่ขาดหายไปคือเนื้อเยื่อเกี่ยวพันระหว่างพวกเขา: เรื่องราวการประหารชีวิต การกระทำใดที่เริ่มทำงานก่อน ข้อมูลใดที่อ่านได้ เครื่องมือใดที่สัมผัส อันไหนลองเรียกใช้เส้นทางอีกครั้ง และสิ่งที่ผู้ปฏิบัติงานต้องซ่อมแซมด้วยมือในที่สุด
เหตุใดบันทึกจึงไม่เพียงพอ
บันทึกจะบอกคุณว่ามีเหตุการณ์เกิดขึ้น พวกเขาไม่จำเป็นต้องบอกคุณว่าเวิร์กโฟลว์ใดระบุเหตุการณ์เหล่านั้นเป็นของหรือว่าเหตุการณ์เหล่านั้นถูกคาดหวังไว้หรือไม่ นี่คือความแตกต่างระหว่างเสียงรบกวนและหลักฐานการวินิจฉัย
เครื่องดนตรีอะไร
- รหัสเวิร์กโฟลว์และรหัสขั้นตอน
- ตัวตนของนักแสดง: แบบจำลอง ระบบอัตโนมัติ หรือมนุษย์
- อินพุตเครื่องมือและเอาต์พุตสรุป
- ลองนับและเหตุผลการยกระดับอีกครั้ง
- สถานะเทอร์มินัลด้วยสาเหตุที่เป็นภาษาธรรมดา
ผลตอบแทนจากการดำเนินงาน
เมื่อมองเห็นสิ่งนี้ การสนทนาก็จะเปลี่ยนไป ทีมหยุดโทษโมเดลว่าเป็นหินใหญ่ก้อนเดียว และเริ่มมองเห็นโหมดความล้มเหลวที่เป็นรูปธรรม: บริบทเก่า สมมติฐานที่พัง เงื่อนไขการลองใหม่ที่ไม่ชัดเจน ความเป็นเจ้าของการตรวจสอบที่ไม่ชัดเจน
ชั้นที่หายไปจริง
ความสามารถในการสังเกตไม่ใช่ความสามารถพิเศษ สำหรับระบบเอเจนต์ เป็นชั้นที่เปลี่ยน “AI ทำอะไรแปลกๆ” ให้เป็นปัญหาทางวิศวกรรมที่แก้ไขได้
ความสามารถในการสังเกตคือชั้นเอเจนต์ที่หายไป
ทีมส่วนใหญ่จะจัดส่งเวิร์กโฟลว์ของตัวแทนก่อนที่จะจัดส่งเครื่องมือที่จำเป็นในการทำความเข้าใจ
โดยปกติคุณจะพบพร้อมต์ เอาต์พุตโมเดล และบันทึกดิบ สิ่งที่ขาดหายไปคือเนื้อเยื่อเกี่ยวพันระหว่างพวกเขา: เรื่องราวการประหารชีวิต การกระทำใดที่เริ่มทำงานก่อน ข้อมูลใดที่อ่านได้ เครื่องมือใดที่สัมผัส อันไหนลองเรียกใช้เส้นทางอีกครั้ง และสิ่งที่ผู้ปฏิบัติงานต้องซ่อมแซมด้วยมือในที่สุด
เหตุใดบันทึกจึงไม่เพียงพอ
บันทึกจะบอกคุณว่ามีเหตุการณ์เกิดขึ้น พวกเขาไม่จำเป็นต้องบอกคุณว่าเวิร์กโฟลว์ใดระบุเหตุการณ์เหล่านั้นเป็นของหรือว่าเหตุการณ์เหล่านั้นถูกคาดหวังไว้หรือไม่ นี่คือความแตกต่างระหว่างเสียงรบกวนและหลักฐานการวินิจฉัย
เครื่องดนตรีอะไร
- รหัสเวิร์กโฟลว์และรหัสขั้นตอน
- ตัวตนของนักแสดง: แบบจำลอง ระบบอัตโนมัติ หรือมนุษย์
- อินพุตเครื่องมือและเอาต์พุตสรุป
- ลองนับและเหตุผลการยกระดับอีกครั้ง
- สถานะเทอร์มินัลด้วยสาเหตุที่เป็นภาษาธรรมดา
ผลตอบแทนจากการดำเนินงาน
เมื่อมองเห็นสิ่งนี้ การสนทนาก็จะเปลี่ยนไป ทีมหยุดโทษโมเดลว่าเป็นหินใหญ่ก้อนเดียว และเริ่มมองเห็นโหมดความล้มเหลวที่เป็นรูปธรรม: บริบทเก่า สมมติฐานที่พัง เงื่อนไขการลองใหม่ที่ไม่ชัดเจน ความเป็นเจ้าของการตรวจสอบที่ไม่ชัดเจน
ชั้นที่หายไปจริง
ความสามารถในการสังเกตไม่ใช่ความสามารถพิเศษ สำหรับระบบเอเจนต์ เป็นชั้นที่เปลี่ยน “AI ทำอะไรแปลกๆ” ให้เป็นปัญหาทางวิศวกรรมที่แก้ไขได้
