Antigravity teamwork-preview — what I found running it on 4 real jobs
ลอง teamwork-preview ของ Antigravity 4 งาน พัง 2 งานด้วยเหตุเดียวกัน ฝูง agent บอกว่าเสร็จโดยไม่พิสูจน์ ที่ขาดคือด่านเช็คว่าเสร็จจริง ไม่ใช่ agent เพิ่ม
ลองใช้ teamwork-preview ของ Antigravity มา 4 งานจริง มันคือ mode ที่พิมพ์ทีเดียวแล้วมันแตกออกมาเป็นทีม agent หลายตัว explorer หาข้อมูล worker ลงมือ reviewer ตรวจ challenger จับผิด auditor ยืนยัน วิ่งขนานกันเป็นฝูง
ฟังดูโหด แต่พอไปดู log ที่มันทิ้งไว้ เจอสิ่งที่ทำให้หยุดคิด
จาก 4 งาน มี 2 งานที่จบสวย อีก 2 งานตายเงียบ แล้วสองงานที่พังมันพังด้วยสาเหตุเดียวกัน
งานที่ตายชัดสุดคืองาน research งานนึง วิ่งไป 3 ชั่วโมงครึ่ง 139 step ดูเหมือนละเอียดมาก แต่พอไปเปิดโฟลเดอร์ที่มันควรจะเขียนผลลัพธ์ ไม่มีไฟล์อะไรเลย มันตื่นทุก 10 นาทีตาม heartbeat cron เขียนอะไรไม่ได้ แล้วก็หลับต่อ วนแบบนี้ 20 รอบ เผา token ไปสามชั่วโมงครึ่งได้ output เป็นศูนย์
อีกงานเป็น research เรื่อง design ของ flash games วิ่งมา 5 generation ตัว reviewer รอบสุดท้ายสั่ง subagent ตัวลูกไปทำงาน แล้วนั่งรอ พอ server restart ตัวลูกตาย ตัวแม่รอคำตอบที่ไม่มีวันมา ค้างอยู่แบบนั้น phase สุดท้ายที่ต้องสรุปรายงานเลยไม่เคยรัน แต่ status ในระบบยังขึ้นว่าเสร็จ
ที่หลอกกว่านั้นคืองานแรกที่ผมนับว่าจบสวย พอเปิด checklist ดูจริง ๆ ช่อง verify ด้วย git status ยังเป็น [ ] ไม่เคยติ๊ก มันบอกว่า done ทั้งที่ขั้นตอนพิสูจน์ว่า done ไม่เคยเกิดขึ้น
จุดร่วมของทุกงานที่พังคืออันเดียวกัน swarm มันบอกว่าเสร็จ โดยไม่ได้พิสูจน์ว่าเสร็จ
แล้วยิ่งมี agent เยอะ มันยิ่งหลอกตา 139 step ดูเหมือนความละเอียด agent 18 ตัวดูเหมือนความรอบคอบ แต่จำนวนไม่ใช่หลักฐาน งานที่ควรใช้ worker ตัวเดียวแก้ selector bug กลับสร้างฝูง 7 ตัวขึ้นมา วิ่งหลาย generation เจอ quota error กลางทางจน token ไหม้ฟรี สุดท้ายก็แก้ได้ แต่แพงกว่าที่ควรหลายเท่า
สิ่งที่ขาดคือด่านที่เช็คว่างานเสร็จจริงก่อนจะรายงานว่าเสร็จ ไม่ใช่ agent เพิ่ม ถ้าไม่มีไฟล์ผลลัพธ์บนดิสก์ ห้ามขึ้นว่า done ถ้า checklist ยังไม่ติ๊กครบ ห้ามปิดงาน heartbeat ที่ตื่นมาแล้วเขียนอะไรไม่ได้ ต้องนับว่าล้ม ไม่ใช่นับว่ายังไหว
teamwork-preview ทำงานหนักจริง งานที่มี brief ชัดและ acceptance criteria ตายตัวมันจบสวยใน generation เดียว แต่พอไม่มีด่านพิสูจน์ ฝูงที่ใหญ่ขึ้นไม่ได้แปลว่าเชื่อถือได้ขึ้น มันแค่พังเงียบกว่าเดิม
ก่อนจะปล่อยฝูง agent วิ่งเอง ถามตัวเองก่อนว่าอะไรคือหลักฐานว่ามันเสร็จ ถ้าตอบไม่ได้ เพิ่ม agent ไปก็แค่เพิ่มที่ให้มันซ่อนความพัง