GPT-6 Astra ปรับปรุงน้ำหนักของ Qwen3.5-0.8B ช่วยเพิ่มคะแนนคณิตศาสตร์ขึ้น 6 เท่า
6 พฤศจิกายน 2026 · อ่าน 1 นาที
GPT-6 Astra จาก OpenAI ได้ทำการปรับเปลี่ยนน้ำหนักของแบบจำลอง Qwen3.5-0.8B ซึ่งส่งผลให้คะแนนในเกณฑ์มาตรฐาน MATH-500 เพิ่มขึ้นจาก 7.9 เปอร์เซ็นต์ เป็น 48.1 เปอร์เซ็นต์ โดยไม่มีการใช้ขั้นตอนการฝึกฝนใดๆ
การทดลองนี้ดำเนินการโดยนักวิจัยสี่คนจาก MIT CSAIL ซึ่งนำเสนอเทคนิคที่เรียกว่า การเขียนโปรแกรมพื้นที่น้ำหนัก โดยให้แบบจำลองภาษาขนาดใหญ่ อ่านและเขียนน้ำหนักของเครือข่ายประสาทเทียมอื่นโดยตรงตามเป้าหมายที่กำหนดด้วยภาษาธรรมชาติ ในการทดลองนี้ GPT-6 Astra ถูกเรียกใช้งานผ่าน Codex CLI โดยปิดเครื่องมือในตัวทั้งหมด และนักวิจัยเป็นผู้รันรหัสภาษา Python ในสภาพแวดล้อมจำลอง
นักวิจัยพบว่า Qwen3.5-0.8B มีปัญหาการติดลูปในการคิด ซึ่งขัดขวางการสร้างคำตอบให้เสร็จสมบูรณ์ GPT-6 Astra ได้วิเคราะห์น้ำหนักและคำตอบจากโจทย์คณิตศาสตร์ใน GSM8K และ MATH จนพบว่าสัญญาณที่ทำให้เกิดลูปมาจากชั้นที่ 15 และ 19 ของแบบจำลอง จากนั้นจึงแก้ไขน้ำหนักจำนวน 131,072 จุด จากทั้งหมด 0.8 พันล้านจุด หรือคิดเป็น 0.016 เปอร์เซ็นต์ของน้ำหนักทั้งหมด ซึ่งช่วยลดพฤติกรรมที่เป็นอุปสรรคลงอย่างมาก
นอกจากนี้ รายงานยังระบุถึงการทดลองกับเครือข่ายประสาทเทียมขนาดเล็กที่ใช้เล่นเกม Breakout, Pong และการขับรถจำลอง อย่างไรก็ตาม เทคนิคนี้ไม่สามารถเพิ่มความสามารถที่แบบจำลองไม่มีอยู่เดิมได้ ดังเห็นได้จากกรณีของ Gemma 3 270M ที่ GPT-6 Astra ไม่สามารถปรับปรุงคะแนน MATH-500 ได้อย่างมีนัยสำคัญ
ในด้านความปลอดภัยทางไซเบอร์ ผู้เขียนรายงานระบุว่าความสามารถในการตรวจสอบและแก้ไขน้ำหนักแบบเจาะจงนี้ อาจนำไปใช้ในการตรวจสอบหาประตูหลังในแบบจำลอง หรือในทางกลับกัน อาจถูกใช้เพื่อแอบใส่พฤติกรรมที่ไม่พึงประสงค์ลงในน้ำหนักของแบบจำลองได้