การเพิ่มประสิทธิภาพ GPU เป็นสองเท่า โดยไม่ต้องมีค่าใช้จ่ายเพิ่มเติม
22 ตุลาคม 2026 · อ่าน 1 นาที
เผยแพร่แล้วในภาษาอื่นด้วย Português (Brasil), 日本語, Indonesia
ผู้เขียนเชื่อว่า ปัญญาประดิษฐ์ต้องการ "เลนพิเศษ" สำหรับการทำงานที่มีประสิทธิภาพมากขึ้น โดยในปี 2025 บริษัทค้าปลีกระดับโลกได้รวมโมเดล 70B เข้ากับระบบค้นหาและแนะนำผลิตภัณฑ์ ส่งผลให้มีการใช้ GPU ที่สูงในช่วงเทศกาลวันหยุด โดยทีมการเงินเริ่มรู้สึกไม่สบายใจจากการใช้เวลาทำงานของ GPU ที่เกินความจำเป็น บริษัทได้ขยายจำนวน NVIDIA-H100-GPU จาก 24 เป็น 48 ตัว แต่ความหน่วงยังคงเพิ่มขึ้นในช่วงที่มีการใช้งานสูงสุด
เพื่อแก้ไขปัญหานี้ ผู้เขียนได้เริ่มทำการวิเคราะห์การทำงาน โดยการแบ่งข้อมูลการใช้งานออกเป็นขั้นตอนต่าง ๆ พบว่าขั้นตอนการประมวลผล Prompt ใช้เวลาเฉลี่ย 200 มิลลิวินาทีต่อคำขอ ในขณะที่การสร้าง Token ใช้เวลาถึง 3 ถึง 9 วินาที และในช่วงนี้การใช้ GPU ลดลงเหลือ 30 เปอร์เซ็นต์ ซึ่งทำให้เกิดปัญหาด้านแบนด์วิธของหน่วยความจำ
การแบ่งโหลดงานเป็นวิธีการหนึ่งที่เสนอ โดยการแยกขั้นตอนการประมวลผล Prompt และการสร้าง Token ออกเป็น GPU สองชุดที่แตกต่างกัน และมีการใช้เทคโนโลยีเช่น RDMA เพื่อการส่งข้อมูลที่รวดเร็ว การแบ่งแยกนี้ได้ช่วยเพิ่มประสิทธิภาพการใช้ GPU โดยลดค่าใช้จ่ายต่อปีลงได้ประมาณ 600,000 ถึง 800,000 ดอลลาร์สหรัฐ ในขณะที่ยังคงรักษาเป้าหมายด้านความหน่วงไว้ได้