בדיקת ביצועי מודל שפה על מעבד NPU במחשב מיני של Intel
31 באוקטובר 2026 · קריאה של 2 דק׳
מחשב מיני מדגם Ninkear L20, המצויד במעבד Intel Core Ultra 5 226V עם 16 ג'יגה-בייט של זיכרון, שימש לבדיקת הרצת מודל שפה גדול מסוג Qwen3-8B על גבי יחידת עיבוד עצבית, NPU.
הבדיקות בוצעו באמצעות OpenVINO, ערכת כלים פתוחה של Intel המאפשרת הרצת רשתות עצביות על מעבדים, כרטיסי גרפיקה ויחידות NPU. המודל הופעל בגרסה דחוסה של 4 סיביות. התוצאות הראו כי כרטיס הגרפיקה המובנה, Intel Arc 130V, מהיר פי שניים מה-NPU ביצירת טקסט וצורך פחות אנרגיה לכל טוקן, עם 1.01 ג'ול לעומת 1.52 ג'ול ב-NPU.
עם זאת, ה-NPU הציג יתרונות במשימות רקע ארוכות ובשמירה על שקט. בעת עבודה, רמת הרעש עם ה-NPU נשארת על 22 עד 24 דציבל, בעוד ששימוש במעבד ובגרפיקה מעלה את הרעש ל-33 עד 34 דציבל. צריכת החשמל של ה-NPU במשימות רקע מוסיפה רק 1 עד 2 וואט למצב מנוחה.
בבדיקה של משימה גדולה הכוללת כתיבת 10,000 טוקנים, ה-NPU השלים אותה תוך 15.6 דקות בצריכה של 4.2 וואט-שעה, בעוד שהגרפיקה סיימה תוך 7.9 דקות בצריכה של 2.8 וואט-שעה. למרות הפער במהירות, ה-NPU נמצא חסכוני פי 4 עד 10 מהמעבד המרכזי בעומס חלקי.
היתרון המרכזי של ה-NPU התבטא בעבודה מקבילית. כאשר מודל שפה הועבר ל-NPU, רשת עצבית שרצה במקביל על כרטיס הגרפיקה שמרה על 92 אחוזים ממהירותה. בעת הפעלה סימולטנית של כל שלושת רכיבי החישוב, צריכת החשמל הכוללת עמדה על 27.5 וואט.
ה-NPU, המכונה Intel AI Boost, תומך בכפל מטריצות בפורמטים של INT8 ו-FP16 בתדר נמוך ובמתח נמוך. הוא אינו תומך בצורות נתונים דינמיות ודורש זמן הידור ראשוני ארוך. כל שלושת רכיבי החישוב חולקים את אותו זיכרון עבודה, מה שמונע את הצורך להעתיק מודלים בין ההתקנים אך יוצר תחרות על פס רוחב של הזיכרון.