---
title: השוואה בין PyTorch MPS ל-Apple MLX באימון מודלים על מעבדי Apple Silicon
url: https://www.elseif.net/he/pytorch-mps-apple-mlx-apple-silicon
published: 2026-10-23T13:49:18+00:00
language: he
section: סביבות הרצה
source: https://habr.com/ru/companies/otus/articles/1090656/?utm_campaign=1090656&utm_source=habrahabr&utm_medium=rss
organizations: apple, mac, mlx, mps, pytorch, qwen
publisher: elseif
---

# השוואה בין PyTorch MPS ל-Apple MLX באימון מודלים על מעבדי Apple Silicon

מחקר חדש השווה את הביצועים של שתי גישות מרכזיות לאימון מודלים גדולים של שפה באופן מקומי על מחשבי מק עם זיכרון של 16 גיגה-בתים. ההשוואה התמקדה במסגרת העבודה PyTorch MPS המשתמשת בערימת הכלים הסטנדרטית של Hugging Face, מול המסגרת הייעודית של אפל הנקראת MLX. שתי הגישות תומכות בכוונון עדין מקומי באמצעות טכניקת LoRA, אך שתיהן מציגות התנהגות השונה משמעותית ממה שמוכר למפתחים העובדים עם פלטפורמת CUDA של אנבידיה. המחקר בדק כיצד כל אחת מהמערכות מתמודדת עם מגבלות החומרה הפיזיות בעת עיבוד רצפי פעולה מורכבים של סוכנים אוטונומיים.

הניסויים שנערכו כללו עשרה מבחנים מבוקרים שבוצעו על דגמים ממשפחת Qwen בגדלים של חצי מיליארד, מיליארד וחצי ושלושה מיליארד פרמטרים. האימון התבצע באמצעות ערכות נתונים המבוססות על רצפי פעולה אמיתיים של סוכני תכנות, כאשר כל שלב נרשם במסד נתונים משותף לצורך ניתוח והשוואה מאוחרת של הפשרות בין שתי הגישות. התוצאות הראו כי בעוד ש-PyTorch MPS מציעה ביצועים גולמיים מהירים יותר, היא נתקלת במגבלת זיכרון חריפה כאשר גודל המודל או ההקשר גדלים. לעומת זאת, המסגרת של אפל מאפשרת הרצה של מודלים גדולים יותר תוך ניצול יעיל יותר של הזיכרון הזמין.

מבחינת מהירות עיבוד טהורה, מסגרת העבודה PyTorch MPS הוכחה כמהירה פי 2.2 עד 5.7 בהשוואה למתחרה שלה. עם זאת, על מכונה המצוידת ב-16 גיגה-בתים של זיכרון, הגבול העליון לביצוע אימון מוצלח עומד על מודלים בגודל של כ-1.5 מיליארד פרמטרים בלבד. מעבר לגודל זה, המערכת נתקלת במחסום זיכרון המונע המשך תהליך הלמידה. מגבלה זו נובעת מהצורך לאחסן משקולות בדיוק של 16 סיביות, הצורכות שני בתים לכל פרמטר עוד לפני הקצאת זיכרון לפעולות ביניים או למצב האופטימיזציה.

לעומת זאת, המסגרת Apple MLX מאפשרת עבודה עם מודלים גדולים פי שניים, החל מ-3 מיליארד פרמטרים, ומסוגלת להרחיב את הקשר עד ל-4000 אסימונים ויותר ללא קושי. היתרון המרכזי נובע מהשימוש המובנה בכוונון עדין מסוג QLoRA בדיוק של 4 סיביות. כאשר גודל ההקשר הוגדל פי ארבעה, מ-1000 ל-4000 אסימונים, צריכת הזיכרון הראשי גדלה ב-109 מגה-בתים בלבד. המחיר עבור יעילות זו הוא הוצאה נוספת של חישוב הנובעת מפעולת ביטול הכימות בכל כפל מטריצות, הן במעבר הקדימה והן במעבר האחורי של הרשת העצבית.

המחקר בדק גם את השפעת הכימות על איכות הלמידה ומצא כי שימוש בייצוג של 4 סיביות אינו פוגע בהתכנסות המודל על רצפי הפעולה של הסוכנים. פונקציית ההפסד על נתוני האימות הייתה קרובה מאוד בשתי המערכות, עם ערך של 0.462 עבור PyTorch MPS לעומת 0.478 עבור Apple MLX במודל בגודל 1.5 מיליארד פרמטרים והקשר של 2000 אסימונים. יתרה מכך, רוב הפער במהירות בין המערכות אינו נובע ישירות מתהליך הכימות. בניסויים שבהם הוסרו הוצאות ביטול הכימות, הפער הצטמצם רק במעט, בעוד שפער הביצועים הבסיסי בין המסגרות נשאר משמעותי ועמד על יחס של כ-4.1 עד 4.6 לטובת PyTorch.

הנתונים שאומנו כללו דיאלוגים מרובי שלבים הכוללים בקשות משתמש, נימוקי עוזר וקריאות לכלים שונים, תוך התעלמות מכוונת מפלט המערכת כדי להתמקד בלמידת אסטרטגיית הפעולה. עיבוד הנתונים סינן מאות קבצים והפיק אלפי דוגמאות אימון, תוך שימוש במיסוך מיוחד כדי שהמודל ילמד רק מהתגובות הרלוונטיות. המחקר מדגיש כי בעוד ש-PyTorch מציעה תאימות מלאה לאקוסיסטמה הקיימת, הגישה של אפל מספקת פתרון קריטי למכשירים עם זיכרון מוגבל על ידי אפשרות הרצת מודלים גדולים יותר בהקשרים ארוכים יותר.