סוף הדרכים העצמאיות למפות תשתיות: כיצד בינה מלאכותית מכריחה תכנון משותף של מרכזי נתונים

חוק מולר, ממשקים סטנדרטיים והעלאות מתמשכות בטכנולוגיה אפשרו למפעילים לשדרג שרתים, רשתות והאינפראקציה הפיזית על לוחות זמנים שונים בביטחון. בינה מלאכותית שינתה את המודל הזה באופן מהותי

פלטפורמות המאיצים המודרניות לא שואבות את היכולת שלהן רק ממנועי חישוב, אלא מהאינטראקציה של זיכרון, רשתות, אריזות מתקדמות, מערכות הפעלה, ומערכות קירור

ככל שההתקנות של בינה מלאכותית מתרחבות, הפרדת התחומים המסורתית מתמעטת. מה שהיה פעם תחומים נפרדים הפך למערכת משולבת הדוקה שבה החלטות בתחום אחד משפיעות על תוצאות בתחומים אחרים

בניגוד לעומסים ארגוניים מסורתיים, שיפור בביצועים יכול היה להתקבל בתוך תחום אחד בלבד, אך אימונים והפעלה בקנה מידה גדול של בינה מלאכותית מוגבלת ביעילות של העברת נתונים בכל הפלטפורמה

כל איטרציה של אימון דורשת תנועה מתמדת והפצה של פרמטרים, הפעלות וגרדיינטים בין אלפי מאיצים, מה שהופך קיבולת זיכרון, רוחב פס של זיכרון, השהיית תקשורת ועומס תקשורת לחלקים קריטיים לביצועים

לכן מאיצים במצב ריק מייצגים הון תקוע, אנרגיה מבוזבזת, ותשואה נמוכה על השקעות תשתיתיות יקרות

הוכחות מההתקנות האחרונות של תשתית בינה מלאכותית מדגישות את התלות הזו בבירור. פלטפורמות מאיצים מודרניות מתוכננות סביב אינטגרציה של חישוב, זיכרון, רשתות, אספקת חשמל ומערכות קירור במקום שיפורים בודדים של רכיב יחיד

השימוש בזיכרון בעל רוחב פס גבוה הדגיש את החשיבות הגוברת של רוחב פס זיכרון ואריזות מתקדמות, בעוד שהגבלת חשמל ויכולת קירור הפכו מגבלות מרכזיות להתקנות בקנה מידה גדול

פיתוחים אלו מראים כי ביצועי המערכת תלויים יותר ויותר בתכנון משותף מאשר באופטימיזציה של רכיבים בנפרד

השינוי הגדול הוא גם ארגוני: נבידיה משלבת GPUs, NVLink, NVSwitch, רשתות, CUDA ומערכות DGX; גוגל מתכננת TPUs יחד עם תשתית תוכנה ואינפראקציה; AWS מציעה Trainium; ומיקרוסופט מפתחת Maia

יתרון תחרותי נובע מהפחתת האינטראקציה השלילית בין רכיבים ושיפור האינטגרציה של חומרה, תוכנה, רשתות ותשתית

החלטות ארכיטקטוניות כבר לא יכולות להיבחן באופן מבודד: הוספת מאיצים נוספים לא מספקת אם רוחב הפס של זיכרון לא עוקב אחריהם

כדי לעמוד בדרישות נדרשים זיכרון HBM, אריזות מתקדמות ואספקת חשמל גבוהה יותר, מה שמעלה צפיפות חום ודורש קירור נוזלי וארכיטקטורות ארגזים צפופות

מערכות צפופות אלו דורשות רשתות בעלות רוחב פס גבוה ו השהייה נמוכה כדי לסנכרן אלפי מאיצים ביעילות

הגבלות של חשמל ותשתית קירור במרכזי נתונים יכולות למנוע הגעה לביצועים מיטביים, ללא קשר ליכולת השבב

כל ניסיון להסיר מגבלה אחת משפיע על מגבלות אחרות, ולכן ביצועים כוללים תלויים ביעילות של האינטגרציה הכוללת של הפלטפורמה

מפות תשתית מודרניות משולבות כעת הנחות לגבי האינפראקציה שבה הן פועלות: זיכרון, אריזה, רשתות, אספקת חשמל וניהול חום הפכו למגבלות ארכיטקטוניות

לכן בחירת מאיץ היא כבר לא רק שאלה של ביצועים טכניים, אלא גם של התאמה לתשתית הקיימת

לספקים של קולוקציה, מפות הפיתוח של מתקנים עשויות להיות מונעות על ידי לקוחות שמחפשים להתקין מאיצים, ולא על ידי מחזורי שדרוג מסורתיים

ההשלכות חורגות מהבחירה הטכנית ומשפיעות על תכנון האינפראקציה עצמו, גם אצל ספקים של מרכזי נתונים וגם אצל חברות ענן גדולות שמתמקדות בתיאום הדוק יותר בין שבבים, רשתות, תוכנה ותשתית פיזית