מודלים של בינה מלאכותית הרבה יותר יקרים בשפות פחות נפוצות

מחקר חדש מ- Coalition for Language Equity in AI Research מצביע על כך שמודלים של בינה מלאכותית דורשים משמעותית יותר טוקנים כדי לעבד שפות מסוימות מאשר אחרות. ההבדלים הללו גורמים לכך שמשתמשים בשפות פחות מיוצגות מסתכנים בתשלום יותר עבור אותן שירותים, כך מדווח Rest of World. החוקרים גילו שההפרש בטוקנים בין 20 השפות הנפוצות ביותר באינטרנט יכול להיות עד חמישה פעמים יותר גדול.

כאשר הסקר הורחב ל-200 שפות, ההפרש הגיע ל-17 פעמים באחת מהמודלים שנבדקו. מעבר לעלויות המוגברות, יותר טוקנים גם גורמים לזמני תגובה ארוכים יותר ופחות מידע שמסוגל להיכנס לחלון ההקשר של מודלים של בינה מלאכותית. שפות המשתמשות במערכות כתיבה שאינן נפוצות באימון המודלים של בינה מלאכותית נפגעות במיוחד.