Des modèles d'IA beaucoup plus chers pour les langues moins courantes

Une nouvelle étude de la Coalition pour l'Équité Linguistique dans la Recherche en IA montre que les modèles d'IA nécessitent significativement plus de jetons pour traiter certaines langues que d'autres. Les différences impliquent que les utilisateurs de langues moins représentées risquent de payer plus pour les mêmes services, selon des rapports. Les chercheurs ont découvert que la différence de jetons entre les 20 langues les plus courantes sur internet pouvait être jusqu'à cinq fois plus importante.

Lorsque l'enquête a été étendue à 200 langues, la différence a atteint 17 fois dans l'un des modèles examinés. En plus des coûts accrus, un plus grand nombre de jetons entraîne également des temps de réponse plus longs et moins d'informations pouvant être intégrées dans la fenêtre de contexte des modèles d'IA. Les langues utilisant des systèmes d'écriture moins fréquents dans le matériel de formation des modèles d'IA sont particulièrement touchées.