Modelos de IA muito mais caros em idiomas menos comuns

Uma nova pesquisa da Coalizão pela Equidade Linguística na Pesquisa em IA mostra que modelos de IA exigem significativamente mais tokens para processar certos idiomas do que outros. As diferenças significam que usuários de idiomas menos representados correm o risco de pagar mais pelos mesmos serviços, relata Rest of World. Os pesquisadores descobriram que a diferença de tokens entre os 20 idiomas mais comuns na internet poderia ser até cinco vezes maior.

Quando a pesquisa foi expandida para 200 idiomas, a diferença aumentou para até 17 vezes em um dos modelos examinados. Além dos custos elevados, mais tokens também resultam em tempos de resposta mais longos e em menos informações cabendo na janela de contexto dos modelos de IA. Idiomas que utilizam sistemas de escrita menos frequentes no material de treinamento dos modelos de IA são particularmente afetados.