Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Desigualdade de Tokenização entre Idiomas

Ir para notas que citam esta
atualizado há 10 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Desigualdade de tokenização entre idiomas é o fato de o mesmo conteúdo, traduzido, render quantidades diferentes de tokens conforme a língua, o que faz falantes de alguns idiomas pagarem mais, esperarem mais e caberem menos na Janela de Contexto pelo mesmo pedido.

O estudo de referência é "Language Model Tokenizers Introduce Unfairness Between Languages" (Petrov e colegas, Universidade de Oxford, NeurIPS 2023), que passou as mesmas frases do conjunto FLORES-200 por 17 tokenizadores. No do GPT-4, o português saiu cerca de 1,5 vez o inglês (1,48), parecido com espanhol, francês e alemão; no do GPT-2, quase o dobro (1,94). Para línguas pouco representadas, a conta explode: hindi perto de 4,8 vezes, birmanês perto de 11,7 e shan cerca de 15 vezes o inglês.

O tokenizador do GPT-4o, com vocabulário duas vezes maior, encolheu bastante a diferença. Na frase de exemplo publicada pela OpenAI, o inglês ocupa 24 tokens, o português 27 (uns 12% a mais) e o hindi 31. O número exato varia com o texto: em prosa técnica, medições com o mesmo tokenizador encontram o português uns 30% a 35% acima do inglês. O português paga pedágio, mas está entre os idiomas leves.

Mais tokens pesam em três frentes. Custo, porque a cobrança é por token de entrada e de saída. Contexto, porque a janela é medida em tokens e o mesmo documento ocupa mais espaço. Latência, porque o modelo gera um token por vez e a resposta mais fatiada demora mais. Em produção, vale medir o prompt real nos dois idiomas antes de decidir; para a maioria dos times que trabalham em português, a diferença não justifica traduzir tudo, mas justifica escrever instruções enxutas. A tokenização por bytes, discutida em Modelos de Linguagem em Nível de Byte, reduz essa desigualdade sem eliminá-la.

Fontes