Tokenização de Texto
Ir para notas que citam estaTokenização de texto é a etapa que quebra uma frase em tokens, os pedaços de um vocabulário fixo que o modelo de linguagem realmente lê e escreve, antes de qualquer cálculo acontecer.
Os tokenizadores dos modelos atuais usam variações de BPE (Byte Pair Encoding): partindo de caracteres ou bytes, o algoritmo junta repetidamente os pares que mais aparecem no corpus de treino até formar um vocabulário de dezenas ou centenas de milhares de pedaços. O que é frequente nesse corpus vira um token só; o que é raro fica fatiado. Como os corpora são majoritariamente em inglês, palavras inglesas comuns tendem a virar uma peça inteira, e palavras de outros idiomas saem em partes. É a raiz da Desigualdade de Tokenização entre Idiomas.
Um exemplo medido: no tokenizador do GPT-4 (cl100k_base, cerca de 100 mil tokens), "configuration" é um token, enquanto "configuração" vira três: "config", "ura" e "ção". No tokenizador do GPT-4o (o200k_base, cerca de 200 mil tokens), "configuração" isolada cai para dois pedaços, e precedida de espaço, como aparece no meio de uma frase, vira um token só. Ou seja, a contagem depende do tokenizador, do contexto e até do espaço antes da palavra.
Duas consequências práticas. Contagens de tokens de modelos diferentes não são comparáveis entre si, porque cada família tem o seu vocabulário. E a única forma confiável de saber quanto um prompt custa é medir: o Tokenizer da OpenAI na web e a biblioteca tiktoken mostram o texto fatiado e a contagem. Existe ainda uma alternativa radical à tokenização por subpalavras, os Modelos de Linguagem em Nível de Byte, que leem o texto byte a byte.
Fontes
- OpenAI: Hello GPT-4o (seção Language tokenization)
- Contagens de "configuration" e "configuração" medidas com os tokenizadores
cl100k_baseeo200k_base(novembro de 2026)