Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Tokenização de Texto

Ir para notas que citam esta
atualizado há 10 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Tokenização de texto é a etapa que quebra uma frase em tokens, os pedaços de um vocabulário fixo que o modelo de linguagem realmente lê e escreve, antes de qualquer cálculo acontecer.

Os tokenizadores dos modelos atuais usam variações de BPE (Byte Pair Encoding): partindo de caracteres ou bytes, o algoritmo junta repetidamente os pares que mais aparecem no corpus de treino até formar um vocabulário de dezenas ou centenas de milhares de pedaços. O que é frequente nesse corpus vira um token só; o que é raro fica fatiado. Como os corpora são majoritariamente em inglês, palavras inglesas comuns tendem a virar uma peça inteira, e palavras de outros idiomas saem em partes. É a raiz da Desigualdade de Tokenização entre Idiomas.

Um exemplo medido: no tokenizador do GPT-4 (cl100k_base, cerca de 100 mil tokens), "configuration" é um token, enquanto "configuração" vira três: "config", "ura" e "ção". No tokenizador do GPT-4o (o200k_base, cerca de 200 mil tokens), "configuração" isolada cai para dois pedaços, e precedida de espaço, como aparece no meio de uma frase, vira um token só. Ou seja, a contagem depende do tokenizador, do contexto e até do espaço antes da palavra.

Duas consequências práticas. Contagens de tokens de modelos diferentes não são comparáveis entre si, porque cada família tem o seu vocabulário. E a única forma confiável de saber quanto um prompt custa é medir: o Tokenizer da OpenAI na web e a biblioteca tiktoken mostram o texto fatiado e a contagem. Existe ainda uma alternativa radical à tokenização por subpalavras, os Modelos de Linguagem em Nível de Byte, que leem o texto byte a byte.

Fontes