Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Token

Ir para notas que citam esta
atualizado há 10 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Token é a menor unidade de texto que um modelo de linguagem processa: pode ser uma letra, parte de uma palavra ou uma palavra inteira, e é nela que se mede o consumo de cada chamada.

Um modelo de linguagem não lê texto bruto. Antes de qualquer processamento, o texto passa pela tokenização, que o divide em pedaços com significado próprio. Esses tokens, junto com os Embeddings gerados a partir deles, são as estruturas que o modelo de fato consome e produz: a geração de texto consiste em calcular, passo a passo, qual é o próximo token mais provável.

A definição mais repetida, a de que um token é algo tão pequeno quanto uma letra e tão grande quanto uma palavra, parece não explicar nada, mas captura o ponto central: token não é sinônimo de palavra. Existem diferentes estilos de tokenização, e o mesmo texto pode render contagens diferentes conforme o tokenizador. Bibliotecas de processamento de linguagem natural como NLTK e spaCy oferecem essa etapa para quem prepara dados em Python.

Nos modelos generativos, cada família traz o seu próprio tokenizador, e a mesma ideia pode custar pedaços diferentes conforme a língua: no tokenizador do GPT-4, "configuration" é um token e "configuração" são três. O mecanismo está em Tokenização de Texto, o efeito sobre custo, contexto e latência em Desigualdade de Tokenização entre Idiomas, e a alternativa de ler o texto byte a byte em Modelos de Linguagem em Nível de Byte.

Token como unidade de consumo e de cobrança

As APIs de modelos devolvem, junto com a resposta, metadados que incluem o modelo usado e a contagem de tokens da requisição. Uma pergunta curta, como o pedido de uma piada, consome algo como 16 tokens de entrada. A cobrança acontece sobre os dois lados: os tokens do prompt e os tokens gerados na saída. Contas de teste têm créditos limitados, que se esgotam depressa com chamadas repetidas.

Essa contabilidade explica várias decisões de arquitetura. Enviar um documento de 500 páginas inteiro ao modelo custa caro em tokens e em tempo de processamento, e ainda esbarra no limite da Janela de Contexto. Por isso um sistema de RAG faz Chunking do documento e entrega ao modelo só os trechos relevantes. O próprio tamanho de um chunk costuma ser expresso em tokens, por exemplo blocos de 1000 tokens.

Há também uma especulação recorrente: como tudo já é contado em tokens, essa contagem poderia servir de base para remunerar criadores de conteúdo pelo número de vezes que seus dados são acessados. É uma hipótese, não uma prática estabelecida.

Mesma palavra, outro sentido

Em ativos digitais e blockchain, tokenização significa representar um ativo financeiro como token, algo sem relação com a tokenização de texto. Em times que tratam dos dois temas, vale deixar claro de qual se fala.

Toda mídia converge para texto

Mesmo quando a entrada é áudio, imagem ou som, um modelo de linguagem processa e produz texto. Para lidar com outras mídias, o conteúdo é convertido para uma representação textual ou em array de bytes, processado como texto e depois reconvertido para o formato final.

Alguns usos práticos decorrem daí. Documentação técnica escrita em notações textuais, como diagramas em PlantUML, fica diretamente legível por um modelo, ao contrário de um diagrama só visual. Pequenas composições em MIDI podem ser geradas descrevendo em texto as camadas sonoras desejadas, como vento e canto de pássaros, e pedindo ao modelo que as combine numa trilha. Um cenário sonoro para jogos pode ser montado associando descrições textuais a trechos de bytes que representam sons específicos.