Pular para o conteúdo
LabS Atlas
AI For Devs
Entrar

Custo de Tokens

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Custo de tokens é o gasto gerado pelos tokens de entrada e saída de cada chamada a um modelo de linguagem, e depende tanto do modelo escolhido quanto de como ele é usado. Todo texto enviado ao modelo e todo texto que ele devolve é medido em tokens, e é essa contagem que define o preço de uma solução com IA generativa. Por isso a arquitetura pesa tanto quanto o modelo: o mesmo modelo sai barato num fluxo enxuto e caro num fluxo que repassa contexto demais.

O tema ganha peso quando a solução deixa de ser um chat e passa a envolver recuperação de documentos, raciocínio em várias etapas e agentes que trocam contexto entre si. Nesses cenários o consumo cresce sem que ninguém perceba, e avaliar se o custo é viável passa a fazer parte do desenho da solução, não da operação.

Como a arquitetura multiplica o consumo

Há uma escada de custo conforme a solução se sofistica:

  • Chat simples, com uma pergunta e uma resposta, é o cenário mais barato.
  • RAG cobra duas vezes. Na preparação, processar e indexar uma base volumosa, algo do tamanho de uma Constituição, já consome recursos, e quanto mais dados, maior o gasto. No uso, quanto mais conteúdo a recuperação devolve e quanto mais contexto se pede, mais cara fica cada resposta.
  • Agentes com raciocínio ficam no topo. O modelo gera um registro do próprio raciocínio que é realimentado como contexto nas interações seguintes, o que infla a entrada e a saída a cada passo.

Repassar o contexto inteiro de uma etapa para a próxima tem o mesmo efeito. A alternativa é manter um resumo curto do que já foi feito e passar só esse resumo adiante, em vez de salvar todo o histórico.

Técnicas para gastar menos

A primeira é não usar IA onde código resolve. Extrair de um documento só a parte relevante com lógica comum, como regex e manipulação de strings, antes de montar o prompt, corta a entrada drasticamente. Na Geração de Testes de API a partir do Swagger, a especificação bruta de uma API pequena custava sozinha algo entre 1.200 e 1.400 tokens de entrada; com o texto filtrado, cada chamada do fluxo ficou entre 300 e 400 tokens de entrada e menos de 80 de saída.

A segunda é escolher o formato de saída pensando no custo. Pedir ao modelo um HTML completo gasta mais tokens de saída do que pedir Markdown e convertê-lo depois com uma biblioteca comum.

A terceira é dimensionar o modelo pela tarefa, como detalha Seleção de Modelo por Tarefa. Um modelo de linguagem pequeno (SLM), de cerca de 0,5 bilhão de parâmetros, pode bastar para tarefas simples e bem definidas, que pedem pouca instrução, como o roteamento de solicitações feito por um Agente Roteador.

Custo-benefício, não o mais barato

O objetivo é uma solução economicamente eficiente, não a mais barata a qualquer preço. A versão mini, a mais barata de um modelo comercial, funciona bem quando entrada e saída são controladas, mas traz limitações que precisam ser aceitas conscientemente.

Medir o consumo por etapa

Não dá para otimizar o que não se mede. Registrar em log os tokens de entrada e saída de cada chamada mostra onde o fluxo gasta. Em fluxos com vários agentes, o LangSmith rastreia a execução de ponta a ponta e exibe, por nó, os modelos e ferramentas acionados, os tokens consumidos e o tempo de cada etapa.

Essa visibilidade ajuda a flagrar loops ou recursões não intencionais entre agentes, que multiplicam custo e tempo de execução sem que o time perceba. O próprio rastreamento também tem custo, o que leva a usá-lo de forma seletiva, olhando trechos específicos do fluxo em vez de tudo o tempo todo.