Custo de Tokens
Ir para notas que citam estaCusto de tokens é a forma como os provedores de modelos de linguagem cobram uma chamada: pelo tamanho do texto que entra somado ao tamanho do texto que sai. Uma pergunta curta que gera uma resposta curta custa pouco; a mesma pergunta curta, se o modelo devolve uma dissertação, custa bem mais.
Modelos diferentes usam matemáticas diferentes para contar tokens e nem todos cobram o mesmo valor para entrada e para saída. O que realmente determina o gasto é quanto contexto o fluxo entrega ao modelo a cada chamada, e isso é escolha de quem constrói o agente, não do provedor.
O que infla a conta sem que se perceba
O consumo raramente cresce pela pergunta do usuário. Cresce pelo que é anexado a ela: o histórico da conversa reenviado a cada mensagem, os trechos recuperados de uma base de conhecimento e, principalmente, o retorno de ferramentas externas.
Uma chamada a uma API de busca sem controle de paginação devolve páginas inteiras de resultado, e tudo isso entra como entrada do modelo. Uma execução assim chegou a cerca de 16 mil tokens só para responder qual foi o resultado de um jogo, enquanto uma consulta a uma base vetorial com limite de trechos respondeu a uma pergunta sobre um documento com cerca de 1.100 tokens.
O uso de ferramentas cobra ainda um pedágio menos visível: antes de chamar a ferramenta, o próprio modelo precisa formular a melhor entrada para ela, e esse raciocínio intermediário é faturado. Por isso, somar à mão a entrada e a saída visíveis costuma dar um número menor do que o reportado pela plataforma.
Escolher o modelo por etapa, não por fluxo
Modelos com raciocínio interno tendem a ter saída mais cara, porque geram bastante texto de pensamento antes da resposta final; quando se usa um desses, vale manter a Cadeia de Pensamento curta. Modelos mais antigos, sem essa camada, costumam ter tokens mais baratos e se encaixam melhor quando se espera resposta longa.
Daí a prática de decidir o modelo etapa a etapa em vez de adotar um só para o sistema inteiro: um modelo mais caro e mais capaz onde a qualidade da decisão se propaga por todo o resto, um modelo menor e mais barato nas etapas de volume. Essa é a substância de Seleção de Modelo por Agente.
O que reduz a conta
- Enxugar o prompt de sistema e limitar a janela de memória reenviada a cada chamada.
- Limitar quantos trechos a busca vetorial devolve, em vez de mandar o documento inteiro: é justamente essa possibilidade de corte que torna RAG mais econômico que colar o conteúdo completo no prompt.
- Usar cache do que já foi processado, para não reenviar o mesmo histórico ou o mesmo repositório a cada pergunta; reaproveitar conteúdo em cache custa cerca de um décimo de uma entrada normal.
- Encerrar o fluxo cedo quando o resultado já é conhecido: se uma etapa de validação detecta que os dados estão inconsistentes, seguir adiante gerando o documento final é gastar token numa tarefa que já se sabe que vai falhar.
Muitos modelos têm um teto de tokens por chamada e simplesmente retornam erro ao ultrapassá-lo, então é improvável torrar um crédito inteiro numa única execução por acidente. O risco real é o gasto constante e invisível de um fluxo mal desenhado rodando todo dia.
Ver o gasto antes de explicá-lo
Nada disso é gerenciável sem instrumentação. A tela de execuções de uma plataforma visual já mostra o consumo por nó e o total de cada execução, o que basta para descobrir qual etapa é a cara. Em sistemas maiores, marcar cada interação com identificadores de sessão, usuário e versão do agente permite filtrar o gasto por qualquer um desses cortes — assunto de Observabilidade de Agentes e, em agentes de código, de Telemetria de Uso e Custo do Claude Code. Sem isso, só se sabe que a tarefa terminou, nunca quanto ela custou.