Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Quando Usar um Modelo de Decisão

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Um modelo de decisão compensa quando a tarefa é escolher entre opções fixas e essa escolha se repete em volume; fora disso, um LLM resolve melhor ou mais um modelo não se paga.

O preço por token de um decisor é baixo, mas mantê-lo em produção tem custos que não aparecem na fatura, e eles só se pagam com volume. Por isso a decisão passa por duas perguntas, nessa ordem, antes de qualquer comparação de preço.

Duas perguntas, nessa ordem

  1. A resposta é escolher entre opções fixas? Se não, fique com o LLM: a resposta é um texto, ou os rótulos mudam toda semana.
  2. Isso acontece em volume? Com poucas chamadas por dia, manter mais um modelo custa mais que a economia e não compensa. Com muitas, use o decisor: é aqui que ele gera valor.

Onde o decisor costuma valer a pena

  • Triagem e roteamento: filas, intenções e encaminhamentos, o caso típico do If Caro.
  • Guardrail antes de agir: antes de cada chamada de ferramenta de um agente, um decisor pergunta se os argumentos vieram do que a pessoa disse (exemplo do Strands). É uma camada a mais de Guardrails sobre o Function Calling.
  • Dado que não sai do cliente: um decisor aberto roda local, sem mandar o texto para uma API, como na Execução Local de Modelos de Linguagem.
  • Resposta pronta: a escolha pode apontar uma mensagem pré-definida, como a resposta a uma saudação ou à pergunta sobre os serviços oferecidos, sem gastar tokens de saída de um LLM. No tempo em que um LLM responde um cliente, o decisor encaminha a resposta pronta para vários.

O custo que não aparece na fatura

Na fatura aparece só o token. Abaixo da linha d'água ficam os custos de manter um decisor em produção:

  • avaliar mais um modelo no pipeline;
  • dar dono a cada limiar, porque cada limiar das Faixas de Confiança precisa de alguém responsável por ele;
  • recalibrar a cada troca de modelo, porque a confiança de um modelo não se transfere para outro (ver Calibração de Confiança).

Com várias trilhas de execução, cada uma com seu decisor, as calibrações se multiplicam. Vale decidir cedo se a aplicação vai trocar de modelo com frequência ou manter um até o fim.

Por isso a métrica certa não é custo por token, e sim custo por decisão correta: o custo total, somando tokens, infraestrutura e manutenção, dividido pelas decisões certas. O preço por milhão de tokens também engana na comparação entre modelos: cada modelo conta tokens de um jeito, e um modelo mais barato por milhão pode gastar mais tokens para o mesmo texto e sair mais caro no mesmo cenário. A comparação justa usa o custo efetivo, tokens realmente gastos vezes o preço, sobre as mesmas solicitações.

O que é hype na categoria

  • A promessa de que o decisor não alucina vale para o formato, não para a escolha.
  • Os benchmarks são autodeclarados pelos fornecedores, como mostra o Mapa de Modelos de Decisão.
  • Uma confiança de 0,8 de um fornecedor não vale 0,8 de outro: sem calibração, não são comparáveis.

Para explorar, o Strands Decider local é grátis de API. Para produção, a recomendação é comparar as opções com os próprios dados e medir custo por decisão correta.