If Caro
Ir para notas que citam estaIf caro é a chamada de LLM que, na prática, só escolhe entre opções fixas: paga um modelo que escreve para tomar uma decisão que caberia num if.
Muita chamada de LLM em produção tem esse formato. Uma chamada típica de classificação manda o prompt, deixa o modelo raciocinar por escrito (e cobrar por isso) e só no fim recebe um JSON de cerca de 6 tokens:
mensagem = "meus repasses falham há 3 dias"
resposta = llm.generate(
"Classifique nas filas cobranca, varejo, vendas ou nenhuma. Responda em JSON.",
mensagem
)
No ensaio da bancada, essa chamada gastou em média 51 tokens de saída. A mesma decisão, com um decisor, cabe numa linha e não escreve nenhum token:
if decisor(mensagem) == "cobranca":
A pergunta para levar ao cliente é quanto do gasto com LLM é, na prática, um if caro. Antes de pedir para a IA escrever, vale perguntar se ela só precisa escolher.
O roteador do workshop de LangGraph
Um caso do próprio LabS: no workshop de LangGraph (repositório agentes-sessoes-ao-vivo, arquivo src/graph.py), o grafo começava por um nó identificador_agent, um LLM que escrevia a intenção da mensagem. Um match exato do texto levava a um de três agentes: saudação, dúvida (consulta FICO) ou código. Eram só três intenções fixas, trabalho de decisor. O workshop aconteceu antes de os modelos de decisão chegarem ao mercado, e por isso a escolha ficou com um LLM; boa parte das dificuldades com JSON e com escolhas erradas descritas em Structured Outputs veio desse caso. Com um decisor, o roteador escolhe uma delas com confiança, por exemplo saudacao 0,05, duvida 0,92 e codigo 0,03, sem texto para errar.
O jeito antigo tinha um risco escondido: qualquer resposta fora das três strings exatas, como Dúvida. com acento ou ponto, não casava com nenhum caminho, caía no END e a conversa acabava. É o mesmo roteamento descrito em Padrões de Orquestração de Agentes, com a diferença de que um decisor escolhe entre os caminhos em vez de escrever o nome de um deles.