Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

If Caro

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

If caro é a chamada de LLM que, na prática, só escolhe entre opções fixas: paga um modelo que escreve para tomar uma decisão que caberia num if.

Muita chamada de LLM em produção tem esse formato. Uma chamada típica de classificação manda o prompt, deixa o modelo raciocinar por escrito (e cobrar por isso) e só no fim recebe um JSON de cerca de 6 tokens:

mensagem = "meus repasses falham há 3 dias"
resposta = llm.generate(
    "Classifique nas filas cobranca, varejo, vendas ou nenhuma. Responda em JSON.",
    mensagem
)

No ensaio da bancada, essa chamada gastou em média 51 tokens de saída. A mesma decisão, com um decisor, cabe numa linha e não escreve nenhum token:

if decisor(mensagem) == "cobranca":

A pergunta para levar ao cliente é quanto do gasto com LLM é, na prática, um if caro. Antes de pedir para a IA escrever, vale perguntar se ela só precisa escolher.

O roteador do workshop de LangGraph

Um caso do próprio LabS: no workshop de LangGraph (repositório agentes-sessoes-ao-vivo, arquivo src/graph.py), o grafo começava por um nó identificador_agent, um LLM que escrevia a intenção da mensagem. Um match exato do texto levava a um de três agentes: saudação, dúvida (consulta FICO) ou código. Eram só três intenções fixas, trabalho de decisor. O workshop aconteceu antes de os modelos de decisão chegarem ao mercado, e por isso a escolha ficou com um LLM; boa parte das dificuldades com JSON e com escolhas erradas descritas em Structured Outputs veio desse caso. Com um decisor, o roteador escolhe uma delas com confiança, por exemplo saudacao 0,05, duvida 0,92 e codigo 0,03, sem texto para errar.

O jeito antigo tinha um risco escondido: qualquer resposta fora das três strings exatas, como Dúvida. com acento ou ponto, não casava com nenhum caminho, caía no END e a conversa acabava. É o mesmo roteamento descrito em Padrões de Orquestração de Agentes, com a diferença de que um decisor escolhe entre os caminhos em vez de escrever o nome de um deles.