Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Decisor na Frente do LLM

Ir para notas que citam esta
atualizado há 4 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Decisor na frente do LLM é o arranjo em que um modelo de decisão responde primeiro às perguntas de escolha de uma solicitação e o LLM só entra quando é preciso escrever.

O decisor não foi criado para substituir o LLM: ele não gera texto e não faz o que um gerador faz. Ocupa um espaço que o LLM ocupava de forma precária, como quebra-galho: interpretar a intenção de uma mensagem. Num chatbot feito só com IA, é um LLM que decide se a mensagem é uma dúvida, uma saudação ou algo fora do escopo, o que é lento e caro. Com o decisor na frente, ele responde que tipo é, para qual fila vai, qual a severidade e se precisa de uma pessoa, e o LLM fica com o que só ele faz, como a resposta ao cliente, o resumo ou a explicação.

O arranjo acrescenta uma terceira resposta à pergunta de qual modelo cabe na tarefa, tratada em Escolha do Modelo de IA. Além do modelo de fronteira e do modelo pequeno, às vezes a tarefa nem pede um modelo que escreve. A ideia de um modelo enxuto que só decide o caminho do fluxo aparece também nas Máquinas de Estado em Sistemas de Agentes, e o arranjo todo é uma forma de Roteamento de Modelos antes da chamada.

Como a solicitação percorre o arranjo

  1. A solicitação chega, por exemplo "meus repasses falham há 3 dias".
  2. O decisor responde às perguntas de escolha e devolve a confiança de cada uma.
  3. A confiança define o caminho pelas Faixas de Confiança: executa direto (por exemplo, chamando a função que resolve o pedido), pede confirmação ou delega.
  4. O LLM entra só onde precisa escrever, ou quando o decisor fica em dúvida.

Juntos, acertam mais que o LLM sozinho

No ensaio da bancada, o arranjo combinado mandou ao LLM toda mensagem com confiança abaixo de 0,9. Os números foram calculados sobre as execuções gravadas:

MétricaSó LLMLLM + StrandsLLM + Decisions API
Acurácia92% (46/50)94% (47/50)96% (48/50)
Chamadas ao LLM50 de 5033 (34% a menos)16 (68% a menos)
Latência mediana1.629 ms2.800 ms382 ms
Custo por milhão de solicitaçõesUS$ 33,25US$ 23,45US$ 31,63

O combinado acerta mais porque o decisor fica só com o que tem certeza e manda ao LLM justamente o que ele próprio erraria. Com a Decisions API, o custo quase não cai, porque ela é cobrada nas 50 mensagens; usar só a Decisions API sai mais barato (US$ 19,59, com 94%). Com o Strands, o custo é o menor, mas a latência sobe para 2,8 s, porque as 33 mensagens incertas pagam o Strands e depois o LLM.