Decisor na Frente do LLM
Ir para notas que citam estaDecisor na frente do LLM é o arranjo em que um modelo de decisão responde primeiro às perguntas de escolha de uma solicitação e o LLM só entra quando é preciso escrever.
O decisor não foi criado para substituir o LLM: ele não gera texto e não faz o que um gerador faz. Ocupa um espaço que o LLM ocupava de forma precária, como quebra-galho: interpretar a intenção de uma mensagem. Num chatbot feito só com IA, é um LLM que decide se a mensagem é uma dúvida, uma saudação ou algo fora do escopo, o que é lento e caro. Com o decisor na frente, ele responde que tipo é, para qual fila vai, qual a severidade e se precisa de uma pessoa, e o LLM fica com o que só ele faz, como a resposta ao cliente, o resumo ou a explicação.
O arranjo acrescenta uma terceira resposta à pergunta de qual modelo cabe na tarefa, tratada em Escolha do Modelo de IA. Além do modelo de fronteira e do modelo pequeno, às vezes a tarefa nem pede um modelo que escreve. A ideia de um modelo enxuto que só decide o caminho do fluxo aparece também nas Máquinas de Estado em Sistemas de Agentes, e o arranjo todo é uma forma de Roteamento de Modelos antes da chamada.
Como a solicitação percorre o arranjo
- A solicitação chega, por exemplo "meus repasses falham há 3 dias".
- O decisor responde às perguntas de escolha e devolve a confiança de cada uma.
- A confiança define o caminho pelas Faixas de Confiança: executa direto (por exemplo, chamando a função que resolve o pedido), pede confirmação ou delega.
- O LLM entra só onde precisa escrever, ou quando o decisor fica em dúvida.
Juntos, acertam mais que o LLM sozinho
No ensaio da bancada, o arranjo combinado mandou ao LLM toda mensagem com confiança abaixo de 0,9. Os números foram calculados sobre as execuções gravadas:
| Métrica | Só LLM | LLM + Strands | LLM + Decisions API |
|---|---|---|---|
| Acurácia | 92% (46/50) | 94% (47/50) | 96% (48/50) |
| Chamadas ao LLM | 50 de 50 | 33 (34% a menos) | 16 (68% a menos) |
| Latência mediana | 1.629 ms | 2.800 ms | 382 ms |
| Custo por milhão de solicitações | US$ 33,25 | US$ 23,45 | US$ 31,63 |
O combinado acerta mais porque o decisor fica só com o que tem certeza e manda ao LLM justamente o que ele próprio erraria. Com a Decisions API, o custo quase não cai, porque ela é cobrada nas 50 mensagens; usar só a Decisions API sai mais barato (US$ 19,59, com 94%). Com o Strands, o custo é o menor, mas a latência sobe para 2,8 s, porque as 33 mensagens incertas pagam o Strands e depois o LLM.