Ensaio de Triagem com Modelos de Decisão
Ir para notas que citam estaEnsaio de triagem com modelos de decisão é o experimento da bancada Generative AI que rodou as mesmas 50 mensagens de clientes num LLM e em dois decisores para comparar acerto, tempo e custo.
O ensaio, de 20/10/2026, saiu da teoria para medir o que um decisor entrega numa tarefa real de triagem. A base tem 50 mensagens em português escritas do jeito real (frases curtas, sem pontuação, erros leves de digitação, gírias), com 14 por fila (cobrança, varejo e vendas), 8 casos em que nenhuma fila serve e alguns casos ambíguos marcados.
Os três arranjos comparados
| Arranjo | Como decide |
|---|---|
| LLM com JSON enum | escreve cada resposta, token a token, com Structured Outputs e a Opção Nenhuma no enum; sem confiança |
| Strands Decider 2B | escolhe com confiança; roda local em CPU, com custo de API zero |
| Decisions API | escolhe com confiança, na nuvem |
Foram medidos acurácia (com os casos nenhuma em separado), latência mediana, custo por milhão de solicitações, tokens de saída, distribuição por faixa de confiança e calibração.
Placar dos três arranjos
| Métrica | LLM com JSON enum | Strands local | Decisions API |
|---|---|---|---|
| Acurácia | 92% (46/50) | 82% (41/50) | 94% (47/50) |
| Latência mediana | 1.629 ms | cerca de 1,4 s | 306 ms |
| Custo por milhão de solicitações | US$ 33,25 | US$ 0 de API | US$ 19,59 |
| Tokens de saída (total nas 50) | 2.546 | 0 | 0 |
Os preços são os autodeclarados pelos fornecedores, consultados na data do ensaio. O custo é efetivo, não o de tabela: soma os tokens realmente gastos nas 50 solicitações vezes o preço de cada fornecedor e projeta o resultado para um milhão de solicitações. A Decisions API empata em acurácia com o LLM (que fez 96% numa execução anterior), é cerca de cinco vezes mais rápida e não escreve nenhum token. O Strands local perde 10 pontos e, em CPU, empata no tempo com o LLM; o custo zero dele é só de API, sem contar máquina nem energia. Por mil solicitações a diferença de custo é de centavos; por milhão, ela aparece.
O LLM também oscilou: fez 96% numa execução e 92% na seguinte, com as mesmas entradas. Os dois decisores repetiram as 50 escolhas: mesma entrada, mesma resposta.
A execução ao vivo na Tech Talk
Na Tech Talk, os três arranjos rodaram de novo ao vivo sobre a mesma base, com o GPT-6 Luna em esforço médio como LLM. O LLM acertou 47 das 50 (94%), incluindo todos os casos nenhuma, e levou 81 segundos no total. A Decisions API também acertou 47, em 16 segundos para as 50, cerca de 0,3 s por decisão; a diferença entre os dois fica dentro da margem de erro, e em cada execução um ou outro acerta um pouco mais. O Strands local acertou 82% e levou 94 segundos, mais que o LLM, porque roda em CPU e precisa aquecer antes das primeiras decisões. O custo por milhão de solicitações ficou em cerca de US$ 33 para o LLM e cerca de US$ 20 para a Decisions API.
Premissas que o ensaio derrubou
- Decisor é sempre mais rápido. Só na nuvem ou em GPU; em CPU comum, o Strands empatou com o LLM.
- O LLM com enum erra os casos nenhuma. Com a opção nenhuma no enum, acertou os 8; o problema é o enum sem essa opção.
- O risco é o decisor errar com confiança alta. Nenhum erro passou de 0,9; o risco real foi a fuga excessiva para nenhuma.
- Decisor ou LLM é uma escolha. O melhor resultado, 96% de acerto, veio do decisor na frente do LLM.
São números de um caso, com 50 exemplos, e não se generalizam. O que generaliza é o jeito de medir: mesma base para todos os arranjos, a opção nenhuma sempre presente, acurácia, latência, custo por decisão correta e calibração da confiança.