Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Ensaio de Triagem com Modelos de Decisão

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Ensaio de triagem com modelos de decisão é o experimento da bancada Generative AI que rodou as mesmas 50 mensagens de clientes num LLM e em dois decisores para comparar acerto, tempo e custo.

O ensaio, de 20/10/2026, saiu da teoria para medir o que um decisor entrega numa tarefa real de triagem. A base tem 50 mensagens em português escritas do jeito real (frases curtas, sem pontuação, erros leves de digitação, gírias), com 14 por fila (cobrança, varejo e vendas), 8 casos em que nenhuma fila serve e alguns casos ambíguos marcados.

Os três arranjos comparados

ArranjoComo decide
LLM com JSON enumescreve cada resposta, token a token, com Structured Outputs e a Opção Nenhuma no enum; sem confiança
Strands Decider 2Bescolhe com confiança; roda local em CPU, com custo de API zero
Decisions APIescolhe com confiança, na nuvem

Foram medidos acurácia (com os casos nenhuma em separado), latência mediana, custo por milhão de solicitações, tokens de saída, distribuição por faixa de confiança e calibração.

Placar dos três arranjos

MétricaLLM com JSON enumStrands localDecisions API
Acurácia92% (46/50)82% (41/50)94% (47/50)
Latência mediana1.629 mscerca de 1,4 s306 ms
Custo por milhão de solicitaçõesUS$ 33,25US$ 0 de APIUS$ 19,59
Tokens de saída (total nas 50)2.54600

Os preços são os autodeclarados pelos fornecedores, consultados na data do ensaio. O custo é efetivo, não o de tabela: soma os tokens realmente gastos nas 50 solicitações vezes o preço de cada fornecedor e projeta o resultado para um milhão de solicitações. A Decisions API empata em acurácia com o LLM (que fez 96% numa execução anterior), é cerca de cinco vezes mais rápida e não escreve nenhum token. O Strands local perde 10 pontos e, em CPU, empata no tempo com o LLM; o custo zero dele é só de API, sem contar máquina nem energia. Por mil solicitações a diferença de custo é de centavos; por milhão, ela aparece.

O LLM também oscilou: fez 96% numa execução e 92% na seguinte, com as mesmas entradas. Os dois decisores repetiram as 50 escolhas: mesma entrada, mesma resposta.

A execução ao vivo na Tech Talk

Na Tech Talk, os três arranjos rodaram de novo ao vivo sobre a mesma base, com o GPT-6 Luna em esforço médio como LLM. O LLM acertou 47 das 50 (94%), incluindo todos os casos nenhuma, e levou 81 segundos no total. A Decisions API também acertou 47, em 16 segundos para as 50, cerca de 0,3 s por decisão; a diferença entre os dois fica dentro da margem de erro, e em cada execução um ou outro acerta um pouco mais. O Strands local acertou 82% e levou 94 segundos, mais que o LLM, porque roda em CPU e precisa aquecer antes das primeiras decisões. O custo por milhão de solicitações ficou em cerca de US$ 33 para o LLM e cerca de US$ 20 para a Decisions API.

Premissas que o ensaio derrubou

  1. Decisor é sempre mais rápido. Só na nuvem ou em GPU; em CPU comum, o Strands empatou com o LLM.
  2. O LLM com enum erra os casos nenhuma. Com a opção nenhuma no enum, acertou os 8; o problema é o enum sem essa opção.
  3. O risco é o decisor errar com confiança alta. Nenhum erro passou de 0,9; o risco real foi a fuga excessiva para nenhuma.
  4. Decisor ou LLM é uma escolha. O melhor resultado, 96% de acerto, veio do decisor na frente do LLM.
Como ler esses números

São números de um caso, com 50 exemplos, e não se generalizam. O que generaliza é o jeito de medir: mesma base para todos os arranjos, a opção nenhuma sempre presente, acurácia, latência, custo por decisão correta e calibração da confiança.