Faixas de Confiança
Ir para notas que citam estaFaixas de confiança são a divisão das decisões de um modelo de decisão em três caminhos, conforme a probabilidade da opção escolhida: executar sozinho, pedir confirmação ou delegar.
Elas só existem porque o decisor devolve uma confiança junto com a escolha. Um LLM que responde por Structured Outputs devolve só o valor, sem probabilidade, e por isso não oferece nenhum limiar. O limiar é o valor de confiança a partir do qual uma decisão segue sem revisão.
Os três caminhos de uma decisão
| Confiança | Ação |
|---|---|
| acima de 0,9 | executa sozinho, sem ninguém no meio |
| entre 0,6 e 0,9 | pede confirmação: uma pessoa valida antes de seguir |
| abaixo de 0,6 | delega para uma pessoa ou para um LLM maior |
A mensagem "meus repasses falham há 3 dias", com confiança 0,845 para Cobrança, cai na faixa do meio e pede confirmação. As duas faixas de baixo mantêm o humano no circuito justamente onde o modelo tem dúvida.
Executar sozinho pode significar acionar direto uma ferramenta. Se o decisor entende a mesma mensagem como um pedido da lista de repasses com confiança de 0,91, o sistema chama a função que devolve os repasses, como num Function Calling, sem passar por um LLM. Abaixo do limiar, a validação pode vir de um LLM ou de uma notificação para uma pessoa; com confiança muito baixa, o fluxo para e espera alguém decidir.
O limiar é uma decisão de negócio
O limiar de cima não é uma escolha técnica: define quanto risco o negócio aceita para deixar o modelo agir sozinho. Cada limiar precisa de um dono, alguém responsável por ele, e precisa ser revisto a cada troca de modelo, porque a confiança de um modelo não se transfere para outro, como explica Calibração de Confiança.
O que o ensaio mostrou com limiar de 0,9
No ensaio da bancada, com limiar de 0,90, nenhum erro dos dois decisores passou de 0,9:
| Decisor | Executa sozinho (acima de 0,9) | Pede confirmação (0,6 a 0,9) | Delega (abaixo de 0,6) |
|---|---|---|---|
| Strands Decider local | 17 decisões, 100% certas | 21, 86% certas | 12, 50% certas |
| Decisions API | 34 decisões, 100% certas | 13, 92% certas | 3, 33% certas |
A Decisions API executaria sozinha o dobro de decisões do Strands, com a mesma precisão. Nos dois decisores, a taxa de acerto cai de uma faixa para a seguinte, que é o comportamento esperado quando a confiança declarada tem significado.