Calibração de Confiança
Ir para notas que citam estaCalibração de confiança é o quanto a confiança que um modelo declara bate com a taxa de acerto real: decisões tomadas com 0,8 deveriam acertar 80% das vezes.
É ela que dá sentido às Faixas de Confiança. Um decisor que diz 0,95 e erra com frequência torna qualquer limiar inútil, porque a decisão de agir sozinho passa a se apoiar num número que não significa o que parece.
Como medir com o ECE
O ECE, erro esperado de calibração, é a distância média entre a confiança declarada e o acerto real; quanto menor, melhor. No ensaio da bancada, o ECE foi de 0,065 na Decisions API e de 0,110 no Strands Decider. A amostra é pequena, de 5 a 7 decisões por faixa, então os valores indicam uma tendência, não uma regra.
Antes de deixar um decisor agir sozinho, a pergunta prática é em que faixa os erros caem. No mesmo ensaio, nenhum erro passou de 0,9, e o mais confiante ficou em 0,81.
Confiança não se compara entre modelos
Uma confiança de 0,8 de um fornecedor não vale 0,8 de outro: sem calibração, os números de modelos diferentes não são comparáveis. Por isso trocar o modelo decisor exige reavaliar e recalibrar os limiares. A troca fica mais simples quando a aplicação fala com os decisores por uma interface comum (entrada, opções, escolha e confiança), mas a recalibração continua obrigatória. As probabilidades dos tokens de um LLM, os logprobs, também podem servir de confiança, porém costumam ser mal calibradas. Pedir a um LLM que declare a própria confiança é ainda pior: o número é um chute, como explica Structured Outputs. Por isso a autoconfiança declarada é o sinal mais fraco para aprovar uma resposta numa Cascata de Modelos.
O mesmo cuidado aparece em outros pontos de um sistema de IA generativa: o score de um RAG também precisa ser recalibrado a cada modelo de embedding, como mostra Busca por Similaridade Vetorial.