Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Calibração de Confiança

Ir para notas que citam esta
atualizado há 4 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Calibração de confiança é o quanto a confiança que um modelo declara bate com a taxa de acerto real: decisões tomadas com 0,8 deveriam acertar 80% das vezes.

É ela que dá sentido às Faixas de Confiança. Um decisor que diz 0,95 e erra com frequência torna qualquer limiar inútil, porque a decisão de agir sozinho passa a se apoiar num número que não significa o que parece.

Como medir com o ECE

O ECE, erro esperado de calibração, é a distância média entre a confiança declarada e o acerto real; quanto menor, melhor. No ensaio da bancada, o ECE foi de 0,065 na Decisions API e de 0,110 no Strands Decider. A amostra é pequena, de 5 a 7 decisões por faixa, então os valores indicam uma tendência, não uma regra.

Antes de deixar um decisor agir sozinho, a pergunta prática é em que faixa os erros caem. No mesmo ensaio, nenhum erro passou de 0,9, e o mais confiante ficou em 0,81.

Confiança não se compara entre modelos

Uma confiança de 0,8 de um fornecedor não vale 0,8 de outro: sem calibração, os números de modelos diferentes não são comparáveis. Por isso trocar o modelo decisor exige reavaliar e recalibrar os limiares. A troca fica mais simples quando a aplicação fala com os decisores por uma interface comum (entrada, opções, escolha e confiança), mas a recalibração continua obrigatória. As probabilidades dos tokens de um LLM, os logprobs, também podem servir de confiança, porém costumam ser mal calibradas. Pedir a um LLM que declare a própria confiança é ainda pior: o número é um chute, como explica Structured Outputs. Por isso a autoconfiança declarada é o sinal mais fraco para aprovar uma resposta numa Cascata de Modelos.

O mesmo cuidado aparece em outros pontos de um sistema de IA generativa: o score de um RAG também precisa ser recalibrado a cada modelo de embedding, como mostra Busca por Similaridade Vetorial.