Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Faixas de Confiança

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Faixas de confiança são a divisão das decisões de um modelo de decisão em três caminhos, conforme a probabilidade da opção escolhida: executar sozinho, pedir confirmação ou delegar.

Elas só existem porque o decisor devolve uma confiança junto com a escolha. Um LLM que responde por Structured Outputs devolve só o valor, sem probabilidade, e por isso não oferece nenhum limiar. O limiar é o valor de confiança a partir do qual uma decisão segue sem revisão.

Os três caminhos de uma decisão

ConfiançaAção
acima de 0,9executa sozinho, sem ninguém no meio
entre 0,6 e 0,9pede confirmação: uma pessoa valida antes de seguir
abaixo de 0,6delega para uma pessoa ou para um LLM maior

A mensagem "meus repasses falham há 3 dias", com confiança 0,845 para Cobrança, cai na faixa do meio e pede confirmação. As duas faixas de baixo mantêm o humano no circuito justamente onde o modelo tem dúvida.

Executar sozinho pode significar acionar direto uma ferramenta. Se o decisor entende a mesma mensagem como um pedido da lista de repasses com confiança de 0,91, o sistema chama a função que devolve os repasses, como num Function Calling, sem passar por um LLM. Abaixo do limiar, a validação pode vir de um LLM ou de uma notificação para uma pessoa; com confiança muito baixa, o fluxo para e espera alguém decidir.

O limiar é uma decisão de negócio

O limiar de cima não é uma escolha técnica: define quanto risco o negócio aceita para deixar o modelo agir sozinho. Cada limiar precisa de um dono, alguém responsável por ele, e precisa ser revisto a cada troca de modelo, porque a confiança de um modelo não se transfere para outro, como explica Calibração de Confiança.

O que o ensaio mostrou com limiar de 0,9

No ensaio da bancada, com limiar de 0,90, nenhum erro dos dois decisores passou de 0,9:

DecisorExecuta sozinho (acima de 0,9)Pede confirmação (0,6 a 0,9)Delega (abaixo de 0,6)
Strands Decider local17 decisões, 100% certas21, 86% certas12, 50% certas
Decisions API34 decisões, 100% certas13, 92% certas3, 33% certas

A Decisions API executaria sozinha o dobro de decisões do Strands, com a mesma precisão. Nos dois decisores, a taxa de acerto cai de uma faixa para a seguinte, que é o comportamento esperado quando a confiança declarada tem significado.