Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Opção Nenhuma

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Opção nenhuma é a alternativa explícita, numa lista de escolhas dada a um modelo, para quando nenhuma das outras serve. Sem ela, quem decide é obrigado a errar.

Numa triagem de mensagens entre as filas cobrança, varejo e vendas, uma saudação, uma mensagem vazia de sentido ou um assunto fora do escopo não pertencem a fila nenhuma. Se a lista não oferece essa saída, o modelo escolhe uma fila errada. Para "oi, tudo bem?", um decisor sem a opção nenhuma vai para Varejo com algo como 0,57; com ela, escolhe Nenhuma com algo como 0,86 (valores ilustrativos). Nenhuma também é uma resposta, e também leva confiança: uma saudação pode ser só uma saudação ou o começo de um pedido de venda ou de cobrança, por isso raramente merece 100%.

Vale para o LLM e para o decisor

A lição não depende do tipo de modelo. Com Structured Outputs, um enum sem a opção nenhuma força o LLM a devolver um JSON válido e errado. No ensaio da bancada, com a opção nenhuma no enum, o LLM acertou os 8 casos nenhuma: o problema era o enum sem essa opção, não o LLM. A regra prática é incluir sempre a opção nenhuma, em qualquer arranjo, e manter casos desse tipo na base de avaliação.

O risco oposto: fugir para nenhuma demais

A preocupação inicial era o decisor errar com confiança alta. No ensaio aconteceu o contrário: os decisores fugiram para nenhuma além da conta. Para 8 casos reais, o Strands Decider escolheu nenhuma 13 vezes e a Decisions API 10 vezes. O erro mais confiante da Decisions API foi justamente esse: "faltou um item no meu pedido" mandado para nenhuma com 0,81, quando o certo era varejo.

Contar quantas vezes cada modelo escolhe a opção nenhuma, e não só a acurácia geral, mostra esse desvio. Como a confiança de cada modelo se comporta, e por que ela precisa ser medida, é assunto de Calibração de Confiança.