Alucinação
Ir para notas que citam estaAlucinação é quando um modelo de IA generativa responde com confiança algo incorreto ou inventado, consequência da sua natureza probabilística. Falta de contexto e conversas longas agravam o problema.
Em testes de software o risco é alto: um cenário que cita um botão inexistente ou um teste escrito para a entidade errada parece correto numa leitura rápida e só falha na execução. Por isso um fluxo que usa IA para interpretar artefatos e gerar testes, como o QAssist, trata a alucinação como risco de projeto, contido desde o desenho dos prompts.
Por que o modelo alucina
Um modelo de linguagem não executa uma lógica determinística de if e else: ele escolhe a continuação mais provável. Enviar a mesma mensagem simples, como um cumprimento, cinco vezes pode render cinco respostas diferentes; com um artefato completo na entrada, a variação tende a ser ainda maior. Construir sistemas sobre modelos exige essa mudança de paradigma: tratar cada saída como uma tentativa sujeita a erro e especificar os prompts para estreitar o espaço de respostas. Mesmo com prompts bem especificados, resta uma pequena probabilidade de o modelo produzir algo fora do esperado.
A falta de contexto piora o quadro. Quando a entrada não traz informação suficiente, ou quando a informação relevante ficou para trás numa conversa extensa, o modelo preenche a lacuna com o que parece plausível.
Formas comuns na interpretação de artefatos e na geração de testes
- Inventar elementos. Na leitura de um protótipo de tela, um modelo afirmou um ano de publicação que não aparecia em nenhum lugar da imagem. Ao gerar cenários BDD, modelos incluem campos ou botões que a aplicação não tem, com erros aparecendo a partir de cerca de três passos na sequência.
- Forçar o formato esperado. Um fluxo especializado em critérios de aceite, sem saída alternativa, recebeu um pedido de receita de bolo e produziu critérios de aceite fictícios para o bolo como se fosse um produto de software.
- Sugerir o que não existe. Com liberdade para indicar o próximo passo, um sistema multiagente propôs um super agente capaz de resolver tudo e um agente de refinamento de histórias de usuário que nunca foram implementados.
- Repetir a resposta errada. Questionado sobre um trecho não coberto por testes, o modelo devolveu a mesma resposta já testada, como se a tentativa seguinte fosse dar outro resultado.
- Perder o contexto. Numa conversa sobre uma história de usuário de cadastro de grupos, após pedidos sucessivos de explicação, plano de teste, mais cenários (de quatro para oito) e testes automatizados em Selenium com C#, o agente passou a gerar os testes para cadastro de usuários, abandonando a referência do arquivo original. Efeito parecido surgiu num pipeline de RAG que passou a enviar arquivos inteiros em vez de trechos: referências específicas dentro dos arquivos grandes deixaram de ser encontradas.
Como reduzir a alucinação
- Especializar e restringir. Limitar cada agente a uma tarefa, como descreve a Especialização de Prompts para Agentes, e restringir as sugestões do fluxo aos agentes que de fato existem.
- Dar exemplos concretos de entrada e saída. Bons exemplos de planos de teste e cenários balizam o modelo e servem de padrão para comparar novas saídas e detectar desvios.
- Usar estrutura formal. Descrever o comportamento no formato Dado, Quando, Então do Behavior Driven Development deixa menos espaço para invenção do que uma descrição livre.
- Prever uma saída para o fora do escopo. Um Agente Roteador com um agente geral de fallback, de prompt simples, evita que um especialista force sua resposta sobre uma entrada que não é dele.
- Manter pedidos curtos e diretos. Em vez de acumular refinamentos numa conversa longa, abrir uma nova conversa pedindo de uma vez que o arquivo seja analisado e o artefato desejado seja gerado tende a dar resultado mais preciso.
- Recuperar trechos, não arquivos inteiros, na busca sobre documentos.
Todas essas medidas reduzem a frequência, mas não eliminam a alucinação. A saída continua precisando de revisão humana antes de virar teste executado ou documentação.