Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Alucinação

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Alucinação é a resposta incorreta, inventada ou sem sentido que um modelo de linguagem entrega com a mesma confiança de uma resposta certa, porque calcula a palavra provável em vez de checar fatos.

Um modelo de linguagem não raciocina sobre a veracidade do que escreve. A partir do contexto inicial, ele navega num mapa de probabilidades e escolhe, a cada passo, a próxima palavra mais provável. Quando a informação pedida não está no que ele aprendeu, seja porque nunca foi treinado naquele contexto, seja porque o dado ficou desatualizado, o mecanismo não para: em vez de indicar que não sabe, o modelo produz algo plausível na forma e errado no conteúdo.

O problema é justamente a confiança. Uma resposta alucinada não traz sinal de dúvida, e quem a lê sem conhecer o assunto não tem como distingui-la de uma resposta correta.

Riscos em contextos onde o erro custa caro

Em áreas como a jurídica, uma alucinação vira problema concreto: uma resposta que recomende algo absurdo, como ingerir sabão como tratamento, não se sustenta diante de um juiz, e a explicação de que o modelo alucinou não reduz a responsabilidade de quem usou a resposta. Já existem casos de respostas erradas de modelos atribuídas a treinamento ruim.

A regulação de IA em formação no Brasil aponta na direção da explicabilidade: sistemas usados, por exemplo, em licitações e contratações públicas teriam de mostrar como chegaram a cada resposta. Esse requisito é difícil de cumprir justamente porque o modelo não segue um caminho verificável. A recomendação prática é nunca tratar a saída de um modelo como verdade absoluta, lembrando que ela também pode carregar viés.

Como reduzir a alucinação

A principal mitigação é ancorar a resposta em conteúdo externo. A RAG busca trechos relevantes numa base de conhecimento e os entrega ao modelo antes da geração, de modo que ele responda a partir do documento, e não só do conhecimento generalista do treinamento. Essa ancoragem depende de um bom ajuste: chunks mal dimensionados, ou em quantidade errada no contexto, pioram a resposta e aumentam a chance de alucinar.

Arquiteturas com agentes acrescentam camadas de verificação. Um agente avaliador pode checar se a resposta gerada tem sinais de alucinação, e uma busca externa por ferramenta pode complementar o banco vetorial quando o conteúdo recuperado não basta. É o tipo de controle de saída que se aproxima de Guardrails.

Modelos pequenos alucinam mais

Um Small Language Model tende a alucinar mais que um modelo grande. Treinado por destilação, ele não conhece a fonte original dos dados: reproduz só o que o modelo maior lhe ensinou, como um aluno que assistiu a apenas um trecho da aula. Fora do que aprendeu especificamente, inventa a partir de uma base estreita.

Num teste com dois modelos da mesma família, um de 1 bilhão e outro de 3 bilhões de parâmetros, perguntando sobre a mesma pessoa pública, o menor errou muito mais informações e cometeu mais erros gramaticais em português. O maior também errou, mas menos. Como a alucinação está mais ligada à falta de treinamento específico do que ao tamanho em si, especializar o modelo pequeno no domínio da aplicação é o caminho para reduzi-la.

Excesso de etapas em pesquisa profunda

A alucinação também aparece quando se empilham etapas numa Pesquisa Profunda. Ao pedir um relatório com filtro de tempo e várias camadas extras de pesquisa, o modelo aplicou mal a segmentação por data e entregou um texto menos coeso; com menos etapas, as fontes vieram corretamente dentro do período pedido. As hipóteses levantadas são o limite de contexto do modelo e a dificuldade de conciliar fontes muito divergentes num único relatório, uma limitação que tende a diminuir com janelas de contexto maiores.