Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Viés em Modelos de Inteligência Artificial

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Viés em modelos de inteligência artificial é a tendência de um modelo reproduzir preconceitos, distorções ou preferências herdadas dos dados e do treinamento. A preferência pode ser de estilo, de conteúdo ou até de fornecedor.

O viés nasce da base de treinamento e do alinhamento, e por isso reaparece em qualquer uso: na resposta a um usuário, na escolha entre modelos e quando um modelo julga outro, como no LLM as a Judge. Ele se administra, mas não se elimina. Um modelo imparcial exigiria treinar do zero com dados e critérios próprios, e ainda carregaria o viés de quem escolheu esses dados.

De onde vem o viés de um modelo

Boa parte dos dados de treino vem da internet em geral, que carrega todo tipo de preconceito. As primeiras versões de alguns LLMs reproduziram racismo e outros preconceitos presentes nesses dados, e há casos de chatbots expostos a interações sem filtro que passaram a gerar respostas ofensivas em cerca de um dia. Diferenças de qualidade e de personalidade entre famílias de modelos também costumam ser atribuídas à curadoria dos dados de cada treinamento, o que liga o tema diretamente à Qualidade de Dados.

O contexto geográfico também pesa: um mesmo modelo tende a se comportar de forma diferente conforme a região e a legislação em que é usado.

Filtros, alinhamento e guardrails

Os fornecedores reagiram ao viés com filtros de conteúdo e com Guardrails, que resultam em parte de avaliação humana contínua: o botão de aprovar ou reprovar uma resposta alimenta um aprendizado por feedback positivo e negativo. Esses filtros são, eles próprios, uma forma de viés. Há modelos com bloqueios fortes para não responder perguntas políticas sensíveis, e há variantes publicadas sem o alinhamento padrão, que respondem a qualquer pedido.

Os filtros também podem ser contornados. Pedir ao modelo que explique como ensinar outra pessoa a fazer algo, em vez de pedir diretamente, é um exemplo simples de jailbreak.

Guardrail mal calibrado

Aplicar guardrails sem considerar o contexto e o conteúdo avaliado pode levar ao esquecimento catastrófico, em que o modelo perde capacidades. Esse efeito é pior que o próprio viés que se queria conter.

Viés na comparação entre modelos

Quando um modelo avalia respostas de outros, ele pode favorecer o próprio fornecedor. Em uma comparação entre um modelo GPT e um Llama, o juiz GPT tendia a premiar as respostas da OpenAI; quando os avaliados passaram a ser identificados só como Model A e Model B, a nota do Llama subiu. As defesas são remover do input tudo o que identifique o modelo, padronizar hiperparâmetros como temperatura e máximo de tokens, enviar as mesmas perguntas na mesma ordem e construir o prompt de julgamento com um terceiro modelo, diferente dos avaliados.

Critérios de qualidade esperada aplicados igualmente aos dois modelos não são viés: são a expectativa declarada. Já prompts curtos e sem contexto deixam a resposta mais exposta ao comportamento padrão do modelo, e acrescentar contexto e palavras-chave ajuda a nivelar esse efeito. Um trade-off fica em aberto: prevenir o viés do juiz não é o mesmo que medir o viés de cada modelo, e esse segundo dado também pesa na hora de escolher um modelo para um serviço real.

Quanto limpar sem desequilibrar a base

A Preparação de Dados para Modelos de IA enfrenta um dilema: remover dado ruim melhora a qualidade, mas remover demais desequilibra a base e cria viés. Questões legais têm tolerância zero, e um dado sensível que não pode aparecer nunca passa. Para o resto, a decisão pesa o impacto do viés contra o impacto de não limpar.

Um painel de qualidade que mostre, por exemplo, 30% dos dados eliminados numa etapa de ingestão é sinal para investigar o sistema de origem; à medida que a origem é corrigida, o percentual cai. Quando um único tipo de documento representava 90% de uma base, mais que os outros 14 tipos somados, a saída foi treinar um modelo específico para ele. Gerar Dados Sintéticos para preencher lacunas é outra forma de reduzir a distorção.