Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

LLM as a Judge

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

LLM as a Judge é o padrão em que um modelo de linguagem avalia respostas de outros modelos, ou de um processo, segundo critérios definidos por humanos, automatizando uma avaliação subjetiva e pouco escalável.

Em machine learning tradicional, um algoritmo validador mede a qualidade do resultado de forma independente. Em IA generativa, com saídas abertas, não há métricas objetivas consolidadas, e a avaliação costuma recair no julgamento empírico de um especialista. O juiz automatizado preenche essa lacuna. A ideia lembra as redes adversariais, em que uma rede gera e outra avalia, e se aproxima do padrão avaliador-otimizador descrito em Padrões de Orquestração de Agentes. O uso mais comum é um benchmark feito sob medida para o problema de quem vai escolher o modelo.

Por que automatizar a avaliação

Na especialização de LLMs, decidir à mão qual modelo serve melhor a cada caso é lento demais. Três problemas pesam: a subjetividade humana, já que a mesma resposta parece melhor ou pior conforme quem avalia e quando; a complexidade semântica, porque textos diferentes produzem resultados difíceis de comparar; e a escala, porque avaliar milhares de interações manualmente não é viável. O juiz aplica sempre a mesma régua.

Como montar uma comparação justa entre dois modelos

A comparação clássica põe duas respostas lado a lado e pede ao juiz um vencedor e uma nota. A justiça do resultado depende de controles:

  • Anonimato: os avaliados chegam ao juiz apenas como Model A e Model B, e a tradução para o nome real acontece fora dele. Sem isso, um juiz GPT tendia a favorecer respostas da OpenAI; com o anonimato, a nota do Llama subiu. Ver Viés em Modelos de Inteligência Artificial.
  • Mesmo contexto: as perguntas levam um ID e vão aos dois modelos na mesma ordem e ao mesmo tempo, porque uma sequência diferente muda o contexto da conversa e a resposta.
  • Mesmos parâmetros: temperatura e máximo de tokens são padronizados entre os avaliados.
  • Prompt de julgamento neutro: construído com um terceiro modelo, diferente dos comparados.

Uma implementação possível separa um módulo de modelos, com a conexão de cada provedor, um módulo juiz, com a lógica da avaliação, e um avaliador, que calcula notas e estatísticas. Um único arquivo de variáveis de ambiente para trocar de modelo não funcionou, porque um provedor era acessado por API hospedada e outro, via Ollama, por host local. Numa comparação entre GPT-4 e Llama 3 com um GPT como juiz, a execução levou cerca de 10 minutos, repetiu as perguntas em várias rodadas e terminou com total de avaliações, vencedor por pergunta e média ponderada. O GPT venceu a maioria por cerca de um ponto, diferença atribuída à geração dos modelos.

Critérios e pesos definidos por humanos

O juiz não deve inventar os próprios critérios. Quem avalia define as métricas, as instruções e os pesos, como qualidade da resposta pesando mais que completude e diversidade, e cada pergunta pode trazer as qualidades esperadas. A régua precisa refletir o que se espera: um modelo pode dar respostas mais práticas, outro mais diversas, com links e autores. Num cenário real, perguntas e critérios deveriam vir de dados reais, como uma base de perguntas e respostas do domínio.

Juiz como auditor de um processo

O mesmo padrão avalia processos. Um agente auditor de atendimentos recebe a conversa e aplica regras em quatro grupos: erros críticos, como grosseria, ironia ou recusa de atendimento, que zeram a nota; erros graves, como não confirmar a segurança; erros médios, como não confirmar o protocolo; e manuais de postura. A nota parte de 100 e desconta por infração, 5 pontos por omitir a frase de encerramento, por exemplo. O raciocínio segue etapas (classificar, verificar erros, avaliar o procedimento e o comportamento, calcular a nota) e a saída em JSON alimenta uma planilha. A mesma lógica serve para avaliar por amostragem um chatbot em produção.

O juiz também tem viés

Não existe juiz genérico imparcial: ele carrega o viés do próprio treinamento, e um modelo fraco no papel de juiz produz vereditos tendenciosos.