Pular para o conteúdo
LabS Atlas
Agentic AI
Entrar

LLM as a Judge

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

LLM as a judge é a prática de usar um modelo para avaliar a saída de outro contra critérios explícitos, produzindo um veredito sobre a qualidade da resposta antes que ela siga adiante.

A técnica existe porque curadoria não escala no ritmo em que um agente produz saída. Revisar manualmente cada resposta de um sistema que responde centenas de vezes por hora é inviável, e não revisar nada significa entregar alucinação e incoerência direto a quem está na ponta. O juiz ocupa esse meio-termo: avalia tudo automaticamente e reserva a atenção humana para o que ele marcou como duvidoso ou para uma amostra do que aprovou.

Na prática, é um nó avaliador que recebe três coisas — a pergunta original, o contexto que foi dado e a resposta gerada — e devolve um julgamento sobre a adequação daquela resposta. Ferramentas de Observabilidade de Agentes costumam oferecer isso na seção de avaliações, ao lado do rastreamento de custo e latência.

O que a técnica exige para funcionar

O julgamento vale exatamente o que vale o critério escrito no prompt do avaliador. Um juiz instruído a dizer se a resposta "está boa" devolve ruído; um juiz instruído a verificar se a resposta usa apenas informação presente no contexto, se responde ao que foi perguntado e se não afirma nada sem fonte devolve sinal utilizável. Por isso a técnica depende diretamente de Engenharia de Prompt e não é uma peça que se instala e esquece.

Duas outras exigências acompanham: revisar por amostragem parte do que o juiz aprovou, para saber se o julgamento está calibrado, e manter Human in the Loop sobre o que ele reprovou, em vez de deixá-lo descartar respostas sozinho.

Reduzir alerta sem eliminar a revisão

O uso mais imediato é filtrar notificação. Um agente que avisa a cada anomalia detectada acaba acionando a pessoa de dez em dez minutos, e boa parte desses acionamentos não é problema real. Colocar um avaliador antes da notificação muda a pergunta de "aconteceu algo?" para "isso é mesmo um problema pelos critérios definidos?", e só o que passa nesse filtro chega a alguém.

O ponto a não perder de vista é que o juiz reduz o volume, não a responsabilidade. Ele não faz a revisão por ninguém — mitiga o que chega, e a checagem final continua sendo humana.

Warning

Entregar como definitivo o que uma IA produziu, sem curadoria, transfere o erro mas não a responsabilidade. Um caso público de consultoria ilustra o custo disso: um relatório de impacto entregue a um governo, gerado quase inteiramente por IA e não lido antes da entrega, saiu cheio de erros de referência e resultou em multa, devolução do valor pago e perda do contrato. Atribuir o erro à ferramenta não isenta quem assina o trabalho.

O limite de um juiz feito do mesmo material

Há um desconforto legítimo na ideia: se o modelo deveria responder certo quando solicitado, precisar de outro modelo para conferir soa como sintoma. O limite real é que o avaliador carrega as mesmas tendências do avaliado — treinado de forma semelhante, tende a achar plausível o que é plausível para o outro, e uma alucinação bem escrita passa pelos dois.

Isso separa a técnica de Agente Validador, que atua dentro do fluxo como porta de qualidade e pode devolver a tarefa para refazer. O juiz é instrumento de avaliação e observabilidade; o validador é peça de arquitetura. Um mede, o outro decide o caminho.