Café com Código Comparando LLMs com LLM as a Judge (2026-03-10)
Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.
O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.
Notas citadas nas anotações desta sessão.
A sessão apresentou um Learning Prototype da bancada de IA Generativa voltado à comparação automatizada de modelos de linguagem. O objetivo era evitar avaliações manuais, subjetivas e pouco escaláveis durante a escolha de modelos para especializações e aplicações corporativas. Foi explicado o uso de um LLM como juiz, que recebe respostas anônimas de dois modelos, aplica critérios previamente definidos — como qualidade, relevância, completude e diversidade — e produz notas, justificativas, médias ponderadas e um vencedor. O código conecta diferentes provedores por API, utiliza perguntas identificadas por IDs para garantir que os modelos recebam exatamente o mesmo contexto e permite adaptar prompts, modelos e critérios a outros cenários.
A discussão destacou a importância de anonimizar os modelos avaliados, controlar parâmetros como temperatura e tokens e definir claramente as regras de avaliação, embora isso não elimine completamente vieses, alucinações ou influências da base de treinamento do juiz. Também foram levantadas dúvidas sobre a origem do padrão LLM-as-a-Judge, a criação das perguntas e critérios, o possível viés introduzido por prompts gerados por outras IAs e a necessidade de usar dados e exemplos reais em benchmarks futuros. Como próximos passos, ficou prevista a disponibilização do repositório, a divulgação de materiais sobre seleção e uso responsável de modelos e um workshop sobre construção de agentes com n8n e LangGraph.