Pular para o conteúdo
LabS Atlas
Generative AI
Entrar
Sessões

Café com Código Comparando LLMs com LLM as a Judge (2026-03-10)

10 mar 20261h 07min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão apresentou um Learning Prototype da bancada de IA Generativa voltado à comparação automatizada de modelos de linguagem. O objetivo era evitar avaliações manuais, subjetivas e pouco escaláveis durante a escolha de modelos para especializações e aplicações corporativas. Foi explicado o uso de um LLM como juiz, que recebe respostas anônimas de dois modelos, aplica critérios previamente definidos — como qualidade, relevância, completude e diversidade — e produz notas, justificativas, médias ponderadas e um vencedor. O código conecta diferentes provedores por API, utiliza perguntas identificadas por IDs para garantir que os modelos recebam exatamente o mesmo contexto e permite adaptar prompts, modelos e critérios a outros cenários.

A discussão destacou a importância de anonimizar os modelos avaliados, controlar parâmetros como temperatura e tokens e definir claramente as regras de avaliação, embora isso não elimine completamente vieses, alucinações ou influências da base de treinamento do juiz. Também foram levantadas dúvidas sobre a origem do padrão LLM-as-a-Judge, a criação das perguntas e critérios, o possível viés introduzido por prompts gerados por outras IAs e a necessidade de usar dados e exemplos reais em benchmarks futuros. Como próximos passos, ficou prevista a disponibilização do repositório, a divulgação de materiais sobre seleção e uso responsável de modelos e um workshop sobre construção de agentes com n8n e LangGraph.

Gerado por IA a partir da transcrição.
Capítulos · 29
01:22
Abertura e apresentação da sessão
Assistir
02:44
Simulação de evolução e ajuste fino
Assistir
06:09
Contexto do Labs e da IA generativa
Assistir
07:31
Aplicações de IA por área da empresa
Assistir
10:08
Como escolher modelos de IA
Assistir
12:52
Apresentação do comparador de LLMs
Assistir
14:17
Início do Café com Código
Assistir
17:03
Objetivos e desafios do Learning Prototype
Assistir
22:40
Origem e conceito do LLM Judge
Assistir
26:57
Estrutura do código e integração com APIs
Assistir
31:20
Anonimização e comparação justa dos modelos
Assistir
36:03
Critérios de avaliação e redução de vieses
Assistir
38:56
Resultados do benchmark entre modelos
Assistir
40:19
Definição das qualidades esperadas
Assistir
42:09
Parâmetros e possíveis vieses na avaliação
Assistir
44:16
Origem dos prompts e dados de teste
Assistir
46:17
Configuração dos hiperparâmetros
Assistir
47:36
Critérios pessoais para escolher um modelo
Assistir
48:55
Plataformas de IA e acesso ao Prompt Hub
Assistir
50:38
Como são definidos os encontros do Labs
Assistir
52:23
Especialidades de Gemini, GPT e Copilot
Assistir
54:02
Workshop de n8n e construção de agentes
Assistir
56:11
Avaliação e comparação de vieses em modelos
Assistir
57:39
Como prompts e contexto reduzem vieses
Assistir
59:08
Guardrails, alucinações e seleção de modelos
Assistir
1:00:52
O papel do juiz na avaliação de IAs
Assistir
1:02:11
Destilação de modelos e transferência de conhecimento
Assistir
1:05:01
Fine-tuning, destilação e encerramento técnico
Assistir
1:06:32
Encerramento do Café com Código
Assistir
Cortes · 6
Por que comparar modelos de linguagem
Vinícius explica o contexto do Learning Prototype e a necessidade de automatizar a avaliação de diferentes LLMs. Ele apresenta o padrão de comparação baseado em um modelo avaliador, criado para reduzir a subjetividade humana, lidar com avaliações em escala e comparar respostas de forma padronizada.
17:03 – 26:50Assistir
Código para avaliar e comparar LLMs
A apresentação percorre a estrutura do código, incluindo a configuração dos modelos, o envio padronizado das perguntas e o uso de um modelo juiz. O avaliador recebe respostas anonimizadas, aplica critérios e pesos definidos previamente e gera notas, vencedores e estatísticas para o benchmark.
26:57 – 38:52Assistir
Como evitar vieses na avaliação de modelos
A discussão aborda como são definidos os critérios de qualidade e se perguntas, prompts e parâmetros podem favorecer um modelo específico. Os participantes destacam a importância de aplicar as mesmas condições aos modelos, anonimizar suas identidades e construir avaliações neutras, preferencialmente com dados e critérios representativos do uso real.
38:56 – 47:36Assistir
Workshop de agentes com n8n
É apresentado um workshop sobre construção de agentes usando n8n e LangGraph, com convite para os participantes conhecerem as ferramentas e prepararem o ambiente. Em seguida, um participante relata como criou no n8n um assistente de DBA capaz de gerar consultas SQL a partir das descrições das tabelas.
54:02 – 56:10Assistir
Como avaliar e reduzir vieses em IAs
Os participantes discutem como o viés é tratado na avaliação de modelos generativos e explicam estratégias como ocultar a identidade dos modelos, detalhar os prompts e fornecer mais contexto. A conversa também aborda os limites dessas técnicas, os filtros dos fornecedores, o treinamento com feedback humano e o risco de alucinações.
56:11 – 1:02:11Assistir
Imparcialidade dos juízes e destilação de modelos
A conversa explica por que um modelo usado como juiz precisa ser tão imparcial quanto possível e como modelos tendenciosos podem comprometer comparações. Depois, é definido o conceito de destilação: transferir conhecimento ou comportamento de um modelo professor para um modelo aluno, acelerando o treinamento a partir de pesos e respostas já produzidos.
1:02:11 – 1:06:35Assistir
Perguntas desta sessão
Como escolher o melhor modelo de linguagem para uma especialização ou implementação, considerando custo, desempenho e adequação ao serviço?
A escolha deve considerar o desempenho do modelo para o caso de uso, o custo por tokens de entrada e saída e a necessidade de limitar esses consumos. Também é importante avaliar se o modelo atende melhor a cada setor ou serviço, em vez de escolher apenas pelo preço.
10:50 – 13:10Assistir
Qual é a origem do padrão LLM as a Judge?
O padrão foi difundido na internet e criado para comparar diretamente diferentes modelos de linguagem. Sua origem exata não foi confirmada, mas ele parece ter sido desenvolvido de forma comunitária; foram mencionadas referências a iniciativas de avaliação surgidas por volta de 2021, como as associadas à OpenAI.
22:46 – 23:30Assistir
Por que as perguntas e os prompts recebem identificadores no comparativo entre dois modelos de linguagem?
Os identificadores garantem que as perguntas e o contexto sejam enviados aos dois modelos na mesma ordem e no mesmo momento, permitindo uma comparação justa e associando corretamente cada resposta à pergunta correspondente.
31:20 – 31:55Assistir
Como foram definidos os indicadores de qualidade esperada para avaliar as respostas dos modelos?
Os indicadores foram definidos manualmente com base no objetivo do teste e no tipo de resposta esperado. Para cada pergunta, o prompt especifica características desejadas, como uma resposta didática, permitindo avaliar se cada modelo atende ao padrão estabelecido.
38:56 – 40:19Assistir
Definir respostas esperadas para a avaliação pode introduzir viés a favor de um modelo de linguagem?
A definição de respostas esperadas cria uma expectativa, mas não favorece um modelo quando o mesmo prompt e os mesmos critérios são aplicados igualmente aos dois. O viés ocorre quando o modelo avaliador conhece a identidade de um modelo e tende a favorecer o próprio fornecedor.
40:19 – 42:08Assistir
As perguntas e o prompt de avaliação foram gerados por uma IA, e isso poderia influenciar o resultado do comparativo?
O prompt de julgamento foi construído no contexto de uma especialização em LLM e, segundo o apresentador, foi usado o Gemini como apoio, não um dos modelos comparados. Ainda assim, a recomendação é construir os critérios manualmente ou de forma neutra, pois a origem do prompt pode introduzir viés e deve ser considerada.
43:02 – 45:15Assistir
Quais parâmetros e hiperparâmetros foram utilizados para configurar os modelos no teste comparativo?
A configuração buscou ser igualitária: os modelos receberam o mesmo papel e as mesmas instruções, além de parâmetros equivalentes quando possível. Foram mencionados temperatura, predição e quantidade de tokens, com ajustes para manter condições comparáveis entre os modelos.
46:24 – 47:27Assistir
Como o comparativo entre modelos de linguagem tratou o risco de viés do modelo avaliador?
O teste seguiu o padrão de anonimizar os modelos como Model A e Model B, impedindo que o juiz soubesse quais fornecedores estavam sendo avaliados. Também foram usadas configurações e instruções para tornar a avaliação mais justa, mas não foi feita uma medição direta do viés; a estratégia principal foi reduzi-lo nos inputs e ocultar a identidade dos modelos.
56:15 – 56:58Assistir
Por que o modelo usado como juiz precisa ser imparcial na comparação entre modelos de linguagem?
O modelo juiz não deve ser escolhido sem considerar seus próprios vieses de treinamento, pois um modelo tendencioso pode avaliar os concorrentes de forma parcial. É necessário usar um juiz capaz de julgar adequadamente, reconhecendo que nenhum modelo é completamente neutro.
1:02:16 – 1:02:28Assistir
O que é destilação de modelos de linguagem?
Destilação é o processo de transferir o conhecimento de um modelo professor para outro modelo aluno, geralmente usando as respostas do modelo original para treinar o novo. Isso permite acelerar a criação de modelos aproveitando pesos e conhecimentos previamente calculados, podendo resultar em modelos menores ou especializados.
1:02:59 – 1:05:01Assistir