Pular para o conteúdo
LabS Atlas
Generative AI
Entrar
Sessões

Sessão de Bancada Benchmarks de Modelos de IA Generativa (2025-06-09)

9 jun 20251h 35min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão apresentou o conceito de benchmark como uma régua de referência para comparar modelos de IA generativa e benchmarking como o processo de aplicar essa régua. Foi discutida a evolução dos benchmarks, que passaram de avaliações de desempenho e tarefas específicas de linguagem para testes mais abrangentes de raciocínio, contexto, programação, geração de imagens, segurança e eficiência. Também foram apresentados exemplos como GLUE, SuperGLUE, SQuAD, GAIA, MMLU, HumanEval e plataformas como Hugging Face e LM Arena, destacando que cada uma mede capacidades diferentes e deve ser escolhida de acordo com o objetivo da aplicação.

O grupo concluiu que não existe um modelo universalmente melhor: a escolha deve considerar o domínio, a qualidade das respostas, custo, latência, segurança, privacidade, consumo de energia e adequação ao caso de uso. Também foram ressaltados os riscos de confiar cegamente em rankings, já que alguns modelos podem ser treinados especificamente para obter bons resultados em benchmarks, além de haver vieses na seleção dos dados e nas avaliações feitas por usuários. Uma demonstração prática aplicou testes de geração de código a um modelo, que obteve 40% de sucesso em uma amostra pequena, servindo como exemplo de como criar avaliações próprias.

Como pontos em aberto, ficou a proposta de ampliar os testes comparando modelos especializados em código e outras tarefas, usando métricas mais consistentes e conjuntos de dados maiores. Também foi explorado o uso de ferramentas para executar avaliações, comparar modelos locais e comerciais e criar avaliadores personalizados, mas parte da demonstração técnica apresentou problemas de formatação e não foi concluída. A sessão terminou com um quiz sobre o conteúdo, debates sobre ética, vieses e interpretação de métricas, além da recomendação de tratar benchmarks como apoio à decisão, e não como destino final.

Gerado por IA a partir da transcrição.
Capítulos · 52
00:23
Abertura e conversa sobre skate
Assistir
01:41
Skate, aprendizado e desafios pessoais
Assistir
03:00
Shapes e desafios acadêmicos da FIAP
Assistir
05:34
Apresentação da sessão e contexto da bancada
Assistir
06:51
Introdução ao tema: benchmarks de IA
Assistir
08:07
O Labs e suas bancadas de tecnologia
Assistir
09:22
Objetivos da bancada de IA generativa
Assistir
10:40
Agenda: métricas, experimentos e quiz
Assistir
11:59
O que é benchmark e benchmarking
Assistir
14:34
Evolução histórica dos benchmarks
Assistir
17:07
Critérios para avaliar modelos de IA
Assistir
18:23
Consequências da escolha do modelo errado
Assistir
19:42
Custos, segurança e alucinações
Assistir
22:13
Benchmarks de linguagem natural
Assistir
23:30
GLUE, SuperGLUE e SQuAD
Assistir
26:16
GAIA e avaliação de tarefas humanas
Assistir
27:33
MMLU e benchmarks de programação
Assistir
31:24
Plataformas públicas de avaliação
Assistir
32:41
Vieses e limitações dos benchmarks
Assistir
33:51
Modelos treinados para passar em benchmarks
Assistir
35:08
Apresentação da plataforma LM Arena
Assistir
36:27
Rankings e avaliações por usuários
Assistir
39:00
Confiabilidade das comparações na LM Arena
Assistir
40:19
Modelos multimodais e geração de imagens
Assistir
41:35
Interpretação de votos e estabilidade do ranking
Assistir
42:51
Farm de cliques e alternativas de comparação
Assistir
44:06
Comparação de modelos na LM Arena
Assistir
46:43
Como interpretar benchmarks e métricas
Assistir
48:01
Precisão, desempenho e velocidade
Assistir
49:20
Eficiência energética dos modelos
Assistir
51:50
Capacidade cognitiva e generalização
Assistir
53:07
Confiabilidade, ruído e variações linguísticas
Assistir
54:26
Ética e vieses na avaliação de IA
Assistir
56:55
Avaliação quantitativa e combinação de métricas
Assistir
58:10
Demonstração prática de um benchmark
Assistir
1:00:44
Resultados do benchmark com GPT-4
Assistir
1:02:00
Escolha de modelos por tarefa, custo e desempenho
Assistir
1:03:17
Como usar benchmarks na seleção de modelos
Assistir
1:04:37
Quiz sobre benchmarks e modelos de IA
Assistir
1:15:58
Importância dos dados de treinamento do modelo
Assistir
1:17:14
Demonstração do plugin Microsoft AI Toolkit
Assistir
1:19:48
Playground para comparar modelos
Assistir
1:21:04
Parâmetros, tokens e avaliação de respostas
Assistir
1:23:37
MCP e pipelines com agentes de IA
Assistir
1:24:54
Avaliação simples de respostas com ground truth
Assistir
1:26:10
Criando uma avaliação de precisão
Assistir
1:27:26
Métricas, escalas e seleção de réguas
Assistir
1:28:42
Problemas com datasets e formatação JSON
Assistir
1:29:58
Avaliação por similaridade e criação de benchmarks
Assistir
1:31:13
Fine-tuning, variações de entrada e respostas esperadas
Assistir
1:32:26
Aprendizado colaborativo e evolução do material
Assistir
1:33:43
Encerramento e próximos encontros
Assistir
Cortes · 12
O que são benchmarks de IA
A sessão apresenta o contexto da bancada de IA generativa e explica o objetivo de estudar benchmarks. O benchmark é definido como uma régua de referência, enquanto benchmarking é o processo de medir e comparar o desempenho de modelos para escolher a melhor opção em cada uso.
10:40 – 14:34Assistir
A evolução dos benchmarks
O trecho acompanha a evolução histórica dos benchmarks, desde avaliações iniciais de desempenho até testes de linguagem, imagem, raciocínio e múltiplas tarefas. A ideia central é que a régua dos benchmarks precisou subir à medida que os modelos de IA ficaram mais capazes.
14:34 – 17:07Assistir
Como escolher o modelo de IA certo
A apresentação mostra quais capacidades devem ser avaliadas em um modelo, como compreensão de prompts, análise de dados, integração e geração de conteúdo. Também são discutidos os impactos de uma escolha inadequada, incluindo custos maiores, desempenho inconsistente, falhas de segurança, exposição de dados e alucinações.
17:07 – 23:30Assistir
Principais benchmarks para avaliar modelos
Os participantes apresentam benchmarks como GLUE, SuperGLUE, SQuAD, BIG-bench, MMLU e HumanEval, explicando que cada um mede capacidades diferentes, como compreensão textual, raciocínio, conhecimento acadêmico e geração de código. O trecho também aborda a dificuldade de comparar modelos com tarefas simples para humanos, mas desafiadoras para máquinas.
23:30 – 31:24Assistir
Plataformas públicas e vieses de avaliação
O trecho apresenta o Hugging Face como uma plataforma pública para consultar e comparar modelos em diferentes tarefas. Também alerta que rankings podem ser parciais, especialmente quando são produzidos pelos próprios fornecedores ou quando os modelos são treinados especificamente para obter bons resultados em determinados benchmarks.
31:24 – 35:08Assistir
Como funciona a LM Arena
A LM Arena é demonstrada como uma plataforma de comparação entre modelos, com avaliações anônimas ou escolhidas diretamente pelo usuário. São mostrados rankings para texto, código e visão, além das diferenças entre uma avaliação prática baseada em preferências e benchmarks científicos mais controlados.
35:08 – 39:00Assistir
Interpretando rankings e número de votos
Os participantes discutem como interpretar os rankings da LM Arena, considerando pontuação média, quantidade de votos, estabilidade estatística e possíveis oscilações. O trecho também aborda limitações como amostras pequenas, manipulação por cliques e a necessidade de testar os modelos diretamente no contexto real de uso.
39:00 – 44:07Assistir
Como interpretar métricas de benchmarks
A apresentação explica que benchmarks podem avaliar diferentes categorias, como precisão, desempenho, velocidade, custo e eficiência energética. Também são discutidas métricas de robustez, incluindo a capacidade do modelo de interpretar erros de digitação, variações linguísticas e diferentes formas de escrita.
46:43 – 54:26Assistir
Ética e vieses na avaliação de modelos
O grupo debate como avaliar ética em modelos de IA considerando diferenças culturais entre países e os próprios vieses dos avaliadores. O trecho aborda a necessidade de definir critérios objetivos e de analisar as respostas do modelo sem impor automaticamente valores pessoais.
54:26 – 56:56Assistir
Demonstração prática de um benchmark
É apresentado um benchmark desenvolvido a partir de uma base de testes, com prompts e métricas para avaliar aplicações de modelos. Na demonstração, o GPT-4 executa cinco testes de geração de código, obtém dois resultados positivos e alcança uma taxa de sucesso de 40%, ressaltando que a amostra é apenas ilustrativa.
58:10 – 1:02:00Assistir
Comparando modelos em um playground
A demonstração mostra uma ferramenta que permite conectar modelos de diferentes plataformas, inclusive modelos locais, e compará-los em um playground. O grupo observa respostas geradas, quantidade de tokens, número de parâmetros e possibilidades de avaliação, destacando que um modelo menor pode ser suficiente quando atende ao objetivo da tarefa.
1:18:33 – 1:23:37Assistir
Como criar e interpretar avaliações de modelos
A sessão mostra como criar uma avaliação comparando a resposta de um modelo com uma resposta esperada, usando dados de teste e métricas como precisão e similaridade. Também são discutidas as diferentes escalas de avaliação, os problemas causados por formatos JSON inválidos e a importância de escolher a régua adequada ao objetivo do teste. Ao final, o conteúdo relaciona benchmarks e avaliações à preparação de dados para fine-tuning.
1:24:54 – 1:32:28Assistir
Perguntas desta sessão
O que é um benchmark e como ele se diferencia de benchmarking?
Benchmark é um padrão ou ponto de referência usado como régua para comparar desempenhos. Benchmarking é o processo de aplicar esse padrão para medir e comparar o desempenho de modelos ou sistemas.
13:03 – 13:51Assistir
O que se deve esperar de um modelo de IA e por que os benchmarks são importantes nesse contexto?
Espera-se que o modelo compreenda os prompts, analise os dados fornecidos, execute tarefas e se integre às aplicações. Os benchmarks ajudam a identificar qual modelo se adapta melhor a cada contexto, já que os modelos têm especialidades diferentes em tarefas como geração de imagens, compreensão de linguagem e processamento de dados.
17:17 – 18:48Assistir
Quais são as consequências de escolher um modelo de IA inadequado?
A escolha inadequada pode causar custos maiores, desempenho inconsistente, alucinações, falhas de segurança, exposição de dados, baixa qualidade ou irrelevância das respostas, retrabalho e impactos negativos na imagem da empresa ou do serviço. Benchmarks de segurança, exposição de dados e alucinações ajudam a reduzir esses riscos.
18:53 – 22:33Assistir
O que o benchmark SuperGLUE avalia?
O SuperGLUE amplia a avaliação de linguagem natural para tarefas que exigem raciocínio mais sofisticado, análises linguísticas e compreensão de leitura e contexto.
23:44 – 24:15Assistir
Como funciona a avaliação do benchmark SQuAD?
O SQuAD usa textos baseados em artigos da Wikipédia e avalia se o modelo consegue extrair a informação correta e produzir uma resposta adequada ao contexto apresentado. Entre as métricas estão a exatidão da resposta e uma média harmônica relacionada à precisão e à sobreposição de tokens.
24:25 – 25:09Assistir
Como interpretar as regras e as métricas de um benchmark de modelos de IA?
A interpretação depende do comparativo e do objetivo do teste. É preciso observar quais categorias foram avaliadas, pois os benchmarks podem medir aspectos diferentes, como precisão, desempenho em tarefas, acurácia, perplexidade e métricas específicas para imagens. Nenhum benchmark avalia necessariamente todos esses aspectos ao mesmo tempo.
47:14 – 48:14Assistir
Qual deve ser o escopo de uma comparação entre modelos de IA?
O escopo deve considerar o contexto de uso e pode envolver diferentes tipos de teste, incluindo variações na forma de escrever, no perfil do usuário e no tipo de tarefa. A comparação também pode avaliar métricas como eficiência energética, consumo de energia no treinamento e gasto por requisição ou inferência, permitindo relacionar desempenho, velocidade, custo e impacto ambiental.
49:06 – 50:35Assistir
Como os benchmarks avaliam se um modelo interpreta perguntas com erros de português ou variações regionais de escrita?
Os benchmarks podem testar a robustez linguística do modelo usando perguntas com erros ortográficos, palavras incompletas e diferentes formas regionais de expressão. A avaliação verifica se o modelo consegue interpretar corretamente o sentido, considerando também métricas semânticas e outras medidas além da precisão.
53:49 – 54:41Assistir
Como foi feito o comparativo de modelos usando um benchmark de geração de código?
Foi desenvolvido um código que executa testes do benchmark sobre um modelo, usando prompts e verificando se o código gerado é compatível com o resultado esperado. Na demonstração, cinco testes foram aplicados ao GPT-4; dois passaram, resultando em 40% de sucesso. O resultado é apenas ilustrativo, pois os testes foram selecionados aleatoriamente e o modelo não era especializado em programação.
1:01:24 – 1:01:57Assistir
O que é um benchmark de inteligência artificial?
É um conjunto de dados, tarefas ou testes usado como ponto de referência para comparar e medir o desempenho de modelos de IA em um ambiente de avaliação.
1:09:08 – 1:09:27Assistir
Quais são as consequências de escolher incorretamente um modelo de inteligência artificial?
A escolha inadequada pode gerar custos desnecessários, falhas de segurança ou exposição de dados, desempenho abaixo do esperado e respostas inconsistentes ou pouco confiáveis.
1:10:36 – 1:10:50Assistir
O que é possível fazer com o plug-in AI Kit da Microsoft para comparar modelos de IA?
O plug-in permite conectar contas e chaves de diferentes plataformas, adicionar modelos como OpenAI, Gemini e modelos locais, testar conversas e comparar as respostas geradas por esses modelos.
1:18:13 – 1:18:49Assistir
É possível adicionar e usar modelos locais no AI Kit?
Sim. O AI Kit permite incluir modelos locais disponíveis no catálogo e usá-los para conversas e testes comparativos, embora o suporte possa variar conforme a ferramenta e o modelo.
1:18:53 – 1:19:03Assistir
Como interpretar o valor apresentado por uma métrica de benchmark?
É necessário entender a escala específica da métrica, pois os valores podem ter significados diferentes — por exemplo, uma escala de 0 a 5 não equivale a uma escala de 0 a 1. A régua deve ser escolhida de acordo com o objetivo da avaliação.
1:28:13 – 1:29:01Assistir
Por que o conjunto de dados usado na avaliação do modelo ficou incompleto ou foi quebrado?
O conjunto de dados foi aberto ou processado em um formato inadequado, como JSON, o que provocou a quebra do arquivo e impediu a conversão correta durante a execução dos testes.
1:29:16 – 1:29:30Assistir