Sessão de Bancada Benchmarks de Modelos de IA Generativa (2025-06-09)
Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.
O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.
Notas citadas nas anotações desta sessão.
A sessão apresentou o conceito de benchmark como uma régua de referência para comparar modelos de IA generativa e benchmarking como o processo de aplicar essa régua. Foi discutida a evolução dos benchmarks, que passaram de avaliações de desempenho e tarefas específicas de linguagem para testes mais abrangentes de raciocínio, contexto, programação, geração de imagens, segurança e eficiência. Também foram apresentados exemplos como GLUE, SuperGLUE, SQuAD, GAIA, MMLU, HumanEval e plataformas como Hugging Face e LM Arena, destacando que cada uma mede capacidades diferentes e deve ser escolhida de acordo com o objetivo da aplicação.
O grupo concluiu que não existe um modelo universalmente melhor: a escolha deve considerar o domínio, a qualidade das respostas, custo, latência, segurança, privacidade, consumo de energia e adequação ao caso de uso. Também foram ressaltados os riscos de confiar cegamente em rankings, já que alguns modelos podem ser treinados especificamente para obter bons resultados em benchmarks, além de haver vieses na seleção dos dados e nas avaliações feitas por usuários. Uma demonstração prática aplicou testes de geração de código a um modelo, que obteve 40% de sucesso em uma amostra pequena, servindo como exemplo de como criar avaliações próprias.
Como pontos em aberto, ficou a proposta de ampliar os testes comparando modelos especializados em código e outras tarefas, usando métricas mais consistentes e conjuntos de dados maiores. Também foi explorado o uso de ferramentas para executar avaliações, comparar modelos locais e comerciais e criar avaliadores personalizados, mas parte da demonstração técnica apresentou problemas de formatação e não foi concluída. A sessão terminou com um quiz sobre o conteúdo, debates sobre ética, vieses e interpretação de métricas, além da recomendação de tratar benchmarks como apoio à decisão, e não como destino final.