Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Principais Benchmarks de IA

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Principais benchmarks de IA são os testes mais citados para modelos de linguagem e código: GLUE, SuperGLUE, SQuAD, GAIA, MMLU e HumanEval, cada um medindo uma capacidade.

Conhecer o que cada um mede é o que permite ler uma tabela comparativa sem ser enganado por ela. Um modelo no topo do MMLU mostrou conhecimento acadêmico amplo, não necessariamente que gera bom código; um bom resultado no HumanEval diz pouco sobre compreensão de leitura. O conceito geral, as categorias de métricas e os limites de qualquer benchmark estão em Benchmark de Modelos de IA.

BenchmarkO que medeMarco
GLUETarefas básicas de compreensão de linguagem natural2018
SuperGLUERaciocínio mais sofisticado e compreensão de leituraSucessor do GLUE
SQuADExtração de resposta a partir de um trecho de textoBase em artigos da Wikipédia
GAIATarefas simples para humanos e difíceis para máquinas300 questões no leaderboard público
MMLUConhecimento multidisciplinarMais de 15.000 questões em 57 disciplinas
HumanEvalGeração de código funcional164 problemas de programação

GLUE e SuperGLUE: compreensão de linguagem

O GLUE (General Language Understanding Evaluation), de 2018, estabeleceu os padrões iniciais para avaliar modelos de processamento de linguagem natural. Reúne tarefas distintas: análise de sentimento, paráfrase (similaridade entre frases), inferência textual e alguma análise gramatical, limitada para os padrões atuais. Ainda pode ser usado, mas foi superado em dificuldade.

O SuperGLUE é seu sucessor direto, criado quando os modelos já tinham esgotado a capacidade de teste do GLUE. Foca em raciocínio mais complexo, nuances linguísticas e compreensão de leitura, verificando se o modelo entende o contexto de um texto fornecido.

SQuAD: compreensão de leitura

O SQuAD (Stanford Question Answering Dataset) entrega ao modelo uma passagem de artigo da Wikipédia e uma pergunta sobre ela, e avalia se a resposta extraída está correta e adequada ao contexto. Usa duas métricas: exact match, o percentual de respostas exatamente corretas, e F1 score, que combina precisão e cobertura sobre os tokens da resposta esperada numa média harmônica. A base real de textos o tornou uma das referências mais importantes para leitura em PLN.

GAIA: o que é simples para humanos

O GAIA vai na direção contrária do GLUE e do SuperGLUE: em vez de tarefas cada vez mais sofisticadas, testa o que é trivial para uma pessoa e desafiador para uma máquina. Isso inclui entender um prompt com erros grosseiros de português ou de concordância e fazer julgamentos de moral e ética que seriam naturais para um humano. É público e mantém um leaderboard de 300 questões.

MMLU e HumanEval: conhecimento geral e código

O MMLU (Massive Multitask Language Understanding) avalia o lado acadêmico do modelo, com mais de 15.000 questões em 57 disciplinas, como física e matemática. Mede conhecimento amplo, não uma habilidade específica.

O HumanEval traz 164 problemas de programação, disponíveis publicamente. Cada problema vira um prompt, o modelo gera o código e o resultado é executado contra testes que verificam se o comportamento é o esperado.

Cuidado com a formatação da saída

Modelos de chat costumam devolver código dentro de blocos de markdown, o que faz os testes do HumanEval falharem por formato, não por lógica. É preciso ajustar o prompt para pedir só o código.

Um teste reduzido ilustra os limites de amostra: rodando 5 dos 164 problemas, escolhidos aleatoriamente, contra o GPT-4, 2 passaram, uma taxa de 40%. Com amostra tão pequena, o número serve só para mostrar o mecanismo, não como medida. O passo natural é repetir o teste completo com um modelo especializado em código e comparar ganho de acerto, custo e velocidade, combinando mais de uma métrica, como pede a Escolha do Modelo de IA.