Principais Benchmarks de IA
Ir para notas que citam estaPrincipais benchmarks de IA são os testes mais citados para modelos de linguagem e código: GLUE, SuperGLUE, SQuAD, GAIA, MMLU e HumanEval, cada um medindo uma capacidade.
Conhecer o que cada um mede é o que permite ler uma tabela comparativa sem ser enganado por ela. Um modelo no topo do MMLU mostrou conhecimento acadêmico amplo, não necessariamente que gera bom código; um bom resultado no HumanEval diz pouco sobre compreensão de leitura. O conceito geral, as categorias de métricas e os limites de qualquer benchmark estão em Benchmark de Modelos de IA.
| Benchmark | O que mede | Marco |
|---|---|---|
| GLUE | Tarefas básicas de compreensão de linguagem natural | 2018 |
| SuperGLUE | Raciocínio mais sofisticado e compreensão de leitura | Sucessor do GLUE |
| SQuAD | Extração de resposta a partir de um trecho de texto | Base em artigos da Wikipédia |
| GAIA | Tarefas simples para humanos e difíceis para máquinas | 300 questões no leaderboard público |
| MMLU | Conhecimento multidisciplinar | Mais de 15.000 questões em 57 disciplinas |
| HumanEval | Geração de código funcional | 164 problemas de programação |
GLUE e SuperGLUE: compreensão de linguagem
O GLUE (General Language Understanding Evaluation), de 2018, estabeleceu os padrões iniciais para avaliar modelos de processamento de linguagem natural. Reúne tarefas distintas: análise de sentimento, paráfrase (similaridade entre frases), inferência textual e alguma análise gramatical, limitada para os padrões atuais. Ainda pode ser usado, mas foi superado em dificuldade.
O SuperGLUE é seu sucessor direto, criado quando os modelos já tinham esgotado a capacidade de teste do GLUE. Foca em raciocínio mais complexo, nuances linguísticas e compreensão de leitura, verificando se o modelo entende o contexto de um texto fornecido.
SQuAD: compreensão de leitura
O SQuAD (Stanford Question Answering Dataset) entrega ao modelo uma passagem de artigo da Wikipédia e uma pergunta sobre ela, e avalia se a resposta extraída está correta e adequada ao contexto. Usa duas métricas: exact match, o percentual de respostas exatamente corretas, e F1 score, que combina precisão e cobertura sobre os tokens da resposta esperada numa média harmônica. A base real de textos o tornou uma das referências mais importantes para leitura em PLN.
GAIA: o que é simples para humanos
O GAIA vai na direção contrária do GLUE e do SuperGLUE: em vez de tarefas cada vez mais sofisticadas, testa o que é trivial para uma pessoa e desafiador para uma máquina. Isso inclui entender um prompt com erros grosseiros de português ou de concordância e fazer julgamentos de moral e ética que seriam naturais para um humano. É público e mantém um leaderboard de 300 questões.
MMLU e HumanEval: conhecimento geral e código
O MMLU (Massive Multitask Language Understanding) avalia o lado acadêmico do modelo, com mais de 15.000 questões em 57 disciplinas, como física e matemática. Mede conhecimento amplo, não uma habilidade específica.
O HumanEval traz 164 problemas de programação, disponíveis publicamente. Cada problema vira um prompt, o modelo gera o código e o resultado é executado contra testes que verificam se o comportamento é o esperado.
Modelos de chat costumam devolver código dentro de blocos de markdown, o que faz os testes do HumanEval falharem por formato, não por lógica. É preciso ajustar o prompt para pedir só o código.
Um teste reduzido ilustra os limites de amostra: rodando 5 dos 164 problemas, escolhidos aleatoriamente, contra o GPT-4, 2 passaram, uma taxa de 40%. Com amostra tão pequena, o número serve só para mostrar o mecanismo, não como medida. O passo natural é repetir o teste completo com um modelo especializado em código e comparar ganho de acerto, custo e velocidade, combinando mais de uma métrica, como pede a Escolha do Modelo de IA.