Benchmark de Modelos de IA
Ir para notas que citam estaBenchmark de modelos de IA é o padrão de referência para comparar modelos com testes padronizados; benchmarking é o processo de aplicar esse padrão e medir o desempenho.
O benchmark é a régua fixa; o benchmarking é usar a régua. Com muitos modelos de fornecedores diferentes e lançamentos frequentes, é preciso entender a capacidade real de cada um e onde ele se aplica melhor, já que nenhum é bom em tudo. Os benchmarks mais citados, com o que cada um mede, estão em Principais Benchmarks de IA; o uso deles para decidir entre candidatos está em Escolha do Modelo de IA.
Como os benchmarks evoluíram com os modelos
Os primeiros marcos, por volta de 2017, mediam desempenho computacional, nos primeiros passos do aprendizado profundo. Em 2018 surgiu o GLUE, focado em tarefas de processamento de linguagem natural como análise de sentimento e compreensão semântica. Depois veio o SuperGLUE, com raciocínio mais sofisticado e maior compreensão de contexto, e por volta de 2022 surgiram avaliações multitarefa, mais holísticas, que analisam várias dimensões de um modelo ao mesmo tempo.
A evolução dos benchmarks espelha a evolução da própria IA: quando os modelos sobem de patamar, a régua precisa subir junto para continuar conseguindo diferenciá-los.
Categorias de métricas
Nem todo benchmark avalia tudo, e nem toda categoria interessa a todo modelo: imagem, texto e código pedem réguas diferentes.
- Desempenho em tarefas: F1 score e exact match (usados no SQuAD), perplexity e métricas próprias para avaliação de imagem.
- Velocidade: tempo de processamento, velocidade de geração de tokens, tempo de resposta e tempo para retreinar o modelo. O comparador do Amazon Bedrock mostra tokens de entrada e saída, tempo e custo lado a lado.
- Eficiência energética: energia total consumida no treino, energia por requisição ou inferência e emissão de CO2 associada.
- Capacidade cognitiva geral: se o modelo responde bem fora do escopo em que foi treinado, por exemplo em português tendo sido treinado majoritariamente em inglês.
- Robustez e confiabilidade: sensibilidade a ruído, como erros de digitação, erros gramaticais e formas regionais de escrever, verificando se a intenção do usuário ainda é entendida.
- Ética: a mais difícil de objetivar. O que é aceitável num país pode não ser em outro, e o avaliador precisa definir um critério explícito em vez de julgar pelos próprios valores, porque um viés internalizado passa despercebido.
Ler o número exige conhecer a escala da métrica. Um valor abaixo de 1 significa uma coisa numa métrica de 0 a 1 e outra numa de 0 a 5.
Limites e vieses dos benchmarks
Um modelo pode ser treinado especificamente para pontuar bem em certos benchmarks, como o aluno que decora as respostas. A nota sobe sem que a capacidade real acompanhe.
Benchmarks divulgados pelo próprio fornecedor tendem a destacar as métricas em que o modelo vai bem e, muitas vezes, comparam o modelo só com as versões anteriores dele mesmo. Fontes mais isentas são os leaderboards públicos do Hugging Face, que também funciona como repositório onde os criadores publicam modelos com suas métricas, e os artigos científicos no arXiv, que descrevem a técnica, o conjunto de dados e o problema que o benchmark tenta resolver. Rankings por voto popular, como o LM Arena, trazem uma visão prática, mas estão sujeitos a manipulação.
Pontuação alta num teste teórico também não garante desempenho numa tarefa prática equivalente: um modelo excelente em cálculo orbital teórico pode não conseguir tirar um foguete da atmosfera num jogo de simulação espacial.
Benchmark próprio para o caso de uso
Como resposta a esses limites, faz sentido montar um benchmark pequeno e próprio para os usos concretos, como geração de código ou de imagem, com as perguntas reais do domínio. A forma mais simples compara a resposta do modelo com uma resposta esperada (ground truth) e calcula uma métrica de similaridade. Outra é delegar o julgamento a um modelo avaliador, a abordagem do LLM as a Judge, definindo a regra de avaliação e a justificativa de cada critério. Como cada modelo é uma caixa preta, esse teste diz mais que a posição num ranking genérico.