Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

LM Arena

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

LM Arena é uma plataforma web gratuita que compara modelos de linguagem lado a lado, enviando o mesmo prompt a modelos anônimos e montando rankings por categoria com os votos dos usuários.

A ferramenta serve à escolha do modelo quando é preciso decidir entre candidatos com base em respostas reais, e não só em números publicados. Como roda no navegador e não exige instalação nem configuração, permite testar modelos grandes, com muitos parâmetros, que seriam inviáveis de rodar localmente. Também elimina um viés comum de comparação: ao usar a própria conta num assistente, o modelo já tem memória das conversas anteriores e adapta a resposta ao usuário, o que distorce o teste.

Modos de comparação

  • Battle: dois modelos anônimos respondem ao mesmo prompt; o usuário escolhe a melhor resposta, marca empate ou indica que ambas foram ruins, e só depois descobre quais modelos eram. É o teste às cegas, mais isento.
  • Side-by-side: o usuário escolhe diretamente os dois modelos que quer confrontar, por exemplo o que já usa no dia a dia contra um candidato a substituí-lo.
  • Chat direto: conversa com um único modelo escolhido.

Um fluxo útil combina os dois primeiros: começar às cegas para descobrir modelos que talvez não estivessem no radar e depois colocar lado a lado os candidatos viáveis para a solução. Incorporar à comparação o prompt e os critérios definidos na especialização torna a avaliação mais direcionada.

Como o ranking é formado

As escolhas feitas no modo battle alimentam leaderboards separados por tipo de tarefa, como texto, visão e geração de código para web. O placar de cada modelo é uma média das avaliações recebidas, não uma soma. Por isso um modelo recém-lançado, com poucos votos, pode aparecer empatado ou até à frente de outro com dezenas de milhares de votos, e sua posição tende a se estabilizar numa faixa estreita quando o volume chega aos milhares.

Limites de confiabilidade

Ranking popular não é veredito

Por depender de votos de usuários, o ranking está sujeito a manipulação, e há a preocupação de modelos serem ajustados para ir bem justamente nesse tipo de avaliação, o mesmo problema dos benchmarks tradicionais.

Na prática isso aparece quando um modelo pouco conhecido no mercado aparece bem avaliado numa batalha e figura com frequência em benchmarks, mas não tem adoção nem suporte fácil de integrar numa solução real. Vencer um confronto não significa ser a melhor opção para o projeto. Além disso, a avaliação de cada resposta é subjetiva: a melhor depende do nível de detalhe esperado para aquela pergunta, o que reforça a importância de ter as habilidades especiais da especialização definidas antes do teste. Como em todo serviço gratuito, os prompts e votos enviados também viram dado para a própria plataforma.

Exemplo com um analisador de vulnerabilidades

Para uma especialização voltada a analisar vulnerabilidades de código em Java, o prompt pedia por onde começar a análise. No modo battle, uma resposta organizou o processo a partir das dependências, com uma lista prática de primeiros passos; a outra detalhou os tipos de vulnerabilidade. A lista objetiva foi a preferida para aquele nível de pergunta. Em seguida, no modo side-by-side, Gemini 3 Pro e Claude Sonnet foram confrontados no mesmo caso: o Claude entregou seis pontos enxutos, o Gemini explicou cada item com mais profundidade.