Avaliação de Roteadores de Modelos
Ir para notas que citam estaAvaliação de roteadores de modelos é medir quanta qualidade um roteador mantém a cada nível de gasto, numa curva de qualidade por custo, em vez de perguntar se ele acerta a rota.
A pergunta "o roteador acerta?" engana, porque não existe rota certa em abstrato: existe a rota suficiente para uma meta de qualidade definida. Por isso o gargalo do Roteamento de Modelos não é o roteador, é o conjunto de avaliação. Sem saber o que é bom o bastante para cada tipo de pedido, nenhuma rota pode ser julgada. Esse conjunto é, na prática, um benchmark próprio do caso de uso.
Como medir na prática
- Fixar uma meta, por exemplo 95% do desempenho do modelo forte no próprio conjunto de avaliação.
- Medir que fração das chamadas precisou ir ao modelo forte para atingir essa meta.
- Medir por classe de tarefa, porque a média esconde a cauda dos pedidos difíceis.
- Contar falhas, escaladas e retrabalho, fechando no Custo por Tarefa Concluída.
As métricas do RouteLLM
O RouteLLM (LMSYS, UC Berkeley e Anyscale, ICLR 2025) formalizou três métricas para roteamento entre um modelo forte e um fraco:
| Métrica | O que mede |
|---|---|
| PGR (Performance Gap Recovered) | Fração da diferença de desempenho entre o fraco e o forte que o roteador recupera |
| APGR | PGR médio ao longo de vários níveis de custo, a área sob a curva |
| CPT(x%) | Fração mínima de chamadas ao modelo forte para atingir x% do desempenho dele |
Treinado com preferências humanas do Chatbot Arena, hoje LM Arena, o RouteLLM reduziu o custo em relação a usar só o GPT-4, mantendo 95% do desempenho dele, em mais de 85% no MT Bench, 45% no MMLU e 35% no GSM8K. Com dados aumentados por juiz, bastaram 14% de chamadas ao GPT-4 para atingir 95% do desempenho dele no MT Bench. A variação entre benchmarks é o recado: o ganho depende do conjunto de tarefas.
Benchmark de agente de código não diz nada sobre atendimento ao cliente, e vice-versa. O número que vale é o do próprio conjunto de avaliação.