Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Avaliação de Roteadores de Modelos

Ir para notas que citam esta
atualizado há 4 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Avaliação de roteadores de modelos é medir quanta qualidade um roteador mantém a cada nível de gasto, numa curva de qualidade por custo, em vez de perguntar se ele acerta a rota.

A pergunta "o roteador acerta?" engana, porque não existe rota certa em abstrato: existe a rota suficiente para uma meta de qualidade definida. Por isso o gargalo do Roteamento de Modelos não é o roteador, é o conjunto de avaliação. Sem saber o que é bom o bastante para cada tipo de pedido, nenhuma rota pode ser julgada. Esse conjunto é, na prática, um benchmark próprio do caso de uso.

Como medir na prática

  • Fixar uma meta, por exemplo 95% do desempenho do modelo forte no próprio conjunto de avaliação.
  • Medir que fração das chamadas precisou ir ao modelo forte para atingir essa meta.
  • Medir por classe de tarefa, porque a média esconde a cauda dos pedidos difíceis.
  • Contar falhas, escaladas e retrabalho, fechando no Custo por Tarefa Concluída.

As métricas do RouteLLM

O RouteLLM (LMSYS, UC Berkeley e Anyscale, ICLR 2025) formalizou três métricas para roteamento entre um modelo forte e um fraco:

MétricaO que mede
PGR (Performance Gap Recovered)Fração da diferença de desempenho entre o fraco e o forte que o roteador recupera
APGRPGR médio ao longo de vários níveis de custo, a área sob a curva
CPT(x%)Fração mínima de chamadas ao modelo forte para atingir x% do desempenho dele

Treinado com preferências humanas do Chatbot Arena, hoje LM Arena, o RouteLLM reduziu o custo em relação a usar só o GPT-4, mantendo 95% do desempenho dele, em mais de 85% no MT Bench, 45% no MMLU e 35% no GSM8K. Com dados aumentados por juiz, bastaram 14% de chamadas ao GPT-4 para atingir 95% do desempenho dele no MT Bench. A variação entre benchmarks é o recado: o ganho depende do conjunto de tarefas.

Número de fornecedor não é economia garantida

Benchmark de agente de código não diz nada sobre atendimento ao cliente, e vice-versa. O número que vale é o do próprio conjunto de avaliação.