Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Roteamento de Modelos

Ir para notas que citam esta
atualizado há 4 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Roteamento de modelos é a função que olha cada pedido e decide qual modelo, ou qual combinação de modelos, vai atendê-lo, trocando a escolha de modelo por projeto pela escolha por pedido.

Ele resolve um dilema de toda aplicação generativa com volume. A maior parte dos pedidos é simples e repetida, e só uma fração pede raciocínio de verdade, enquanto o preço entre camadas de modelo chega a variar de 10 a 100 vezes. Mandar tudo para o modelo de fronteira desperdiça dinheiro; mandar tudo para o modelo pequeno desperdiça qualidade onde ela importa. O alvo não é o melhor modelo, é o modelo suficiente para cada pedido: a Escolha do Modelo de IA feita em tempo de execução.

Três famílias de roteamento

FamíliaComo decideGanhoCustoAnalogia
Antes da chamadaRegra ou classificador escolhe um modelo antes de gerarCusto extra mínimo, baixa latênciaRota errada não tem segunda chanceTriagem de pronto-socorro
CascataO modelo barato responde e uma função de aceitação aprova ou escalaDecide sobre a resposta realPaga duas vezes nos pedidos que sobemService desk N1, N2, N3
ComposiçãoVários modelos no mesmo pedido: crítica, voto ou planejador e executorPode superar qualquer modelo isoladoMais chamadas por pedidoEstagiário escreve, sênior revisa

O roteador antes da chamada costuma ser regra simples ou classificador pequeno, não um LLM esperto; o Decisor na Frente do LLM é um exemplo. A cascata está detalhada em Cascata de Modelos. A composição por crítica é parente do par avaliador-otimizador dos Padrões de Orquestração de Agentes.

Custos escondidos do roteamento

  • O cache de prompt é por modelo: trocar no meio de uma conversa longa descarta o prefixo em cache, e em sessões longas rotear pode sair mais caro que ficar num modelo só.
  • Tom, tamanho e jeito de chamar ferramentas mudam entre modelos, e o usuário percebe.
  • Cada atualização de qualquer modelo do cardápio exige reavaliar o roteador.
  • É preciso registrar qual modelo respondeu cada pedido, para auditoria.
  • A rota também obedece política: dado sensível fica em modelo local ou self-hosted.

Roteamento não compensa com volume baixo, quando o modelo pequeno já atinge a meta em tudo, ou quando voz consistente é requisito duro. Também não é ideia nova: cascatas de classificadores existem há décadas. O que mudou foi a largura do cardápio de modelos e o roteador vendido como produto, como o GitHub Copilot Fusion.

O gargalo é a avaliação

Sem definir o que é bom o bastante para cada tipo de pedido, não existe rota boa. Como medir está em Avaliação de Roteadores de Modelos.