Roteamento de Modelos
Ir para notas que citam estaRoteamento de modelos é a função que olha cada pedido e decide qual modelo, ou qual combinação de modelos, vai atendê-lo, trocando a escolha de modelo por projeto pela escolha por pedido.
Ele resolve um dilema de toda aplicação generativa com volume. A maior parte dos pedidos é simples e repetida, e só uma fração pede raciocínio de verdade, enquanto o preço entre camadas de modelo chega a variar de 10 a 100 vezes. Mandar tudo para o modelo de fronteira desperdiça dinheiro; mandar tudo para o modelo pequeno desperdiça qualidade onde ela importa. O alvo não é o melhor modelo, é o modelo suficiente para cada pedido: a Escolha do Modelo de IA feita em tempo de execução.
Três famílias de roteamento
| Família | Como decide | Ganho | Custo | Analogia |
|---|---|---|---|---|
| Antes da chamada | Regra ou classificador escolhe um modelo antes de gerar | Custo extra mínimo, baixa latência | Rota errada não tem segunda chance | Triagem de pronto-socorro |
| Cascata | O modelo barato responde e uma função de aceitação aprova ou escala | Decide sobre a resposta real | Paga duas vezes nos pedidos que sobem | Service desk N1, N2, N3 |
| Composição | Vários modelos no mesmo pedido: crítica, voto ou planejador e executor | Pode superar qualquer modelo isolado | Mais chamadas por pedido | Estagiário escreve, sênior revisa |
O roteador antes da chamada costuma ser regra simples ou classificador pequeno, não um LLM esperto; o Decisor na Frente do LLM é um exemplo. A cascata está detalhada em Cascata de Modelos. A composição por crítica é parente do par avaliador-otimizador dos Padrões de Orquestração de Agentes.
Custos escondidos do roteamento
- O cache de prompt é por modelo: trocar no meio de uma conversa longa descarta o prefixo em cache, e em sessões longas rotear pode sair mais caro que ficar num modelo só.
- Tom, tamanho e jeito de chamar ferramentas mudam entre modelos, e o usuário percebe.
- Cada atualização de qualquer modelo do cardápio exige reavaliar o roteador.
- É preciso registrar qual modelo respondeu cada pedido, para auditoria.
- A rota também obedece política: dado sensível fica em modelo local ou self-hosted.
Roteamento não compensa com volume baixo, quando o modelo pequeno já atinge a meta em tudo, ou quando voz consistente é requisito duro. Também não é ideia nova: cascatas de classificadores existem há décadas. O que mudou foi a largura do cardápio de modelos e o roteador vendido como produto, como o GitHub Copilot Fusion.
Sem definir o que é bom o bastante para cada tipo de pedido, não existe rota boa. Como medir está em Avaliação de Roteadores de Modelos.