Cascata de Modelos
Ir para notas que citam estaCascata de modelos é o roteamento em que um modelo barato responde primeiro, uma função de aceitação decide se a resposta serve, e só o que não serve sobe para um modelo mais forte.
É uma das três famílias de Roteamento de Modelos. A vantagem sobre o roteamento antes da chamada é decidir olhando a resposta real, não só o pedido. O preço aparece nos pedidos que escalam: eles pagam duas chamadas e somam a latência das duas. A cascata compensa quando a maioria dos pedidos para no primeiro degrau, como num service desk em que o nível 1 resolve o grosso e só escala o que não consegue.
O sinal de aceitação decide tudo
A cascata é tão boa quanto o critério que aprova a resposta barata. Do sinal mais forte ao mais fraco:
- Verificadores: o JSON valida, o teste passa, a regra de negócio confere. É a prova com gabarito, que se confere sem confiar na palavra de quem respondeu; Structured Outputs tornam esse tipo de checagem simples.
- Probabilidade dos tokens da resposta gerada.
- Concordância entre amostras: várias gerações que chegam à mesma resposta.
- Juiz pequeno treinado, na linha do LLM as a Judge.
- Autoconfiança declarada pelo modelo: o sinal mais fraco, porque costuma ser mal calibrada, como mostra Calibração de Confiança.
Resultado de referência do FrugalGPT
O FrugalGPT (Stanford, 2023) combinou adaptação de prompt, aproximação de LLM e cascata de LLMs. Nas tarefas do artigo, igualou o GPT-4 com até 98% menos custo, ou ganhou 4% de acurácia ao mesmo custo. O número vale para aquelas tarefas e não se transporta para outro domínio sem medir de novo, com o método de Avaliação de Roteadores de Modelos.