Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Cascata de Modelos

Ir para notas que citam esta
atualizado há 4 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Cascata de modelos é o roteamento em que um modelo barato responde primeiro, uma função de aceitação decide se a resposta serve, e só o que não serve sobe para um modelo mais forte.

É uma das três famílias de Roteamento de Modelos. A vantagem sobre o roteamento antes da chamada é decidir olhando a resposta real, não só o pedido. O preço aparece nos pedidos que escalam: eles pagam duas chamadas e somam a latência das duas. A cascata compensa quando a maioria dos pedidos para no primeiro degrau, como num service desk em que o nível 1 resolve o grosso e só escala o que não consegue.

O sinal de aceitação decide tudo

A cascata é tão boa quanto o critério que aprova a resposta barata. Do sinal mais forte ao mais fraco:

  1. Verificadores: o JSON valida, o teste passa, a regra de negócio confere. É a prova com gabarito, que se confere sem confiar na palavra de quem respondeu; Structured Outputs tornam esse tipo de checagem simples.
  2. Probabilidade dos tokens da resposta gerada.
  3. Concordância entre amostras: várias gerações que chegam à mesma resposta.
  4. Juiz pequeno treinado, na linha do LLM as a Judge.
  5. Autoconfiança declarada pelo modelo: o sinal mais fraco, porque costuma ser mal calibrada, como mostra Calibração de Confiança.

Resultado de referência do FrugalGPT

O FrugalGPT (Stanford, 2023) combinou adaptação de prompt, aproximação de LLM e cascata de LLMs. Nas tarefas do artigo, igualou o GPT-4 com até 98% menos custo, ou ganhou 4% de acurácia ao mesmo custo. O número vale para aquelas tarefas e não se transporta para outro domínio sem medir de novo, com o método de Avaliação de Roteadores de Modelos.