Pular para o conteúdo
LabS Atlas
Agentic AI
Entrar

Fallback de Modelos em Agentes

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Fallback de modelos em agentes é a configuração em que o agente tenta um modelo e, se ele falhar ou ficar indisponível, passa ao próximo da lista sem interromper a tarefa.

Um agente preso a um único provedor para quando esse provedor para: indisponibilidade, limite de uso estourado ou plano esgotado viram tarefa interrompida. Ferramentas agnósticas de modelo, como o OpenCode, permitem declarar uma cadeia de alternativas. Se o modelo principal, por exemplo de um plano da Anthropic, cair, a mesma tarefa segue com um modelo de outro provedor, como a OpenAI, e depois com o próximo, sem trocar de ferramenta nem refazer o harness. Ferramentas presas a um provedor só não oferecem essa troca, porque não há outro provedor para onde ir.

Como ordenar a cadeia

A ordem da lista é uma decisão de custo e qualidade, a mesma que orienta a Seleção de Modelo por Agente. O primeiro da cadeia costuma ser o modelo que o time considera adequado para a tarefa; os seguintes, alternativas aceitáveis de outros provedores, para que uma queda não derrube todos ao mesmo tempo. Colocar um modelo muito caro como reserva de uma tarefa simples é desperdício: um CRUD básico sai equivalente num modelo mais barato.

A troca também tem um custo próprio. O modelo que assume precisa reler todo o histórico da conversa antes de responder. Numa sessão longa, se a reserva for um modelo caro, a primeira resposta depois da troca pode sair muito mais cara do que as anteriores.

O efeito colateral na qualidade

Com fallback, a mesma tarefa pode ser atendida por modelos diferentes ao longo de uma sessão, e a qualidade da resposta muda com o modelo que atendeu. Por isso é importante registrar, a cada resposta, qual modelo a produziu. Na interface do OpenCode cada mensagem vem assinada pelo modelo responsável, e é esse registro que permite explicar depois por que um trecho saiu diferente. Em produção, a mesma informação precisa estar no traço da execução (ver Observabilidade de Agentes).