Seleção de Modelo por Tarefa
Ir para notas que citam estaSeleção de modelo por tarefa é escolher modelos de linguagem diferentes para agentes ou etapas de um fluxo, equilibrando capacidade e custo, e preferindo modelos de código para código.
Nenhum modelo é bom em tudo. Há modelos excelentes para gerar código que explicam mal conceitos básicos, e modelos que escrevem textos elaborados mas programam mal. Por isso a liberdade de trocar o modelo, sem ficar preso a um único provedor, entra como critério na avaliação de uma tecnologia de agentes, ao lado dos demais Critérios de Seleção de Frameworks de Agentes. Trocar de modelo também muda outras propriedades da resposta, como a data até onde o modelo conhece os fatos.
Custo versus capacidade em cada agente
Num time hierárquico de agentes, é comum que todos, inclusive o gerente, usem o mesmo modelo por simplicidade. Mas cada agente pode ter o seu. O Agente Orquestrador que só coordena a delegação entre os demais faz uma tarefa simples, e usar nele um modelo potente gasta tokens sem necessidade; um modelo pequeno, até local, dá conta e reduz o Custo de Tokens. O modelo de embedding de um pipeline de RAG segue a mesma lógica: um modelo leve rodando no Ollama basta para vetorizar um documento curto.
As alternativas de provedor incluem Amazon Bedrock, Anthropic, DeepSeek e Grok, além de modelos locais. O Llama 3.2 rodando localmente se comportou como um generalista, parecido com o GPT-4o mini nesse aspecto: entende português e programa de forma mediana. Ao responder sobre o mesmo documento, trouxe a mesma informação que o modelo da OpenAI, só que mais enxuta, algo esperado de um modelo menor.
Modelos de código versus modelos genéricos
Modelos genéricos são treinados com volumes massivos de texto da internet, incluindo fóruns e redes sociais, e a maior parte do código nesses dados é de qualidade mediana a ruim. Como o modelo tende a reproduzir o padrão mais frequente do treinamento, ele replica esse código malfeito quando não é direcionado, e mais parâmetros não garantem utilidade num caso específico como programação. Daí a recomendação de não levar código gerado por um chat generalista para produção sem revisão.
Para gerar ou analisar código, modelos treinados em código tendem a ser mais confiáveis. Exemplos citados: Codestral, da Mistral, com uma versão de cerca de 22 bilhões de parâmetros; Qwen2.5-Coder, rápido e funcional para análise de código; e Code Llama, baseado no Llama 2 e limitado em problemas mais complexos.
Quando o modelo local pequeno não dá conta
Economizar com um modelo pequeno tem limite. Uma automação com LangGraph e um modelo local não conseguia concluir a tarefa nem com cerca de cinco tentativas configuradas; trocando para um modelo maior de API, a resposta veio rápida e a tarefa terminou. Repetir a chamada não compensa a falta de capacidade do modelo.
Modelos pequenos e baratos servem para coordenar, vetorizar e responder perguntas simples. Tarefas de raciocínio, revisão ou geração de código pedem um modelo mais capaz ou especializado.