Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Escolha do Modelo de IA

Ir para notas que citam esta
atualizado há 4 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Escolha do modelo de IA é selecionar o modelo mais adequado a um problema pesando custo, tempo de resposta, contexto, qualidade e dados de treino, com benchmarks como apoio.

Com uma oferta enorme de modelos disponíveis, escolher pela fama ou pelo que já está à mão raramente dá certo. Um modelo que se destaca em geração de código não necessariamente se destaca em geração de imagem ou em processamento massivo de dados, e a escolha errada contamina tudo o que vem depois. No Método de Especialização de LLM, a seleção do modelo base é uma das quatro partes e depende diretamente das habilidades especiais definidas nas expectativas: só se escolhe bem quando se sabe o que o modelo precisa fazer.

A pergunta também tem uma resposta além de modelo grande ou modelo pequeno: quando a tarefa é só escolher entre opções fixas, ela pode nem pedir um modelo que escreve. Um Modelo de Decisão devolve a escolha com uma confiança junto, e o arranjo do Decisor na Frente do LLM deixa o LLM só para o que precisa ser escrito. E com volume a escolha pode deixar de ser única: o Roteamento de Modelos decide o modelo pedido a pedido.

Critérios que pesam na decisão

  • Custo: ao levar uma solução adiante, por exemplo um RAG que sai do protótipo, é preciso avaliar se o preço do modelo é viável para aquele tipo de uso.
  • Qualidade da resposta: se o modelo responde tão bem quanto a situação exige.
  • Tempo de resposta: latência aceitável para o fluxo em que ele será usado.
  • Tokens de contexto: quanto conteúdo precisa ir e voltar a cada chamada, o que se liga à Janela de Contexto de cada modelo.
  • Dados de treinamento: um modelo só responde bem sobre o que viu no treino; dado ruim na entrada gera resposta ruim na saída. Para uma linguagem de programação pouco comum ou proprietária, pode não haver modelo pronto adequado.
  • Disponibilidade: se o modelo está acessível no ambiente, com chave ou token já existente.

Um roteiro de perguntas ajuda a ordenar esses critérios: qual problema se quer resolver, se o modelo foi testado no domínio pretendido, como estão custo e desempenho, e qual métrica é a mais relevante para o objetivo. Não é preciso testar todas as opções do mercado, e sim validar o que precisa ser atendido.

Riscos de escolher o modelo errado

O impacto de uma escolha ruim varia com o contexto: em uso pessoal gera respostas que não atendem; numa automação em produção pode sair caro. Os riscos típicos são custo maior do que o necessário (um modelo generalista gasta mais processamento e tokens numa tarefa em que um especializado seria mais barato), falhas de segurança e exposição de dados, respostas inconsistentes, alucinações e, por consequência, retrabalho e dano à imagem de quem entregou a solução.

Como comparar sem enviesar

A forma mais simples de comparar é abrir dois modelos em janelas separadas e mandar o mesmo prompt. Funciona melhor com versões limpas, sem memória de conversas anteriores: um modelo que já conhece o usuário adapta a resposta a ele, e a comparação fica enviesada. Plataformas como o LM Arena resolvem isso e ainda permitem testar modelos grandes demais para rodar localmente.

Numa comparação lado a lado entre Gemini 3 Pro e Claude Sonnet para um caso de análise de vulnerabilidades, o Claude trouxe uma lista curta e objetiva de pontos, e o Gemini respostas mais explicativas, com subitens do OWASP. Uma hipótese para a concisão foi o Claude ter, naquele cenário, cerca de um quinto da janela de contexto do Gemini. Qual é melhor continua dependendo do nível de detalhe esperado.

Benchmark é bússola, não destino

Os números de benchmark apontam uma direção, mas há modelos aparentemente otimizados para ir bem nesses testes. A decisão final vem de testar o modelo no caso de uso real.