Tipos de Modelo em Assistentes de Código
Ir para notas que citam estaTipos de modelo em assistentes de código é usar um modelo por tarefa: um generalista para chat, um especializado em código para autocomplete e um de embedding para indexar o repositório.
Um assistente de programação faz coisas muito diferentes entre si: completa uma linha enquanto se digita, explica a arquitetura de um trecho, busca a documentação certa. Um único modelo raramente é bom em tudo isso, e a forma como cada modelo foi treinado já o especializa, sem nenhum ajuste adicional. Extensões como o Continue permitem configurar um modelo diferente para cada função, inclusive modelos rodando na própria máquina via Ollama, o que evita que código e dados saiam do computador. É a escolha do modelo aplicada dentro do editor, tarefa por tarefa.
Os três papéis e o que cada modelo faz melhor
- Modelo de código, para autocomplete e geração: treinado majoritariamente com código, gera código melhor e de forma mais direta. Um exemplo comum de configuração é um modelo da família Qwen2.5 Coder nessa função. Além de completar funções, acelera tarefas repetitivas como produzir massa de teste: a partir de um primeiro registro com nome, endereço e telefone, ele sugere os seguintes.
- Modelo geral, para chat e explicações: treinado com conteúdo mais amplo, responde melhor perguntas sobre por que um método está estranho ou qual arquitetura um código segue. Um modelo pequeno, como o Llama 3.2 de cerca de 3 bilhões de parâmetros, já cumpre esse papel localmente.
- Modelo de embedding, para vetorização: transforma código e documentação em vetores numéricos, os Embeddings, para que outro modelo possa consultá-los, como num RAG. Esses modelos, como o Nomic Embed Text, são propositalmente pequenos porque não geram texto, só vetorizam.
Na configuração do Continue, apenas os modelos de chat e código aparecem para conversa; o de embedding trabalha por trás, indexando.
Diferenças visíveis na mesma tarefa
Pedindo a mesma função de sequência de Fibonacci aos dois modelos, o de código entrega a função pronta com uma linha dizendo qual parâmetro ajustar, sem explicação; o geral explica o conceito antes de mostrar o código. O primeiro serve para ser reutilizado numa aplicação; o segundo, para entender e testar. Já numa pergunta sobre a arquitetura de um trecho, o modelo geral vence, porque o modelo de código aprendeu código puro, não necessariamente código inserido numa arquitetura explicada.
Documentação como contexto
Com um modelo de embedding indexando a documentação de uma biblioteca, como a do Spring AI, é possível referenciá-la no chat e receber a resposta baseada no conteúdo real, em vez de o modelo inventar como funciona um componente. Isso reduz o risco de resposta plausível e errada sobre APIs específicas.
Cada modelo local ocupa memória. A regra de bolso de cerca de meio giga de RAM por bilhão de parâmetros, detalhada em Dimensionamento de Hardware para Modelos Locais, explica por que modelos de 20 bilhões de parâmetros ou mais ficam pesados no dia a dia e por que pequenos modelos especializados são a escolha prática.