Método de Especialização de LLM
Ir para notas que citam estaMétodo de especialização de LLM é o roteiro de decisão para preparar um modelo para uso recorrente, organizado em expectativas, dados de domínio, avaliação das respostas e ferramental.
O método existe porque a especialização de modelos abre um universo grande de modelos, técnicas e ferramentas, e escolher por onde começar não é trivial. Ele organiza o raciocínio em quatro blocos de perguntas que quem precisa especializar um modelo faria a si mesmo. O ponto de partida é assumido: não existe bala de prata. Um cenário pode exigir todo o arsenal de atividades (seleção e limpeza de dados, engenharia de prompt, RAG, fine-tuning, métricas de desempenho, validação), e outro pode se resolver com alguns dados bem escolhidos.
O método nasceu da prática: a bancada especializou modelos junto com outras pessoas, percebeu quais elementos sempre precisavam ser observados e só depois os formalizou. A primeira versão tinha três frentes (entender o problema, avaliar a variação técnica tolerável e dimensionar recursos financeiros, temporais e humanos). Ela virou um quadro de quatro quadrantes e, depois, quatro etapas com ferramental por último. É o mesmo método, com nomes amadurecidos, e é a base do Learning Prototype de especialização de LLM e de um guia de especialização.
Uso pontual e uso recorrente de um LLM
No uso pontual, a pessoa conversa com um modelo genérico, fornece o contexto em vários prompts e aceita a resposta quando ela parece servir, num julgamento subjetivo. No uso recorrente, a mesma necessidade volta várias vezes: reativar uma conversa que já guarda o contexto, ou pedir repetidamente testes unitários para serviços Java a um assistente de código. Aqui o desafio é deixar o modelo pronto de antemão, com uma base de contexto que produza boa resposta já na primeira pergunta. É para esse segundo caso que o método foi desenhado.
As quatro etapas e o que cada uma pede
- Expectativas: os resultados esperados e o valor que o modelo deve entregar, idealmente com uma régua mensurável. Num exemplo de classificação de documentos jurídicos, a meta era 85% de precisão. Aqui entram também as habilidades especiais que sustentam o objetivo.
- Dados de domínio: fonte, tipo, formato e estruturação da informação que o modelo precisa conhecer. No exemplo jurídico, 10 mil contratos com dados anonimizados e pareceres.
- Avaliação das respostas: os critérios para dizer se a resposta é boa, para não cair de novo na avaliação subjetiva. O exemplo jurídico usou escala de 1 a 5 para precisão técnica, clareza de linguagem e aderência ao contexto, validada por pessoa. Alternativas levantadas: curtir ou não curtir, notas de 0 a 10, avaliação por amostragem e comparação com uma API de referência. O LLM as a Judge automatiza essa etapa.
- Modelo e ferramental: o modelo base, o fornecedor e as ferramentas de acesso, guiados por drivers como custo (ter de ser gratuito), canal (web, chat, WhatsApp), volume de usuários, tamanho da janela de contexto e necessidade multimodal. É onde entra a escolha do modelo.
No quadro original o modelo aparecia como segundo quadrante. A versão consolidada deixa o ferramental para o fim, depois de objetivo, dados e avaliação. Começar pela ferramenta é o erro mais comum.
O método aplicado a um caso real
O caso que motivou o método foi a geração de código numa linguagem de regras sem documentação pública. Nos quadrantes: expectativa de código útil em pelo menos 90% dos casos, com ajustes mínimos; avaliação por notas do usuário sobre utilidade, uso efetivo e completude das regras; GPT-5 e Gemini 2.5 Pro como candidatos a modelo base, apontados pelos fabricantes como fortes em código; RAG com engenharia de prompt numa interface de chat web; e dados principalmente textuais, com a documentação oficial e fragmentos de código de todas as funções nativas.
Aplicar o método costuma expor a dificuldade de fixar expectativas com números: numa dinâmica em grupo, a maioria das respostas trouxe impressões como não alucinar ou responder com base nos próprios documentos, sem meta de desempenho nem público definido. É essa lacuna que o primeiro quadrante quer expor.