Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Destilação de Modelos

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Destilação de modelos é a técnica de treinamento em que um modelo menor, o aluno, aprende a imitar as respostas de um modelo maior já treinado, o professor, chegando perto da sua qualidade com muito menos parâmetros.

É o ponto de partida da construção de quase todo modelo pequeno. Em vez de reprocessar do zero uma base de dados gigante, o aluno aproveita pesos e respostas que o professor já calculou, o que acelera muito a criação de um modelo novo e reduz o custo de treinamento. O resultado é um modelo que roda com menos parâmetros, menor consumo de energia e capacidade de operar em dispositivos com recursos limitados.

Como o aluno aprende com o professor

A diferença decisiva está na fonte. Um modelo de larga escala aprende com os dados originais; um modelo destilado aprende com o comportamento de outro modelo. A analogia que descreve bem o efeito é a de um aluno que assistiu apenas a um trecho específico de uma aula e repete aquele trecho, em oposição a um pesquisador que domina o assunto inteiro e sabe recombiná-lo.

Essa origem indireta tem consequência direta em alucinação: quando a pergunta cai fora do que o professor ensinou, o aluno não tem base para reconhecer o limite do próprio conhecimento e tende a inventar. Modelos pequenos inventam a partir de uma base mais estreita do que modelos grandes, e por isso erram mais e de forma mais confiante em temas que não fizeram parte da destilação.

Destilar em largura ou em profundidade

Há duas formas de derivar um modelo menor de um modelo grande. Uma é dar um corte geral no conhecimento, mantendo a vocação generativa ampla em proporção reduzida; o resultado se parece mais com um modelo generalista, mas alucina bastante. A outra é especializar o modelo num domínio definido — atendimento a um tipo de chamado, geração de código numa linguagem específica — e aceitar que fora dali ele não serve.

A segunda opção é bem mais eficiente para o uso a que se destina, e a diferença de desempenho entre um modelo destilado com foco e um destilado de forma genérica é grande o bastante para orientar a decisão antes de qualquer ajuste posterior.

Diferença em relação ao ajuste fino

Destilação e ajuste fino são complementares, não sinônimos. O ajuste fino parte de um modelo existente e o adapta a uma tarefa; a destilação transfere conhecimento de um modelo para outro, criando um modelo novo e menor. Num pipeline típico de modelo pequeno, a destilação vem primeiro e o ajuste fino refina o resultado.

O que o aluno herda não é apenas capacidade. Restrições e inclinações do professor também atravessam a transferência, incluindo recusas deliberadas de responder certos tipos de pergunta, o que faz da destilação um caminho pelo qual viés se propaga de um modelo a outro sem passar pelos dados originais.