Dataset de Treinamento para Fine-tuning
Ir para notas que citam estaDataset de treinamento para fine-tuning é o conjunto de exemplos em mensagens system, user e assistant que mostra ao modelo de chat como se comportar e o que responder.
É a matéria-prima do Fine-tuning de modelos de chat. O ajuste fino não recebe um documento para ler: recebe um arquivo com muitos pares de pergunta e resposta e aprende com eles o padrão de como responder. Por isso a qualidade, a quantidade e a organização desses exemplos decidem boa parte do resultado.
Os três papéis de cada exemplo
Cada linha do arquivo é um exemplo completo, formado por três mensagens:
- system: configura a personalidade e o comportamento do assistente, o mesmo papel do Prompt de Sistema numa conversa.
- user: a pergunta ou o texto que um usuário enviaria.
- assistant: a resposta que se espera do modelo para aquela entrada.
A mensagem de sistema pesa mais do que parece. Dar ao assistente um nome que o modelo base já associava a uma persona sarcástica fez as respostas saírem atravessadas, sem que ninguém tivesse pedido esse tom. Cada palavra do system entra no comportamento aprendido.
Boas práticas de montagem
- Um par claro por linha. Juntar várias perguntas e contextos num único exemplo confunde o modelo, que não consegue separar os elementos. Cinco perguntas combinadas numa linha só produziram respostas que misturavam os assuntos.
- Vários exemplos por assunto. Dez linhas sobre um mesmo dado ensinam mais do que dez linhas espalhadas por dois grupos. Com poucos exemplos, dois nomes parecidos acabam confundidos.
- Volume suficiente. A plataforma da OpenAI recusa o treino abaixo de 10 exemplos, e a prática que funcionou foi ter de 50 a 100 variações por pergunta. Quando o material original tem poucas perguntas, o Aumento de Dados de Treinamento gera as variações.
- Formato do modelo alvo. Cada modelo exige seu próprio formato: um arquivo preparado para um modelo de chat falhou com erro de formato inválido ao ser reaproveitado num modelo mais antigo, e o custo do job foi cobrado mesmo assim.
- Tamanho razoável. Arquivos de muitos gigabytes exigem mais processamento e transferência. O tempo cresce com o volume: um arquivo pequeno treinou em cerca de 10 minutos, um de quase mil linhas levou cerca de duas horas.
- Dados legíveis e variados, preparados conforme as validações da arquitetura escolhida. Um bom ponto de partida para um chatbot é o histórico real de atendimento, filtrado pelas conversas que resolveram o problema e tiveram feedback positivo.
Saneamento de texto extraído de PDF
Quando os pares vêm de um PDF, um script costuma extrair perguntas e respostas, ignorar imagens e remover marcadores do documento antes de gerar o arquivo final. Corrigir acentuação e gramática tende a ajudar a fidelidade do texto, mas não é o fator decisivo: o modelo aprende principalmente o padrão de pergunta e resposta, e o que mais mexe no resultado é o número de variações por resposta e o ajuste dos hiperparâmetros.