Aumento de Dados de Treinamento
Ir para notas que citam estaAumento de dados de treinamento é usar o próprio modelo de linguagem para gerar variações (paráfrases) de perguntas originais, ampliando um dataset pequeno antes do fine-tuning.
A técnica resolve um descompasso entre o documento e o usuário real. Um FAQ traz cada pergunta escrita de um jeito formal; quem conversa com um assistente pergunta de outro. Se o Fine-tuning só vê a formulação original, o modelo aprende a responder aquela frase e pouco mais. É uma forma de Dados Sintéticos a serviço de um objetivo específico: ensinar que várias maneiras de perguntar a mesma coisa levam à mesma resposta.
Por que um FAQ pequeno não basta
Treinado só com as perguntas idênticas às do PDF, o modelo acerta quando a pergunta é repetida literalmente. Basta reformular (perguntar quando cai o salário em vez de quando serão recebidos os benefícios no mês de admissão) para ele responder coisas sem relação com o FAQ, uma Alucinação típica de dataset estreito. Com uma linha por pergunta, o comportamento fica binário: ou a frase bate, ou o modelo não entende.
O volume também é uma exigência do provedor. A plataforma usada recusa o treino com menos de 10 exemplos e recomenda entre 50 e 100 demonstrações para um resultado refinado. Mesmo 50 é pouco: para um ajuste mais robusto, fala-se em ordens de grandeza de mil exemplos.
Como gerar as variações
A geração é automatizada dentro do mesmo script que prepara o Dataset de Treinamento para Fine-tuning. Para cada pergunta extraída do FAQ, o script chama a API do modelo com um prompt pedindo uma pergunta similar que represente a mesma dúvida, em linguagem mais informal e coloquial, mas adequada a um ambiente empresarial. O processo se repete até obter 50 variações por pergunta.
Cada variação recebe exatamente a resposta da pergunta original. No arquivo final, as primeiras linhas de cada grupo são iguais às do PDF e as demais trazem formulações como cumprimentos informais seguidos da dúvida. A partir de 4 perguntas originais, o arquivo chegou a 4.845 linhas. A geração das paráfrases custou cerca de USD 0,30, bem menos que o treino.
Fazer isso à mão, colando pergunta por pergunta na interface do modelo, é inviável: 99 perguntas vezes 50 variações dão quase 5.000 frases.
Cuidados com a qualidade do conjunto aumentado
- Poucas variações confundem o modelo. Multiplicar cada pergunta só 3 ou 4 vezes, com lote maior que um, fez o modelo misturar perguntas distintas entre si. A quantidade de variações interage com os Hiperparâmetros de Fine-tuning.
- Revisar o que foi gerado. O prompt precisa limitar o tom; sem o recorte empresarial, surgem perguntas fora de propósito.
- Testar com perguntas que não estão no documento. Avaliar só com as frases originais dá falsa segurança. Inverter a ordem, testando primeiro formulações novas e depois as do PDF, revela se o aumento funcionou.
- Limpeza do texto de origem ajuda, mas pesa menos. Texto extraído de PDF chega com quebras de linha no meio de parágrafos e acentuação perdida; bibliotecas que reconstroem as frases do início maiúsculo ao ponto final melhoram a fidelidade, dentro da Preparação de Dados para Modelos de IA. Ainda assim, o fine-tuning aprende sobretudo o padrão de pergunta e resposta, e o número de variações por resposta, junto com os hiperparâmetros, teve impacto maior que o saneamento.