Sessão de Bancada Fine-tuning com um FAQ de Atendimento ao Cliente (2024-07-01)
Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.
O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.
Notas citadas nas anotações desta sessão.
A sessão apresentou um experimento prático de fine-tuning para criar um assistente de atendimento interno baseado em um FAQ de Recursos Humanos. Foi explicado que o processo utilizou um modelo GPT-3.5 Turbo na plataforma da OpenAI, um script em Python para extrair e tratar perguntas e respostas de um PDF e a geração automatizada de 50 variações informais para cada pergunta, a fim de ampliar os exemplos de treinamento. Como o custo estimado para processar todo o FAQ seria elevado, o teste foi limitado a quatro perguntas, com cerca de 200 exemplos. O modelo treinado apresentou respostas mais rápidas e direcionadas que o modelo base, mas exigiu várias tentativas para ajustar o formato dos dados e os hiperparâmetros, como épocas, taxa de aprendizado e tamanho do lote, resultando em um custo final de aproximadamente US$ 2,89 no treinamento principal.
Também foram demonstradas as etapas de conversão do PDF para o formato exigido pela plataforma, a comparação entre o modelo ajustado e o GPT-3.5 sem treinamento e a possibilidade de consumir o modelo por API, além de atualizá-lo com novos dados. A discussão ressaltou a importância da qualidade e do saneamento dos dados, da validação dos arquivos antes do envio e da criação de instruções de sistema para controlar tom, linguagem e comportamento do assistente. Permaneceram como pontos em aberto a avaliação mais ampla com todas as perguntas do FAQ, a investigação sistemática dos hiperparâmetros, a possível automação dessa busca por meio de registros e árvores de decisão, o uso de modelos locais por razões de custo e privacidade e a validação das políticas de uso dos dados pela plataforma. Também foi sugerida a continuidade do trabalho em aplicações reais, integrando modelos generativos a soluções existentes de atendimento.