Sessão de Bancada Fine-tuning na Prática (2024-04-22)
Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.
O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.
Notas citadas nas anotações desta sessão.
A sessão apresentou o fine-tuning como o processo de ajustar um modelo previamente treinado para executar uma tarefa específica, evitando o custo de treinar tudo do zero. Foram discutidos seus ganhos de eficiência, escalabilidade, redução de tempo e necessidade de poder computacional, além de aplicações em processamento de linguagem natural, visão computacional, tradução, recomendações de conteúdo, chatbots e assistentes restritos a determinados domínios. A técnica foi comparada à personalização de uma casa pré-fabricada, e exemplos mostraram como modelos podem ser adaptados para identificar gatos e cachorros, detectar doenças em imagens ou responder apenas sobre conteúdos de uma plataforma de cursos.
Também foram abordados aspectos práticos do treinamento, como a preparação e diversidade dos dados, a separação entre treinamento e teste, o ajuste de hiperparâmetros, o número de épocas e a estrutura de mensagens com sistema, usuário e assistente. Demonstrações compararam respostas de modelos com e sem fine-tuning, evidenciando que dados insuficientes ou mal estruturados podem gerar confusão, respostas fora de contexto e limitações na generalização. Como conclusão, o fine-tuning oferece respostas mais precisas, personalizadas e rápidas, mas exige manutenção contínua, dados representativos e cuidado com sobreajuste, vieses e erros em aplicações críticas. Ficou em aberto aprofundar as técnicas seguintes da bancada, especialmente a inclusão de bases externas e aplicações voltadas ao código-fonte, além de explorar critérios para definir a quantidade e a qualidade ideal dos dados.