Sessão de Bancada Desbravando IA Generativa Fine-tuning e RAG em Construção (2024-06-03)
Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.
O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.
Notas citadas nas anotações desta sessão.
A sessão apresentou o contexto da bancada de IA generativa e retomou o objetivo de explorar, de forma prática, técnicas como prompt engineering, fine-tuning e RAG. Também foi discutida a estrutura de contas corporativas em plataformas de IA, especialmente a criação de projetos, limites de consumo e o comportamento atípico do projeto padrão, que aparentemente não permite as mesmas restrições dos demais. O grupo comentou ainda tendências do mercado, a rápida adoção da IA nas empresas, o impacto sobre o desenvolvimento de software e a ideia de que as ferramentas atuais automatizam tarefas repetitivas, mas ainda exigem conhecimento técnico para customização, validação e manutenção.
As demonstrações em andamento mostraram avanços em fine-tuning e RAG. No fine-tuning, uma base pequena de perguntas e respostas foi enriquecida com perguntas similares e convertida para o formato exigido pelo modelo, mas os testes revelaram desafios de qualidade, custo e tempo de processamento; a geração da massa de dados chegou a levar cerca de uma hora e vinte minutos. Ficou como próximo passo reduzir e comparar conjuntos de dados, testar outros modelos, avaliar custos e melhorar a eficiência. No RAG, foi explicado o processo de dividir documentos, gerar embeddings, armazená-los em banco vetorial e recuperar os trechos mais próximos para fornecer contexto ao modelo, com atenção especial ao tamanho dos chunks, aos metadados e à persistência dos dados.
Também foram levantados pontos de segurança, como ataques por prompts maliciosos capazes de induzir sistemas a revelar dados inseridos por outros usuários, além dos riscos de misturar catálogos com diferentes níveis de acesso. A recomendação preliminar foi tratar permissões e contextos com bastante cautela, possivelmente separando bases ou assistentes quando necessário. As demonstrações continuarão até o próximo encontro, previsto para 17 de junho, ainda sem horário definido; o desafio de prompt engineering permanece aberto a voluntários. Por fim, surgiu a proposta de criar um fórum ou espaço de comunidade separado do Teams para organizar materiais, avanços e discussões, reduzir o ruído das comunicações e incentivar a participação por meio de mecanismos de reconhecimento.