Sessão de Bancada Escolha e Qualidade de Dados para IA Generativa (2024-08-12)
Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.
O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.
Notas citadas nas anotações desta sessão.
A sessão discutiu a importância da escolha, preparação e qualidade dos dados para projetos de IA generativa, especialmente modelos de linguagem e aplicações de RAG. Foi ressaltado que dados inadequados, duplicados, inconsistentes, enviesados ou sem relevância para o objetivo podem comprometer todo o projeto. O fluxo apresentado incluiu definir o propósito do modelo, adquirir dados estruturados e não estruturados, explorar e validar sua integridade, limpar e normalizar informações, transformar conteúdos em tokens e embeddings e adicionar contexto para melhorar a recuperação. Também foram abordados web scraping, APIs, bancos de dados, chunking e a necessidade de selecionar fontes confiáveis, considerando diferenças regionais, legislação, vieses e direitos autorais.
A conversa reforçou que IA generativa não substitui especialistas e que automação baseada em regras não é necessariamente inteligência artificial. Houve exemplos sobre limitações dos modelos, alucinações, filtros de segurança, uso de dados da internet e a influência de leis como a LGPD e o GDPR. Discutiu-se ainda a dificuldade de regulamentar uma tecnologia em rápida evolução, o papel de governos e grandes empresas e a necessidade de projetos bem delimitados, com anonimização e coleta apenas dos dados necessários. Ficaram como pontos em aberto futuras sessões ou demonstrações sobre chunking, vetorização, embeddings, escolha entre modelos de linguagem, treinamento e integração de modelos com bases vetoriais; os participantes foram convidados a propor apresentações práticas ou teóricas sobre esses temas.