Sessão de Bancada Qualidade de Dados no Ciclo de Vida de GenAI (2024-09-09)
Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.
O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.
Notas citadas nas anotações desta sessão.
A sessão começou com uma breve interação informal e, em seguida, foram apresentados os objetivos da bancada de IA generativa, voltados à exploração de conceitos de LLMs, NLP e aplicações práticas. Também foram discutidas sugestões para alternar horários ou repetir sessões, de modo a ampliar a participação de pessoas com diferentes disponibilidades. Foi reforçado que a próxima sessão está prevista para o dia 23, embora o formato e a periodicidade ainda possam ser ajustados.
O tema central foi a qualidade de dados ao longo do ciclo de vida de soluções de IA generativa. Foram abordadas seis dimensões: acurácia, abrangência, consistência, pontualidade, conformidade e unicidade, destacando-se que qualidade deve ser tratada como um princípio transversal do pipeline, e não como uma etapa isolada. A apresentação comparou pipelines de engenharia de dados, machine learning, NLP e IA generativa, ressaltando que dados sensíveis, incorretos ou fora de escopo devem ser tratados antes da vetorização e do armazenamento em bases vetoriais, em vez de depender apenas de prompts para impedir exposições indevidas.
Também foram compartilhadas experiências práticas com protótipos de chatbots, catálogos de dados, metadados, retrievers e ferramentas de nuvem e Python para validação, limpeza, governança e orquestração. Concluiu-se que, em soluções generativas, a avaliação do resultado ainda depende em grande parte de testes direcionados e da análise de especialistas, pois não há métricas universais para todos os casos. Permaneceram em aberto a definição de melhores práticas para validar respostas generativas, o equilíbrio entre remoção de dados e viés dos modelos, e possíveis experimentos conjuntos usando ferramentas de diferentes plataformas de nuvem.