Pular para o conteúdo
LabS Atlas
Generative AI
Entrar
Sessões

Sessão de Bancada Qualidade de Dados no Ciclo de Vida de GenAI (2024-09-09)

9 set 20241h 26min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão começou com uma breve interação informal e, em seguida, foram apresentados os objetivos da bancada de IA generativa, voltados à exploração de conceitos de LLMs, NLP e aplicações práticas. Também foram discutidas sugestões para alternar horários ou repetir sessões, de modo a ampliar a participação de pessoas com diferentes disponibilidades. Foi reforçado que a próxima sessão está prevista para o dia 23, embora o formato e a periodicidade ainda possam ser ajustados.

O tema central foi a qualidade de dados ao longo do ciclo de vida de soluções de IA generativa. Foram abordadas seis dimensões: acurácia, abrangência, consistência, pontualidade, conformidade e unicidade, destacando-se que qualidade deve ser tratada como um princípio transversal do pipeline, e não como uma etapa isolada. A apresentação comparou pipelines de engenharia de dados, machine learning, NLP e IA generativa, ressaltando que dados sensíveis, incorretos ou fora de escopo devem ser tratados antes da vetorização e do armazenamento em bases vetoriais, em vez de depender apenas de prompts para impedir exposições indevidas.

Também foram compartilhadas experiências práticas com protótipos de chatbots, catálogos de dados, metadados, retrievers e ferramentas de nuvem e Python para validação, limpeza, governança e orquestração. Concluiu-se que, em soluções generativas, a avaliação do resultado ainda depende em grande parte de testes direcionados e da análise de especialistas, pois não há métricas universais para todos os casos. Permaneceram em aberto a definição de melhores práticas para validar respostas generativas, o equilíbrio entre remoção de dados e viés dos modelos, e possíveis experimentos conjuntos usando ferramentas de diferentes plataformas de nuvem.

Gerado por IA a partir da transcrição.
Capítulos · 43
00:14
Abertura e testes de áudio
Assistir
05:22
Espera dos participantes e organização da sessão
Assistir
09:23
Início do tema: qualidade de dados
Assistir
10:40
Participação da equipe e dedicação ao LabS
Assistir
11:57
Propósito do LabS e tecnologias emergentes
Assistir
13:13
Sugestões de horários e formato das sessões
Assistir
15:49
Estrutura da sessão e apresentação do tema
Assistir
18:26
O LabS e suas bancadas de tecnologia
Assistir
19:44
Objetivos da bancada de IA generativa
Assistir
22:19
Introdução à qualidade de dados
Assistir
24:52
Qualidade de dados como conceito estruturante
Assistir
26:11
Acurácia e abrangência dos dados
Assistir
30:03
Consistência e governança de dados
Assistir
33:55
Pontualidade e conformidade
Assistir
35:11
Unicidade e padronização
Assistir
36:30
Abrangência e representatividade dos dados
Assistir
39:02
Pipelines de engenharia, NLP e IA generativa
Assistir
41:37
Escopo e limpeza em pipelines de NLP
Assistir
42:53
Pré-processamento e vetorização
Assistir
44:09
Qualidade de dados em IA generativa
Assistir
45:27
Anonimização antes da vetorização
Assistir
46:46
Limites do prompt e responsabilidade pela qualidade dos dados
Assistir
48:04
Segurança, limpeza e filtragem antes da vetorização
Assistir
49:22
Uso de IA na limpeza e preparação de documentos
Assistir
51:57
Viés, desequilíbrio e geração de dados sintéticos
Assistir
53:12
Regras críticas, dados inválidos e retorno à origem
Assistir
54:30
Validação de modelos e controle de qualidade nas etapas
Assistir
55:47
Avaliação de resultados generativos e revisão especializada
Assistir
57:05
Protótipo de chatbot e vazamento de informações sensíveis
Assistir
59:37
Métricas de qualidade em problemas abertos e generativos
Assistir
1:00:55
Testes de prompts, respostas e bases vetoriais
Assistir
1:03:30
Infraestrutura de dados e processamento na AWS
Assistir
1:06:05
Catálogo, metadados e governança em cloud
Assistir
1:09:57
Ferramentas e frameworks para qualidade de dados
Assistir
1:11:17
Great Expectations e estrutura de dados para RAG
Assistir
1:12:37
Construção do pipeline RAG com documentos e metadados
Assistir
1:15:08
Databricks e processamento em larga escala
Assistir
1:16:25
Self-query retriever e geração automática de consultas
Assistir
1:18:57
Precisão das consultas e limitações dos metadados
Assistir
1:20:16
Simplificação do prompt com retrievers
Assistir
1:21:29
Possibilidades de experimentação em cloud
Assistir
1:22:46
Encerramento e compartilhamento do projeto
Assistir
1:24:03
Agradecimentos e troca de experiências
Assistir
Cortes · 16
Dimensões da qualidade de dados: acurácia e abrangência
A apresentação explica por que a qualidade de dados deve ser acompanhada ao longo de todo o pipeline, e não tratada como uma etapa isolada. São detalhadas as dimensões de acurácia e abrangência, com exemplos de dados fora do conceito de negócio, informações incompletas e perdas que precisam ser documentadas.
24:52 – 30:03Assistir
Consistência, governança e catálogo de dados
O trecho mostra como escopo, consistência e definição de conceitos influenciam a qualidade dos dados, especialmente em diferentes áreas e sistemas. Também aborda glossários, catálogo de dados e a necessidade de responsáveis por guardar e manter os conceitos corporativos.
30:03 – 33:55Assistir
Pontualidade, conformidade e unicidade
São apresentadas outras dimensões da qualidade de dados: pontualidade, conformidade e unicidade. A explicação relaciona dados atrasados a decisões erradas, conformidade a normas e privacidade, e duplicidade a problemas de integridade e distorções analíticas.
33:55 – 37:45Assistir
Abrangência e representatividade dos dados
O trecho diferencia volume de dados, representatividade estatística e abrangência. A discussão esclarece que, na qualidade de dados em geral, não basta ter uma amostra significativa: é preciso garantir que todos os dados esperados estejam disponíveis.
37:45 – 39:02Assistir
Qualidade em pipelines de dados e machine learning
A apresentação compara pipelines de engenharia de dados, NLP e machine learning, usando como referência as camadas bronze, prata e ouro. O foco está em ingestão, transformação, definição de escopo e limpeza, incluindo exemplos de seleção de dados e remoção de ruídos em textos.
39:02 – 42:53Assistir
Pré-processamento e qualidade em modelos generativos
O trecho explica como aplicar verificações de qualidade no pré-processamento de modelos de NLP e machine learning, incluindo vetorização e remoção de stop words. Em seguida, mostra que, em IA generativa, a vetorização e a combinação entre dados corporativos e prompts reduzem a capacidade de corrigir a qualidade posteriormente, transferindo essa responsabilidade para os testes.
42:53 – 45:27Assistir
Qualidade e anonimização antes do prompt
Explica por que dados sensíveis devem ser anonimizados e tratados antes de chegarem à vetorização ou ao prompt. O prompt pode cuidar de apresentação, idioma e contexto, mas não deve ser responsável por regras fortes de qualidade e privacidade.
45:27 – 48:04Assistir
Limpeza de dados, viés e impacto legal
A discussão aborda o uso de IA na limpeza e interpretação de documentos, além do dilema entre remover dados e introduzir viés no modelo. O ponto central é que problemas legais, como exposição de nomes, exigem tolerância zero e devem ser barrados antes da etapa de consumo.
48:04 – 54:29Assistir
Validação do resultado de modelos generativos
O grupo discute a necessidade de validar os resultados e, quando necessário, retornar às etapas anteriores de limpeza. Também é apresentada a dificuldade de avaliar modelos generativos, que muitas vezes dependem de métricas específicas ou da análise de especialistas.
54:30 – 57:05Assistir
Protótipo que revelou dados indevidos
É apresentado um protótipo de chat construído rapidamente a partir de dados não tratados. Um teste revelou que o sistema expunha o nome de um servidor presente na descrição original do dataset, mostrando como a IA pode ampliar o alcance de problemas já existentes no sistema de origem.
57:05 – 59:37Assistir
Como testar a qualidade de respostas generativas
A conversa compara problemas com múltiplas soluções possíveis e respostas abertas, nas quais nem sempre há métricas automáticas de qualidade. Para sistemas generativos, são sugeridos testes com requisições conhecidas e validação do resultado esperado, especialmente quanto a padrões de anonimização e conteúdo.
59:37 – 1:03:30Assistir
Infraestrutura para processamento e governança de dados
São descritas experiências de infraestrutura com ingestão de dados, PDFs, processamento em nuvem e modelos pré-treinados para leitura e correlação. A conversa destaca ferramentas de catálogo, governança e identificação de informações sensíveis antes que os dados avancem para outros repositórios.
1:03:30 – 1:07:22Assistir
Ferramentas de qualidade e validação de dados
O trecho apresenta recursos de AWS, GCP e Azure para catalogação, classificação e governança, além de ferramentas Python para validação de tipos, nulidade, intervalos e valores faltantes. Também são citadas soluções de ETL, orquestração e frameworks como Great Expectations para decidir se um dado pode seguir no pipeline.
1:07:22 – 1:11:16Assistir
Metadados, recuperação e responsabilidade do dado
A explicação mostra como metadados bem definidos melhoram a recuperação de documentos e tornam as perguntas mais assertivas. Em um exemplo com um prompt simples, fica evidente que respostas tecnicamente corretas ainda podem estar erradas quando a base foi vetorizada com dados incorretos.
1:11:17 – 1:15:08Assistir
Databricks no processamento e na qualidade
O trecho apresenta o Databricks como uma ferramenta de processamento de grandes volumes, combinando capacidade computacional com recursos para implementar verificações de qualidade. Também é discutida a escolha entre Databricks e ferramentas nativas de cada provedor de nuvem.
1:15:08 – 1:16:24Assistir
Self-Query Retriever e construção automática de consultas
É explicado como o Self-Query Retriever pode criar consultas automaticamente a partir dos dados, do modelo e da pergunta do usuário, reduzindo a complexidade dos prompts. A conversa também ressalta que a solução precisa ser testada, pois pode interpretar termos de forma inadequada ou montar consultas incorretas.
1:16:25 – 1:21:32Assistir
Perguntas desta sessão
Por que a abrangência dos dados é importante para análises e decisões?
Porque dados incompletos podem distorcer análises. Se uma unidade de negócio não enviar informações, especialmente se for relevante, os resultados e decisões sobre o período analisado podem ficar significativamente comprometidos. É necessário monitorar as fontes e deixar perdas irrecuperáveis explícitas e documentadas.
27:48 – 29:10Assistir
Como a LGPD afeta o tratamento de dados pessoais no ciclo de vida dos dados?
Dados pessoais ou sensíveis, como dados médicos, podem precisar ser mascarados para impedir a identificação das pessoas. Essa camuflagem pode ser uma etapa planejada do ciclo de vida e não representa necessariamente perda de qualidade; o problema ocorre quando o dado esperado não é produzido ou não chega ao pipeline.
29:22 – 30:01Assistir
Como o glossário e o catálogo de dados ajudam a garantir a consistência dos conceitos?
Eles registram os significados dos dados e dos conceitos usados pela empresa, permitindo que as pessoas pesquisem e entendam, por exemplo, o que significa “cliente”. Isso harmoniza a linguagem entre sistemas, relatórios e unidades de negócio, evitando interpretações diferentes para o mesmo termo.
33:01 – 33:12Assistir
O que significa a dimensão de conformidade na qualidade de dados?
Conformidade é a adequação dos dados às normas internas da empresa e às exigências legais, como segurança, privacidade e LGPD. Isso inclui evitar a exposição de dados sensíveis ou que identifiquem pessoas.
35:46 – 36:02Assistir
O volume de dados é uma das seis dimensões da qualidade de dados?
Não. O volume, por si só, não é uma das seis dimensões. Para a análise de qualidade, é mais importante que os dados tenham abrangência e representem significativamente as diferentes partes da realidade analisada, e não apenas que sejam numerosos.
37:08 – 37:19Assistir
A proteção de dados sensíveis deve ser responsabilidade do prompt ou da política de limpeza dos dados?
A proteção deve ser tratada antes do prompt, na ingestão e na etapa de limpeza, filtrando ou removendo dados sensíveis antes da vetorização para impedir que cheguem ao modelo.
47:32 – 48:39Assistir
Na preparação de dados para soluções de IA generativa, a limpeza dos dados também é considerada um tipo de processamento?
A limpeza faz parte do processamento e pode envolver várias técnicas, inclusive o uso de modelos generativos para interpretar documentos, extrair texto de PDFs e preparar os dados antes da vetorização.
48:56 – 50:11Assistir
É melhor limpar dados mesmo que isso cause desequilíbrio e possível viés, ou manter os dados originais?
A decisão depende do impacto do viés e do impacto de não limpar os dados. Para requisitos legais ou de privacidade, como impedir a exposição de nomes, a remoção deve ser rigorosa; eventuais perdas e efeitos no modelo devem ser monitorados em indicadores ou dashboards de qualidade.
52:56 – 53:55Assistir
Como avaliar se um modelo de agrupamento produziu um resultado de boa qualidade?
É possível usar modelos ou algoritmos avaliadores que analisam o resultado do agrupamento sem depender necessariamente de uma avaliação humana. Em geral, um validador separado verifica o desempenho e pode apontar que uma taxa de acerto alta não implica qualidade alta.
55:40 – 56:09Assistir
Na avaliação de resultados de IA generativa, existe um modelo automático para verificar a qualidade ou é necessário recorrer a um especialista?
No caso discutido, a avaliação de resultados generativos ainda depende principalmente de uma pessoa especialista, que precisa verificar se a resposta está adequada.
56:15 – 56:35Assistir
Como um protótipo de chatbot pode ser construído rapidamente para testar a ligação entre dados vetorizados e prompts?
Um protótipo pode usar um pequeno recorte do banco de dados, vinculá-lo a uma solução de busca ou armazenamento vetorial e conectá-lo a prompts para testar os resultados. Esse experimento inicial pode ser feito sem uma etapa completa de limpeza, embora isso não substitua a preparação adequada em produção.
56:44 – 57:27Assistir
Como testar a qualidade do resultado de uma solução de IA generativa que não está sendo treinada?
É possível automatizar requisições de teste e verificar se as respostas atendem a padrões esperados, como nomes com determinado formato. Como não há treinamento de um modelo próprio, a avaliação se concentra no resultado das requisições, e não em métricas tradicionais de qualidade de modelos.
1:01:21 – 1:02:25Assistir
Como validar a qualidade das respostas de um chatbot baseado em IA generativa?
Uma abordagem direta é fazer requisições e validar o resultado esperado. O método de validação depende da complexidade do chatbot e do tipo de saída produzida.
1:02:37 – 1:02:51Assistir
Como tratar informações sensíveis antes que os dados sejam disponibilizados para outros repositórios?
Na infraestrutura apresentada, a ferramenta identifica informações sensíveis nos dados e realiza a limpeza ou remoção dessas informações antes de encaminhá-los para os repositórios de níveis prata e ouro.
1:05:40 – 1:05:56Assistir
Por que a qualidade de dados se tornou tão importante na engenharia de dados e em projetos de machine learning e IA generativa?
A qualidade de dados é uma preocupação recorrente nos clientes, tanto em projetos específicos de qualidade quanto na construção de pipelines de dados e machine learning. Mesmo projetos de IA generativa incorporam conceitos da engenharia de dados, como limpeza e preparação das informações.
1:08:26 – 1:09:11Assistir
Quais ferramentas podem ser usadas para analisar, validar, limpar e transformar dados antes da etapa seguinte do pipeline?
Ferramentas como AWS Glue, Dataflow, Data Factory, Synapse Analytics, Airflow, Great Expectations e Pandas permitem analisar os dados, aplicar validações de qualidade, identificar valores faltantes, realizar limpeza e transformação e decidir se o dado pode avançar no pipeline. Ferramentas de orquestração, como Airflow, também ajudam a estabelecer um fluxo formal de qualidade.
1:10:34 – 1:11:16Assistir
Qual é o principal diferencial do Databricks em relação a outras ferramentas de processamento de dados?
O Databricks é uma ferramenta de processamento capaz de lidar com grandes volumes de dados e oferece funcionalidades para executar verificações e regras de qualidade. Seu principal diferencial é combinar alto poder de processamento com recursos para implementar lógicas de qualidade de dados.
1:15:27 – 1:16:28Assistir
Qual é a diferença entre usar um self-query retriever e construir manualmente as consultas de recuperação em uma solução de RAG?
Sem um self-query retriever, é necessário construir a consulta manualmente, especificando a entrada, a saída e regras para cada tipo de pergunta, como filtros e operadores de comparação. O self-query retriever monta a consulta automaticamente com base nos metadados, nos dados disponíveis e no modelo utilizado, reduzindo o trabalho de engenharia de prompts. Porém, ele precisa ser amplamente testado, pois pode gerar consultas incorretas.
1:16:53 – 1:18:09Assistir
O protótipo de chatbot apresentado já está sendo utilizado em clientes?
O protótipo foi criado principalmente para conhecer a tecnologia, avaliar sua aplicação no mundo real e desmistificar como utilizá-la; a discussão não confirma uma operação consolidada em clientes.
1:24:29 – 1:24:50Assistir