Pular para o conteúdo
LabS Atlas
Generative AI
Entrar
Sessões

Sessão de Bancada Escolha e Qualidade de Dados para IA Generativa (2024-08-12)

12 ago 20241h 51min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão discutiu a importância da escolha, preparação e qualidade dos dados para projetos de IA generativa, especialmente modelos de linguagem e aplicações de RAG. Foi ressaltado que dados inadequados, duplicados, inconsistentes, enviesados ou sem relevância para o objetivo podem comprometer todo o projeto. O fluxo apresentado incluiu definir o propósito do modelo, adquirir dados estruturados e não estruturados, explorar e validar sua integridade, limpar e normalizar informações, transformar conteúdos em tokens e embeddings e adicionar contexto para melhorar a recuperação. Também foram abordados web scraping, APIs, bancos de dados, chunking e a necessidade de selecionar fontes confiáveis, considerando diferenças regionais, legislação, vieses e direitos autorais.

A conversa reforçou que IA generativa não substitui especialistas e que automação baseada em regras não é necessariamente inteligência artificial. Houve exemplos sobre limitações dos modelos, alucinações, filtros de segurança, uso de dados da internet e a influência de leis como a LGPD e o GDPR. Discutiu-se ainda a dificuldade de regulamentar uma tecnologia em rápida evolução, o papel de governos e grandes empresas e a necessidade de projetos bem delimitados, com anonimização e coleta apenas dos dados necessários. Ficaram como pontos em aberto futuras sessões ou demonstrações sobre chunking, vetorização, embeddings, escolha entre modelos de linguagem, treinamento e integração de modelos com bases vetoriais; os participantes foram convidados a propor apresentações práticas ou teóricas sobre esses temas.

Gerado por IA a partir da transcrição.
Capítulos · 52
12:51
Abertura e organização da sessão
Assistir
15:28
Discussão sobre horários e participação
Assistir
17:05
Apresentação do tema: preparação de dados para IA
Assistir
18:28
Importância da escolha e qualidade dos dados
Assistir
23:37
Dados como base crítica para projetos de IA
Assistir
26:08
Automação, heurísticas e inteligência artificial
Assistir
28:39
Escolha de dados e limites da IA
Assistir
29:55
O papel do especialista e do conhecimento humano
Assistir
32:29
IA generativa como parceira de processamento
Assistir
33:44
Inteligência artificial geral e evolução dos modelos
Assistir
35:00
Contexto e objetivos do LabS
Assistir
36:18
Bancadas e exploração colaborativa de tecnologias
Assistir
38:51
Foco da bancada em IA generativa e LLMs
Assistir
40:10
Preparação de dados no contexto de RAG
Assistir
42:43
Impacto da qualidade dos dados no desempenho
Assistir
45:16
Filtros, segurança e vieses nos dados de treinamento
Assistir
46:34
Confiabilidade dos dados e alucinações dos modelos
Assistir
47:54
Modelos, fontes de dados e curadoria
Assistir
49:10
Filtros regionais, legislação e contexto cultural
Assistir
50:28
Etapa 1: aquisição e definição do objetivo
Assistir
51:45
Dados estruturados, não estruturados e coleta
Assistir
53:03
Exploração, validação e consistência dos dados
Assistir
54:22
Exploração e limpeza de dados
Assistir
57:00
Tokenização e embeddings
Assistir
58:16
Agregação, contexto e enriquecimento de dados
Assistir
59:35
Temas para demonstrações práticas
Assistir
1:02:09
A bancada como laboratório colaborativo
Assistir
1:04:41
Chunking, memória e busca semântica
Assistir
1:07:16
Privacidade e qualidade dos dados em projetos de IA
Assistir
1:09:57
O que é chunking na prática
Assistir
1:12:34
LGPD e escopo de projetos estatísticos
Assistir
1:15:03
Regulação de IA e uso de dados brasileiros
Assistir
1:16:20
Plano brasileiro de inteligência artificial
Assistir
1:20:15
Desafios políticos e regulatórios da tecnologia
Assistir
1:24:02
Estratégias empresariais diante das leis
Assistir
1:25:19
Dados governamentais e poder analítico
Assistir
1:26:35
Valor comercial de renda e consumo
Assistir
1:27:57
Restrições internacionais ao treinamento de modelos
Assistir
1:31:52
Ciência, leis e responsabilidade ética
Assistir
1:33:10
Formação acadêmica e especialização
Assistir
1:35:43
Ciência de dados, mestrado e doutorado
Assistir
1:36:59
Bicicleta, ferramentas e imaginação humana
Assistir
1:38:17
Programação e robótica nas escolas
Assistir
1:39:31
Primeiros contatos com programação e algoritmos
Assistir
1:40:48
Graduação, mestrado e desafios do cálculo
Assistir
1:42:02
Experiências com engenharia elétrica e matemática
Assistir
1:43:18
Matemática, física e computação
Assistir
1:44:36
Abstração matemática e números negativos
Assistir
1:45:50
O conceito de número e a abstração
Assistir
1:47:07
Abstração, animais e dimensões matemáticas
Assistir
1:48:24
Como explicar dimensões para crianças
Assistir
1:49:41
Encerramento da sessão
Assistir
Cortes · 18
Por que a escolha e o tratamento dos dados são críticos
A discussão diferencia automação baseada em regras de inteligência artificial e mostra que a escolha, a estruturação e o saneamento da base de dados podem determinar todo o resultado de um projeto. Também são apresentados exemplos de bases mal organizadas e dos problemas causados por dados inconsistentes.
23:37 – 27:26Assistir
Os limites da IA diante do conhecimento especializado
O grupo debate situações em que a experiência humana continua indispensável, como a interpretação de fenômenos ambientais por um pescador experiente. O trecho explica que a IA processa grandes volumes de informação com eficiência, mas não substitui automaticamente especialistas nem o conhecimento contextual.
29:55 – 32:29Assistir
RAG, qualidade dos dados e vieses nos modelos
O trecho explica como a escolha de dados funciona em técnicas de recuperação de informação, usando uma memória auxiliar para produzir respostas mais específicas. Em seguida, aborda o impacto de dados enviesados, conteúdos falsos ou ficcionais e filtros de segurança no comportamento dos modelos de linguagem.
41:26 – 47:54Assistir
Filtros regionais e contexto legal dos dados
A discussão mostra que diferentes modelos e mecanismos de busca filtram informações conforme leis, culturas e regras de cada região. O trecho conclui que a base de dados precisa respeitar o público, a legislação e o contexto em que o produto será utilizado.
47:54 – 50:28Assistir
Etapas iniciais da preparação de dados
São apresentadas as primeiras etapas do preparo de dados: definir o objetivo do modelo, adquirir dados estruturados ou não estruturados e escolher fontes como sites, APIs e bancos de dados. Depois, o grupo aborda a exploração e a validação, incluindo a verificação de duplicidades, valores ausentes, consistência, diversidade e confiabilidade.
50:28 – 54:22Assistir
Preparação e transformação de dados para LLMs
O trecho explica etapas da preparação de dados, incluindo exploração, limpeza, deduplicação, normalização e transformação. Também apresenta tokenização e embeddings como formas de converter informações em estruturas que modelos de linguagem conseguem processar.
54:22 – 59:35Assistir
Chunking e organização de informações para IA
A discussão mostra por que não basta inserir grandes volumes de informação desorganizada em uma IA. O conceito de chunking é explicado como a divisão de textos em partes semanticamente relevantes, semelhantes a capítulos, para facilitar a recuperação de contexto.
1:04:41 – 1:07:16Assistir
Qualidade dos dados, privacidade e LGPD
O grupo debate um projeto de pesquisa médica prejudicado por problemas de qualidade dos dados e proteção de informações pessoais. A conversa diferencia limpeza de dados de anonimização e defende que projetos sejam desenhados para coletar apenas o nível de detalhe realmente necessário.
1:07:16 – 1:15:03Assistir
Desafios da regulamentação de IA no Brasil
Os participantes criticam propostas de regulamentação de inteligência artificial feitas sem conhecimento técnico suficiente. O trecho discute os riscos de leis impraticáveis, a influência de interesses políticos e a dificuldade de empresas e projetos nacionais acompanharem a evolução tecnológica.
1:16:20 – 1:22:49Assistir
Uso de dados pessoais por governos e empresas
A conversa compara os dados pessoais controlados por grandes empresas e governos, destacando que padrões de consumo podem ter mais valor comercial do que informações financeiras. Também são discutidas restrições legais ao treinamento de modelos com dados de brasileiros e as consequências de regras internacionais de proteção de dados.
1:24:02 – 1:31:52Assistir
Ciência, poder e responsabilidade das leis
O trecho debate se a ciência deve avançar independentemente de seus possíveis usos, usando a energia nuclear como exemplo. Os participantes defendem que a ciência produza conhecimento, enquanto leis e instituições devem limitar usos destrutivos, embora reconheçam a dificuldade de definir valores universais.
1:31:52 – 1:33:10Assistir
Especialização acadêmica em ciência de dados
A discussão apresenta a graduação como uma formação ampla e o mestrado e doutorado como etapas de especialização progressiva. O participante compartilha sua experiência em ciência de dados e aprendizado de máquina e incentiva quem gosta da área a buscar uma formação acadêmica mais aprofundada.
1:33:10 – 1:37:00Assistir
Programação e robótica nas escolas
Os participantes conversam sobre a presença de programação e robótica nas escolas, incluindo experiências com Java, Raspberry Pi e Lego. Também explicam como uma aula de robótica ajudou alunos a compreenderem o conceito de algoritmo.
1:38:17 – 1:40:48Assistir
Como chegar ao mestrado
Um participante interessado em ciência de dados recebe a orientação de que pode ingressar diretamente no mestrado, sem precisar fazer uma especialização antes. Em seguida, é contada uma experiência difícil em uma disciplina de computação evolucionária cursada junto com alunos de engenharia elétrica.
1:40:48 – 1:42:02Assistir
A matemática na engenharia
Os participantes relatam suas experiências com os cálculos avançados da engenharia elétrica e discutem as diferenças entre matemática, física e engenharia. A conversa também aborda como o estudo e a colaboração com colegas foram importantes para superar disciplinas difíceis.
1:42:02 – 1:43:18Assistir
Matemática, física e computação
A conversa diferencia os papéis da matemática, da física e da computação: a matemática estrutura conceitos, a física explica fenômenos naturais e a computação automatiza processos. O grupo usa números negativos e números imaginários para discutir como abstrações matemáticas são criadas para representar situações do mundo.
1:43:18 – 1:45:50Assistir
O que é um número?
A partir da pergunta sobre o que realmente é um número, é apresentado o exemplo de um pastor que controla suas ovelhas associando cada uma a uma pedra. O exemplo mostra como a matemática pode surgir da capacidade humana de abstrair e relacionar objetos.
1:45:50 – 1:47:07Assistir
Abstração e dimensões além da experiência
Os participantes refletem sobre a capacidade humana de abstração, comparando-a com as habilidades de outros animais e discutindo conceitos que não são diretamente observáveis. A conversa se concentra em dimensões superiores, usando sombras, cubos e explicações para crianças como formas de imaginar a quarta dimensão.
1:47:07 – 1:49:41Assistir
Perguntas desta sessão
Como diferenciar automação de inteligência artificial?
Automatizar uma tarefa não significa necessariamente usar inteligência artificial. A IA envolve algum nível de aprendizado, enquanto ferramentas como calculadoras podem apenas executar regras predefinidas.
23:43 – 23:52Assistir
Como escolher os dados que serão usados por uma inteligência artificial?
É preciso selecionar dados que façam sentido para o objetivo específico do modelo ou da aplicação, em vez de fornecer informações indiscriminadamente. A própria IA pode futuramente auxiliar nessa seleção, mas essa escolha ainda precisa ser orientada por pessoas.
29:35 – 29:41Assistir
O que é um modelo de linguagem de grande escala (LLM)?
É um modelo de aprendizado de máquina treinado com enormes quantidades de textos em linguagem natural. Ele aprende a prever as próximas palavras e, com isso, consegue gerar textos; exemplos incluem ChatGPT e Gemini.
42:15 – 42:58Assistir
Como organizar documentos e informações para que um sistema de RAG consiga recuperar o conteúdo relevante e usá-lo no contexto da resposta?
É necessário estruturar as informações, dividindo os documentos em partes ou chunks para facilitar a busca e acrescentar o conteúdo recuperado ao contexto da resposta. Não basta inserir um conjunto de informações misturadas; a organização contextual melhora a comunicação com o modelo.
1:05:30 – 1:05:52Assistir
Como a limpeza e o tratamento de dados podem afetar a privacidade e a conformidade com a legislação?
A limpeza de dados não se limita à formatação dos campos: é necessário verificar se os dados permitem identificar pessoas, inclusive por cruzamentos. O uso também deve respeitar a legislação aplicável, que pode variar por país ou região, além de requisitos de privacidade e proteção de dados.
1:09:06 – 1:09:49Assistir
O que é chunking e como ele é usado na organização de documentos para sistemas de IA?
Chunking é a divisão de um texto em partes menores e semanticamente relevantes, semelhantes a capítulos de um livro. Esses trechos são posteriormente vetorizados para permitir que sistemas como RAG recuperem o bloco relacionado à pergunta e o utilizem como contexto para gerar a resposta.
1:09:53 – 1:12:01Assistir