Pular para o conteúdo
LabS Atlas
Generative AI
Entrar
Sessões

Sessão de Bancada RAG Como Criar Chunks Sem Perder o Significado (2024-10-07)

7 out 20241h 12min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Notas relacionadas · 2

Notas citadas nas anotações desta sessão.

Resumo da sessão

A sessão discutiu como criar chunks para sistemas RAG sem fragmentar o significado dos documentos. Foram mencionados pré-processamento, limpeza de texto, remoção de ruídos e stop words, divisão por seções e manutenção de contexto entre trechos. Também apareceu a ideia de usar sobreposição entre chunks, metadados e estruturas hierárquicas para evitar que informações relacionadas sejam separadas, além da comparação entre abordagens baseadas em tamanho fixo, frases, parágrafos e limites semânticos.

Também foram abordados embeddings, busca por similaridade, consultas e reranqueamento, destacando que chunks muito pequenos podem perder contexto e chunks muito grandes podem reduzir a precisão da recuperação. Houve referências a testes, benchmarks, comparação de modelos e avaliação da qualidade das respostas, bem como à implementação de pipelines e ambientes reproduzíveis, possivelmente com contêineres. Como pontos em aberto, ficaram a escolha do tamanho e da sobreposição ideais, o método de segmentação mais adequado para cada tipo de documento e a necessidade de validar as decisões com um conjunto de consultas e métricas reais.

Gerado por IA a partir da transcrição.
Capítulos · 30
00:15
Abertura e conversa inicial
Assistir
06:59
Processos, ferramentas e ambiente de desenvolvimento
Assistir
11:26
Equidade digital e desafios técnicos
Assistir
14:18
Problemas sistêmicos e processamento de dados
Assistir
17:00
Privacidade, segurança e informações pessoais
Assistir
19:38
Turismo, redes e comparação de resultados
Assistir
23:36
Mensagens, apresentações e organização de informações
Assistir
26:21
Embeddings e dificuldades de carregamento
Assistir
33:24
Consultoria, requisitos e cadeia de dados
Assistir
36:04
Computadores, formatos e modelos de linguagem
Assistir
37:24
Ciência de dados e processamento de texto
Assistir
38:45
Consultas, interação e recuperação de informação
Assistir
40:02
Docker, contêineres e implantação
Assistir
41:23
Cache, atualizações e componentes do sistema
Assistir
42:42
Pipelines e configuração
Assistir
45:34
Interface e busca por consultas
Assistir
46:56
Tradução, viagens e aplicações móveis
Assistir
48:13
Chaves, soluções e abordagem móvel
Assistir
50:57
Conexões, vídeo e depuração
Assistir
53:39
Chamadas, áudio e processamento seguro
Assistir
54:55
Multitarefa, embeddings e comparação
Assistir
57:39
Pesquisa, benchmarks e dados de turismo
Assistir
59:01
Localização, desempenho e seleção de modelos
Assistir
1:02:58
Banco de dados Azure e processamento
Assistir
1:04:25
Documentação e oportunidades de aplicação
Assistir
1:05:40
Discussão final e próximos passos
Assistir
1:07:08
Encerramento da sessão
Assistir
1:08:21
Senhas e informações públicas
Assistir
1:09:39
Filtros, busca e resultados
Assistir
1:11:01
Revisão final e conclusão
Assistir