Sessão de Bancada RAG Como Criar Chunks Sem Perder o Significado (2024-10-07)
Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.
O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.
Notas citadas nas anotações desta sessão.
A sessão discutiu como criar chunks para sistemas RAG sem fragmentar o significado dos documentos. Foram mencionados pré-processamento, limpeza de texto, remoção de ruídos e stop words, divisão por seções e manutenção de contexto entre trechos. Também apareceu a ideia de usar sobreposição entre chunks, metadados e estruturas hierárquicas para evitar que informações relacionadas sejam separadas, além da comparação entre abordagens baseadas em tamanho fixo, frases, parágrafos e limites semânticos.
Também foram abordados embeddings, busca por similaridade, consultas e reranqueamento, destacando que chunks muito pequenos podem perder contexto e chunks muito grandes podem reduzir a precisão da recuperação. Houve referências a testes, benchmarks, comparação de modelos e avaliação da qualidade das respostas, bem como à implementação de pipelines e ambientes reproduzíveis, possivelmente com contêineres. Como pontos em aberto, ficaram a escolha do tamanho e da sobreposição ideais, o método de segmentação mais adequado para cada tipo de documento e a necessidade de validar as decisões com um conjunto de consultas e métricas reais.