Hands-on RAG em Detalhes Configurando o Ambiente Local (2024-07-29)
Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.
O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.
A sessão foi dedicada à configuração prática de um ambiente local para aplicações de RAG. Foram discutidos o uso de Python, bibliotecas e frameworks para organizar o projeto, a escolha entre modelos locais e serviços externos, além da necessidade de configurar dependências, credenciais, chaves de acesso e recursos compatíveis com a máquina. Também houve demonstrações e orientações sobre como estruturar o código, conectar modelos de linguagem e integrar componentes de busca e geração.
A parte central abordou o processamento dos documentos: importação de arquivos, extração de conteúdo, divisão em trechos (chunks), associação de metadados, geração de embeddings e armazenamento em uma base vetorial para posterior recuperação. Reforçou-se que o tamanho dos chunks, a qualidade da segmentação, os metadados e a formulação dos prompts influenciam diretamente a relevância das respostas. Foram mencionadas estratégias de busca, combinação de resultados, contexto enviado ao modelo e formas de avaliar se a resposta está realmente fundamentada nos documentos.
Ao longo da prática surgiram problemas de instalação, configuração, desempenho, compatibilidade entre bibliotecas e qualidade da comunicação, que foram tratados de forma incremental. Permaneceram como pontos em aberto a definição do modelo mais adequado para execução local, a escolha definitiva do banco vetorial e do framework, o ajuste fino de chunking e recuperação, além de testes sistemáticos de qualidade, custo e velocidade antes de consolidar o ambiente.