Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Banco Vetorial

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Banco vetorial é o armazenamento especializado em guardar embeddings e responder buscas por proximidade semântica, usado no RAG para recuperar os trechos mais relevantes a uma pergunta.

Um banco tradicional encontra registros por igualdade ou por palavra. O banco vetorial encontra conteúdo por significado: o documento é dividido em pedaços pelo Chunking, cada pedaço é convertido em vetor por um modelo de Embeddings, e a base passa a responder quais pedaços estão mais próximos de uma pergunta. É a peça central da etapa de recuperação do Pipeline de RAG.

Como a base é alimentada e consultada

Na ingestão, os pedaços vetorizados são inseridos na base, em geral em lote. O vetor e o texto original do pedaço precisam ser guardados juntos: o vetor sozinho serve para comparar, mas não para montar a resposta. Os vetores podem ser organizados em coleções por assunto, como uma coleção só com as súmulas de um tribunal.

Na consulta, a pergunta do usuário também vira embedding e é comparada aos vetores armazenados. A base devolve os vizinhos mais próximos, numa quantidade configurável (top 3, top 5, top 7). As métricas de distância e os limiares estão em Busca por Similaridade Vetorial. Essa busca funciona até sem modelo de linguagem, devolvendo os trechos crus. Numa aplicação generativa, esses vizinhos viram o contexto a partir do qual o modelo redige a resposta.

Metadados e rastreabilidade da fonte

Guardar metadados junto de cada pedaço permite dizer de onde veio a resposta. Uma divisão por cabeçalhos Markdown com o LangChain devolve cada pedaço como um documento com duas partes: o conteúdo e os metadados, como o título do capítulo de origem. Numa base com o texto da Constituição Federal dividido por capítulo, cada trecho recuperado carrega o capítulo a que pertence, e a resposta pode citar suas referências, como fazem os buscadores com IA.

A qualidade do que entra define a qualidade do que sai

  • Tamanho do pedaço: grande demais traz conteúdo desnecessário e desvia a resposta; pequeno demais tira contexto e aumenta o risco de Alucinação.
  • Corte pelo domínio: a Constituição se divide naturalmente por capítulo ou título; jurisprudência, por acórdão ou súmula. Decidir o corte exige algum conhecimento do domínio.
  • Limpeza: PDFs vetorizados sem tratamento carregam numeração de página, cabeçalhos e glossário, e conteúdo repetido confunde a recuperação.
  • Volume: não há um limite documentado de arquivos, mas mais conteúdo mal indexado tende a aumentar o tempo de resposta. Um PDF grande de súmulas pode levar tempo suficiente para justificar começar os testes com uma amostra menor.
  • Dados novos: um novo conjunto de dados precisa ser vetorizado e incluído na base, o que custa processamento e exige decidir o que fazer com conteúdo que se sobrepõe ao existente.

Em memória ou persistente: escolhas de implementação

Uma base em memória é o jeito mais rápido de prototipar, mas perde tudo quando a aplicação desliga e obriga a gerar os embeddings de novo, com custo de processamento. O FAISS, biblioteca da Meta para busca por vizinhos mais próximos em memória, é uma opção direta em Python. Para persistir, o pgvector acrescenta ao PostgreSQL um tipo vetorial e a busca por similaridade, sem manter um banco separado só para vetores. Num projeto que começou com o banco em memória padrão do Spring Boot, a migração para o Postgres com essa extensão trouxe ganho expressivo de desempenho e de contexto recuperado. Serviços gerenciados de banco vetorial são outra alternativa.

Fixe as versões das bibliotecas

As bibliotecas Python do ecossistema de IA, como LangChain e Hugging Face, mudam a estrutura de pacotes com frequência: um recurso de banco vetorial pode trocar de pacote em poucos dias e deixar de ser encontrado. Salve as versões usadas e teste o ambiente antes de qualquer demonstração.