Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

PrivateGPT

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

PrivateGPT é uma ferramenta que roda um modelo de linguagem na própria máquina e permite alimentá-lo com arquivos próprios para consultá-los por chat, de forma privada, como uma RAG local pronta.

Ela junta num só pacote as peças de uma RAG e a execução local do modelo. Como nada sai para a nuvem, o conteúdo dos arquivos fica sob controle de quem os carregou. É o caminho mais direto para experimentar RAG sobre um acervo próprio sem montar cada etapa à mão.

Como se usa

Depois de instalada e configurada, a ferramenta abre uma interface com upload de arquivos e um chat lateral. O fluxo tem três momentos:

  • Carga dos arquivos. Um conjunto de documentos, por exemplo artigos científicos escritos pelo próprio usuário, é enviado para a ferramenta.
  • Processamento. Antes de responder qualquer coisa, o sistema lê todos os arquivos e gera uma espécie de mapa vetorial do conteúdo, guardado numa base como um Banco Vetorial. Essa etapa pode demorar, conforme o volume de arquivos.
  • Consulta. O usuário pergunta pelo chat, por exemplo o que um dos seus artigos define como inteligência artificial. A resposta vem montada a partir dos documentos e indica de qual arquivo saiu a informação.

A indicação da fonte é o ponto forte: permite conferir a resposta no documento original, algo que um chat genérico não faz por padrão.

Limites e requisitos

Rodar bem localmente exige processamento. O ideal é uma placa de vídeo com boa memória de vídeo; sem ela, o trabalho recai sobre a memória RAM e fica bem mais lento. A instalação ficou bem mais simples que a de versões anteriores, que davam mais trabalho para configurar.

Uma RAG sobre arquivos próprios também não exige modelo local. Em nuvem, o equivalente é criar um GPT personalizado que usa os arquivos como fonte. O PrivateGPT se justifica quando a privacidade pesa, ou quando se quer uma solução pronta e amigável. Para entender cada etapa, vale montar o Pipeline de RAG peça por peça, dividindo os documentos, vetorizando e recuperando por conta própria.