Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Embeddings

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Embeddings são vetores numéricos multidimensionais que representam o significado de um texto, imagem ou som, de modo que conteúdos parecidos fiquem próximos e possam ser comparados por cálculo.

Um computador não compara significados, compara números. O embedding é a tradução que torna isso possível: um modelo de embedding recebe um pedaço de conteúdo e devolve uma lista de números, uma coordenada num espaço de muitas dimensões. Olhando o vetor, ninguém entende nada; o valor está na posição relativa. Dois textos que falam da mesma coisa ficam perto um do outro, mesmo sem compartilhar palavras.

É isso que sustenta a busca semântica de um RAG. Depois do Chunking, cada pedaço do documento vira um vetor e vai para o Banco Vetorial. Na consulta, a pergunta do usuário também vira embedding e é comparada aos vetores guardados por busca por similaridade, que devolve os trechos mais próximos.

Proximidade no espaço vetorial

Uma matriz RGB ajuda a visualizar: com só três dimensões, cada cor é um ponto, e dá para perguntar se o laranja fica mais perto do amarelo, do vermelho ou do azul. O embedding faz o mesmo em muitas dimensões; um formato comum usa 1536 posições.

Os exemplos mostram o efeito. Frases sobre rei, rainha e príncipe, todas ligadas à ideia de reino, ficam agrupadas, enquanto uma receita de bolo de chocolate cai numa coordenada distante. Cada dimensão pode ser lida como uma nota: um gato pontua alto em animal, zero em tecnológico e 0,7 em lazer, algo parecido com as métricas mentais que uma pessoa usa ao reconhecer algo. A comparação ainda é grosseira perto da compreensão humana: distinguir o seu gato de um gato qualquer exigiria muito mais processamento.

Escolha do modelo de embedding

Dá para gerar embeddings sem pagar nada. Modelos da família Sentence Transformers, baseados em BERT e treinados para português, rodam com bibliotecas gratuitas e sem chave de API; Hugging Face oferece outras opções, e o BGE-M3, na casa de centenas de milhões de parâmetros, roda localmente com bons resultados. Serviços pagos, como o text-embedding-ada-002 da OpenAI, são o padrão de várias bibliotecas quando nenhum modelo é informado.

A escolha tem consequências:

  • Cada modelo calcula de um jeito, com número de dimensões próprio. O Titan, da AWS, e o Ada, da OpenAI, se comportam de forma bem diferente, e o score de similaridade precisa ser recalibrado ao trocar de modelo. Modelos locais menos populares têm menos referência pública para esse ajuste.
  • O mesmo modelo precisa vetorizar o conteúdo e a pergunta, senão os vetores não são comparáveis.
  • Compatibilidade com o modelo gerador ajuda. Embeddings de outro fornecedor costumam funcionar, com menos precisão.

Segue em aberto se modelos gerais, específicos de domínio ou treinados em inglês rendem melhor com conteúdo em português.

Guarde o vetor e o texto

O vetor serve para localizar o trecho, mas não para montar a resposta. Cada embedding precisa ser armazenado junto com o texto original do chunk.

Imagens, multimodalidade e reindexação

Para documentos com imagens, um modelo de visão descreve a imagem e essa descrição é vetorizada, mantendo a ligação com o texto ao redor. Na Inteligência Artificial Multimodal, cada modalidade passa por um encoder próprio e os embeddings de texto, imagem e áudio são posicionados num Espaço Latente comum, onde a busca por proximidade cruza modalidades.

Vetorizar custa processamento. Um banco vetorial só em memória perde tudo ao reiniciar e obriga a refazer os embeddings; um banco persistente evita esse gasto. Quando chega um conjunto de dados novo, é preciso vetorizá-lo e reindexar a base, decidindo o que fazer com conteúdo que se sobrepõe ao já vetorizado.