Pular para o conteúdo
LabS Atlas
Computer Vision
Entrar

Embeddings e Busca Visual

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Embeddings e busca visual são a técnica de representar cada imagem como um vetor numérico, de modo que imagens parecidas fiquem próximas umas das outras, e de usar essa proximidade para encontrar numa base as imagens mais semelhantes a uma consulta.

O embedding resume o conteúdo visual da imagem, e não os seus pixels: duas fotos da mesma peça, tiradas de ângulos diferentes, ficam perto no espaço vetorial mesmo que quase nenhum pixel coincida. A busca visual é a consulta por vizinhança nesse espaço. Os vetores formam um dos territórios de Dados para Visão Computacional.

Modelos que geram embeddings

  • CLIP e SigLIP colocam imagem e texto no mesmo espaço vetorial, o que permite buscar imagens a partir de uma frase.
  • DINOv2 gera representações só visuais, úteis para comparar imagens entre si.
  • ImageBind liga várias modalidades, como imagem, áudio e texto, num mesmo espaço.

Onde os vetores ficam

Para buscar entre muitas imagens, os vetores vão para uma estrutura de busca por similaridade: uma biblioteca como FAISS, um banco vetorial como Qdrant ou Milvus, ou a extensão pgvector dentro do Postgres. A escolha depende do volume de imagens e de onde o restante do sistema já guarda seus dados.

Usos num sistema de visão

  • Busca por semelhança. Encontrar na base as imagens mais parecidas com uma foto nova, por exemplo para achar casos anteriores do mesmo problema.
  • Busca por texto. Com modelos de imagem e texto, encontrar imagens a partir de uma descrição.
  • Contexto para LVLMs. Recuperar as imagens de referência mais próximas da foto recebida e colocá-las no prompt, uma forma de in-context learning descrita em Estratégias de Modelo em Visão Computacional.

Uma busca visual com vetores é uma das entregas possíveis do terceiro dos desafios da bancada.