Pular para o conteúdo
LabS Atlas
Computer Vision
Entrar

Mapa de Tecnologias de Visão Computacional

Ir para notas que citam esta
atualizado há 5 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

O Mapa de Tecnologias de Visão Computacional organiza as ferramentas da área em seis famílias: modelos de visão e linguagem, detecção e segmentação, embeddings e busca visual, dados e rotulagem, inferência e edge, e bibliotecas e frameworks.

O mapa não é uma recomendação de stack. Ele serve para situar cada nome que aparece numa conversa sobre Visão Computacional no bloco certo do pipeline e para mostrar que, para quase toda etapa, há mais de uma opção a comparar.

As seis famílias

FamíliaPara que serveExemplos
Modelos de visão e linguagemPerguntar sobre a imagem em linguagem naturalGPT, Gemini, Claude, Qwen VL, Llama, Gemma, LLaVA, InternVL, Molmo, Pixtral
Detecção e segmentaçãoLocalizar objetos, contornar pixels, detectar por nome em textoYOLO, SAM, Grounding DINO, DETR, OWLv2, Detectron2, MMDetection
Embeddings e busca visualRepresentar imagens como vetores e buscar por semelhançaCLIP, SigLIP, DINOv2, ImageBind, FAISS, Qdrant, Milvus, pgvector
Dados e rotulagemAnotar, organizar e avaliar datasets de imagemCVAT, Label Studio, Roboflow, FiftyOne, Labelbox, Encord, Supervisely
Inferência e edgeRodar o modelo com eficiência, no servidor ou perto da câmeraONNX Runtime, OpenVINO, TensorRT, NVIDIA Jetson, DeepStream, LiteRT, Core ML, MediaPipe
Bibliotecas e frameworksManipular imagens, treinar e montar o pipeline em códigoOpenCV, PyTorch, torchvision, Transformers, Ultralytics, supervision, Kornia, timm

Como as famílias se encaixam

  • Os modelos de visão e linguagem são os LVLMs; detecção e segmentação são a abordagem especializada. A escolha entre eles, ou a combinação, está em Visão Computacional Tradicional x LVLMs.
  • Embeddings e bancos vetoriais aparecem em Embeddings e Busca Visual; dados e rotulagem, em Dados para Visão Computacional.
  • Inferência e edge ganha importância quando o modelo precisa rodar no dispositivo, perto da câmera. A edge AI aparece a menos de dois anos do platô no recorte do Hype Cycle.
  • Bibliotecas e frameworks são a cola: leem e transformam a imagem no pré-processamento, rodam o modelo e desenham caixas e máscaras no pós-processamento.
  • Três famílias trabalham juntas no Pipeline Híbrido de Detecção em Vídeo: o CLIP gera o embedding da imagem de referência, o YOLO detecta e um modelo de decisão confirma. O CLIP tem código aberto e pode ser usado de graça. A segmentação por prompt de texto aparece em Segment Anything Model 3.

Modelos como serviço

Além das ferramentas do mapa, as clouds oferecem visão computacional e LVLMs como serviço, o que troca parte da engenharia de inferência por chamadas de API. Entender como esse caminho funciona é a pesquisa do quarto dos desafios da bancada, que termina num pipeline de ponta a ponta.