Mapa de Tecnologias de Visão Computacional
Ir para notas que citam estaO Mapa de Tecnologias de Visão Computacional organiza as ferramentas da área em seis famílias: modelos de visão e linguagem, detecção e segmentação, embeddings e busca visual, dados e rotulagem, inferência e edge, e bibliotecas e frameworks.
O mapa não é uma recomendação de stack. Ele serve para situar cada nome que aparece numa conversa sobre Visão Computacional no bloco certo do pipeline e para mostrar que, para quase toda etapa, há mais de uma opção a comparar.
As seis famílias
| Família | Para que serve | Exemplos |
|---|---|---|
| Modelos de visão e linguagem | Perguntar sobre a imagem em linguagem natural | GPT, Gemini, Claude, Qwen VL, Llama, Gemma, LLaVA, InternVL, Molmo, Pixtral |
| Detecção e segmentação | Localizar objetos, contornar pixels, detectar por nome em texto | YOLO, SAM, Grounding DINO, DETR, OWLv2, Detectron2, MMDetection |
| Embeddings e busca visual | Representar imagens como vetores e buscar por semelhança | CLIP, SigLIP, DINOv2, ImageBind, FAISS, Qdrant, Milvus, pgvector |
| Dados e rotulagem | Anotar, organizar e avaliar datasets de imagem | CVAT, Label Studio, Roboflow, FiftyOne, Labelbox, Encord, Supervisely |
| Inferência e edge | Rodar o modelo com eficiência, no servidor ou perto da câmera | ONNX Runtime, OpenVINO, TensorRT, NVIDIA Jetson, DeepStream, LiteRT, Core ML, MediaPipe |
| Bibliotecas e frameworks | Manipular imagens, treinar e montar o pipeline em código | OpenCV, PyTorch, torchvision, Transformers, Ultralytics, supervision, Kornia, timm |
Como as famílias se encaixam
- Os modelos de visão e linguagem são os LVLMs; detecção e segmentação são a abordagem especializada. A escolha entre eles, ou a combinação, está em Visão Computacional Tradicional x LVLMs.
- Embeddings e bancos vetoriais aparecem em Embeddings e Busca Visual; dados e rotulagem, em Dados para Visão Computacional.
- Inferência e edge ganha importância quando o modelo precisa rodar no dispositivo, perto da câmera. A edge AI aparece a menos de dois anos do platô no recorte do Hype Cycle.
- Bibliotecas e frameworks são a cola: leem e transformam a imagem no pré-processamento, rodam o modelo e desenham caixas e máscaras no pós-processamento.
- Três famílias trabalham juntas no Pipeline Híbrido de Detecção em Vídeo: o CLIP gera o embedding da imagem de referência, o YOLO detecta e um modelo de decisão confirma. O CLIP tem código aberto e pode ser usado de graça. A segmentação por prompt de texto aparece em Segment Anything Model 3.
Modelos como serviço
Além das ferramentas do mapa, as clouds oferecem visão computacional e LVLMs como serviço, o que troca parte da engenharia de inferência por chamadas de API. Entender como esse caminho funciona é a pesquisa do quarto dos desafios da bancada, que termina num pipeline de ponta a ponta.