Pular para o conteúdo
LabS Atlas
Computer Vision
Entrar

Visão Computacional Tradicional x LVLMs

Ir para notas que citam esta
atualizado há 5 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Visão Computacional Tradicional x LVLMs é a comparação central da Bancada Computer Vision: de um lado, modelos especializados treinados para uma tarefa de imagem; de outro, LVLMs que respondem perguntas sobre a cena em linguagem natural.

A pergunta que organiza a comparação é direta: a visão computacional tradicional ainda tem lugar? Ou, de forma mais útil, quando um modelo especializado vence um LVLM, e quando a troca vale a conta. A Bancada Computer Vision trata isso como pergunta a medir, não como opinião, e por isso a comparação aparece no primeiro dos desafios, numa Tech Talk, num LabS Panel e num Model Duel.

As duas abordagens

AspectoVisão computacional tradicionalLVLM
Como se usaUm modelo por tarefa, preparado para um conjunto de objetosUma pergunta em texto junto com a imagem
O que devolveRótulos, caixas, máscaras e confiançaTexto ou JSON que descreve e interpreta a cena
Ponto forteResponder o que e onde, repetidamente, na mesma tarefaResponder sobre relações, situação e contexto sem treino por tarefa
ExemplosYOLO, DETR, Detectron2, SAMGPT, Gemini, Claude, Qwen VL, LLaVA

Entre os dois extremos ficam os detectores de vocabulário aberto, como Grounding DINO e OWLv2, que recebem em texto o nome do objeto a procurar e devolvem caixas, sem precisar de um modelo treinado para cada classe.

Critérios de comparação

A comparação só é justa no mesmo problema e com as mesmas imagens. Os critérios que a bancada usa são:

  • Custo, por imagem processada e para manter o sistema rodando.
  • Precisão, medida contra respostas conferidas, não contra a impressão de que a resposta parece boa.
  • Esforço, isto é, quanto trabalho de dados, rotulagem e ajuste cada abordagem pede antes de funcionar.
  • Latência, que pesa quando a resposta precisa sair enquanto a pessoa ainda está com o celular na mão.

Combinar em vez de escolher

No pipeline de um sistema de visão, o bloco de modelo pode ser um detector, um LVLM ou os dois. Uma divisão possível é o detector localizar e contar os objetos e o LVLM interpretar a cena a partir desse resultado, com regras de validação no pós-processamento. A pergunta deixa de ser qual abordagem vence e passa a ser qual parte do problema cada uma resolve melhor. No Ciclo da Bancada Computer Vision, essa combinação, detectores como YOLO e SAM junto com LVLMs, é o tema do Café com Código de arquiteturas híbridas. Um exemplo funcionando, com YOLO, CLIP e um modelo de decisão, e a conta de custo entre chamar um modelo por API e treinar um detector próprio, está em Pipeline Híbrido de Detecção em Vídeo.