Visão Computacional Tradicional x LVLMs
Ir para notas que citam estaVisão Computacional Tradicional x LVLMs é a comparação central da Bancada Computer Vision: de um lado, modelos especializados treinados para uma tarefa de imagem; de outro, LVLMs que respondem perguntas sobre a cena em linguagem natural.
A pergunta que organiza a comparação é direta: a visão computacional tradicional ainda tem lugar? Ou, de forma mais útil, quando um modelo especializado vence um LVLM, e quando a troca vale a conta. A Bancada Computer Vision trata isso como pergunta a medir, não como opinião, e por isso a comparação aparece no primeiro dos desafios, numa Tech Talk, num LabS Panel e num Model Duel.
As duas abordagens
| Aspecto | Visão computacional tradicional | LVLM |
|---|---|---|
| Como se usa | Um modelo por tarefa, preparado para um conjunto de objetos | Uma pergunta em texto junto com a imagem |
| O que devolve | Rótulos, caixas, máscaras e confiança | Texto ou JSON que descreve e interpreta a cena |
| Ponto forte | Responder o que e onde, repetidamente, na mesma tarefa | Responder sobre relações, situação e contexto sem treino por tarefa |
| Exemplos | YOLO, DETR, Detectron2, SAM | GPT, Gemini, Claude, Qwen VL, LLaVA |
Entre os dois extremos ficam os detectores de vocabulário aberto, como Grounding DINO e OWLv2, que recebem em texto o nome do objeto a procurar e devolvem caixas, sem precisar de um modelo treinado para cada classe.
Critérios de comparação
A comparação só é justa no mesmo problema e com as mesmas imagens. Os critérios que a bancada usa são:
- Custo, por imagem processada e para manter o sistema rodando.
- Precisão, medida contra respostas conferidas, não contra a impressão de que a resposta parece boa.
- Esforço, isto é, quanto trabalho de dados, rotulagem e ajuste cada abordagem pede antes de funcionar.
- Latência, que pesa quando a resposta precisa sair enquanto a pessoa ainda está com o celular na mão.
Combinar em vez de escolher
No pipeline de um sistema de visão, o bloco de modelo pode ser um detector, um LVLM ou os dois. Uma divisão possível é o detector localizar e contar os objetos e o LVLM interpretar a cena a partir desse resultado, com regras de validação no pós-processamento. A pergunta deixa de ser qual abordagem vence e passa a ser qual parte do problema cada uma resolve melhor. No Ciclo da Bancada Computer Vision, essa combinação, detectores como YOLO e SAM junto com LVLMs, é o tema do Café com Código de arquiteturas híbridas. Um exemplo funcionando, com YOLO, CLIP e um modelo de decisão, e a conta de custo entre chamar um modelo por API e treinar um detector próprio, está em Pipeline Híbrido de Detecção em Vídeo.