Pular para o conteúdo
LabS Atlas
Computer Vision
Entrar

Tarefas de Reconhecimento Visual

Ir para notas que citam esta
atualizado há 5 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Tarefas de reconhecimento visual são as perguntas básicas que um sistema de visão computacional responde sobre uma imagem: classificar (o que tem na imagem), detectar (onde está e com que confiança) e segmentar (quais pixels são do objeto), além de ler textos.

Elas formam a camada de reconhecer da Visão Computacional, entre a captura, que transforma a cena em pixels, e a compreensão, que interpreta a cena como um todo. Cada tarefa dá uma resposta mais detalhada que a anterior.

Classificar, detectar e segmentar

TarefaPerguntaSaída típica
ClassificarO que tem na imagem?Um rótulo para a imagem inteira, como "carro"
DetectarOnde está, e com que confiança?Uma caixa em volta de cada objeto, com rótulo e confiança, como "carro 95%"
SegmentarQuais pixels são do objeto?Uma máscara que marca, pixel a pixel, o contorno do objeto

Ler textos numa imagem, como placas, rótulos e documentos, completa o conjunto e costuma aparecer junto com a detecção, já que primeiro é preciso achar onde o texto está.

A confiança da detecção

O número ao lado do rótulo é a confiança que o modelo atribui àquela detecção, não uma garantia de acerto. Uma cena de rua pode render "pessoa 98%", "carro 95%" e "semáforo 91%" ao mesmo tempo, cada objeto com sua própria confiança. Na prática, o sistema define um limite: abaixo dele, a detecção é descartada ou enviada para revisão, uma decisão que pertence ao pós-processamento do pipeline.

A detecção também é a base para contar: somar as caixas de um mesmo rótulo responde quantos objetos há na cena, com as dificuldades descritas em Contagem de Objetos em Imagens.

Do reconhecimento à compreensão

Classificar, detectar e segmentar respondem o que e onde. Perguntas sobre relação e situação, como se a pessoa está atravessando na frente do carro, pedem outra camada, que hoje é ocupada pelos LVLMs. A escolha entre um detector especializado e um LVLM, ou a combinação dos dois, é o tema de Visão Computacional Tradicional x LVLMs. Os detectores e segmentadores mais usados (YOLO, DETR, SAM, Grounding DINO e outros) estão no Mapa de Tecnologias de Visão Computacional. A segmentação a partir de um pedido em texto aparece em Segment Anything Model 3.