Pular para o conteúdo
LabS Atlas
Computer Vision
Entrar

Segment Anything Model 3

Ir para notas que citam esta
atualizado há 5 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Segment Anything Model 3 (SAM 3) é um modelo de segmentação que recebe uma imagem e um pedido em texto, como "red car", e devolve a máscara dos pixels do objeto pedido, sem precisar ser treinado para aquela classe.

Ele resolve a terceira das Tarefas de Reconhecimento Visual, segmentar, mas com a interface que os modelos de linguagem popularizaram: em vez de escolher uma classe fixa, a pessoa descreve o que quer. Por isso fica perto dos detectores de vocabulário aberto citados em Visão Computacional Tradicional x LVLMs, que também recebem o nome do objeto em texto.

Como é usar

O uso é simples. Um script curto em Python, de cerca de 65 linhas, baseado no código que o próprio repositório do modelo disponibiliza, recebe o caminho de uma imagem e o prompt. Num print de uma câmera de rua, o pedido por um carro vermelho fez o modelo encontrar o objeto e gerar a máscara exatamente sobre ele. A saída crua é a máscara (uma imagem quase toda preta com a área do objeto marcada); o sentido aparece quando a máscara é sobreposta à imagem original.

Limites práticos

  • Prompt em inglês. O modelo só entende pedidos em inglês; em português, não funciona.
  • Placa de vídeo. Rodar localmente pede GPU.
  • Vídeo é mais pesado. O modelo também segmenta vídeo ao vivo, mas isso pesa muito mais do que uma imagem parada num computador comum.

O SAM aparece no Mapa de Tecnologias de Visão Computacional na família de detecção e segmentação, e é um dos detectores tradicionais que a bancada combina com LVLMs nas arquiteturas híbridas.