Pular para o conteúdo
LabS Atlas
Computer Vision
Entrar

Pipeline de um Sistema de Visão Computacional

Ir para notas que citam esta
atualizado há 5 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

O pipeline de um sistema de visão computacional é a sequência de blocos que leva do pixel à resposta: captura, pré-processamento, modelo, pós-processamento e integração, alimentada por contexto, calibrada pelo feedback do usuário e acompanhada por monitoramento.

O desenho serve para mostrar quem é quem num sistema de visão. O modelo é só um dos blocos; dados e engenharia ocupam os demais, e todos são tocados por algum dos domain sets da bancada. É também o esqueleto do learning prototype da Bancada Computer Vision, uma aplicação com LVLM de ponta a ponta.

Os blocos, do pixel à resposta

BlocoNaturezaO que faz
CapturaDadosRecebe a imagem por câmera, upload ou vídeo
Pré-processamentoEngenhariaAplica filtros, recorta e confere a qualidade da imagem
ModeloIAInterpreta a imagem com um detector, um LVLM ou os dois
Pós-processamentoEngenhariaValida a resposta, aplica regras de negócio e entrega em JSON
IntegraçãoEngenhariaLeva o resultado à API, à fila e ao sistema da área

Acima do modelo fica o contexto, do lado dos dados: jornadas, prompts, datasets e imagens de referência que dizem ao modelo o que procurar. Com LVLMs, esse bloco pesa tanto quanto o modelo, como mostra Estratégias de Modelo em Visão Computacional.

Captura e jornada do usuário

A captura não é só técnica. Ela depende da jornada de quem tira a foto: em que momento, com que aparelho, com que enquadramento. Um sistema que recebe imagens de um celular comum precisa lidar com luz ruim e foto torta no pré-processamento, ou orientar a pessoa antes do clique.

Feedback do usuário calibra o sistema

Depois da integração, a resposta chega a alguém que pode confirmar ou corrigir. Essas correções voltam para o sistema e calibram o modelo e o contexto: viram novas imagens de referência, novos exemplos rotulados ou ajustes nas regras de validação. É o território de calibração a partir do usuário, em que o sistema evolui com o uso em vez de ficar parado na primeira versão. Um exemplo concreto está no Pipeline Híbrido de Detecção em Vídeo, em que cada captura confirmada vira treino do detector.

Monitoramento

Atravessando todos os blocos, o monitoramento acompanha:

  • Versionamento de modelo, prompt e regras, para saber qual combinação gerou cada resposta.
  • Avaliação das respostas, comparando com o que foi confirmado ou corrigido.
  • Latência e custo por imagem processada.
  • Drift dos dados, quando as imagens que chegam deixam de parecer com as usadas para preparar o sistema.

O quarto dos desafios da bancada pede justamente um pipeline de ponta a ponta com monitoramento e feedback do usuário. As ferramentas de cada bloco estão no Mapa de Tecnologias de Visão Computacional.