Pipeline Híbrido de Detecção em Vídeo
Ir para notas que citam estaPipeline híbrido de detecção em vídeo é o arranjo em que um detector rápido, como o YOLO, encontra candidatos quadro a quadro, um modelo de embeddings como o CLIP diz o que se procura a partir de uma imagem de exemplo, e um modelo de decisão confirma só os casos que o detector sugeriu.
O arranjo junta as duas abordagens discutidas em Visão Computacional Tradicional x LVLMs: o detector especializado faz o trabalho barato e contínuo, e o modelo maior só é chamado quando há algo a confirmar. Cada confirmação feita por uma pessoa vira exemplo de treino para o detector, que fica mais preciso com o uso.
Como as peças se encaixam
O exemplo usado na demonstração da bancada lê uma câmera de rua ao vivo e procura motociclistas.
- Imagem de referência. Em vez de escrever o que procurar, a pessoa cola a imagem de uma moto. O CLIP transforma essa imagem num embedding, a representação descrita em Embeddings e Busca Visual.
- Detecção. O YOLO usa essa referência para marcar, a cada quadro, os objetos parecidos com o que se pediu.
- Confirmação. Cada candidato vai para um modelo de decisão (a Decisions API), que confirma se aquilo é mesmo o que se procura e devolve uma porcentagem de certeza. Só o que é confirmado vira captura.
- Revisão e treino. As capturas aparecem num painel, a pessoa confirma ou corrige, e cada confirmação entra como novo treinamento do YOLO.
É o mesmo laço de feedback do usuário que calibra o sistema, aplicado ao detector.
O que os erros ensinam
No começo, sem treino específico, o sistema confunde e repete. Bicicletas elétricas passaram como motos, e a mesma moto foi capturada mais de uma vez, porque a mudança de ângulo e de luz entre quadros fez o modelo achar que era outro objeto. Pessoas andando a pé, por outro lado, não foram capturadas: o pedido era por quem pilota moto. Conforme as confirmações entram, o detector passa a capturar as motos mais rápido.
Custo de chamar um modelo por API
O custo aparece na própria tela. Numa rodada com 36 chamadas ao modelo de decisão, o total ficou em cerca de US$ 0,002, longe de um centavo. Rodando 24 horas por dia, a estimativa chega a cerca de US$ 64 diários, e cai porque o modelo não é chamado o tempo todo, só quando o detector encontra algo.
Há dois lados nessa conta. Usar um modelo pronto por API dispensa máquina com placa de vídeo e treino próprio, roda num computador comum ligado a câmeras comuns e recebe as atualizações do provedor; em muitos casos sai mais barato do que treinar um modelo para ter a mesma precisão. Para vídeo analisado o dia inteiro, porém, chamar um modelo grande fica caro, e treinar um detector específico com as capturas acumuladas (no exemplo, um modelo só de motos) ganha em desempenho e em custo.
Para onde o arranjo pode ir
O mesmo desenho serve a outros eventos raros, como acidentes numa rodovia: o detector fica de olho o tempo todo, o modelo de decisão só é chamado quando algo parece um acidente, e cada caso confirmado melhora o treino. As capturas guardadas também servem como evidência, não só como dado de treino. Detectar um veículo é mais simples do que reconhecer uma pessoa específica, então aplicações com rostos pedem mais do que este exemplo mostra. Outros usos aparecem em Aplicações de Visão Computacional.