Dados para Visão Computacional
Ir para notas que citam estaDados para visão computacional são as imagens, os rótulos e os materiais auxiliares que alimentam um sistema de visão: de onde as imagens vêm, como são anotadas e preparadas, como se mede a qualidade do dataset e que contexto acompanha cada imagem até o modelo.
Formam o segundo grupo dos domain sets da bancada, com dois territórios. O primeiro é o dataset no sentido clássico, o conjunto de imagens rotuladas usado para treinar e avaliar. O segundo ganhou peso com os LVLMs: as imagens de referência, os prompts e os vetores que montam o contexto de cada chamada.
Fontes, rotulagem e qualidade do dataset
- Fontes e coleta. De onde vêm as imagens: câmera fixa, upload de quem usa o sistema, quadros de vídeo. A fonte define o que o sistema vai ver de verdade, com a iluminação, o ângulo e a sujeira do mundo real.
- Anotação e rotulagem. Marcar em cada imagem a resposta esperada, no formato da tarefa: um rótulo para classificar, caixas para detectar, máscaras para segmentar, como descrito em Tarefas de Reconhecimento Visual.
- Pré-processamento e filtros. Recortar, redimensionar, descartar imagens borradas ou repetidas.
- Avaliação de qualidade do dataset. Conferir se os rótulos estão certos e consistentes e se as imagens representam os casos que importam, inclusive os difíceis.
Ferramentas de rotulagem e curadoria como CVAT, Label Studio, Roboflow, FiftyOne, Labelbox, Encord e Supervisely cobrem esse ciclo.
Formatos, referências, prompts e vetores
Com LVLMs, parte do que antes era treino vira contexto. Entram nesse território os formatos das imagens enviadas, as imagens de referência que mostram ao modelo o que procurar, os textos auxiliares (prompts) que descrevem a tarefa e os vetores que permitem buscar imagens parecidas, tratados em Embeddings e Busca Visual. Montar esse contexto é a base do in-context learning descrito em Estratégias de Modelo em Visão Computacional.
Benchmark não é a imagem do negócio
Benchmarks acadêmicos medem LVLMs em conjuntos de imagens padronizados. O que a bancada precisa medir é o desempenho na imagem real do negócio, tirada por um celular comum, com o enquadramento que der. Cruzar as duas medidas é a proposta dos encontros entre academia e mercado no enxoval da bancada.
Na prática da bancada
O terceiro dos desafios pede um mini dataset rotulado ou uma busca visual com vetores, e o mural propõe rotular um dataset pequeno com qualidade medida. Um ganho no dataset também é o tipo de descoberta que vira pílula nos LabS Drops.