Pular para o conteúdo
LabS Atlas
Computer Vision
Entrar

Domain Sets da Bancada Computer Vision

Ir para notas que citam esta
atualizado há 10 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Os Domain Sets da Bancada Computer Vision são os seis territórios técnicos, organizados em três grupos, que sustentam o learning prototype da bancada: abordagem de modelo, dados para computer vision e engenharia e experiência.

A ordem dos grupos acompanha os três ingredientes do protótipo da Bancada Computer Vision: modelo, contexto e experiência do usuário. Todos os blocos do pipeline do pixel à resposta são tocados por algum território, da captura ao monitoramento.

Grupo 1: abordagem de modelo

  • Pré-treinado, fine-tuning, ICL e zero-shot. As formas de colocar um modelo para trabalhar numa tarefa de imagem, do uso direto ao ajuste com dados próprios, explicadas em Estratégias de Modelo em Visão Computacional.
  • VC tradicional x LVLMs. Visão computacional tradicional contra LVLMs (Large Vision-Language Models): quando um modelo especializado resolve melhor e quando a troca compensa, como discutido em Visão Computacional Tradicional x LVLMs.

Grupo 2: dados para computer vision

  • Fontes, rotulagem e qualidade do dataset. Fontes e coleta, anotação e rotulagem, pré-processamento, filtros e avaliação de qualidade do dataset.
  • Formatos, referências, prompts e vetores. Formatos de imagem, imagens de referência, textos auxiliares (prompts) e vetores.

Os dois territórios estão desenvolvidos em Dados para Visão Computacional e em Embeddings e Busca Visual.

Grupo 3: engenharia e experiência

  • Pipeline de inferência e integração. Pipeline de inferência, jornada de captura, integração ao sistema da área ou do negócio (API, fila, câmera) e monitoramento.
  • Calibração a partir do usuário. Evolução e calibração do sistema de visão computacional a partir das entradas do usuário.

Os dois territórios estão desenvolvidos no Pipeline de um Sistema de Visão Computacional.

Onde cada território aparece no ciclo

Os rótulos curtos acima são os mesmos usados nos cartões do enxoval e nos desafios. No Ciclo da Bancada Computer Vision, os territórios viram quatro quadrantes da espiral: a comparação entre visão tradicional e LVLMs ganha um quadrante próprio, ao lado de abordagem de modelo, dados para computer vision e engenharia e experiência.

TerritórioFormatos do enxovalDesafio
Pré-treinado, fine-tuning, ICL e zero-shotLabS Insights, Mural de Desafios, Bench ClinicDesafio 2
VC tradicional x LVLMsTech Talk, LabS Panel, Model DuelDesafio 1
Fontes, rotulagem e qualidade do datasetLabS Drops, Encontros Academia-MercadoDesafio 3
Formatos, referências, prompts e vetoresWorkshop, Paper TrailDesafio 3
Pipeline de inferência e integraçãoCafé com Código, Roadshow, Challenge Intake, Prototype SprintDesafio 4
Calibração a partir do usuárioLearning Prototype Unboxed, Demo DayDesafio 4