Domain Sets da Bancada Computer Vision
Ir para notas que citam estaOs Domain Sets da Bancada Computer Vision são os seis territórios técnicos, organizados em três grupos, que sustentam o learning prototype da bancada: abordagem de modelo, dados para computer vision e engenharia e experiência.
A ordem dos grupos acompanha os três ingredientes do protótipo da Bancada Computer Vision: modelo, contexto e experiência do usuário. Todos os blocos do pipeline do pixel à resposta são tocados por algum território, da captura ao monitoramento.
Grupo 1: abordagem de modelo
- Pré-treinado, fine-tuning, ICL e zero-shot. As formas de colocar um modelo para trabalhar numa tarefa de imagem, do uso direto ao ajuste com dados próprios, explicadas em Estratégias de Modelo em Visão Computacional.
- VC tradicional x LVLMs. Visão computacional tradicional contra LVLMs (Large Vision-Language Models): quando um modelo especializado resolve melhor e quando a troca compensa, como discutido em Visão Computacional Tradicional x LVLMs.
Grupo 2: dados para computer vision
- Fontes, rotulagem e qualidade do dataset. Fontes e coleta, anotação e rotulagem, pré-processamento, filtros e avaliação de qualidade do dataset.
- Formatos, referências, prompts e vetores. Formatos de imagem, imagens de referência, textos auxiliares (prompts) e vetores.
Os dois territórios estão desenvolvidos em Dados para Visão Computacional e em Embeddings e Busca Visual.
Grupo 3: engenharia e experiência
- Pipeline de inferência e integração. Pipeline de inferência, jornada de captura, integração ao sistema da área ou do negócio (API, fila, câmera) e monitoramento.
- Calibração a partir do usuário. Evolução e calibração do sistema de visão computacional a partir das entradas do usuário.
Os dois territórios estão desenvolvidos no Pipeline de um Sistema de Visão Computacional.
Onde cada território aparece no ciclo
Os rótulos curtos acima são os mesmos usados nos cartões do enxoval e nos desafios. No Ciclo da Bancada Computer Vision, os territórios viram quatro quadrantes da espiral: a comparação entre visão tradicional e LVLMs ganha um quadrante próprio, ao lado de abordagem de modelo, dados para computer vision e engenharia e experiência.
| Território | Formatos do enxoval | Desafio |
|---|---|---|
| Pré-treinado, fine-tuning, ICL e zero-shot | LabS Insights, Mural de Desafios, Bench Clinic | Desafio 2 |
| VC tradicional x LVLMs | Tech Talk, LabS Panel, Model Duel | Desafio 1 |
| Fontes, rotulagem e qualidade do dataset | LabS Drops, Encontros Academia-Mercado | Desafio 3 |
| Formatos, referências, prompts e vetores | Workshop, Paper Trail | Desafio 3 |
| Pipeline de inferência e integração | Café com Código, Roadshow, Challenge Intake, Prototype Sprint | Desafio 4 |
| Calibração a partir do usuário | Learning Prototype Unboxed, Demo Day | Desafio 4 |