Desafios da Bancada Computer Vision
Ir para notas que citam estaOs Desafios da Bancada Computer Vision são as quatro missões que a bancada abre aos Soluters no formato pesquisar e apresentar: quem assume estuda um tema dos domain sets e leva o que aprendeu à comunidade numa Tech Talk com demonstração.
Cada desafio tem duas metades. A pesquisa responde uma pergunta da bancada; a apresentação mostra a resposta funcionando numa demonstração. Os quatro desafios cobrem os três grupos de domain sets: dois na abordagem de modelo, um em dados e um em engenharia e experiência.
Os quatro desafios
| Desafio | Pesquisar | Apresentar |
|---|---|---|
| 1. Tradicional x LVLMs | Quando cada abordagem gera mais valor, em custo, precisão e esforço | Uma demonstração comparando as duas no mesmo problema |
| 2. Estratégias de modelo | Pré-treinado, fine-tuning, in-context learning e zero-shot aplicados à visão | Uma demonstração de in-context learning com imagens de referência |
| 3. Dados para visão | Coleta, anotação e avaliação de qualidade de datasets de imagem | Um mini dataset rotulado ou uma busca visual com vetores |
| 4. Pipeline e experiência | Como as clouds oferecem visão computacional e LVLMs como serviço | Um pipeline de ponta a ponta, com monitoramento e feedback do usuário |
As notas de apoio de cada desafio são, na ordem: Visão Computacional Tradicional x LVLMs, Estratégias de Modelo em Visão Computacional, Dados para Visão Computacional com Embeddings e Busca Visual, e Pipeline de um Sistema de Visão Computacional.
Onde cada desafio entra no ciclo
Os desafios acompanham as etapas do Ciclo da Bancada Computer Vision. O Desafio 1 parte da Tech Talk sobre a evolução da visão computacional e é entregue no Café com Código de arquiteturas híbridas, com um exemplo de pipeline híbrido. O Desafio 2 recebe como insumo a matriz de decisão de estratégia de modelo, saída do LabS Panel da primeira volta, e é consolidado no comparativo de modelos da Tech Talk sobre modelos multimodais na prática. O Desafio 3 é entregue na Tech Talk sobre o ciclo de vida dos dados visuais, com um checklist de qualidade de dataset visual, e o Desafio 4 no Café com Código sobre sistemas que aprendem com o usuário, com um protótipo de fluxo de captura e feedback.
Recompensa e missões do mural
Os desafios valem para os caçadores de recompensas do LabS: como as demais missões do Mural de Desafios, têm requisitos e recompensa em SOL$. Cada um fica cadastrado no LabS Atlas com o que pesquisar, o que apresentar, o formato da entrega, o prazo, o valor em SOL$ e como se inscrever. No mural, a bancada também propõe missões menores nos mesmos territórios, como rotular um dataset pequeno com qualidade medida, comparar zero-shot e fine-tuning ou ligar uma câmera a uma API.
Desafios externos
O Desafio Olho na Caixa trata de um problema de visão computacional próximo do tema da bancada, a contagem de frutas no recebimento, mas não faz parte destes desafios: é uma ativação da parceria entre o LIAO (UFBA), o Solutis AI Center e o LabS.