Pular para o conteúdo
LabS Atlas
Computer Vision
Entrar

Desafios da Bancada Computer Vision

Ir para notas que citam esta
atualizado há 10 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Os Desafios da Bancada Computer Vision são as quatro missões que a bancada abre aos Soluters no formato pesquisar e apresentar: quem assume estuda um tema dos domain sets e leva o que aprendeu à comunidade numa Tech Talk com demonstração.

Cada desafio tem duas metades. A pesquisa responde uma pergunta da bancada; a apresentação mostra a resposta funcionando numa demonstração. Os quatro desafios cobrem os três grupos de domain sets: dois na abordagem de modelo, um em dados e um em engenharia e experiência.

Os quatro desafios

DesafioPesquisarApresentar
1. Tradicional x LVLMsQuando cada abordagem gera mais valor, em custo, precisão e esforçoUma demonstração comparando as duas no mesmo problema
2. Estratégias de modeloPré-treinado, fine-tuning, in-context learning e zero-shot aplicados à visãoUma demonstração de in-context learning com imagens de referência
3. Dados para visãoColeta, anotação e avaliação de qualidade de datasets de imagemUm mini dataset rotulado ou uma busca visual com vetores
4. Pipeline e experiênciaComo as clouds oferecem visão computacional e LVLMs como serviçoUm pipeline de ponta a ponta, com monitoramento e feedback do usuário

As notas de apoio de cada desafio são, na ordem: Visão Computacional Tradicional x LVLMs, Estratégias de Modelo em Visão Computacional, Dados para Visão Computacional com Embeddings e Busca Visual, e Pipeline de um Sistema de Visão Computacional.

Onde cada desafio entra no ciclo

Os desafios acompanham as etapas do Ciclo da Bancada Computer Vision. O Desafio 1 parte da Tech Talk sobre a evolução da visão computacional e é entregue no Café com Código de arquiteturas híbridas, com um exemplo de pipeline híbrido. O Desafio 2 recebe como insumo a matriz de decisão de estratégia de modelo, saída do LabS Panel da primeira volta, e é consolidado no comparativo de modelos da Tech Talk sobre modelos multimodais na prática. O Desafio 3 é entregue na Tech Talk sobre o ciclo de vida dos dados visuais, com um checklist de qualidade de dataset visual, e o Desafio 4 no Café com Código sobre sistemas que aprendem com o usuário, com um protótipo de fluxo de captura e feedback.

Recompensa e missões do mural

Os desafios valem para os caçadores de recompensas do LabS: como as demais missões do Mural de Desafios, têm requisitos e recompensa em SOL$. Cada um fica cadastrado no LabS Atlas com o que pesquisar, o que apresentar, o formato da entrega, o prazo, o valor em SOL$ e como se inscrever. No mural, a bancada também propõe missões menores nos mesmos territórios, como rotular um dataset pequeno com qualidade medida, comparar zero-shot e fine-tuning ou ligar uma câmera a uma API.

Desafios externos

O Desafio Olho na Caixa trata de um problema de visão computacional próximo do tema da bancada, a contagem de frutas no recebimento, mas não faz parte destes desafios: é uma ativação da parceria entre o LIAO (UFBA), o Solutis AI Center e o LabS.