Pular para o conteúdo
LabS Atlas
Computer Vision
Entrar

Estratégias de Modelo em Visão Computacional

Ir para notas que citam esta
atualizado há 10 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Estratégias de modelo em visão computacional são as formas de colocar um modelo para resolver uma tarefa de imagem: usar um modelo pré-treinado como ele vem, ajustá-lo com fine-tuning, guiá-lo com exemplos no próprio prompt (in-context learning) ou pedir a tarefa direto, sem exemplos (zero-shot).

As quatro estratégias formam um território dos domain sets da bancada e valem tanto para modelos especializados quanto para LVLMs. A diferença entre elas está em onde mora a adaptação à tarefa: nos pesos do modelo, no contexto da chamada ou em lugar nenhum.

As quatro estratégias

EstratégiaO que éO que exige
Pré-treinadoUsar um modelo treinado com grande volume de dados genéricos, sem alteraçãoSó a integração; funciona quando a tarefa se parece com o que o modelo já viu
Fine-tuningContinuar o treino com dados próprios, alterando os pesos do modeloDataset rotulado, custo de treino e uma forma de medir o ganho sobre o pré-treinado
In-context learningColocar exemplos no prompt, como imagens de referência com a resposta esperada, sem alterar pesosImagens de referência bem escolhidas e um prompt que as organize
Zero-shotDescrever a tarefa em linguagem natural, sem exemplosSó o prompt; depende de o modelo já entender o que se pede

Imagens de referência no contexto

Com LVLMs, o in-context learning ganha uma forma própria: em vez de exemplos só em texto, o prompt leva imagens de referência, como uma foto da peça correta ao lado da foto a avaliar, ou exemplos já rotulados do que conta e do que não conta. É a estratégia mais barata de testar depois do zero-shot, porque muda o resultado sem treino, e por isso é a demonstração pedida no segundo dos desafios da bancada.

No workshop proposto no enxoval da bancada, cada pessoa leva uma imagem do próprio projeto e compara três versões do mesmo pedido: zero-shot, poucos exemplos no contexto e prompt com imagem de referência. Escolher e guardar essas referências é trabalho de dados, tratado em Dados para Visão Computacional.

Como escolher

A escolha é empírica. A mesma tarefa, com as mesmas imagens, é rodada em mais de uma estratégia e comparada em custo, precisão e esforço, como em Visão Computacional Tradicional x LVLMs. Fine-tuning só se justifica quando o ganho real sobre o pré-treinado e sobre o contexto bem montado paga o custo de preparar dados e treinar. Missões do mural, como comparar zero-shot e fine-tuning na mesma tarefa, existem para produzir essa medida. No Ciclo da Bancada Computer Vision, o tema abre a discussão num LabS Panel, que sai com uma matriz de decisão de estratégia de modelo, e volta na Tech Talk sobre modelos multimodais na prática, com um comparativo de modelos.