Estratégias de Modelo em Visão Computacional
Ir para notas que citam estaEstratégias de modelo em visão computacional são as formas de colocar um modelo para resolver uma tarefa de imagem: usar um modelo pré-treinado como ele vem, ajustá-lo com fine-tuning, guiá-lo com exemplos no próprio prompt (in-context learning) ou pedir a tarefa direto, sem exemplos (zero-shot).
As quatro estratégias formam um território dos domain sets da bancada e valem tanto para modelos especializados quanto para LVLMs. A diferença entre elas está em onde mora a adaptação à tarefa: nos pesos do modelo, no contexto da chamada ou em lugar nenhum.
As quatro estratégias
| Estratégia | O que é | O que exige |
|---|---|---|
| Pré-treinado | Usar um modelo treinado com grande volume de dados genéricos, sem alteração | Só a integração; funciona quando a tarefa se parece com o que o modelo já viu |
| Fine-tuning | Continuar o treino com dados próprios, alterando os pesos do modelo | Dataset rotulado, custo de treino e uma forma de medir o ganho sobre o pré-treinado |
| In-context learning | Colocar exemplos no prompt, como imagens de referência com a resposta esperada, sem alterar pesos | Imagens de referência bem escolhidas e um prompt que as organize |
| Zero-shot | Descrever a tarefa em linguagem natural, sem exemplos | Só o prompt; depende de o modelo já entender o que se pede |
Imagens de referência no contexto
Com LVLMs, o in-context learning ganha uma forma própria: em vez de exemplos só em texto, o prompt leva imagens de referência, como uma foto da peça correta ao lado da foto a avaliar, ou exemplos já rotulados do que conta e do que não conta. É a estratégia mais barata de testar depois do zero-shot, porque muda o resultado sem treino, e por isso é a demonstração pedida no segundo dos desafios da bancada.
No workshop proposto no enxoval da bancada, cada pessoa leva uma imagem do próprio projeto e compara três versões do mesmo pedido: zero-shot, poucos exemplos no contexto e prompt com imagem de referência. Escolher e guardar essas referências é trabalho de dados, tratado em Dados para Visão Computacional.
Como escolher
A escolha é empírica. A mesma tarefa, com as mesmas imagens, é rodada em mais de uma estratégia e comparada em custo, precisão e esforço, como em Visão Computacional Tradicional x LVLMs. Fine-tuning só se justifica quando o ganho real sobre o pré-treinado e sobre o contexto bem montado paga o custo de preparar dados e treinar. Missões do mural, como comparar zero-shot e fine-tuning na mesma tarefa, existem para produzir essa medida. No Ciclo da Bancada Computer Vision, o tema abre a discussão num LabS Panel, que sai com uma matriz de decisão de estratégia de modelo, e volta na Tech Talk sobre modelos multimodais na prática, com um comparativo de modelos.