Pular para o conteúdo
LabS Atlas
Computer Vision
Entrar

Large Vision-Language Model

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Large Vision-Language Model (LVLM) é o modelo de IA que recebe imagem e texto na mesma entrada e responde em linguagem natural, o que permite perguntar sobre uma cena sem treinar um modelo específico para cada tarefa.

É o encontro entre os modelos de linguagem e a Visão Computacional: o mesmo modelo que conversa passa a enxergar. Isso coloca os LVLMs na camada de compreender, a mais alta da área, em que o sistema descreve a cena, responde perguntas e apoia decisões, e não apenas rotula objetos. São eles o centro do objetivo e do learning prototype da Bancada Computer Vision.

O que muda em relação à visão tradicional

Na abordagem tradicional, cada pergunta pede um modelo: um classificador para dizer o que há na imagem, um detector para dizer onde, cada um preparado para aquele conjunto de objetos. Com um LVLM, a pergunta vai em texto junto com a imagem ("quantas caixas estão abertas?", "o que há de errado nesta peça?") e a resposta volta em texto ou em JSON, pronta para um sistema consumir.

Isso não torna os modelos especializados obsoletos. Custo, precisão, latência e esforço de preparo pesam de forma diferente para cada lado, e a comparação está em Visão Computacional Tradicional x LVLMs.

A foto como entrada

Para quem usa o sistema, o LVLM permite uma experiência sem atrito: em vez de preencher campos ou descrever a situação, a pessoa tira uma foto, e a foto é a entrada. O trabalho que sobra fica do lado do sistema, que precisa receber uma imagem boa, montar o contexto certo e validar a resposta antes de entregá-la, etapas descritas no Pipeline de um Sistema de Visão Computacional.

Como colocar um LVLM para trabalhar

Um LVLM pode ser usado como vem (zero-shot), guiado por exemplos e imagens de referência no próprio prompt (in-context learning) ou ajustado com dados próprios (fine-tuning). Essas opções e o que cada uma exige estão em Estratégias de Modelo em Visão Computacional.

Modelos de visão e linguagem

Entre as famílias de modelos com entrada de imagem estão GPT, Gemini, Claude, Qwen VL, Llama, Gemma, LLaVA, InternVL, Molmo e Pixtral, umas oferecidas como serviço e outras com pesos abertos. O panorama completo, com detectores, bancos vetoriais e ferramentas de inferência, está no Mapa de Tecnologias de Visão Computacional.