Aprendizado Contrastivo
Ir para notas que citam estaAprendizado contrastivo é a técnica em que o modelo aproxima, num espaço vetorial compartilhado, pares corretos de imagem e texto e afasta os incorretos. É a base do CLIP e da classificação zero-shot.
A técnica resolve o problema central da ligação entre texto e imagem: fazer com que representações vindas de modalidades diferentes fiquem comparáveis. Ela é um dos dois caminhos mais usuais dessa conexão, ao lado do zero-shot learning, e sustenta os encoders especializados da Arquitetura Multimodal.
Aproximar pares certos e afastar pares errados
O treinamento trabalha com pares. A imagem de um gato e a palavra gato devem terminar próximas no espaço vetorial; a mesma imagem associada à palavra cachorro deve terminar longe. Repetido em escala, esse ajuste ensina o modelo a generalizar: depois de aprender os pares, qualquer nova imagem de cachorro passa a cair perto da palavra cachorro. As representações resultantes são Embeddings em que pares da mesma coisa em modalidades diferentes ficam juntos (pontos positivos) e o que não corresponde fica distante (pontos negativos). A comparação entre eles usa a mesma lógica de distância da Busca por Similaridade Vetorial.
CLIP como exemplo canônico
O CLIP é um dos primeiros modelos que pavimentaram o caminho da capacidade multimodal. Ele aprende a associar imagem e descrição textual minimizando a distância entre os pares corretos, transformando pixels e padrões da imagem em coordenadas matemáticas. Com isso distingue se uma imagem representa um gato ou um cachorro pela proximidade entre os marcadores da imagem e as palavras. No Stable Diffusion, o CLIP cumpre o papel de encoder de texto, convertendo o prompt em embedding.
Zero-shot learning por descrição textual
No zero-shot learning, o modelo classifica objetos com base na descrição textual da categoria: a imagem é vetorizada e aproximada da descrição dos elementos que caracterizam aquela categoria. O esforço se desloca para as descrições, que precisam ser explícitas para cada categoria e, no início, foram montadas manualmente com exemplos rotulados. É mais trabalhoso, mas continua muito usado.
Zero-shot learning, aqui, é classificar imagens pela descrição textual num espaço compartilhado. Já o zero-shot das Técnicas de Prompting é pedir uma tarefa ao modelo sem dar exemplos no prompt.