Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Aprendizado Contrastivo

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Aprendizado contrastivo é a técnica em que o modelo aproxima, num espaço vetorial compartilhado, pares corretos de imagem e texto e afasta os incorretos. É a base do CLIP e da classificação zero-shot.

A técnica resolve o problema central da ligação entre texto e imagem: fazer com que representações vindas de modalidades diferentes fiquem comparáveis. Ela é um dos dois caminhos mais usuais dessa conexão, ao lado do zero-shot learning, e sustenta os encoders especializados da Arquitetura Multimodal.

Aproximar pares certos e afastar pares errados

O treinamento trabalha com pares. A imagem de um gato e a palavra gato devem terminar próximas no espaço vetorial; a mesma imagem associada à palavra cachorro deve terminar longe. Repetido em escala, esse ajuste ensina o modelo a generalizar: depois de aprender os pares, qualquer nova imagem de cachorro passa a cair perto da palavra cachorro. As representações resultantes são Embeddings em que pares da mesma coisa em modalidades diferentes ficam juntos (pontos positivos) e o que não corresponde fica distante (pontos negativos). A comparação entre eles usa a mesma lógica de distância da Busca por Similaridade Vetorial.

CLIP como exemplo canônico

O CLIP é um dos primeiros modelos que pavimentaram o caminho da capacidade multimodal. Ele aprende a associar imagem e descrição textual minimizando a distância entre os pares corretos, transformando pixels e padrões da imagem em coordenadas matemáticas. Com isso distingue se uma imagem representa um gato ou um cachorro pela proximidade entre os marcadores da imagem e as palavras. No Stable Diffusion, o CLIP cumpre o papel de encoder de texto, convertendo o prompt em embedding.

Zero-shot learning por descrição textual

No zero-shot learning, o modelo classifica objetos com base na descrição textual da categoria: a imagem é vetorizada e aproximada da descrição dos elementos que caracterizam aquela categoria. O esforço se desloca para as descrições, que precisam ser explícitas para cada categoria e, no início, foram montadas manualmente com exemplos rotulados. É mais trabalhoso, mas continua muito usado.

Não confundir com prompt zero-shot

Zero-shot learning, aqui, é classificar imagens pela descrição textual num espaço compartilhado. Já o zero-shot das Técnicas de Prompting é pedir uma tarefa ao modelo sem dar exemplos no prompt.