Modelos de Difusão
Ir para notas que citam estaModelos de difusão são modelos generativos especializados em criar imagens a partir de texto, separados do modelo de linguagem principal que interpreta o pedido.
Em assistentes de chat, a imagem não é produzida pelo LLM. O modelo de linguagem entende o pedido e aciona outro tipo de modelo, especializado em imagem, como o DALL-E. Na prática é uma chamada multimodelo, análoga ao Function Calling: um modelo decide, outro executa. Esse arranjo é um caso típico de Inteligência Artificial Multimodal, em que modalidades diferentes são tratadas por componentes diferentes.
Como o modelo aprende e gera uma imagem
No treinamento, cada imagem de referência é convertida numa representação matricial. Com muitas imagens do mesmo conceito, por exemplo 50 fotos de cachorro, o modelo acumula várias aproximações de matriz associadas a ele. Ao receber um pedido, tenta produzir uma matriz semelhante às aproximações aprendidas para aquele conceito, em vez de desenhar do zero como faria uma pessoa. O reconhecimento funciona pelo mesmo princípio: uma dada matriz corresponde ao conceito cachorro.
Uma evolução recente é acrescentar um modelo que lê e avalia a imagem já gerada e permite refiná-la antes da entrega. Isso torna possível conversar com a imagem gerada e pedir ajustes sobre ela.
A composição do Stable Diffusion
O Stable Diffusion mostra como um modelo de difusão combina componentes multimodais, no padrão descrito em Arquitetura Multimodal:
- Encoder de texto: o CLIP, treinado por Aprendizado Contrastivo, transforma o prompt em texto embedado.
- Cross attention: faz o texto influenciar diretamente a geração, garantindo correspondência entre a imagem e a descrição pedida.
- Decoder: transforma a representação no Espaço Latente na imagem final.
Custo e execução local
O custo de geração cresce com o número de características pedidas. Pedir uma imagem em 4K ou com muitos detalhes gera mais texto embedado e mais interações no processamento. Rodar um framework de geração de imagem localmente, com imagem de referência mais texto, é viável, mas o resultado fica limitado pela capacidade da máquina.