Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Arquitetura Multimodal

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Arquitetura multimodal é o desenho em que vários encoders processam tipos diferentes de entrada e convergem para um espaço latente compartilhado, onde mecanismos como cross attention alinham as modalidades.

É o que separa a Inteligência Artificial Multimodal do fluxo linear de um sistema unimodal. Em vez de um único encoder alimentando um modelo de linguagem, cada modalidade (texto, imagem, áudio) tem seu codificador, e todas as representações são projetadas no mesmo Espaço Latente, chamado de espaço cross-modal. Ali o sistema aprende, por exemplo, que o embedding da imagem de um gato e o da palavra gato são semanticamente próximos. A partir desse espaço comum, o modelo pode gerar tipos diferentes de saída, conforme a entrada e o que entende que o usuário espera.

Componentes do pipeline multimodal

  • Pré-processamento da imagem bruta. Antes do encoder, a imagem é redimensionada para um padrão, convertida em matriz numérica (tensor) e tem as cores normalizadas. A mesma imagem pode ser processada mais de uma vez de formas diferentes, por exemplo em tons de cinza para captar luz e contraste e depois colorida para extrair a cor. Isso dá consistência à comparação e deixa o modelo menos sujeito a ser enganado por variações da imagem original.
  • Codificadores especializados. Cada modalidade tem um encoder próprio, treinado de forma específica, como no Aprendizado Contrastivo que liga texto e imagem. O resultado são Embeddings: listas de números que descrevem o que o objeto é. Um gato pode pontuar alto em "animal", zero em "tecnológico" e 0,7 em "lazer"; quanto mais próximos dois vetores, mais parecidos os conceitos.
  • Cross attention. É o mecanismo de fusão que alinha dinamicamente partes de uma imagem a palavras específicas, criando uma ponte semântica entre modalidades. Funciona como quem olha para uma cadeira e reconhece nela braço e assento: o modelo olha para uma região da imagem e a associa ao trecho de texto que a descreve.
  • Geração integrada. Decoders transformam as representações latentes em dados perceptíveis, como um novo texto ou uma imagem.

Quando as modalidades se juntam

A estratégia de integração muda o resultado. A fusão pode acontecer antes do processamento (as informações entram juntas desde o início), durante (as modalidades se combinam ao longo do caminho) ou só no final (cada modalidade é processada à parte e apenas os resultados são combinados). Uma plataforma que chama um gerador de imagem no meio do processamento, tratando a chamada para que o retorno seja a imagem e não a descrição dela, usa fusão durante o processo. Se o mesmo gerador fosse o encoder de imagem já na entrada, gerando a imagem direto sem etapa textual, seria outra estratégia. A escolha depende do objetivo da aplicação e do tratamento desejado para a saída.

O caso do Stable Diffusion

Os Stable Diffusion reúnem esses componentes. Um encoder de texto (o CLIP) transforma o prompt em embedding; o cross attention faz esse texto guiar a geração no espaço latente, garantindo que a imagem corresponda à descrição; um decoder (um VAE) converte a representação latente na imagem final.

Custo cresce com o detalhe

Cada característica pedida no prompt (resolução 4K, cenário, textura) gera mais texto embedado e mais interações no processamento, o que eleva o custo de geração. Rodar localmente evita enviar dados a terceiros, mas o resultado fica limitado pela capacidade da máquina.