Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Inteligência Artificial Multimodal

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Inteligência artificial multimodal é um sistema que processa e gera mais de um tipo de dado (texto, imagem, áudio) de forma integrada, ao contrário do sistema unimodal. A multiplicidade vale nos dois sentidos: no que o usuário injeta (uma pergunta com imagem, um áudio, um texto) e no que o sistema devolve.

O conceito existe porque a comunicação digital já era multimídia antes de a IA generativa se popularizar. Vídeo com áudio e legenda, mensagens de voz e imagens misturadas em aplicativos de conversa eram o padrão de consumo quando os chats de IA chegaram, por volta de 2022, majoritariamente em texto. A adaptação à multimodalidade foi, por isso, muito mais rápida do que a evolução de outras tecnologias (o celular levou anos do teclado físico ao smartphone), em parte porque se apoiou em avanços anteriores como processamento de imagem e Embeddings. Modelos de chat multimodais, como o GPT-4o, que integra texto, voz, imagem e vídeo, marcaram a chegada dessa capacidade ao uso cotidiano; Gemini e ChatGPT são exemplos de uso amplo.

O contraste com a arquitetura unimodal

Um sistema unimodal segue um fluxo linear: um único tipo de dado de entrada passa por um encoder específico, é processado por um modelo de linguagem e gera uma saída do mesmo tipo. Esse fluxo é limitado, mas eficiente para tarefas específicas. Se o problema só envolve texto, uma IA especializada em texto resolve com precisão, e o fato de trabalhar com um tipo de dado permite especializações muito características e personalizadas. Na dinâmica do MonsterLabS, em que cada peça de um monstrinho representa uma parte da especialização de um modelo (encoder, modelo de linguagem, entrada e saída), quem escolheu texto na entrada e na saída montou justamente uma arquitetura unimodal.

O sistema multimodal troca esse fluxo único por vários encoders que convergem para um espaço compartilhado, onde as modalidades passam a se relacionar. Os mecanismos que tornam isso possível estão em Arquitetura Multimodal, e a ligação entre texto e imagem, em Aprendizado Contrastivo.

Como classificar uma ferramenta

A classificação depende da arquitetura interna, não só do que o usuário vê. Uma ferramenta que gera música a partir de texto tende a ser multimodal se usa encoders diferentes para a entrada e para as várias saídas (letra, voz, instrumentos). Se, ao contrário, o texto passa por um processamento direto e linear até o áudio, sem representação intermediária entre modalidades, ela se enquadraria como unimodal.

Saída errada de modalidade

Um sintoma típico de integração imperfeita é pedir uma imagem e receber apenas a descrição textual dela. Algumas ferramentas contornam isso tratando a chamada ao gerador de imagem no meio do processamento, para garantir que o retorno seja a imagem.

Dados de treinamento e qualidade do resultado

A qualidade de um modelo multimodal acompanha a quantidade e a qualidade dos dados a que seu desenvolvedor teve acesso. Empresas que já detinham grandes bases próprias antes de treinar seus modelos, como a Google com o Gemini, partem com vantagem. O mesmo vale para ferramentas de nicho: uma plataforma de design muito usada acumula exemplos de boas práticas e gera protótipos melhores.

Há também um lado de responsabilidade. Como e-mail, aplicativos e serviços do dia a dia já incorporam IA que consome dados do usuário, é praticamente impossível não fornecer nenhum dado a esses sistemas. A alternativa para quem quer preservar informações é a Execução Local de Modelos de Linguagem, com a ressalva de que a qualidade fica limitada ao tamanho do modelo e à placa de vídeo disponível.

Para onde a multimodalidade aponta

Agentes e robótica são as frentes mais afetadas. A robótica busca há muito tempo imitar sentidos humanos, e já há trabalho com percepções menos exploradas, como o olfato. No varejo, Agentes Multimodais aparecem em provadores virtuais e em assistentes que entendem o gosto do consumidor e oferecem uma pré-experiência de compra.

Do lado da imagem, a visão computacional com modelos multimodais é o tema da Bancada Computer Vision, a primeira bancada relâmpago do LabS, que tem uma base própria no LabS Atlas.