Multimodalidade
Ir para notas que citam estaMultimodalidade é a capacidade de um modelo de IA processar ou gerar mais de um tipo de dado além de texto, como imagem e áudio, convertendo esses formatos em representações que ele interpreta ou produz.
A assimetria importa: a entrada pode ser multimodal, mas um modelo de linguagem sempre devolve texto. Tudo o que entra por outro canal precisa virar, em algum ponto, uma representação com significado que o modelo consiga manipular como manipula palavras — e tudo o que sai precisa ser reconvertido para o formato que a aplicação espera.
Como um dado não textual chega ao modelo
O caminho mais direto é reduzir o dado a uma descrição com significado. Um trecho de áudio pode ser convertido e descrito como "som de bateria que indica tal evento", e a partir daí o modelo raciocina sobre aquilo como raciocinaria sobre qualquer texto. Imagem já é o caso mais maduro: há modelos abertos que interpretam imagens bem, inclusive respondendo perguntas sobre o conteúdo de um documento. Esse caso é o tema da Bancada Computer Vision, a primeira bancada relâmpago do LabS, que explora os modelos de visão e linguagem (LVLMs) e tem uma base própria no LabS Atlas.
Áudio segue como o tipo de entrada menos explorado e mais trabalhoso de implementar, normalmente exigindo processamento em streaming e extração de significado antes de chegar ao modelo. Geração cruzada entre modalidades — os modelos que vão de um formato a outro em ambas as direções — é a categoria mais complexa e a que mais exige recursos de máquina, além de inspirar menos confiança em uso real.
O que a multimodalidade muda no desenvolvimento
Para quem constrói ferramentas de desenvolvimento, a entrada por imagem abre o caminho mais imediato: enviar um protótipo de tela e pedir a leitura do que existe ali é o que sustenta a Interpretação de Artefatos com IA sem depender de descrição manual do artefato.
Vale um cuidado de escala. Catálogos públicos de modelos organizam as tarefas por tipo de entrada e saída — áudio para texto, imagem para texto, classificação e regressão sobre dados tabulares — e boa parte delas é resolvida por modelos pequenos e especializados. Modelos abaixo de um bilhão de parâmetros já dão conta de muita coisa; acima disso já se fala em modelo grande, com o custo computacional correspondente. Nem todo problema pede um modelo de linguagem completo, e escolher o modelo pelo tipo de tarefa costuma render mais do que recorrer sempre ao modelo genérico de sempre, assunto de Seleção de Modelo por Tarefa.