Espaço Latente
Ir para notas que citam estaEspaço latente é a representação comprimida que um modelo constrói do que observa, mantendo apenas a informação essencial para a tarefa que precisa cumprir.
Nenhum sistema com muitos sensores consegue, nem precisa, trabalhar com tudo o que capta. Milhares de pixels por quadro, somados a áudio e outros sinais, passam por um encoder que decide o que fica e o que é descartado. O resultado é o estado latente: o mundo comprimido sobre o qual o modelo raciocina. Em World Models, é nesse espaço que uma rede prevê os próximos estados e avalia ações antes de executá-las. Em arquiteturas multimodais, o mesmo princípio aparece de outra forma: cada modalidade tem seu encoder, e todas convergem para um espaço latente compartilhado.
O que entra e o que fica de fora
A compressão não é universal: depende inteiramente do objetivo do modelo. Para um carro ou robô que precisa desviar de obstáculos, bastam a silhueta e a posição do objeto no ambiente, talvez a temperatura; a cor pouco importa. Uma aplicação que precisasse distinguir objetos pela aparência faria outra escolha. Por isso não faz sentido perguntar qual é a melhor compressão sem antes perguntar qual é a tarefa.
A mesma lógica vale para a quantidade de sensores. Mais câmeras nem sempre significam um modelo melhor: uma única câmera de segurança bem posicionada, com a codificação adequada, pode bastar para prever furtos e assaltos. Número de sensores, custo e o que vai para o espaço latente se ajustam ao propósito da aplicação.
A analogia com a atenção humana
Uma pessoa concentrada numa apresentação usa sobretudo visão, audição e fala; o olfato fica em segundo plano. Se a casa começasse a pegar fogo, ela demoraria mais a perceber, porque aquele sentido não está sendo priorizado. Terminada a tarefa, se a próxima for almoçar, o olfato volta a pesar.
O espaço latente de um modelo tem a mesma limitação: ele percebe o mundo pelo filtro da tarefa para a qual foi desenvolvido. Um modelo também pode ser desenhado para trocar de foco, e de sensores relevantes, quando a tarefa muda. Uma arquitetura Mixture of Experts é apontada como caminho plausível para essa priorização dinâmica, ativando os especialistas do sentido em uso e deixando os outros em espera, de modo parecido com o que o cérebro faz.
Espaço latente compartilhado entre modalidades
Na Arquitetura Multimodal, encoders de texto, imagem e áudio projetam suas saídas num único espaço, chamado cross-modal, onde representações semanticamente próximas ficam próximas: a imagem de um gato e a palavra gato, por exemplo. Essas representações são Embeddings, vetores que descrevem o que o objeto é.
No multimodal, o espaço latente serve para alinhar modalidades e gerar saídas a partir delas. Num World Model, serve para simular a dinâmica do ambiente de forma barata. Nos dois casos, o ganho vem de descartar o que não serve à tarefa.