Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Espaço Latente

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Espaço latente é a representação comprimida que um modelo constrói do que observa, mantendo apenas a informação essencial para a tarefa que precisa cumprir.

Nenhum sistema com muitos sensores consegue, nem precisa, trabalhar com tudo o que capta. Milhares de pixels por quadro, somados a áudio e outros sinais, passam por um encoder que decide o que fica e o que é descartado. O resultado é o estado latente: o mundo comprimido sobre o qual o modelo raciocina. Em World Models, é nesse espaço que uma rede prevê os próximos estados e avalia ações antes de executá-las. Em arquiteturas multimodais, o mesmo princípio aparece de outra forma: cada modalidade tem seu encoder, e todas convergem para um espaço latente compartilhado.

O que entra e o que fica de fora

A compressão não é universal: depende inteiramente do objetivo do modelo. Para um carro ou robô que precisa desviar de obstáculos, bastam a silhueta e a posição do objeto no ambiente, talvez a temperatura; a cor pouco importa. Uma aplicação que precisasse distinguir objetos pela aparência faria outra escolha. Por isso não faz sentido perguntar qual é a melhor compressão sem antes perguntar qual é a tarefa.

A mesma lógica vale para a quantidade de sensores. Mais câmeras nem sempre significam um modelo melhor: uma única câmera de segurança bem posicionada, com a codificação adequada, pode bastar para prever furtos e assaltos. Número de sensores, custo e o que vai para o espaço latente se ajustam ao propósito da aplicação.

A analogia com a atenção humana

Uma pessoa concentrada numa apresentação usa sobretudo visão, audição e fala; o olfato fica em segundo plano. Se a casa começasse a pegar fogo, ela demoraria mais a perceber, porque aquele sentido não está sendo priorizado. Terminada a tarefa, se a próxima for almoçar, o olfato volta a pesar.

O espaço latente de um modelo tem a mesma limitação: ele percebe o mundo pelo filtro da tarefa para a qual foi desenvolvido. Um modelo também pode ser desenhado para trocar de foco, e de sensores relevantes, quando a tarefa muda. Uma arquitetura Mixture of Experts é apontada como caminho plausível para essa priorização dinâmica, ativando os especialistas do sentido em uso e deixando os outros em espera, de modo parecido com o que o cérebro faz.

Espaço latente compartilhado entre modalidades

Na Arquitetura Multimodal, encoders de texto, imagem e áudio projetam suas saídas num único espaço, chamado cross-modal, onde representações semanticamente próximas ficam próximas: a imagem de um gato e a palavra gato, por exemplo. Essas representações são Embeddings, vetores que descrevem o que o objeto é.

Mesma ideia, finalidades diferentes

No multimodal, o espaço latente serve para alinhar modalidades e gerar saídas a partir delas. Num World Model, serve para simular a dinâmica do ambiente de forma barata. Nos dois casos, o ganho vem de descartar o que não serve à tarefa.