Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

World Models

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

World Models são modelos de IA que constroem uma representação interna do ambiente e simulam ações e seus resultados antes de agir, num ciclo de perceber, imaginar e escolher.

A ideia parte de uma capacidade humana corriqueira: ao ver um copo perto da borda da mesa, uma pessoa prevê a queda e o afasta, por experiência acumulada desde a infância. Na máquina, ela depende de algoritmos treinados sobre a dinâmica de um ambiente: dado um estado atual e uma ação candidata, o modelo prevê o próximo estado, e repete esse passo muitas vezes. Diferente de um modelo que só responde a partir da base de treino, ele prevê consequências dentro do mundo específico em que opera, o que o torna peça natural para um Agente de IA que precisa agir num ambiente físico ou digital.

Perceber, imaginar e escolher a ação

Praticamente todos os World Models se apoiam em três etapas cíclicas:

  • Perceber: captar o ambiente por sensores, como câmeras, áudio e outros sinais.
  • Imaginar: a partir do estado percebido, propagar diversas ações possíveis e o que cada uma mudaria.
  • Escolher: executar a melhor ação para o futuro previsto.

Um carro autônomo com rota traçada percebe o cruzamento, imagina o que acontece se avançar ou esperar o sinal abrir e decide dentro dessa rota. Os modelos variam no peso de cada etapa, com mais sensores, mais ações imaginadas ou mais ações executadas, conforme o objetivo para o qual foram construídos.

Do sensor à ação: o pipeline interno

A observação reúne os dados brutos dos sensores. Um encoder comprime essa observação num estado latente, o mundo comprimido, onde entra só o essencial. Um algoritmo de recompensa premia as ações corretas para aquela percepção de mundo. A dinâmica repete a previsão de estado e ação até encontrar uma ação proveitosa, e só então sai a ação executada de fato.

As ações se ramificam numa árvore de decisões: a ação A leva a A1 ou A2, que se abrem em outras. O custo se concentra na primeira ramificação. Um robô que planejou pegar um copo, levá-lo à cozinha e lavá-lo não recalcula o plano a cada passo, a menos que surja uma ação de prioridade maior.

Esse funcionamento explica por que a tokenização dos modelos de linguagem tradicionais não se encaixa bem aqui. Prever o próximo Token de texto não basta: o modelo precisa entender repetidamente a estrutura inteira do mundo, com seus vários estados, para prever o passo seguinte.

Reconstrução pixel a pixel ou representação essencial

Modelos com decoder reconstroem o ambiente quadro a quadro, sem descartar dados, como Dreamer, Sora, Genie e Cosmos. Modelos de representação, como JEPA e V-JEPA2, preveem só o que é essencial para interagir, numa forma vetorial e não gráfica.

Fidelidade contra escala

Reconstruir o mundo inteiro é mais rico em detalhe e mais caro. Abrir mão da imagem completa tira um pouco do nexo das interações, mas mantém a previsão dentro de uma escala computacional viável. A escolha depende da aplicação.

Marcos da evolução e onde se aplica

O conceito ganha estrutura num artigo de 2018 com três partes: V, a visão; M, uma rede recorrente que prevê o futuro no espaço latente; e C, um controlador que escolhe a melhor ação. O modelo era treinado dentro do próprio sonho, aprendendo antes de agir. Em 2019 e 2020 vieram PlaNet e Dreamer; depois, GAIA-1 e a família Dreamer avançaram para vídeo de mundo aberto. O DreamerV3 aprendeu sozinho, offline e sem demonstrações na base de treino, a coletar diamante no Minecraft, o que exige fabricar uma sequência de ferramentas. O Genie gera jogos jogáveis com decisões em tempo real e a Wayve aplica a simulação de próximas ações a veículos autônomos, frente que também produz Dados Sintéticos.

Robótica e direção autônoma são as áreas mais promissoras, mas o conceito cabe em sistemas simples, como uma pipeline de código que prevê um erro futuro por experiência anterior e se corrige antes. World Models não tornam obsoleta a IA generativa baseada em LLM, que segue eficiente para o que foi treinada.