Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Agentes Multimodais

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Agentes multimodais são sistemas de IA que combinam percepção de vários tipos de dado (texto, imagem, áudio) num ciclo de sentir, interpretar e agir para executar ações rumo a um objetivo.

Todo Agente de IA executa ações para atingir um objetivo definido por alguém ou pelo próprio fluxo: agentes de código que revisam ou escrevem programas, assistentes em aplicativos de mensagem que geram imagem quando chamados. O agente unimodal faz isso com um só tipo de entrada e saída. O agente multimodal junta vários sentidos, e é isso que o torna mais expressivo: ouvir, ver e ler ao mesmo tempo imita melhor a percepção humana e permite interpretar o contexto de forma mais completa. Ver um passarinho é diferente de ouvi-lo; perceber as duas coisas juntas leva a uma interpretação melhor do todo.

O ciclo e as camadas de decisão

O funcionamento segue um ciclo contínuo: o agente atua, sente o ambiente, interpreta o que percebeu e realiza a próxima ação. Por dentro, a arquitetura é organizada em camadas (layers), cada uma responsável por uma etapa: vetorizar e entender entradas de tipos diferentes (áudio, pixels, código), fundir essas informações e decidir. A fusão acontece no Espaço Latente compartilhado descrito em Arquitetura Multimodal, onde as percepções são cruzadas com o que o modelo aprendeu no treinamento. A camada de decisão injeta ações nos fluxos, o que permite comandar processos e resolver tarefas complexas.

Exemplos, do robô de exploração ao assistente do dia a dia

  • Robôs de exploração, como os usados para coletar dados na Lua, combinam câmeras e vários sensores e obtêm informações mais precisas e detalhadas do que um robô unimodal, limitado a um sentido e uma ação.
  • Assistentes de ligação percebem que uma chamada caiu, processam a mensagem deixada e elaboram uma resposta automática, como avisar que a pessoa está ocupada.
  • Agentes de compra tentam entender o gosto do consumidor, dar indicações e oferecer uma pré-experiência, como nos provadores virtuais de roupa.

Diferença para um chat multimodal

Um chat que aceita imagem e áudio é uma Inteligência Artificial Multimodal, mas responde a um pedido e para. O agente multimodal usa a mesma percepção integrada para decidir e agir em sequência, reservar um hotel, responder uma mensagem ou coletar dados, fechando o ciclo de percepção e ação. Agentes e robótica aparecem, por isso, como as áreas mais transformadas pela multimodalidade.