Agentes Multimodais
Ir para notas que citam estaAgentes multimodais são sistemas de IA que combinam percepção de vários tipos de dado (texto, imagem, áudio) num ciclo de sentir, interpretar e agir para executar ações rumo a um objetivo.
Todo Agente de IA executa ações para atingir um objetivo definido por alguém ou pelo próprio fluxo: agentes de código que revisam ou escrevem programas, assistentes em aplicativos de mensagem que geram imagem quando chamados. O agente unimodal faz isso com um só tipo de entrada e saída. O agente multimodal junta vários sentidos, e é isso que o torna mais expressivo: ouvir, ver e ler ao mesmo tempo imita melhor a percepção humana e permite interpretar o contexto de forma mais completa. Ver um passarinho é diferente de ouvi-lo; perceber as duas coisas juntas leva a uma interpretação melhor do todo.
O ciclo e as camadas de decisão
O funcionamento segue um ciclo contínuo: o agente atua, sente o ambiente, interpreta o que percebeu e realiza a próxima ação. Por dentro, a arquitetura é organizada em camadas (layers), cada uma responsável por uma etapa: vetorizar e entender entradas de tipos diferentes (áudio, pixels, código), fundir essas informações e decidir. A fusão acontece no Espaço Latente compartilhado descrito em Arquitetura Multimodal, onde as percepções são cruzadas com o que o modelo aprendeu no treinamento. A camada de decisão injeta ações nos fluxos, o que permite comandar processos e resolver tarefas complexas.
Exemplos, do robô de exploração ao assistente do dia a dia
- Robôs de exploração, como os usados para coletar dados na Lua, combinam câmeras e vários sensores e obtêm informações mais precisas e detalhadas do que um robô unimodal, limitado a um sentido e uma ação.
- Assistentes de ligação percebem que uma chamada caiu, processam a mensagem deixada e elaboram uma resposta automática, como avisar que a pessoa está ocupada.
- Agentes de compra tentam entender o gosto do consumidor, dar indicações e oferecer uma pré-experiência, como nos provadores virtuais de roupa.
Diferença para um chat multimodal
Um chat que aceita imagem e áudio é uma Inteligência Artificial Multimodal, mas responde a um pedido e para. O agente multimodal usa a mesma percepção integrada para decidir e agir em sequência, reservar um hotel, responder uma mensagem ou coletar dados, fechando o ciclo de percepção e ação. Agentes e robótica aparecem, por isso, como as áreas mais transformadas pela multimodalidade.