Pular para o conteúdo
LabS Atlas
AI For Devs
Entrar
Sessões

Sessão de Bancada Agentes Autônomos para Testes com Manus e Browser Use (2025-03-18)

18 mar 20251h 30min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão apresentou o andamento do experimento de agentes autônomos para testes, com foco na seleção de tecnologias e na integração entre geração de artefatos de teste e execução autônoma em aplicações web. Foram discutidos Manus, Browser Use e outras ferramentas, destacando que Manus funciona como um agente mais amplo e utiliza Browser Use para navegar, identificar elementos e executar tarefas em sequência. Em uma demonstração com o BugBank, o agente acessou a página de registro, preencheu dados, criou uma conta e tentou realizar login, além de sugerir cenários de teste como cadastro válido, e-mail já existente, campos vazios, senhas divergentes e senha fraca. A ferramenta também gerou registros das etapas realizadas, embora tenha havido dúvidas sobre a captura e persistência de screenshots, GIFs e resultados entre execuções.

Concluiu-se que essas ferramentas já conseguem realizar testes funcionais simples usando linguagem natural, mas ainda precisam ser avaliadas quanto à consistência, à validação de regras de negócio, aos testes integrados, à persistência em banco de dados e à capacidade de lidar com aplicações dinâmicas. Ficou em aberto como conectar o Browser Use ao protótipo em desenvolvimento, como fornecer contexto mais detalhado para interpretação e geração de cenários, e se será melhor gerar scripts tradicionais ou executar diretamente os testes com agentes. Também foi combinado explorar modelos alternativos, como Gemini e Ollama, preparar um passo a passo ou demonstração de execução local e continuar a comparação entre bibliotecas e tecnologias, incluindo opções em Python, TypeScript e Java. Ao final, discutiram-se ainda os impactos da IA na produção de código, a necessidade de revisão humana, os riscos de dependência, ética, desinformação e uso de modelos sem filtros.

Gerado por IA a partir da transcrição.
Capítulos · 49
00:12
Abertura da sessão
Assistir
03:21
Apresentações e novidades do ciclo
Assistir
04:34
Organização das reuniões e comunicação
Assistir
07:09
Agenda da sessão e apresentação do projeto
Assistir
08:28
Contexto do protótipo e da implementação
Assistir
09:44
Times de agentes e seleção de tecnologias
Assistir
12:17
Visão geral da plataforma e dos produtos
Assistir
14:48
Autonomia em testes e introdução ao Manus
Assistir
17:28
Browser Use, Playwright e execução procedural
Assistir
18:44
Agentes procedurais e planejamento de tarefas
Assistir
21:14
Configuração do Browser Use para testes
Assistir
27:39
Demonstração de cadastro e login automatizados
Assistir
31:30
Persistência, screenshots e resultados dos testes
Assistir
36:28
Como Manus e Browser Use se relacionam
Assistir
37:48
Limitações dos testes funcionais automatizados
Assistir
40:21
Contexto, regras de negócio e persistência
Assistir
41:39
Integração com o protótipo de geração de testes
Assistir
42:56
Trade-offs e desafios da autonomia em testes
Assistir
44:13
Geração de cenários de teste para registro
Assistir
45:28
Validação de cenários e casos não testados
Assistir
46:45
Casos negativos e documentação dos testes
Assistir
48:01
Do fluxo de uso ao plano de testes
Assistir
49:16
Interpretação da aplicação e limitações do RPA
Assistir
50:34
Automação de interfaces, carregamento e hidratação
Assistir
51:51
Execução local com browser e máquinas virtuais
Assistir
53:09
Humano: pesquisa, design, desenvolvimento e testes
Assistir
54:26
Identificação de elementos e roteiros dinâmicos
Assistir
55:43
Extração de conteúdo e criação de cenários
Assistir
56:59
Demonstrações educacionais geradas por IA
Assistir
59:33
Configuração de modelos locais e APIs
Assistir
1:03:22
Evidências, passos e modelos com visão
Assistir
1:04:39
Configuração do Browser Use localmente
Assistir
1:05:56
Parâmetros do navegador e gravação das execuções
Assistir
1:07:12
Próximas apresentações e desafios da equipe
Assistir
1:08:31
Organização das equipes e trilhas de tecnologia
Assistir
1:09:48
Critérios para escolha de frameworks
Assistir
1:11:03
Redução de dependências e construção própria
Assistir
1:12:18
Integração de modelos com Spring e LangChain
Assistir
1:13:34
Java, Python e TypeScript para aplicações de IA
Assistir
1:16:09
Planejamento das próximas sessões
Assistir
1:18:41
Quanto código será produzido por IA?
Assistir
1:19:56
IA, legado e manutenção de aplicações
Assistir
1:21:13
IA, código e o papel da criatividade
Assistir
1:22:31
Código copiado, produtividade e adaptação profissional
Assistir
1:23:46
Dependência de IA, vieses e uso de múltiplos modelos
Assistir
1:25:03
Modelos multimodais e a popularização dos deepfakes
Assistir
1:26:19
Como distinguir conteúdos reais de conteúdos gerados por IA
Assistir
1:27:37
Ética, modelos sem filtros e execução local
Assistir
1:28:54
Encerramento e proposta de uma mesa sobre IA
Assistir
Cortes · 15
Contexto do experimento com agentes
A sessão apresenta o experimento prático para desenvolver habilidades no uso de IA e testar uma implementação colaborativa. São explicados o uso do Miro, a divisão em dois times, a seleção de tecnologias e a investigação de ferramentas para testes de aplicações.
08:28 – 12:17Assistir
Onde o projeto se encaixa
A apresentação situa a iniciativa dentro da frente de desenvolvimento e diferencia seus objetivos de outros projetos de IA. O foco é gerar conhecimento de forma colaborativa, usando eventualmente os produtos como resultado desse processo.
12:17 – 14:48Assistir
Autonomia, Manus e execução procedural
O trecho analisa a evolução dos testes autônomos e apresenta o Manus como uma tecnologia capaz de interpretar tarefas, organizá-las em etapas e executá-las no navegador. A explicação compara esse funcionamento ao Browser Use e destaca a importância de procedimentos bem definidos.
14:48 – 21:14Assistir
Demonstração do Browser Use
É apresentada a documentação e a configuração do Browser Use, incluindo modelos de IA, Playwright e a possibilidade de usar diferentes provedores. Em seguida, o agente é executado para acessar o BugBank e criar um cenário de teste de registro automaticamente.
21:14 – 28:55Assistir
Agente executando cadastro e login
A demonstração mostra como o Browser Use identifica elementos da página, preenche um cadastro e tenta realizar o login em sequência. O grupo discute persistência de dados, captura de tela, geração de GIFs e a lista de etapas que o agente cria para conduzir a execução.
28:56 – 36:28Assistir
Diferença entre Manus e Browser Use
O trecho explica que o Manus é um pacote mais amplo de agente de IA, enquanto o Browser Use é utilizado por ele para interagir com páginas web. Também são discutidos os limites do teste funcional demonstrado e a possibilidade de ampliar o contexto para validar regras de negócio, integrações e persistência.
36:28 – 41:39Assistir
Relação com o protótipo de testes
A discussão conecta a demonstração às metas do protótipo em desenvolvimento. O grupo diferencia a geração de artefatos e scripts de teste da execução autônoma, avaliando como soluções como o Browser Use e o Manus poderiam consumir esses resultados.
41:39 – 42:54Assistir
IA na geração e execução de cenários de teste
A sessão discute até que ponto uma IA consegue interpretar uma aplicação, gerar cenários e executar testes de forma autônoma e consistente. Um exemplo mostra a IA realizando um cadastro, formatando o resultado e sugerindo casos como e-mail já existente, campos vazios e senha fraca — inclusive apontando cenários que ela sugeriu, mas não chegou a testar.
42:56 – 48:01Assistir
Limitações do teste automatizado com browser
O grupo analisa as dificuldades de interpretar interfaces modernas e automatizar testes quando a página depende de renderização, hidratação, carregamento e identificadores gerados dinamicamente. Em seguida, é demonstrado um fluxo de browser automation que pesquisa a página, identifica elementos, executa ações e constrói um roteiro de teste.
49:16 – 55:43Assistir
Como a IA extrai dados e cria testes e demonstrações
A demonstração mostra a IA extraindo o conteúdo de uma página, identificando problemas como dados que não persistem e criando diferentes cenários de teste para o cadastro. Depois, o grupo apresenta uma animação interativa criada por IA para explicar conservação de momento e colisões na física.
55:43 – 58:15Assistir
Execução local de agentes com modelos de visão
A conversa explora como rodar ferramentas de browser automation localmente com diferentes modelos, incluindo opções menores, Gemini e Ollama. São discutidas configurações de API, base URL, modelos com visão, execução local e coleta de evidências em vídeo ou GIF durante os testes.
59:33 – 1:05:56Assistir
Escolha de bibliotecas e integração de IA no Java
O grupo compara frameworks e bibliotecas para aplicações de IA, considerando documentação, controle da solução, dependências e suporte a diferentes modelos. A discussão destaca a evolução do ecossistema Spring para Java e como bibliotecas bem integradas podem reduzir a barreira de entrada para aplicações corporativas.
1:09:48 – 1:16:09Assistir
Quanto do código será produzido por IA?
A sessão termina discutindo previsões de que a IA produzirá a maior parte do código em breve. Os participantes contrapõem estimativas de 90% com números mais modestos e observam que o código gerado frequentemente exige revisão, refatoração e correção de duplicações.
1:18:41 – 1:19:56Assistir
IA, código e o futuro do desenvolvimento
A conversa debate até onde a inteligência artificial consegue escrever e refatorar código, destacando o risco de gerar soluções medianas, acumular legado e não acompanhar a evolução de aplicações em escala. Também são discutidas criatividade, dependência de ferramentas e a necessidade de o profissional ter conhecimento próprio para avaliar o que a IA produz.
1:19:56 – 1:25:03Assistir
Modelos multimodais e a dificuldade de distinguir o real
O trecho apresenta diferentes tipos de modelos de IA, incluindo sistemas de visão, áudio e vídeo, e aborda a popularização de conteúdos falsos e deepfakes. A discussão enfatiza o risco de perder a capacidade de discernir o que é verdadeiro, especialmente quando conteúdos gerados artificialmente passam a ser tratados como dados reais.
1:25:03 – 1:27:37Assistir
Perguntas desta sessão
O uso de agentes como Manus e Browser Use representa autonomia completa?
A aproximação da autonomia depende da ferramenta e do nível de contexto fornecido. O Browser Use recebe uma tarefa, gera uma lista de ações e executa essas ações passo a passo no navegador, mas ainda depende de instruções e contexto definidos pelo usuário.
17:05 – 17:38Assistir
Como a captura de elementos foi configurada no teste automatizado?
A captura de elementos foi realizada automaticamente pelo próprio Manus, sem configuração manual adicional; a demonstração utilizou o Browser Use para interagir com a aplicação.
29:04 – 29:14Assistir
O que acontece com os dados de cadastro e login no Bug Bank quando o agente não tem acesso a um banco de dados persistente?
Os dados podem ser perdidos ao iniciar outro teste, porque ficam apenas em armazenamento local ou temporário. Para evitar isso, é possível formatar e persistir os resultados ou fornecer ao agente um mecanismo de armazenamento permanente.
30:55 – 31:40Assistir
O que são Manus e Browser Use e como eles podem ser usados em testes automatizados?
Manus é um pacote que utiliza um agente de IA capaz de executar diferentes tarefas. Uma dessas capacidades é acessar páginas web e realizar ações, como autenticar-se e comprar uma passagem. O Browser Use é a ferramenta usada para permitir a interação automatizada com o navegador, incluindo acesso a sites, preenchimento de campos e execução de fluxos definidos em linguagem natural.
36:48 – 37:25Assistir
Como o Browser Use acessa uma página durante a execução de um teste autônomo?
O agente gera uma sequência de passos a partir do prompt e chama o Browser Use para abrir o site e executar cada procedimento. O resultado de cada etapa é convertido novamente em contexto para orientar o próximo passo.
37:30 – 38:00Assistir
Um agente autônomo com Browser Use consegue realizar testes integrados, como validar campos obrigatórios e consultar o banco de dados?
Na demonstração, o agente realizou principalmente um teste funcional de navegação, cadastro e verificação da mensagem de sucesso. Para validar regras de negócio, quantidade de caracteres, integração com banco e persistência, é necessário fornecer contexto adicional, regras e saídas esperadas; essas validações podem ser tratadas, mas não são cobertas automaticamente por uma navegação simples.
38:38 – 39:37Assistir
Como o agente autônomo gerou cenários de teste para o cadastro no Bug Bank?
A partir do contexto fornecido, o agente acessou o Bug Bank, executou o cadastro e retornou as ações realizadas e os cenários sugeridos. Entre eles estavam cadastro bem-sucedido, usuário já existente, e-mail inválido, senhas divergentes, campos vazios e senha fraca. Porém, alguns cenários foram apenas sugeridos e não necessariamente executados, como tentar cadastrar novamente um e-mail já existente.
44:20 – 46:54Assistir
Como o Browser Use identifica o elemento correspondente a uma ação como clicar em “Registrar” durante um teste?
O agente lê e faz scraping da página, identifica os componentes e seus índices e seleciona o elemento mais semelhante à ação descrita, executando o clique pelo índice encontrado.
54:16 – 54:35Assistir
O que o agente autônomo cria sozinho depois de extrair o conteúdo da página do Bug Bank?
A partir do conteúdo extraído, o agente gera diferentes cenários de teste para o processo de registro.
55:58 – 56:25Assistir
Quantas ações podem ser necessárias em cada etapa de um teste automatizado no Browser Use?
A quantidade depende do cenário: no exemplo apresentado, um caso usou cinco etapas e outro seis, incluindo ações como preencher nome e e-mail. A execução também pode exigir um modelo com capacidade de visão.
1:03:54 – 1:04:20Assistir
Como configurar o Browser Use para executar agentes com modelos locais?
É possível usar o Ollama e configurar o modelo local na ferramenta, informando a base URL e o endpoint de inferência. As bibliotecas Python precisam estar instaladas; modelos hospedados, como os da Google, exigem uma configuração própria de URL e chave de API.
1:04:40 – 1:06:19Assistir
O que os resultados da execução do Browser Use apresentam?
Os resultados registram o que o agente acessou e executou, incluindo uma gravação passo a passo das ações. A ferramenta também pode gerar um GIF como evidência da execução.
1:06:33 – 1:06:53Assistir
Quem garante a qualidade e o funcionamento correto da biblioteca de integração com modelos de IA?
A equipe responsável pela biblioteca, associada ao ecossistema Spring, mantém o projeto, assegura que os componentes estejam organizados e verifica se as funcionalidades funcionam conforme o esperado.
1:12:50 – 1:12:59Assistir