Pular para o conteúdo
LabS Atlas
AI For Devs
Entrar
Sessões

Learning Prototype Escolha de Frameworks de Agentes e Testes com Robot Framework (2025-02-25)

25 fev 20251h 20min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão discutiu a escolha de frameworks e tecnologias para construir um protótipo de agentes, retomando conceitos apresentados anteriormente sobre agentes que raciocinam a partir de informações externas, em contraste com abordagens mais simples de recuperação de dados. Foi levantada a necessidade de definir critérios de seleção, como adequação ao cenário do projeto, facilidade e velocidade de aprendizado e implementação, quantidade de dependências, flexibilidade, custos e dependência de fornecedores. Entre as opções comentadas estiveram CrewAI, LangChain, LangGraph, n8n, Python puro e integrações com diferentes modelos de linguagem, incluindo serviços da AWS, OpenAI e soluções locais. A documentação do CrewAI foi considerada clara e completa, embora mais extensa, e ele apareceu como um dos principais candidatos para exploração prática, possivelmente em conjunto com outras ferramentas em uma abordagem faseada.

Também foi apresentada uma demonstração do Robot Framework aplicado a testes de interface, usando Selenium, ChromeDriver, casos de teste estruturados, variáveis, palavras-chave, recursos compartilhados, screenshots e relatórios automáticos. Foram mostrados testes de cadastro e login no site BugBank, além do uso de BDD para descrever cenários em linguagem mais natural. A demonstração evidenciou a simplicidade do framework e seu potencial para gerar ou apoiar testes automatizados, mas também revelou limitações relacionadas a falsos positivos e à identificação de elementos sem seletores únicos. Como possibilidade futura, foi sugerida a criação de um agente especializado em Robot Framework para analisar requisitos, identificar elementos e produzir scripts mais confiáveis.

Como encaminhamento, o grupo decidiu realizar experimentos práticos com diferentes tecnologias, sem prazo rígido, para comparar implementação, dificuldades, integração com modelos de linguagem e adequação ao protótipo. Voluntários escolheram ferramentas como CrewAI, LangChain/LangGraph, n8n e outras, podendo trabalhar em duplas e usar cenários simples ou partes do fluxo de questionário. Os resultados deverão ser compartilhados nos próximos encontros, permitindo uma seleção mais fundamentada das tecnologias e a troca de experiências sobre dependências, configuração de modelos, versões e problemas encontrados.

Gerado por IA a partir da transcrição.
Capítulos · 58
00:04
Abertura e integração da equipe
Assistir
01:23
Experiências no projeto do Bradesco
Assistir
02:41
Expectativa pelos testes práticos
Assistir
03:57
Organização dos testes e possibilidades tecnológicas
Assistir
05:13
Comparação de abordagens para agentes
Assistir
06:33
Agentes com raciocínio e uso de artefatos
Assistir
09:08
Arquitetura de agentes e memória expandida
Assistir
10:28
Escolha entre agentes com e sem raciocínio
Assistir
11:47
Critérios para selecionar tecnologias
Assistir
14:20
Planejamento da exploração tecnológica
Assistir
15:37
Apresentação das tecnologias avaliadas
Assistir
16:57
Automação de fluxos com agentes
Assistir
18:14
Experimentos e mudanças na documentação
Assistir
19:34
Nova documentação do CrewAI
Assistir
20:51
Discussão sobre CrewAI, LangChain e LangGraph
Assistir
22:07
Estratégia faseada de adoção tecnológica
Assistir
23:24
Dependências e custos de implementação
Assistir
24:41
Conceitos e chamadas de ferramentas no CrewAI
Assistir
26:00
Avanços em function calling e projeto de exemplo
Assistir
27:17
Integração com modelos e AWS Bedrock
Assistir
28:35
Seleção prática de ferramentas
Assistir
29:51
Critérios de escolha das tecnologias
Assistir
31:08
Proposta de competição entre ferramentas
Assistir
32:26
Formas de integrar diferentes modelos
Assistir
34:58
Uso de clientes e abstrações de provedores
Assistir
37:31
Riscos de versões e dependência de fornecedores
Assistir
38:47
Comparação entre documentações
Assistir
40:06
CrewAI como candidata para exploração
Assistir
41:20
Transição para demonstração de testes
Assistir
42:38
Introdução ao Robot Framework
Assistir
43:53
Introdução ao Robot Framework e instalação
Assistir
45:12
Dependências e compatibilidade com o Chrome
Assistir
46:31
Download e funcionamento do ChromeDriver
Assistir
47:47
Configuração do ambiente e extensão no VS Code
Assistir
49:04
Estrutura de arquivos, suítes e casos de teste
Assistir
50:21
Variáveis e keywords no Robot Framework
Assistir
51:43
Bibliotecas, recursos e setup dos testes
Assistir
52:59
Localizadores, screenshots e prevenção de falsos positivos
Assistir
54:17
Relatórios de execução e declaração de variáveis
Assistir
55:38
Elementos de formulário e reutilização de variáveis
Assistir
56:54
BDD e especificação de cenários de teste
Assistir
58:14
Execução do cadastro e limitações da memória local
Assistir
59:32
Resultados, logs e publicação do código
Assistir
1:00:49
Teste de login inválido com BDD
Assistir
1:02:04
Setup, passos do cenário e validação de erros
Assistir
1:03:20
Encerramento da apresentação e próximos passos
Assistir
1:05:54
Discussão sobre IA, BDD e geração de testes
Assistir
1:07:15
Falsos positivos e limitações da inteligência artificial
Assistir
1:08:30
Agentes especializados e estratégias de validação
Assistir
1:09:46
Proposta de um agente especialista em Robot Framework
Assistir
1:11:05
Planejamento de experimentos com ferramentas
Assistir
1:12:21
Voluntários para implementar e comparar tecnologias
Assistir
1:13:39
Organização dos testes e avaliação prática das ferramentas
Assistir
1:14:54
Troca de experiências e seleção de tecnologias
Assistir
1:16:11
Definição de cenários e divisão das ferramentas
Assistir
1:17:26
Exploração de frameworks e alternativas em Python
Assistir
1:18:41
Cronograma aberto e continuidade dos experimentos
Assistir
1:19:56
Encerramento informal da sessão
Assistir
Cortes · 13
Agentes que raciocinam sobre informações externas
A sessão explica a diferença entre agentes que apenas recuperam informações e agentes que raciocinam sobre dados recebidos. Também são discutidos exemplos de agentes equipados com artefatos, como código, e a necessidade de escolher um modelo de linguagem para processá-los.
06:33 – 11:47Assistir
Primeiras avaliações das tecnologias
Os participantes compartilham pesquisas iniciais sobre tecnologias como CrewAI e n8n. Eles discutem como essas ferramentas podem orquestrar agentes, automatizar fluxos de trabalho, analisar respostas e integrar diferentes modelos de linguagem.
15:37 – 19:34Assistir
Documentação e evolução do CrewAI
A conversa analisa a documentação atualizada do CrewAI, destacando sua organização por conceitos, guias e ferramentas. Também são comentadas mudanças na biblioteca, chamadas de funções e a possibilidade de usar a documentação para aprender conceitos gerais de inteligência artificial.
19:34 – 26:00Assistir
Critérios para selecionar as ferramentas
O grupo debate como selecionar tecnologias para o projeto, considerando adequação ao cenário, facilidade de aprendizado, dependências, velocidade de implementação e capacidade de gerar experimentos práticos. Surge a proposta de comparar algumas ferramentas em uma espécie de exploração ou competição controlada.
26:00 – 33:41Assistir
Formas de integrar modelos de linguagem
É apresentada uma demonstração de diferentes formas de utilizar modelos de linguagem diretamente ou por meio de bibliotecas como LangChain. A conversa aborda clientes de provedores, abstração das integrações e os riscos de depender de versões e atualizações de serviços externos.
33:41 – 38:47Assistir
Comparação de documentações e escolha do CrewAI
Os participantes comparam as documentações do LangChain e do CrewAI, avaliando completude, clareza e especificidade. O CrewAI surge como forte candidato para a próxima etapa de exploração prática, embora o grupo ainda considere custos e possíveis concorrentes.
38:47 – 41:22Assistir
Robot Framework: instalação e ChromeDriver
Apresentação do Robot Framework como ferramenta de automação de testes baseada em Python e explicação dos primeiros passos de instalação. O trecho detalha o uso do Selenium e do ChromeDriver, incluindo compatibilidade de versões e a função do driver na execução dos testes.
43:53 – 49:04Assistir
Estrutura de um teste no Robot Framework
Explicação da organização de suítes, casos de teste, configurações, bibliotecas, variáveis e keywords em arquivos Robot Framework. Também é apresentado um teste simples que abre o navegador e um fluxo de cadastro com cliques, espera e captura de tela.
49:04 – 54:14Assistir
Relatórios, variáveis e identificação de elementos
Demonstração dos arquivos de relatório gerados pelo Robot Framework e da diferença entre log, relatório e output. O trecho também explica como declarar variáveis e localizar corretamente campos HTML para evitar falsos positivos.
54:17 – 56:54Assistir
BDD aplicado ao Robot Framework
Apresentação de como conceitos de BDD podem ser usados no Robot Framework para descrever cenários de login em linguagem próxima da natural. O exemplo organiza o teste com dados, ações e resultado esperado, incluindo a validação do redirecionamento para a página inicial.
56:54 – 58:12Assistir
Execução de testes e análise dos resultados
Execução de um teste de cadastro no site BugBank, mostrando o preenchimento dos campos, o clique no botão de registro, os logs e a confirmação de sucesso. O trecho também explica por que testes de login podem falhar quando os dados ficam apenas na memória local do navegador.
58:14 – 1:00:48Assistir
Cenário negativo de login com BDD
Construção de um cenário de caminho triste para validar login com e-mail e senha incorretos. O teste usa passos de BDD, funções reutilizáveis de setup e uma verificação da mensagem ou tela de erro esperada.
1:00:49 – 1:03:20Assistir
Limitações da IA na identificação de falsos positivos
Discussão sobre as dificuldades de usar inteligência artificial para detectar falsos positivos em testes automatizados, especialmente quando elementos HTML não possuem identificadores únicos. O grupo debate o uso de prompts mais específicos e de agentes especializados para analisar páginas, elementos e resultados com maior precisão.
1:05:54 – 1:11:05Assistir
Perguntas desta sessão
O n8n pode receber respostas de um questionário e automatizar seu processamento?
Sim. O n8n pode analisar e classificar as respostas, gerar resumos, detectar palavras-chave e armazenar os resultados em um banco de dados ou em uma planilha do Excel.
17:31 – 17:46Assistir
Quais critérios devem orientar a escolha entre frameworks e tecnologias para desenvolver uma solução de agentes?
A escolha deve considerar a adequação ao cenário e ao produto, a quantidade de dependências e camadas de abstração, a velocidade de implementação e aprendizado, o potencial de gerar conhecimento sobre o tema e a possibilidade de validar a tecnologia por meio de experimentos práticos.
30:29 – 31:29Assistir
Como utilizar diferentes modelos de linguagem, incluindo modelos da AWS, em uma aplicação construída com CrewAI?
É necessário instalar e configurar o CrewAI, informar um modelo de linguagem ao framework e selecionar o provedor ou cliente correspondente. Depois dessa configuração, o código da aplicação permanece praticamente o mesmo, permitindo trocar o modelo utilizado.
32:58 – 33:42Assistir
O que é o BugBank no contexto dos testes com Robot Framework?
O BugBank é um site dedicado a testes e foi usado como estudo de caso para demonstrar a automação com Robot Framework.
43:24 – 43:37Assistir
Qual é a relação entre a versão do Google Chrome e a versão do ChromeDriver usada pelo Robot Framework com Selenium?
É necessário verificar a compatibilidade entre as versões. A versão do ChromeDriver deve ser compatível com o Google Chrome; recomenda-se usar uma versão estável, geralmente uma ou duas versões anteriores à mais recente, em vez da última versão lançada.
45:50 – 47:11Assistir
O ChromeDriver é um navegador usado para executar os testes?
Não. O ChromeDriver não é um navegador; ele é um componente que permite acionar aplicações e simular o uso do navegador Chrome para executar testes e outras tarefas de automação.
47:14 – 47:45Assistir
Como o ChromeDriver é utilizado na automação de testes?
Ele funciona como uma extensão ou componente intermediário que permite ao Robot Framework controlar o navegador Chrome, simulando ações do usuário durante os testes.
48:01 – 48:09Assistir
O que é uma suíte de testes no Robot Framework?
Uma suíte de testes é o arquivo ou conjunto que organiza os casos de teste, como cenários de login com caminho feliz e caminho triste. Os casos de teste são as ações efetivamente executadas dentro da suíte.
49:04 – 49:24Assistir
Qual é a diferença entre variáveis e keywords no Robot Framework?
As variáveis armazenam valores que podem ser alterados, como e-mails e URLs. As keywords são funções ou ações pré-definidas, usadas para realizar operações específicas no teste.
50:04 – 50:37Assistir
O que o teste simples apresentado no Robot Framework faz?
O teste abre o navegador e acessa o endereço configurado para a execução.
51:05 – 51:09Assistir
Por que utilizar um arquivo de resource e um setup no Robot Framework?
O arquivo de resource permite centralizar ações reutilizáveis, como abrir e fechar o navegador. O setup executa essas ações automaticamente, evitando repetir as mesmas instruções em todos os casos de teste.
52:16 – 52:38Assistir
Por que um seletor baseado apenas em texto pode gerar falsos positivos nos testes do Robot Framework?
Porque o mesmo texto pode aparecer em mais de um elemento da página. Nesse caso, o teste pode localizar um elemento diferente do esperado e passar incorretamente; por isso, é preferível usar identificadores mais específicos quando disponíveis.
52:39 – 53:43Assistir
Para que servem os arquivos XML, HTML e de log gerados pelo Robot Framework?
Eles registram os resultados da execução dos testes. O relatório apresenta um resumo geral, enquanto o log contém informações mais detalhadas; o arquivo XML também armazena os dados estruturados da execução.
54:53 – 55:17Assistir
Por que é importante especificar corretamente os elementos de formulário nos testes do Robot Framework?
Especificar o elemento correto, como o campo de e-mail ou de senha, evita que o teste interaja com outro input semelhante e reduz a ocorrência de erros ou falsos positivos.
55:26 – 56:08Assistir
É possível utilizar BDD com o Robot Framework?
Sim. O Robot Framework pode representar comportamentos e cenários em uma estrutura semelhante ao BDD, descrevendo condições, ações e resultados esperados em linguagem mais próxima da linguagem natural.
56:54 – 57:51Assistir
Como fica a estrutura do arquivo de dados (IBD) usado nos testes do Robot Framework?
O arquivo IBD contém as configurações e os dados utilizados pelos testes, enquanto o setup concentra as variáveis necessárias para executar o fluxo, como as informações de login.
1:00:52 – 1:01:04Assistir
Por que criar um teste de caminho feliz para o fluxo de login?
O teste de caminho feliz representa o cenário de sucesso, mas precisa de dados previamente salvos na memória ou em uma fonte de dados; sem essas informações, o teste pode falhar. Para o cenário negativo, devem ser usados usuário ou senha inválidos.
1:01:10 – 1:01:25Assistir
Como a engenharia de prompts pode ajudar uma inteligência artificial a identificar falsos positivos em testes automatizados?
É possível orientar o modelo explicitamente sobre a existência de falsos positivos e detalhar melhor os elementos e as páginas envolvidos. Ainda assim, resolver o problema de forma confiável pode exigir um agente especializado, com regras para validar a página e localizar o elemento correto, e não apenas um prompt simples.
1:07:16 – 1:09:46Assistir