Pular para o conteúdo
LabS Atlas
AI For Devs
Entrar
Sessões

Inside Out Inteligência Artificial Aplicada ao Desenvolvimento de Software com a UFBA (2025-07-30)

30 jul 20251h 47min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

O encontro marcou o início de uma parceria entre a UFBA e a empresa para aproximar academia e mercado em projetos de pesquisa aplicada em engenharia de software e inteligência artificial. Foram apresentadas três frentes principais: qualidade e testes de software, elicitação automatizada de requisitos e uso de IA em arquitetura, programação e engenharia de prompts. Também foi destacado que o objetivo da parceria é transformar o intercâmbio de conhecimento em projetos concretos, aproveitando a experiência prática da empresa e a expertise dos grupos de pesquisa da universidade.

Na discussão sobre testes, ressaltou-se que testes automatizados também precisam ter qualidade, pois podem conter problemas de projeto, serem difíceis de manter ou não encontrarem defeitos. Estudos apresentados indicam que ferramentas de IA e LLMs podem gerar testes úteis, mas frequentemente produzem código frágil, pouco compreensível ou com “test smells”, exigindo revisão humana, bons prompts e modelos especializados. A IA foi vista como uma forma de aumentar produtividade e permitir que profissionais de QA se concentrem em atividades mais estratégicas, não como substituta completa das equipes.

Também foi demonstrado um protótipo multiagente para elicitação de requisitos, capaz de dialogar com usuários, analisar documentos, identificar requisitos funcionais e não funcionais e gerar relatórios. Os resultados preliminares foram promissores, embora ainda dependam de validação humana e enfrentem riscos de alucinação, inconsistência e variação entre diálogos. Por fim, foram apresentados estudos sobre seleção de técnicas de engenharia de prompts, agentes para apoiar decisões arquiteturais, evolução e problemas em prompts e competências de profissionais de QA. Como próximos passos, ficou prevista uma reunião de aprofundamento com as equipes para selecionar problemas específicos de alto valor, explorar bases e ferramentas abertas e definir possíveis projetos-piloto, além da realização de novos encontros ao longo do ano.

Gerado por IA a partir da transcrição.
Capítulos · 48
00:04
Abertura do evento e parceria com a UFBA
Assistir
01:20
IA aplicada ao desenvolvimento de software
Assistir
02:36
Participantes e perfil da audiência
Assistir
05:15
Apresentação do Instituto de Computação da UFBA
Assistir
06:32
Linhas de pesquisa em engenharia de software
Assistir
07:53
Qualidade de código e testes
Assistir
11:39
A crise histórica da qualidade de software
Assistir
14:12
Importância dos testes no ciclo de desenvolvimento
Assistir
18:05
Automação, não determinismo e geração de testes
Assistir
19:22
Testes ruins e engenharia do código de teste
Assistir
20:40
Test smells: quem testa os testes?
Assistir
23:15
Prevenção, detecção e correção de problemas
Assistir
25:48
Ferramentas e LLMs para análise de testes
Assistir
27:05
Estudos sobre testes gerados por IA
Assistir
29:37
Limitações do Copilot e engenharia de prompts
Assistir
32:10
Desempenho dos modelos em diferentes linguagens
Assistir
33:25
Conclusões e caminhos para ferramentas com IA
Assistir
34:40
Perguntas sobre testes na engenharia de dados
Assistir
39:49
Testes autônomos e modelos especializados
Assistir
41:07
Otimização automática da qualidade dos testes
Assistir
43:42
Impactos da IA na produtividade e no papel do QA
Assistir
46:12
Priorização de testes e ganhos de qualidade
Assistir
50:07
Sistema multiagente para elicitação de requisitos
Assistir
52:40
Objetivos e funcionalidades da arquitetura de requisitos
Assistir
55:12
Protótipo com agentes especialistas e memória
Assistir
57:48
Fluxo de diálogo e elicitação automatizada
Assistir
1:00:19
Agentes de domínio, multilinguismo e sustentabilidade
Assistir
1:01:36
Revisão, priorização e exportação de requisitos
Assistir
1:02:52
Validação do sistema em um caso real
Assistir
1:05:27
Resultados da avaliação e próximos estudos
Assistir
1:06:44
Benefícios, riscos e limitações do sistema
Assistir
1:09:20
Aplicações em sistemas existentes e low-code
Assistir
1:12:01
Requisitos para modernização de software legado
Assistir
1:15:51
IA generativa e engenharia de software
Assistir
1:17:08
Engenharia de prompts para desenvolvimento
Assistir
1:18:25
Catálogo de técnicas e tarefas de software
Assistir
1:19:41
Avaliação de técnicas de prompt e desempenho
Assistir
1:21:00
Explicabilidade e custo na engenharia de prompts
Assistir
1:22:18
Técnicas de prompting para desenvolvimento de software
Assistir
1:24:53
Seleção de prompts e análise de custos
Assistir
1:26:10
Agentes multiagentes para decisões arquiteturais
Assistir
1:28:47
Evolução de prompts e identificação de smells
Assistir
1:30:06
Competências de profissionais de QA
Assistir
1:31:22
Neurociência aplicada à engenharia de testes
Assistir
1:34:00
Discussão sobre datasets e aplicações práticas
Assistir
1:36:35
Padrões de evolução dos prompts
Assistir
1:39:09
Planejamento dos próximos encontros
Assistir
1:44:09
Encerramento e definição de novos temas
Assistir
Cortes · 12
Qualidade de software e os desafios da automação de testes
A apresentação aborda a crise histórica da qualidade de software e explica por que testes devem ser considerados desde o início do desenvolvimento. Também discute os benefícios e limitações da automação, incluindo problemas de não determinismo, escalabilidade e a necessidade de abordagens híbridas.
12:57 – 19:22Assistir
Testes ruins e engenharia do código de teste
O trecho mostra que o código de teste também precisa ter qualidade e apresenta o conceito de testes mal projetados, ou “test smells”. São discutidos exemplos, impactos na manutenção e na regressão, além de estratégias de prevenção, detecção e correção desses problemas.
19:22 – 25:48Assistir
Limites da IA generativa na criação de testes
Ivan apresenta estudos sobre o uso de modelos de linguagem para gerar e avaliar testes automatizados. Os resultados mostram problemas como testes pouco claros, alucinações, baixa qualidade em linguagens menos populares e a importância da engenharia de prompts e da revisão humana.
25:48 – 33:25Assistir
Detecção de problemas em testes de engenharia de dados
Na sessão de perguntas, o grupo discute a aplicação dos estudos a pipelines de engenharia de dados desenvolvidos com Python, Spark, Java e SQL. A conversa apresenta a possibilidade de adaptar catálogos de problemas para diferentes linguagens e de criar uma plataforma agnóstica baseada em árvores sintáticas abstratas.
34:40 – 38:31Assistir
Testes autônomos com IA e otimização da qualidade
A discussão explora como modelos especializados, agentes e algoritmos evolucionários podem gerar e avaliar testes automatizados. O professor destaca que a IA tende a aumentar a produtividade e a qualidade do trabalho de QA, desde que seja treinada com bons exemplos e priorize testes relevantes em vez de grandes volumes de testes simples ou aleatórios.
39:49 – 47:32Assistir
Sistema multiagente para elicitação de requisitos
É apresentado um projeto embrionário que usa múltiplos agentes de LLM para conversar com stakeholders, analisar documentos, fazer perguntas e produzir documentos de requisitos funcionais e não funcionais. A arquitetura inclui agentes especialistas, memória de contexto, suporte a texto e voz, entrada de arquivos, múltiplos idiomas e exportação dos requisitos.
50:07 – 1:02:52Assistir
Validação, resultados e limitações do sistema de requisitos
O sistema de elicitação é validado em um caso real de desenvolvimento de uma plataforma para gerenciar apresentações acadêmicas. A avaliação encontrou cerca de 80% dos requisitos originais e identificou quase o dobro de requisitos adicionais, mas também revelou a necessidade de validação humana, controle de alucinações, tratamento de vieses e estudos em outros domínios.
1:02:52 – 1:09:20Assistir
Aplicações existentes, low-code e engenharia reversa de requisitos
A conversa examina o uso de sistemas multiagentes na evolução de aplicações legadas e em cenários de low-code. Também surge a possibilidade de usar código-fonte como entrada para recuperar requisitos de sistemas antigos, uma direção considerada promissora e adequada para pesquisas de pós-graduação.
1:09:20 – 1:14:37Assistir
Como escolher técnicas de prompt para engenharia de software
O estudo compara diversas técnicas de prompt aplicadas a tarefas de entendimento e geração de código. A análise considera desempenho, características linguísticas, explicações para resultados melhores ou piores e custo, mostrando que não existe uma técnica universalmente melhor.
1:19:41 – 1:26:10Assistir
Agentes de IA para decisões arquiteturais
A pesquisa investiga como arquitetos de software tomam decisões, desde esquetes em whiteboards até registros em ADRs. A partir desse conhecimento, agentes individuais e sistemas multiagentes são avaliados para apoiar ou eventualmente substituir arquitetos na tomada de decisões.
1:26:10 – 1:28:47Assistir
Evolução e smells em prompts
O grupo criou um dataset sobre a evolução de prompts em projetos open source e analisou como eles são modificados ao longo do desenvolvimento. O próximo objetivo é identificar smells em prompts, entender seus impactos e apontar problemas que devem ser evitados.
1:28:47 – 1:30:06Assistir
Competências e atividade cerebral de engenheiros de testes
O estudo investiga as características técnicas e não técnicas de um grande engenheiro de testes a partir de entrevistas e surveys internacionais. Em uma etapa de neurociência, pesquisadores observam a ativação cerebral de profissionais juniores e seniores durante tarefas de teste para compreender diferenças de competência e experiência.
1:30:06 – 1:34:00Assistir
Perguntas desta sessão
Quais são os objetivos do evento Inside Out e da parceria entre a Solutis e a UFBA?
O evento busca aproximar academia e mercado, compartilhar conhecimentos sobre engenharia de software e identificar oportunidades de sinergia para desenvolver parcerias concretas, como projetos de pesquisa e outras iniciativas conjuntas.
00:51 – 06:32Assistir
Como garantir a qualidade do software desenvolvido?
A qualidade é apoiada por técnicas de Quality Assurance, especialmente testes planejados desde o início do desenvolvimento e tratados como uma responsabilidade compartilhada entre arquitetura, requisitos e desenvolvimento.
13:52 – 14:44Assistir
Como aplicar de fato as técnicas de teste difundidas na literatura, em vez de apenas conhecê-las teoricamente?
É necessário escolher e aplicar sistematicamente técnicas capazes de antecipar problemas, incorporando práticas de engenharia ao desenvolvimento e considerando experiências de sistemas em grande escala.
15:23 – 15:58Assistir
Como empresas testam sistemas de software de larga escala?
Empresas que operam sistemas com milhões ou bilhões de usuários utilizam técnicas que permitem executar dezenas ou centenas de milhares de casos de teste diariamente, inclusive em testes de regressão durante a evolução da aplicação.
17:18 – 18:04Assistir
Como lidar com o não determinismo em testes automatizados?
É preciso tratar testes instáveis, que passam ou falham em execuções diferentes, sem presumir que a automação resolva tudo. A automação oferece escala, reprodutibilidade e redução de custos, mas precisa ser usada corretamente e combinada com abordagens híbridas.
18:05 – 18:50Assistir
Como garantir que o código de teste realmente alcance seus objetivos?
O código de teste também precisa ser analisado e mantido com qualidade. É necessário identificar problemas de projeto, como testes que tentam verificar tudo, e refatorar ou corrigir esses problemas para preservar a eficácia da suíte de testes.
20:45 – 21:38Assistir
Como remover problemas de projeto do código de teste sem perder seus objetivos?
Os problemas podem ser eliminados por meio de transformação e refatoração do código, mantendo os conceitos e objetivos associados ao teste.
21:26 – 21:38Assistir
Como os profissionais lidam, na prática, com testes mal projetados?
A gestão ocorre em três frentes: prevenção, para evitar a inserção dos problemas; detecção, para identificá-los no código existente; e correção, que pode ser automatizada ou semiautomatizada para impedir sua propagação entre versões.
23:50 – 24:26Assistir
O GitHub Copilot é eficaz para detectar problemas em código de testes?
O estudo mostrou que o Copilot pode detectar problemas, mas os testes gerados apresentam muitos test smells: cerca de 50% continham problemas, afetando quase 85% dos arquivos analisados. Os usuários também relataram baixa clareza, dificuldade de manutenção e dificuldade para entender o que os testes pretendiam verificar.
27:46 – 30:31Assistir
É possível criar ferramentas baseadas em LLMs para avaliar testes de software?
Sim. A criação de ferramentas baseadas em LLMs para avaliar testes é considerada um caminho promissor. A escolha do modelo deve considerar o cenário e o domínio de aplicação, pois modelos diferentes apresentam melhor desempenho em contextos específicos.
33:55 – 34:14Assistir
Existem estudos sobre testes automatizados para código produzido em engenharia de dados, como Python, Spark, Java e SQL?
Os estudos apresentados cobriram principalmente Python e também linguagens como Go, Rust e JavaScript. Os pesquisadores criaram catálogos de problemas em código de teste e automatizaram buscas baseadas em regras e sintaxe; essa abordagem pode ser adaptada para outras linguagens, incluindo as usadas em engenharia de dados.
35:46 – 37:13Assistir
Como modelos de IA podem viabilizar testes autônomos e qual é o principal desafio para avaliar e otimizar a qualidade dos testes gerados?
A autonomia é possível por meio de agentes e algoritmos de otimização que geram, avaliam e selecionam testes. Porém, ainda é difícil garantir uma solução ótima e distinguir testes realmente úteis de testes simples ou redundantes. Modelos menores e especializados no domínio podem ser mais adequados, desde que sejam treinados com código e exemplos de boa qualidade.
39:42 – 42:25Assistir
Em que medida testes automatizados autônomos baseados em IA podem aumentar a produtividade e mudar o papel dos profissionais de QA?
A IA pode gerar testes, validar código e eliminar tarefas básicas, permitindo que profissionais de QA se concentrem em cenários relevantes, qualidade, requisitos e visão de negócio. Ela não substitui completamente os profissionais: o desempenho depende de exemplos e código de qualidade, além do conhecimento humano sobre o sistema e sobre como os testes são desenvolvidos na empresa.
43:17 – 47:40Assistir
Qual é a meta principal do projeto de sistema multiagente baseado em LLMs para engenharia de requisitos?
Construir e avaliar um sistema multiagente com LLMs para elicitar requisitos, dialogando com stakeholders, seguindo uma metodologia e organizando as informações em um documento de requisitos.
52:16 – 52:44Assistir
Qual é o objetivo principal de aplicar LLMs à elicitação de requisitos?
Acelerar os métodos tradicionais de engenharia de requisitos e estudar como usar LLMs para apoiar esse processo, tornando os modelos mais efetivos por meio de uma arquitetura multiagente.
52:45 – 53:19Assistir
Quais funcionalidades concretas estão sendo desenvolvidas no sistema multiagente de elicitação de requisitos?
O sistema oferece uma conversa em linguagem natural por texto ou voz, permite carregar documentos, faz perguntas sobre o sistema a ser desenvolvido, extrai requisitos funcionais e não funcionais e gera documentos de requisitos que podem ser editados, atualizados e exportados.
53:19 – 55:16Assistir
Como funciona a arquitetura multiagente para elicitação de requisitos?
Um agente recomendador conduz e controla o diálogo, enquanto agentes especialistas acompanham a conversa, detectam assuntos relevantes, fazem recomendações e fornecem perguntas ou informações ao agente principal. O sistema também mantém memória contextual e gera documentos com os requisitos extraídos.
56:40 – 57:39Assistir
Como a memória contextual é usada no sistema de elicitação de requisitos baseado em LLMs?
A memória preserva informações do contexto do diálogo para reduzir alucinações e permitir a continuidade das conversas. A implementação de uma memória de longo prazo ainda está em desenvolvimento.
57:23 – 57:39Assistir
Como o sistema multiagente conduz a conversa de elicitação de requisitos?
O agente recomendador inicia a conversa seguindo uma metodologia de elicitação e faz perguntas sobre os usuários, as funcionalidades desejadas e o sistema a ser desenvolvido. As respostas são capturadas pela LLM, enquanto agentes especialistas intervêm conforme o diálogo avança.
57:41 – 58:27Assistir
Como o sistema trata diferentes modalidades de interação e idiomas na elicitação de requisitos?
A interação pode ocorrer por texto ou voz; entradas de voz são convertidas em texto para extração dos requisitos. A plataforma oferece suporte a português, inglês e árabe, incluindo entrada de voz nessas três línguas, e também permite carregar arquivos durante o processo.
59:42 – 1:00:25Assistir
Como soluções multiagentes podem apoiar a evolução de uma aplicação já existente?
A aplicação é considerada um cenário promissor, embora o trabalho ainda esteja em fase inicial. A evolução pode se beneficiar de mais informações de contexto para alimentar a IA e de agentes especializados, inclusive treinados em domínios específicos, que apoiem a análise e a coleta de requisitos.
1:09:50 – 1:11:07Assistir
Como a IA pode contribuir para o desenvolvimento automatizado de aplicações e qual é o papel do low-code nesse cenário?
A academia ainda explora pouco o low-code, mas a área pode ser interessante para automatizar etapas de desenvolvimento. Com maior formalização dos requisitos, seria possível levar essa automação a níveis mais altos e investigar sua aplicação em projetos reais.
1:10:03 – 1:10:41Assistir
É possível usar código-fonte de sistemas legados como entrada para obter ou reconstruir seus requisitos durante a modernização?
Essa é uma direção de pesquisa promissora, embora não seja trivial. A ideia é fazer o caminho inverso da engenharia tradicional, saindo do código-fonte para chegar aos requisitos; o problema tem complexidade suficiente para um trabalho de pós-graduação, como um doutorado.
1:12:52 – 1:14:05Assistir
É possível utilizar agentes de IA para substituir arquitetos de software na tomada de decisões arquiteturais?
A pesquisa investiga o uso de sistemas multiagentes para simular arquitetos de software. Os agentes recebem requisitos e decisões arquiteturais registradas e debatem alternativas para verificar se chegam a decisões iguais ou melhores que as de profissionais humanos.
1:27:09 – 1:28:47Assistir
Como os prompts usados em projetos de desenvolvimento de software evoluem?
Foi criado um dataset com prompts de projetos open source para analisar seus padrões de evolução. A investigação busca identificar como esses prompts mudam ao longo do tempo e detectar problemas recorrentes, ou “smells”, que podem afetar a eficácia das tarefas de desenvolvimento.
1:29:04 – 1:30:13Assistir
Quais são as características técnicas e não técnicas de um engenheiro de QA sênior, e como elas diferem das de um QA júnior?
O estudo combina entrevistas com 25 QAs de diferentes países, um survey com mais de 360 profissionais em mais de 15 países e medições de ativação cerebral durante tarefas de teste. O objetivo é relacionar competências identificadas nas pesquisas às diferenças entre profissionais juniores e seniores e indicar aspectos a desenvolver.
1:31:13 – 1:33:03Assistir
Como foi analisada a evolução dos prompts em projetos e atividades semelhantes?
Os pesquisadores utilizaram um dataset de projetos open source, definiram critérios de seleção, analisaram como os prompts eram modificados, agruparam os casos em clusters e buscaram padrões gerais de evolução. A análise examinou o que era adicionado, removido ou refatorado nos prompts e os motivos dessas mudanças, sem restringir-se a pessoas ou projetos específicos.
1:36:51 – 1:38:06Assistir
A evolução dos prompts foi validada para verificar se as saídas realmente melhoravam em relação ao conhecimento ou desempenho anterior do modelo?
Não. O estudo não avaliou se os resultados ou crenças do modelo eram testados previamente para garantir que a evolução do prompt representasse uma melhoria real; essa foi identificada como uma possibilidade de investigação futura.
1:40:36 – 1:41:30Assistir