QAssist
Ir para notas que citam estaQAssist é o Learning Prototype da bancada AI for Devs: um chat multiagente que recebe artefatos de desenvolvimento e teste e sugere e gera testes, planos, cenários BDD e scripts.
Construído como Learning Prototype, o QAssist materializa a ideia de uma plataforma para a qual se envia um artefato e da qual se recebe outro: um trecho de código vira análise e testes unitários, um repositório vira plano ou roteiro de teste. Ele apoia quem faz QA ou desenvolvimento, sem substituir essa avaliação: toda análise passa pela aprovação do usuário antes de qualquer geração.
Escopo e decisões de construção
O time reuniu perfis de entusiasta de IA, desenvolvimento back-end e front-end e QA, e padronizou o código em Python pela maior oferta de exemplos e de suporte da comunidade sobre agentes. O MVP prevê três ações do usuário: enviar artefatos, validar o que a IA produziu e obter os artefatos prontos. Entram documentação, histórias de usuário, código, diagramas, esquema de banco e imagens de protótipos; saem planos e casos de teste, cenários BDD, scripts de automação e de banco, massa de dados e relatórios. Integrações externas, como Jira ou Confluence, ficaram fora do escopo: os artefatos chegam por upload ou pelo próprio chat. O desenho inicial também previa saída em PDF ou CSV.
A pilha usa o LangGraph como gerenciador de estados do fluxo, o Streamlit como interface de chat e a API da OpenAI como modelo dos agentes. O formato conversacional foi escolhido por ser a forma como as pessoas já lidam com IA generativa. Anexos acima de 10 MB são recusados, e cada pessoa entra com o próprio login e tem histórico de conversa individual.
Como um pedido percorre os agentes
A arquitetura segue os Times de Agentes de Interpretação e Geração. Um pré-processamento identifica a intenção e encaminha o pedido ao planejador de interpretação ou ao de geração. Um nó analisador escolhe, a partir do registro de agentes, o especialista certo e devolve obrigatoriamente uma saída estruturada em JSON. O CodebaseAnalyzer é o único agente que clona e analisa um repositório a partir de um link. Ao fim, um agregador sintetiza a resposta em vez de despejar a fala de cada especialista.
Um Agente Orquestrador coordena os dois times. A primeira versão ligava agentes ponto a ponto e o fluxo virou uma malha ferroviária imprevisível, com agentes inexistentes sendo sugeridos. Os prompts são extensos porque cada agente é especializado, como descreve a Especialização de Prompts para Agentes.
Num exemplo com uma função JavaScript de validação de e-mail por expressão regular, a análise trouxe parâmetros, efeitos colaterais, casos de falha como e-mail nulo ou indefinido e a sugestão de extrair a expressão regular para melhorar a testabilidade. Aprovada a análise, os testes unitários cobriram caminho feliz, erros e bordas, e um pedido de refinamento trocou os domínios dos e-mails de exemplo.
Limitações conhecidas
- Integração instável entre Streamlit e LangGraph, com perda de estado e respostas interrompidas; a conclusão foi que uma pilha mais tradicional talvez lide melhor com essa camada.
- Perda de contexto em conversas longas, uma forma de Alucinação: pedidos sucessivos podem fazer o agente trocar a entidade do artefato original.
- Só repositórios públicos são clonados. Para código privado, a saída é colar trechos no chat ou rodar o QAssist localmente com as próprias credenciais de Git. Repositórios com muitos arquivos grandes podem estourar o limite de tokens do modelo.
- Testes gerados nem sempre passam. Numa rodada de testes automatizados gerados para um cenário real, cerca de metade dos casos passou e a outra metade falhou. O código gerado às vezes omite importações de bibliotecas; incluí-las no prompt tem o trade-off de injetar dependências ou versões que o projeto não usa.
- Dados enviados vão a uma API externa, o que pede uso consciente do que se coloca no chat.