Sessão de Bancada Geração de Massa de Dados de Teste com Ollama (2024-09-03)
Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.
O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.
Notas citadas nas anotações desta sessão.
A sessão apresentou um experimento de geração de massa de dados para testes usando Ollama e modelos locais de linguagem. A atividade foi inserida no ciclo de testes autônomos com IA, organizado em três etapas: interpretação de artefatos, geração de artefatos e execução dos testes com produção de evidências e registros de bugs. Também foram discutidas possibilidades futuras, como preenchimento automatizado de formulários, simulação de usuários, captura de evidências, integração com ferramentas de gestão e uso de agentes para encadear interpretação, geração e acionamento de testes.
No hands-on, foi utilizado Python em um Jupyter Notebook para clonar e ler um projeto open source, interpretar seus arquivos HTML e gerar histórias de usuário, descrições técnicas e exemplos de dados sintéticos. Foram comparados os modelos Llama 3.1 e Phi-3, observando-se diferenças de desempenho, idioma, nível de detalhamento e tendência a gerar código além do solicitado. Destacou-se a importância de prompts afirmativos e específicos, além das vantagens de executar modelos localmente quando há preocupação com dados sensíveis. O experimento mostrou resultados promissores, mas ainda exigiu revisão humana devido a alucinações e respostas fora do escopo.
Como próximos passos, ficou prevista a publicação e organização do notebook, a geração das massas em formatos como JSON, CSV e XLSX e a melhoria da execução em GPU. Também permaneceram em aberto uma sessão dedicada à configuração e ao uso do Ollama, a exploração de agentes e ferramentas para testes autônomos e uma possível comparação entre extensões e assistentes de programação, como Continue, Cursor e Copilot. A avaliação da comunidade será usada para definir os temas prioritários das próximas bancadas.