Pular para o conteúdo
LabS Atlas
AI For Devs
Entrar
Sessões

Sessão de Bancada Geração de Massa de Dados de Teste com Ollama (2024-09-03)

3 set 20241h 22min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão apresentou um experimento de geração de massa de dados para testes usando Ollama e modelos locais de linguagem. A atividade foi inserida no ciclo de testes autônomos com IA, organizado em três etapas: interpretação de artefatos, geração de artefatos e execução dos testes com produção de evidências e registros de bugs. Também foram discutidas possibilidades futuras, como preenchimento automatizado de formulários, simulação de usuários, captura de evidências, integração com ferramentas de gestão e uso de agentes para encadear interpretação, geração e acionamento de testes.

No hands-on, foi utilizado Python em um Jupyter Notebook para clonar e ler um projeto open source, interpretar seus arquivos HTML e gerar histórias de usuário, descrições técnicas e exemplos de dados sintéticos. Foram comparados os modelos Llama 3.1 e Phi-3, observando-se diferenças de desempenho, idioma, nível de detalhamento e tendência a gerar código além do solicitado. Destacou-se a importância de prompts afirmativos e específicos, além das vantagens de executar modelos localmente quando há preocupação com dados sensíveis. O experimento mostrou resultados promissores, mas ainda exigiu revisão humana devido a alucinações e respostas fora do escopo.

Como próximos passos, ficou prevista a publicação e organização do notebook, a geração das massas em formatos como JSON, CSV e XLSX e a melhoria da execução em GPU. Também permaneceram em aberto uma sessão dedicada à configuração e ao uso do Ollama, a exploração de agentes e ferramentas para testes autônomos e uma possível comparação entre extensões e assistentes de programação, como Continue, Cursor e Copilot. A avaliação da comunidade será usada para definir os temas prioritários das próximas bancadas.

Gerado por IA a partir da transcrição.
Capítulos · 49
00:04
Abertura e ajustes de áudio
Assistir
01:22
Discussão sobre Interestelar e spoilers
Assistir
03:58
Consciência, informação e dimensões
Assistir
06:34
A voz interior e a natureza da consciência
Assistir
07:52
Emoções, Divertida Mente e psicologia
Assistir
09:07
Início oficial da sessão e boas-vindas
Assistir
10:25
Contexto da bancada e testes autônomos com IA
Assistir
13:05
Os três atos do ciclo de automação
Assistir
15:38
Desafio: geração de massa de dados para testes
Assistir
16:56
Preenchimento de formulários, simulação e registro de bugs
Assistir
18:15
Evidências de testes com Selenium
Assistir
19:31
Estrutura dos testes autônomos em três etapas
Assistir
20:49
Agentes, integrações e próximos experimentos
Assistir
24:41
Apresentação do desafio e organização do notebook
Assistir
25:57
Modelos locais: Llama e Phi
Assistir
29:44
Modelos de linguagem, código e embeddings
Assistir
32:16
Geração local de massa de dados para testes
Assistir
33:33
Hands-on em Python e Jupyter Notebook
Assistir
34:50
Clonagem do projeto e preparação do ambiente
Assistir
37:27
Leitura dos arquivos do repositório
Assistir
38:44
Comparação de modelos e definição dos prompts
Assistir
40:02
Engenharia de prompts e instruções afirmativas
Assistir
41:18
Streaming de respostas e comparação entre modelos
Assistir
42:35
Execução local de modelos e geração de arquivos
Assistir
45:10
Limites de geração e uso de tools em agentes
Assistir
46:26
Arquitetura de agentes e configuração de GPU
Assistir
47:42
Planejamento do agente Bug Buster
Assistir
49:01
Interpretação de aplicações locais e segurança de dados
Assistir
50:18
Prompts para explicações técnicas e código acessível
Assistir
51:34
Documentação e histórias de usuário a partir do código
Assistir
54:05
Execução com GPU, Docker e Ollama
Assistir
55:21
Ollama no Windows e interfaces gráficas
Assistir
56:37
Geração de massas de dados para testes
Assistir
57:53
Histórias de usuário e exemplos de validação
Assistir
1:00:22
Dados sintéticos, Faker e controle do prompt
Assistir
1:01:40
Modelos bilíngues e limitações em português
Assistir
1:02:59
Feedback da comunidade e próximos passos
Assistir
1:05:30
Exportação de dados e compartilhamento do código
Assistir
1:06:48
Repositórios restritos e ambientes Python
Assistir
1:08:04
Ambientes isolados e gestão de dependências
Assistir
1:09:18
Enquete sobre Ollama, Python e outras linguagens
Assistir
1:11:49
Integração com Java, TypeScript e APIs
Assistir
1:13:07
Ferramentas, plugins e integração com Continue
Assistir
1:14:20
Comparação entre assistentes de código
Assistir
1:15:34
Disputa entre Continue, Cursor e Copilot
Assistir
1:16:49
Desafio entre modelos locais e ferramentas de IA
Assistir
1:18:09
Comparação entre Cursor, Copilot e modelos locais
Assistir
1:19:26
Aprendizado, colaboração e inspiração no desenvolvimento
Assistir
1:20:43
Encerramento e convite para novos desafios
Assistir
Cortes · 17
Contexto da bancada e ciclo de testes autônomos
A sessão apresenta a bancada de desenvolvimento e o ciclo de ampliação de repertório em testes autônomos usando inteligência artificial. São explicados os atos do programa, as tecnologias exploradas e a organização das próximas sessões.
10:25 – 13:05Assistir
Desafios de IA para testes autônomos
São detalhados os três atos do ciclo: interpretação de artefatos, geração de artefatos e teste de aplicações. O grupo discute geração de scripts, massas de dados, preenchimento automático de formulários, simulação de usuários e identificação de bugs.
13:05 – 16:56Assistir
Evidências, logs e automação da execução de testes
A conversa explora como registrar evidências de testes, capturar prints e vídeos e utilizar Selenium para automatizar ações. Em seguida, é explicado que a proposta é complementar os testes manuais com um mecanismo autônomo capaz de interpretar aplicações, gerar artefatos e produzir evidências e relatórios.
16:56 – 20:49Assistir
Arquitetura dos testes autônomos com IA
O grupo discute como executar testes autônomos usando ferramentas de IA, agentes e Selenium, além de possibilidades de integração com diferentes linguagens e modelos locais. Também são apresentadas ideias para o terceiro ato, envolvendo acionamentos em cadeia e criação automática de bugs e evidências.
20:49 – 23:21Assistir
Apresentação do desafio e escolha das ferramentas
Após resolver questões de acesso e compartilhamento, começa a apresentação do desafio. O apresentador explica a organização do material e a decisão de usar Jupyter Notebook e Python para estruturar o experimento.
24:41 – 25:57Assistir
Modelos locais: Llama, Phi e embeddings
São apresentadas as ferramentas e os modelos usados no experimento, incluindo Llama 3.1, Phi-3 e outros modelos disponíveis localmente. A discussão diferencia modelos gerais, modelos voltados a código e modelos de embedding, além de considerar parâmetros, consumo de memória e desempenho em máquinas pessoais.
25:57 – 32:15Assistir
Geração local de massas de dados para testes
O desafio é gerar massas de dados para testes usando modelos locais, evitando enviar informações sensíveis a serviços externos. O apresentador introduz o hands-on em Python, com Jupyter Notebook, seguindo as etapas de interpretar um projeto, gerar dados e automatizar o fluxo.
32:16 – 34:50Assistir
Preparação do projeto Python no Jupyter Notebook
O experimento começa com a clonagem de um repositório open source de um site relacionado à adoção de animais. São explicados o uso de ambiente virtual, dependências e a organização do notebook para executar o código.
34:50 – 37:27Assistir
Leitura dos arquivos e criação dos prompts
O código percorre os arquivos do repositório, seleciona um HTML como referência e prepara o conteúdo para análise pelo modelo. Em seguida, são criadas funções e prompts para comparar respostas do Llama 3.1 e do Phi-3, com instruções para interpretar o material e responder em português.
37:27 – 40:02Assistir
Como orientar modelos com prompts mais precisos
A conversa mostra como especificar melhor o formato da resposta, usando instruções afirmativas e destacadas, como “apenas código”, para evitar que o modelo inclua explicações ou interprete mal comandos negativos.
40:02 – 41:18Assistir
Streaming e geração de respostas em modelos locais
É demonstrada a diferença entre gerar uma resposta inteira e recebê-la progressivamente com streaming. O grupo também acompanha a gravação da interpretação em arquivo e compara a experiência de modelos como ChatGPT, Gemini e modelos locais.
41:18 – 46:26Assistir
Agentes, ferramentas e execução de modelos na GPU
A discussão explora agentes especializados, ferramentas acionáveis e uma possível arquitetura em que um agente interpreta, outro gera e outro executa. Também são abordados os requisitos para rodar modelos locais, incluindo GPU AMD, memória de vídeo e uso de modelos maiores com menor velocidade.
46:26 – 49:01Assistir
Usando IA para entender sistemas legados
A partir de uma aplicação local, o grupo mostra como o modelo pode interpretar código HTML, explicar a aplicação para um desenvolvedor júnior e transformar essa análise em documentação ou histórias de usuário. A demonstração destaca tanto a utilidade para obter uma visão geral rápida quanto os riscos de alucinação ao combinar código e interpretação.
49:01 – 54:05Assistir
Geração de dados de teste e histórias de usuário
O modelo gera exemplos de massa de dados, casos de validação e uma história de usuário a partir da aplicação analisada. A conversa ressalta a importância de formular claramente o pedido, pois o modelo pode gerar scripts ou estruturas diferentes do que foi solicitado, além de misturar idiomas em determinados modelos.
56:37 – 1:02:58Assistir
Compartilhamento de código e ambientes Python
São discutidas formas de publicar e compartilhar o projeto, além das dificuldades de reproduzir um ambiente Python com muitas dependências. O grupo compara ambientes isolados, arquivos de requisitos e a necessidade de organizar o projeto para que outras pessoas consigam executá-lo.
1:05:30 – 1:08:06Assistir
Usando ferramentas de IA com outras linguagens
A conversa mostra que ferramentas como Ollama podem ser acessadas por Java, TypeScript ou outras linguagens por meio de APIs, sem obrigar o uso de Python. Também são comparadas abordagens como notebooks, plugins e ferramentas de conexão para integrar modelos a diferentes fluxos de desenvolvimento.
1:10:35 – 1:14:24Assistir
Desafio: modelos locais contra Cursor e Copilot
Os participantes lançam um desafio para comparar ferramentas de IA, colocando modelos locais em disputa com soluções como Cursor e Copilot. A conversa destaca critérios como capacidade, execução local e privacidade dos dados, além de propor uma avaliação com prós e contras.
1:16:49 – 1:19:26Assistir
Perguntas desta sessão
Quantos parâmetros tem o modelo Phi-3?
O modelo Phi-3 tem aproximadamente 4 bilhões de parâmetros; o tamanho baixado pode variar, geralmente entre 4 GB e 5 GB.
27:41 – 27:57Assistir
A função de leitura do repositório clonado processa todos os arquivos HTML ou apenas um arquivo?
A função percorre a raiz do repositório e lê todos os arquivos, conforme a parte do código apresentada.
37:30 – 37:39Assistir
O que o parâmetro `streaming=true` faz ao gerar respostas com o Ollama?
Com o streaming ativado, o conteúdo é exibido progressivamente enquanto o modelo o gera, permitindo acompanhar a resposta em tempo real. Com o streaming desativado, o sistema aguarda o processamento completo e entrega o bloco inteiro de uma vez.
41:45 – 42:05Assistir
É possível limitar o tamanho ou a quantidade de conteúdo gerado pelo modelo?
Sim. O tamanho da saída pode ser restringido definindo um limite de palavras ou solicitando no prompt que o modelo gere menos itens, fazendo com que a resposta termine após atingir o limite desejado.
45:40 – 45:51Assistir
A execução do Ollama está sendo feita inteiramente na CPU?
Não. Foi recomendado encerrar o servidor do Ollama quando ele não estiver em uso, pois o processo continua consumindo bastante memória.
47:44 – 47:58Assistir
O Ollama possui uma interface gráfica para consumir os modelos localmente?
Sim. É possível usar uma interface gráfica conectada ao Ollama na própria máquina; a ferramenta também pode ser utilizada diretamente pelo terminal.
56:13 – 56:27Assistir
Como estruturar uma massa de dados sintéticos para testes?
Uma forma é solicitar diretamente ao modelo vários exemplos genéricos, especificando a quantidade desejada, em vez de perguntar como gerar os dados. O modelo pode produzir, por exemplo, dez registros simulados para uso nos testes.
1:03:08 – 1:03:15Assistir
É possível usar o Ollama com outra linguagem de programação além de Python?
Sim. O Ollama pode ser acessado por outras linguagens, como Java, JavaScript e TypeScript, por meio de chamadas à sua API ou de uma interface HTTP.
1:11:44 – 1:12:03Assistir