Pular para o conteúdo
LabS Atlas
Generative AI
Entrar
Sessões

Abertura Retomada 2025 da Bancada Generative AI (2025-01-27)

27 jan 20251h 21min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão marcou a retomada da bancada de Generative AI em 2025, apresentou a equipe responsável e revisou o ciclo anterior. Foram discutidos os avanços acelerados da inteligência artificial, o crescimento dos investimentos em modelos e data centers, os custos energéticos e os impactos de iniciativas como o DeepSeek, destacando a relevância de modelos menores, abertos e capazes de operar localmente. Também foram abordidos agentes autônomos, assistentes capazes de navegar na internet e executar tarefas, além de ferramentas e frameworks para construção de soluções com IA.

A revisão técnica passou pelas diferenças entre LLMs e SLMs, suas aplicações, custos, desempenho, privacidade e possibilidades de uso offline. Também foram explicadas três estratégias de personalização: engenharia de prompt, fine-tuning e geração aumentada por recuperação (RAG), com ênfase na importância de adquirir, limpar, estruturar, vetorizar e proteger os dados utilizados. Houve exemplos práticos de assistentes baseados em bases de dados e serviços em nuvem, além de debates sobre bancos vetoriais, memória, segurança, direitos autorais e dependência de grandes provedores.

Para o novo ciclo, a bancada pretende sair da discussão conceitual e desenvolver um produto experimental envolvendo IA generativa, provavelmente com RAG e agentes, explorando desde a concepção até a implementação. A proposta é acompanhar novidades, comparar modelos e incentivar os participantes a compartilharem experimentos e aplicações próprias. Permaneceram em aberto a definição do produto, das tecnologias e dos modelos a serem utilizados, bem como a avaliação de alternativas locais ou em nuvem e a forma de apoiar participantes com máquinas menos potentes.

Gerado por IA a partir da transcrição.
Capítulos · 38
00:04
Apresentação da bancada e organização do Labs
Assistir
01:19
Boas-vindas e objetivos da sessão
Assistir
02:36
Apresentação de Pedro e Vinícius
Assistir
03:55
Contexto do Labs e agenda da sessão
Assistir
05:10
Ciclo anterior e planos para 2025
Assistir
06:26
Panorama da IA: investimentos, dados e energia
Assistir
09:00
DeepSeek e a evolução dos modelos de IA
Assistir
12:47
Como o DeepSeek funciona e comparação entre modelos
Assistir
15:21
Fundamentos de machine learning, NLP e LLMs
Assistir
17:56
Agentes de IA e automação de tarefas
Assistir
23:05
Relatos de aprendizado no ciclo anterior
Assistir
25:40
Diferenças entre LLMs e SLMs
Assistir
29:30
Modelos locais, código aberto e privacidade
Assistir
32:02
Execução offline e evolução dos modelos
Assistir
35:59
Comparativo entre LLMs e SLMs
Assistir
37:16
Importância e seleção dos dados para treinamento
Assistir
38:31
Data centers, datasets e infraestrutura de IA
Assistir
41:05
Recapitulação das fases de preparação de dados
Assistir
43:38
Qualidade, limpeza e transformação dos dados
Assistir
44:55
Ética, segurança e privacidade dos dados
Assistir
46:10
Três técnicas para personalizar a IA
Assistir
47:25
Fine-tuning e ajuste de modelos
Assistir
48:41
RAG e recuperação de informações
Assistir
49:59
Comparação entre prompt, fine-tuning e RAG
Assistir
51:15
Diferenças entre prompt, fine-tuning e RAG na prática
Assistir
53:49
RAG automatizado e recuperação contextual
Assistir
56:22
Próximos passos e desenvolvimento do produto experimental
Assistir
58:55
Agentes de IA e simulações em jogos
Assistir
1:01:27
Ferramentas externas, modelos e geração multimodal
Assistir
1:02:43
Exemplo de assistente virtual com base de dados
Assistir
1:05:17
Busca semântica e vetorização
Assistir
1:07:48
Memória, tokens e futuro dos modelos
Assistir
1:10:21
Ideias para o novo ciclo da bancada
Assistir
1:12:54
Custos e uso de serviços de IA na nuvem
Assistir
1:15:27
Arquitetura e custos ao integrar serviços AWS
Assistir
1:18:01
Aceleradores, alternativas e aprendizado em IA
Assistir
1:19:19
Encerramento da sessão e próximos encontros
Assistir
1:20:34
Despedida e intervalo para o almoço
Assistir
Cortes · 14
Contexto da bancada e próximos objetivos
É apresentado o papel do Leves dentro da Solutis e a metáfora da nave que explora tecnologias emergentes. A bancada revisita o ciclo anterior, focado em IA generativa, e anuncia o próximo ciclo, voltado à construção prática de um produto experimental.
03:55 – 06:26Assistir
O avanço da IA e o custo dos data centers
A sessão discute o crescimento dos investimentos em inteligência artificial, a necessidade de grandes volumes de dados e a expansão dos data centers. Também são abordados os impactos energéticos e os desafios de sustentabilidade associados ao treinamento dos modelos.
06:26 – 09:00Assistir
DeepSeek: modelos menores, eficientes e abertos
Os participantes analisam o DeepSeek, destacando seu código aberto, menor exigência de hardware e desempenho comparável ao de modelos maiores. A conversa também trata das diferenças de inferência, dos custos de infraestrutura, do cenário geopolítico e da possibilidade de comparar diferentes modelos na bancada.
09:00 – 15:21Assistir
Fundamentos de machine learning e LLMs
A discussão mapeia o conhecimento do grupo sobre machine learning, processamento de linguagem natural e IA generativa. São explicadas, de forma introdutória, as relações entre redes neurais, tokens, modelos de linguagem e ferramentas como KNN e chatbots.
15:21 – 17:56Assistir
Agentes de IA e automação de tarefas
O grupo apresenta os agentes de IA como uma das principais tendências de 2025. São descritos exemplos de agentes capazes de navegar em sites, fazer reservas, pesquisar fontes e produzir relatórios, além de ferramentas e protocolos relacionados à implementação desses sistemas.
17:56 – 21:49Assistir
Como iniciantes desenvolveram conhecimento em IA
Participantes relatam como começaram a estudar IA generativa e como a bancada ajudou a transformar um contato inicial com ferramentas como ChatGPT em conhecimento sobre LLMs, agentes e construção de sistemas. O relato destaca o aprendizado progressivo e a intenção de entender como criar uma solução desde o zero.
23:05 – 26:55Assistir
LLMs versus SLMs e execução local
A sessão compara modelos grandes e pequenos de linguagem, abordando tamanho, desempenho, custo e requisitos de hardware. Os SLMs são apresentados como uma alternativa mais acessível para desenvolvedores, especialmente em aplicações locais e offline, enquanto o grupo questiona a dependência de serviços das big techs.
26:56 – 30:46Assistir
Modelos locais, código aberto e escolha de ferramentas
A conversa explora alternativas para estudar e usar IA generativa em máquinas menos potentes, incluindo modelos locais, versões compactas e ferramentas open source. Também são discutidos lançamentos e a ideia de que a escolha do modelo deve considerar eficiência, desempenho e finalidade, sem existir uma solução única para todos os casos.
30:46 – 34:38Assistir
A importância dos dados para os modelos de IA
É explicado que modelos de linguagem dependem de grandes conjuntos de dados para treinamento e que a qualidade, limpeza e relevância dessas informações influenciam diretamente as respostas. A discussão também relaciona a necessidade de dados à expansão global dos data centers e às iniciativas para armazenar e processar esses dados em diferentes ambientes.
35:59 – 41:05Assistir
As etapas de preparação e qualidade dos dados
Explicação das fases necessárias para preparar dados para uma solução de IA: aquisição, seleção, indexação, avaliação de qualidade, limpeza, transformação e integração. O trecho também aborda os cuidados com privacidade, segurança e proteção de dados.
42:22 – 46:10Assistir
Prompt, fine-tuning e RAG: três formas de personalizar a IA
Apresentação comparativa de engenharia de prompt, ajuste fino e geração aumentada por recuperação (RAG). O trecho explica como cada técnica controla e personaliza as respostas, destacando que o RAG recupera automaticamente informações externas para adicioná-las ao contexto do modelo.
46:10 – 56:22Assistir
Agentes de IA em jogos e personagens virtuais
Discussão sobre o conceito de agentes de IA a partir de exemplos de jogos como The Sims e de assistentes capazes de interagir com jogadores. Também são apresentados casos de personagens que usam modelos de linguagem, voz e sincronização labial para responder com base em seu contexto.
58:55 – 1:02:43Assistir
Construindo assistentes com bases de conhecimento
Relato de um projeto de assistente virtual para consultar informações de um órgão público e de uma ideia de assistente de compras. O trecho explica como bancos de dados, busca por similaridade e vetorização podem recuperar contextos relevantes para gerar respostas mais personalizadas.
1:02:43 – 1:06:32Assistir
Aprender a usar IA sem depender dela
A discussão destaca como ferramentas generativas podem acelerar o aprendizado e o desenvolvimento de projetos, mas alerta que profissionais não devem ficar dependentes delas. Também é reforçada a importância de conhecer alternativas, avaliar desempenho e compartilhar exemplos práticos de uso no dia a dia.
1:18:01 – 1:19:19Assistir
Perguntas desta sessão
Por que os dados são uma questão central para a inteligência artificial?
A inteligência artificial precisa de grandes volumes de dados para aprender. Por isso, a expansão de data centers é necessária, mas também aumenta o consumo de energia e traz desafios de sustentabilidade que podem afetar o treinamento dos modelos.
07:27 – 08:20Assistir
O DeepSeek é bom para geração de código e uso em português?
Não foram observadas grandes diferenças na geração de código, mas o modelo ainda não havia sido testado em português; havia a expectativa de que seu desempenho pudesse ser limitado nesse idioma.
12:50 – 13:12Assistir
O Operator já foi lançado?
O Operator foi lançado inicialmente nos Estados Unidos. Ele permite executar tarefas de forma mais autônoma, como acessar um site e fazer uma reserva ou agendamento a partir de instruções em linguagem natural.
18:48 – 19:32Assistir
O agente do Google está disponível?
A funcionalidade estava associada à versão paga do Gemini 2.0. Ela permite realizar pesquisas elaboradas a partir de poucas instruções, consultar e verificar fontes, produzir um relatório e apresentar as referências utilizadas. Naquele momento, estava disponível apenas nos Estados Unidos, com expectativa de expansão para o Brasil e outros países.
19:35 – 20:32Assistir
Qual é a potência dos SLMs, o que eles oferecem e como se posicionam em relação aos LLMs?
SLMs têm bases menores, na escala de milhões de dados, enquanto LLMs ficam na escala de bilhões. Embora possam apresentar desempenho inferior em algumas tarefas, os SLMs são mais leves, podem ser executados localmente e tornam a IA generativa mais acessível. Ainda assim, a execução local pode exigir hardware potente e ter custo elevado, dependendo da aplicação.
27:15 – 28:58Assistir
Como escolher entre um LLM e um SLM para uma aplicação de inteligência artificial?
A escolha depende do objetivo da aplicação, do equilíbrio necessário entre eficiência e desempenho e dos custos envolvidos. Não existe um modelo único que resolva todos os casos; é preciso avaliar o contexto de uso.
35:20 – 35:41Assistir
Por que usar um SLM em determinadas aplicações em vez de um LLM?
A comparação ajuda a definir o que esperar de cada tipo de modelo. SLMs podem ser mais adequados quando se busca eficiência, menor custo e execução local, enquanto LLMs oferecem maior capacidade para tarefas mais complexas; a decisão depende do cenário e dos requisitos da aplicação.
36:28 – 36:49Assistir
Por que distribuir data centers em diferentes regiões de um país?
A distribuição aumenta a resiliência, pois permite manter o serviço quando um data center apresenta falhas, e também reduz a distância até os usuários e modelos, possibilitando fornecer dados com mais rapidez.
39:12 – 39:27Assistir
Quais são as principais técnicas para personalizar uma IA generativa para atender a um propósito específico?
As três técnicas apresentadas são engenharia de prompt, fine-tuning e RAG. A engenharia de prompt orienta o modelo por meio de instruções e contexto; o fine-tuning ajusta o modelo com dados específicos; e o RAG fornece uma base externa para recuperar informações relevantes durante a geração da resposta.
46:41 – 49:42Assistir
O que o fine-tuning proporciona a um modelo de IA?
O fine-tuning ajusta o modelo com dados específicos, permitindo melhor desempenho em tarefas personalizadas e respostas mais adequadas ao uso da empresa ou da pessoa.
47:45 – 48:08Assistir
O upload de um PDF ou de uma imagem e a busca na internet em um chatbot podem ser considerados uma forma de RAG?
Esse uso é mais próximo da engenharia de prompt quando o conteúdo é apenas fornecido ao modelo durante a interação. No RAG, informações externas são recuperadas de uma base de dados e inseridas no contexto da geração, sem necessariamente serem internalizadas pelo modelo. O processo pode envolver coleta do conteúdo, tokenização, vetorização e armazenamento em uma base para posterior recuperação.
50:46 – 52:39Assistir
Ao usar engenharia de prompt, fornecer dados adicionais no prompt faz parte do treinamento do modelo?
Não. Os dados adicionais são incluídos apenas no contexto do prompt para gerar a resposta e não passam a fazer parte do treinamento do modelo. No RAG, esse contexto é recuperado automaticamente de uma base ou conjunto de arquivos relevantes e acrescentado ao prompt.
54:15 – 55:03Assistir
Como implementar uma solução de RAG integrada a uma aplicação de software?
A implementação envolve incorporar um modelo de linguagem à aplicação e usar RAG para recuperar informações relevantes de uma fonte externa ou base de dados, adicionando esse contexto ao prompt para produzir respostas mais personalizadas e precisas.
57:49 – 58:14Assistir
Como uma aplicação com base de conhecimento recupera informações relevantes para responder a uma pergunta do usuário?
A aplicação transforma a pergunta em uma representação vetorial e busca, na base de dados, conteúdos semanticamente semelhantes. Diferentemente de uma busca apenas por palavras-chave, a busca vetorial considera o contexto e o significado da pergunta para recuperar informações relacionadas.
1:05:20 – 1:06:12Assistir
Um banco de dados vetorial pode ser usado como alternativa ao SQLite em aplicações de IA generativa?
Sim. Para casos que exigem busca por similaridade e armazenamento de embeddings, um banco ou mecanismo vetorial pode ser mais otimizado do que um banco SQL tradicional; a escolha depende da aplicação e da necessidade de persistir os dados.
1:07:18 – 1:07:28Assistir
Qual foi o custo para realizar o experimento usando o Amazon Bedrock?
O experimento foi realizado aproveitando o acesso fornecido durante um curso da Escola da Nuvem, portanto não houve cobrança naquele momento. O aprendizado também envolveu um curso da Alura; fora do benefício do curso, o acesso aos recursos da Amazon seria pago.
1:12:50 – 1:13:13Assistir