Pular para o conteúdo
LabS Atlas
Generative AI
Entrar
Sessões

Learning Prototype Especialização de LLM Sessão 1 Inception do Método (2025-09-29)

29 set 20251h 01min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão apresentou a proposta de um Learning Prototype para testar um método de especialização de modelos de linguagem. Após uma dinâmica inicial sobre os usos cotidianos de IA, foi retomada a trajetória do laboratório, que passou por ampliação de repertório e exploração de técnicas como RAG, fine-tuning, prompting, preparação e avaliação de dados. A nova etapa será de experimentação prática, com o objetivo de tornar mais acessível o uso de modelos especializados em contextos recorrentes e específicos, indo além de interações pontuais com ferramentas como ChatGPT e Copilot.

O método proposto foi organizado em quatro dimensões: expectativas de desempenho e valor esperado, formato de avaliação das respostas, modelo e ferramentas a serem utilizados e dados de domínio necessários. Os participantes aplicaram essas dimensões aos próprios cenários, levantando critérios como precisão, utilidade, clareza, ausência de alucinações, integração com sistemas, custo, canal de acesso e fontes de dados. Um exemplo detalhado foi a especialização de um assistente para gerar código em uma linguagem proprietária, usando documentação e fragmentos de código como base, com avaliação pelos usuários.

Como conclusão, reforçou-se que não há uma receita única nem um produto final pronto: a proposta é validar se o método ajuda a orientar diferentes casos de especialização e gerar conhecimento prático coletivo. Ficaram como próximos passos a consolidação das contribuições do quadro, o preenchimento do formulário de participação e a realização de encontros práticos para implementar e avaliar os casos, incluindo possíveis recompensas conforme a participação e o impacto alcançado.

Gerado por IA a partir da transcrição.
Capítulos · 17
00:03
Abertura e proposta do protótipo
Assistir
01:19
Dinâmica inicial sobre uso de IA
Assistir
06:29
Missão do Labs e ciclo de experimentação
Assistir
10:17
Especialização de modelos para tarefas específicas
Assistir
15:26
Atividades necessárias para especializar um LLM
Assistir
21:27
Método como caminho, não produto final
Assistir
24:04
As quatro etapas do método
Assistir
33:04
Exemplo: assistente de código em linguagem específica
Assistir
35:39
Dinâmica dos quatro quadrantes
Assistir
42:31
Definição de expectativas e avaliação
Assistir
48:26
Modelo especializado e drivers de implementação
Assistir
52:25
Dados necessários para a especialização
Assistir
55:49
Recompensas e próximos passos do programa
Assistir
57:07
Aplicação prática do método e formulário de participação
Assistir
58:22
Dúvidas, validação e construção coletiva
Assistir
59:39
Convite à colaboração e compartilhamento de aprendizados
Assistir
1:00:55
Encerramento e despedida
Assistir
Cortes · 9
O propósito do Labs e a experimentação com IA
É apresentada a missão do Labs de desbravar, dominar e democratizar tecnologias emergentes. O foco do novo protótipo é avançar do repertório e da exploração para a experimentação prática com modelos de IA.
06:29 – 07:44Assistir
Da exploração à especialização de modelos
O facilitador explica a trajetória do ciclo anterior, que passou por técnicas, ferramentas e experimentos de especialização de modelos. A nova etapa pretende aplicar esse conhecimento de forma prática, considerando diferentes modelos, técnicas e a relevância dos dados.
07:45 – 10:17Assistir
Duas formas de usar modelos com contexto próprio
É apresentado o objetivo de democratizar a utilização de modelos em tarefas especializadas. O trecho compara o uso pontual de prompts com a preparação de um contexto persistente para tarefas recorrentes, como gerar testes unitários e código em Java.
10:17 – 15:26Assistir
Atividades necessárias para especializar um modelo
A sessão discute as várias atividades envolvidas na especialização de um LLM, como seleção e limpeza de dados, engenharia de prompt, RAG, métricas e avaliação. Também é explicado que o protótipo não é um produto final, mas um método experimental para cada participante aplicar ao seu próprio cenário.
15:26 – 24:04Assistir
O método dos quatro quadrantes
É apresentado um método para organizar a especialização de modelos em quatro dimensões: expectativas, modelo e ferramentas, dados de domínio e avaliação das respostas. O objetivo é simplificar o processo e validar se essa abordagem ajuda os participantes a obter resultados práticos.
24:04 – 26:41Assistir
Como preencher o método: exemplo de código em FAI
O facilitador explica os quatro quadrantes usando como exemplo a classificação de documentos jurídicos e, depois, um assistente para geração de código na linguagem FAI. São detalhadas as expectativas de desempenho, os critérios de avaliação, os modelos possíveis, a interface e os dados de domínio necessários.
26:41 – 35:39Assistir
Dinâmica para definir expectativas do modelo
Os participantes são convidados a aplicar o método a cenários próprios ou hipotéticos, começando pelas expectativas de uso do modelo especializado. O grupo registra resultados esperados, como respostas atualizadas, aderência aos documentos, eficiência e redução de alucinações.
35:39 – 43:54Assistir
Critérios de avaliação e escolha do modelo
A dinâmica avança para a definição do formato de avaliação das respostas e dos critérios de qualidade, como precisão, clareza, pontuação e feedback dos usuários. Em seguida, os participantes discutem drivers para escolher o modelo, a interface, os custos, o número de usuários e possíveis integrações com bancos de dados.
43:57 – 52:25Assistir
Quais dados são necessários para especializar um modelo?
É apresentada a etapa de identificação dos dados necessários para especializar um modelo, considerando a fonte, o formato e a estrutura das informações. O grupo é convidado a refletir sobre quais dados são mais importantes para esse processo.
52:25 – 55:47Assistir
Perguntas desta sessão
Qual é o objetivo do método de especialização de LLMs apresentado na sessão?
O método busca oferecer um caminho estruturado e democratizado para especializar modelos de linguagem em objetivos específicos, considerando as etapas importantes desse processo.
10:47 – 11:11Assistir
Como é possível usar LLMs em tarefas recorrentes e especializadas?
Para tarefas recorrentes, é possível preparar o modelo para um contexto específico, em vez de apenas fazer consultas pontuais. Isso envolve fornecer contexto, definir objetivos e especializar o modelo para produzir respostas úteis de forma repetida.
11:21 – 11:56Assistir
Qual é a diferença entre usar um LLM pontualmente e preparar um modelo para uma tarefa especializada e recorrente?
No uso pontual, o usuário precisa fornecer contexto e fazer várias interações ou prompts. Na especialização, o modelo é preparado para um domínio ou tarefa específica, podendo incorporar contexto, dados, técnicas de avaliação e integração com aplicações.
13:45 – 14:16Assistir
Além de engenharia de prompt, fine-tuning, RAG, preparação de dados e criação de métricas, que outras atividades podem ser necessárias para especializar um LLM?
A seleção dos arquivos e das informações que formarão o contexto do modelo é uma atividade adicional relevante. Também podem ser necessários elementos de arquitetura, como bancos de dados vetoriais, conforme o caso de uso.
17:56 – 20:59Assistir
Por que é importante identificar quais atividades serão necessárias para especializar um LLM em cada situação?
Porque não existe uma receita única ou uma “bala de prata” para obter bons resultados. Dependendo do contexto, pode ser necessário executar todas as atividades de especialização ou apenas algumas, como preparar os dados.
22:00 – 22:11Assistir
Quais informações devem ser definidas para especializar um LLM em um domínio específico?
É preciso definir as expectativas de resultado e os critérios de avaliação, selecionar o modelo e as ferramentas de acesso, reunir os dados de domínio e estabelecer como as respostas serão avaliadas objetivamente.
24:20 – 25:03Assistir
Como especializar um modelo de linguagem para gerar código na linguagem Faiq/FSRL?
A especialização pode usar técnicas como RAG e engenharia de prompt, alimentando o modelo com a documentação oficial da linguagem e fragmentos de código que cubram suas funções nativas. Isso reduz a mistura com outras linguagens e busca gerar código útil para os desenvolvedores em pelo menos 90% dos casos, exigindo apenas ajustes mínimos.
32:50 – 34:30Assistir
O método de especialização de LLM deve ser aplicado ao mesmo tema do exemplo ou cada participante pode usar seu próprio cenário?
Cada participante deve aplicar o método ao próprio cenário, que pode ser real, hipotético ou uma simulação. Na dinâmica, todos colocam suas quatro etapas no mesmo quadro para fazer brainstorming; depois, as ideias podem ser separadas e usadas como experimentos.
37:56 – 38:46Assistir
Quais fatores devem ser considerados ao escolher o modelo base e o canal de acesso para uma solução de LLM especializada?
A escolha deve considerar restrições como custo, preferência por modelos gratuitos, canal de uso — por exemplo, web, chat ou WhatsApp — e quantidade estimada de usuários. Esses fatores determinam o modelo base utilizado na solução.
49:04 – 51:35Assistir
Quais dados são necessários para especializar um modelo de LLM?
É preciso definir a fonte dos dados, seu formato e sua estruturação, além de reunir as informações relevantes ao domínio. Exemplos incluem catálogos de produtos, documentos bem estruturados, normas e glossários.
52:35 – 53:02Assistir