Pular para o conteúdo
LabS Atlas
Generative AI
Entrar
Sessões

Sessão de Bancada Fine-tuning com um FAQ de Atendimento ao Cliente (2024-07-01)

1 jul 20241h 35min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão apresentou um experimento prático de fine-tuning para criar um assistente de atendimento interno baseado em um FAQ de Recursos Humanos. Foi explicado que o processo utilizou um modelo GPT-3.5 Turbo na plataforma da OpenAI, um script em Python para extrair e tratar perguntas e respostas de um PDF e a geração automatizada de 50 variações informais para cada pergunta, a fim de ampliar os exemplos de treinamento. Como o custo estimado para processar todo o FAQ seria elevado, o teste foi limitado a quatro perguntas, com cerca de 200 exemplos. O modelo treinado apresentou respostas mais rápidas e direcionadas que o modelo base, mas exigiu várias tentativas para ajustar o formato dos dados e os hiperparâmetros, como épocas, taxa de aprendizado e tamanho do lote, resultando em um custo final de aproximadamente US$ 2,89 no treinamento principal.

Também foram demonstradas as etapas de conversão do PDF para o formato exigido pela plataforma, a comparação entre o modelo ajustado e o GPT-3.5 sem treinamento e a possibilidade de consumir o modelo por API, além de atualizá-lo com novos dados. A discussão ressaltou a importância da qualidade e do saneamento dos dados, da validação dos arquivos antes do envio e da criação de instruções de sistema para controlar tom, linguagem e comportamento do assistente. Permaneceram como pontos em aberto a avaliação mais ampla com todas as perguntas do FAQ, a investigação sistemática dos hiperparâmetros, a possível automação dessa busca por meio de registros e árvores de decisão, o uso de modelos locais por razões de custo e privacidade e a validação das políticas de uso dos dados pela plataforma. Também foi sugerida a continuidade do trabalho em aplicações reais, integrando modelos generativos a soluções existentes de atendimento.

Gerado por IA a partir da transcrição.
Capítulos · 57
02:47
Boas-vindas e integração da comunidade
Assistir
09:14
Início da sessão sobre IA generativa
Assistir
10:32
Agenda e contexto das bancadas
Assistir
13:06
Técnicas de IA generativa e demonstração
Assistir
15:36
Introdução ao fine-tuning
Assistir
16:54
Objetivo e dados do experimento
Assistir
18:11
Modelos utilizados e requisitos de treinamento
Assistir
20:46
Preparação dos dados e etapas do experimento
Assistir
23:20
Automação da preparação com script em Python
Assistir
24:36
Geração de perguntas similares
Assistir
27:08
Automação versus processo manual
Assistir
28:26
Custos e integração com processamento de linguagem natural
Assistir
29:43
Ajuste de hiperparâmetros
Assistir
32:14
Configurações de treinamento e comparação de modelos
Assistir
33:29
Resultados do modelo treinado
Assistir
36:00
Latência, eficiência e adaptação do modelo
Assistir
37:18
Desafios na preparação e no treinamento
Assistir
38:34
Testes e refinamento dos hiperparâmetros
Assistir
41:05
Avaliação das respostas e alucinações
Assistir
42:22
Aprendizados e materiais sobre machine learning
Assistir
44:54
Estratégias para otimizar parâmetros
Assistir
46:10
Árvore de decisão e hiperparâmetros
Assistir
47:26
Perguntas geradas por IA e variações naturais
Assistir
48:40
Alucinações e custos do experimento
Assistir
51:12
Estimativa de custos para treinamento
Assistir
52:25
Monitoramento de custos e integração via API
Assistir
53:42
Uso do modelo treinado e chaves de acesso
Assistir
54:58
Configuração do modelo e dados de treinamento
Assistir
56:17
Script para converter PDF em dados de treino
Assistir
57:32
Geração de perguntas similares
Assistir
58:49
Estrutura do arquivo de treinamento
Assistir
1:00:05
Saneamento e qualidade dos dados
Assistir
1:01:22
Problemas de formatação e extração do PDF
Assistir
1:02:37
Correção de texto e acentuação
Assistir
1:03:53
Validação do arquivo JSON
Assistir
1:05:08
Prompt de sistema e comportamento do assistente
Assistir
1:06:22
Multiplicação de exemplos no fine-tuning
Assistir
1:07:38
Importância da qualidade dos dados
Assistir
1:08:52
Regras de comportamento e prevenção de alucinações
Assistir
1:10:07
Pesos, épocas e interpretação das perguntas
Assistir
1:11:20
Demonstração comparativa do modelo
Assistir
1:12:47
Teste prático de respostas do modelo
Assistir
1:14:02
Encerramento e compartilhamento dos arquivos
Assistir
1:15:20
Reconhecimento e recompensa pela participação
Assistir
1:17:53
Impacto dos hiperparâmetros no resultado
Assistir
1:19:09
Uso local e sigilo de documentos
Assistir
1:20:25
Privacidade em contas Business e Enterprise
Assistir
1:21:42
Proteção de dados e uso das informações
Assistir
1:23:00
Fine-tuning e possível propagação do conhecimento
Assistir
1:24:18
Validação das políticas de privacidade
Assistir
1:25:32
Modelos locais e execução em máquina própria
Assistir
1:26:51
Acesso à conta e suporte para os desafios
Assistir
1:28:06
Experiência com chatbots e desafios em andamento
Assistir
1:29:23
Treinamento e integração de modelos de IA
Assistir
1:30:41
Aplicação dos modelos em soluções com WhatsApp
Assistir
1:31:57
Exploração de modelos locais e novos desafios
Assistir
1:33:16
Encerramento e próximos encontros
Assistir
Cortes · 16
Introdução ao fine-tuning com dados reais
A apresentação explica o conceito de fine-tuning, o projeto realizado com dados reais da empresa e o objetivo de criar um chatbot a partir de um FAQ. Também são apresentados o modelo utilizado, a quantidade de exemplos e as limitações de custo que levaram à escolha de apenas algumas perguntas para o experimento.
15:36 – 22:03Assistir
Preparação dos dados e automação do treinamento
É apresentado o fluxo técnico do experimento: transformar um PDF de perguntas e respostas em dados compatíveis com a plataforma, gerar perguntas similares e produzir um arquivo JSON por meio de um script em Python. A discussão também explica por que a automação foi necessária e como os exemplos adicionais foram criados.
22:03 – 28:26Assistir
Custos e ajuste dos hiperparâmetros
A sessão detalha os custos do treinamento e os principais hiperparâmetros avaliados, como número de épocas, taxa de aprendizado e tamanho do lote. São explicados os efeitos de configurações muito altas ou baixas e comparados modelos e formatos de dados diferentes.
28:26 – 33:29Assistir
Resultados do modelo treinado
A demonstração compara as respostas do modelo treinado com as do modelo original usando perguntas sobre o FAQ de recursos humanos. O modelo ajustado consegue responder com base nas informações disponíveis, apresenta menor latência e consumo de tokens, além de permitir atualização e redução de respostas inadequadas.
33:29 – 38:33Assistir
Desafios e iterações do experimento
São discutidas as dificuldades encontradas na preparação dos dados, na escolha do formato correto e no ajuste dos hiperparâmetros. A equipe relata os testes com perguntas idênticas e variações, os casos de alucinação e a necessidade de repetir o processo até obter respostas mais consistentes.
38:34 – 43:39Assistir
Árvore de decisão para analisar parâmetros
A discussão apresenta a ideia de registrar parâmetros de entrada, saídas e avaliações em um banco de dados para identificar quais combinações geram melhores resultados. A árvore de decisão é proposta como uma forma visual de descobrir quais parâmetros mais influenciam o desempenho, especialmente em experimentos com muitas variáveis.
44:54 – 49:56Assistir
Custos e monitoramento do fine-tuning
A equipe relata os custos gerados durante a curva de aprendizado, incluindo erros de formato e testes iniciais, e explica como separar os gastos de preparação dos experimentos efetivos. Também são discutidas estimativas para treinar o modelo, o acompanhamento por um painel de custos e alternativas de integração via API.
49:56 – 54:58Assistir
Demonstração do modelo treinado e geração do dataset
A demonstração mostra o modelo treinado, seus parâmetros, a massa de dados utilizada e o arquivo de treinamento criado a partir de um PDF. Também é explicado o script em Python que extrai perguntas e respostas, remove elementos indesejados e gera perguntas similares em linguagem mais informal, mantendo a mesma resposta associada.
54:58 – 1:00:05Assistir
Saneamento e validação dos dados de treinamento
Os participantes discutem os efeitos de não tratar textos extraídos de PDFs, como quebras de linha, caracteres ausentes e problemas de acentuação. A conversa também aborda a necessidade de validar o arquivo antes do upload e como a qualidade e a variedade dos exemplos podem afetar a capacidade do modelo de reconhecer perguntas diferentes.
1:00:05 – 1:08:52Assistir
Como orientar o comportamento do assistente
A equipe explora instruções de sistema para padronizar o comportamento do assistente, incluindo conversão de texto, linguagem clara, limites contra alucinações e respostas educadas. Em seguida, explica como múltiplos exemplos ajudam o modelo a associar diferentes formas de pergunta à mesma resposta e a ajustar seus pesos internos.
1:08:52 – 1:11:20Assistir
Comparação entre o modelo treinado e o GPT
A demonstração coloca lado a lado o modelo treinado e o GPT para comparar as respostas a perguntas sobre o conteúdo do PDF, como salário e plano de saúde. O exemplo mostra que o modelo treinado tende a responder de acordo com a base fornecida, enquanto também são discutidas formas de instruí-lo a admitir quando não sabe.
1:11:20 – 1:14:03Assistir
Privacidade e uso de IA local ou empresarial
A conversa avalia a possibilidade de executar o modelo localmente para aumentar o sigilo dos documentos e compara essa alternativa com o uso de uma conta empresarial da OpenAI. Também são discutidas as garantias declaradas de não utilizar prompts e respostas para treinar o modelo geral, além de um caso em que um modelo aparentemente reproduziu um comportamento ensinado em outro treinamento.
1:19:09 – 1:24:18Assistir
Modelos locais e fine-tuning
A conversa aborda a execução de modelos de linguagem localmente, incluindo um modelo de aproximadamente 4 GB e os testes de fine-tuning. Também são comentados os custos de infraestrutura e o desejo de contar com uma máquina equipada com uma boa placa de vídeo.
1:25:32 – 1:26:51Assistir
Acesso à infraestrutura para desafios
Um participante pergunta como utilizar a conta de infraestrutura disponibilizada pela comunidade para realizar desafios e apresentações. É explicado que o acesso pode ser liberado conforme cada desafio necessite de recursos computacionais, com apoio da equipe para viabilizar a utilização.
1:26:51 – 1:28:06Assistir
Aplicação de modelos abertos em chatbots
É apresentado um caso de uso envolvendo chatbots para atendimento a clientes, modelos de classificação e a tentativa de incorporar modelos generativos abertos. A equipe relata testes de fine-tuning, dificuldades e custos computacionais, além da integração do novo modelo a uma aplicação existente junto a outras engines.
1:28:06 – 1:31:57Assistir
Desafio com modelos locais
A discussão propõe explorar modelos locais como alternativa aos modelos comerciais, avaliando diferenças de desempenho e possíveis aplicações em plataformas de bots. O grupo considera transformar essa experiência em um novo desafio para a comunidade e compartilhar os resultados da implementação.
1:31:57 – 1:33:16Assistir
Perguntas desta sessão
O que significa o limite de 16.385 tokens do GPT-3.5 Turbo utilizado no experimento?
Significa que o modelo consegue processar até essa quantidade de tokens em uma única interação.
21:09 – 21:13Assistir
O que a capacidade de 16.385 tokens representa para o uso do modelo com documentos e conversas?
Essa capacidade permite manter mais contexto em conversas longas e processar documentos extensos, como o FAQ em PDF usado no experimento.
21:15 – 21:25Assistir
Como converter o FAQ em PDF para o formato JSON exigido pela API?
Um script em Python recebe o PDF como entrada, extrai as perguntas, gera variações similares por meio da API, converte os dados para o formato solicitado e produz um arquivo JSON como saída.
23:24 – 24:27Assistir
Por que foram usadas 50 perguntas similares no fine-tuning?
Foram usadas 50 perguntas por ser a quantidade mínima recomendada para o modelo; esse número ainda é pequeno. As perguntas similares foram geradas a partir de quatro perguntas-base para ampliar os exemplos de treinamento.
25:14 – 26:27Assistir
Quanto custou o treinamento com quatro perguntas-base?
O experimento inicialmente poderia ultrapassar 10 dólares devido a desafios no treinamento, mas o custo final ficou em aproximadamente 2,89 dólares.
28:26 – 28:55Assistir
O que significa o parâmetro batch size no fine-tuning?
Batch size é o número de amostras processadas juntas em uma única atualização do modelo. Valores muito pequenos exigem atualizações mais frequentes; valores maiores tendem a trazer mais estabilidade e podem afetar a velocidade do treinamento.
31:00 – 31:34Assistir
Qual foi a fonte dos dados usados no treinamento do modelo ajustado?
Os dados vieram de um FAQ interno de Recursos Humanos, contendo informações como regras de pagamento e benefícios.
34:41 – 34:49Assistir
O que significa a menor latência do modelo ajustado em comparação com o GPT-3.5 sem treinamento?
A menor latência significa que o modelo ajustado responde mais rapidamente; no experimento, o tempo de resposta foi 63% menor, pois a latência corresponde ao tempo de ida e volta do processamento dos dados.
36:54 – 37:10Assistir
Quantas tentativas foram necessárias para configurar os hiperparâmetros do modelo?
Foram feitas aproximadamente quatro tentativas de configuração dos parâmetros, ajustando-os até obter um resultado considerado interessante para a quantidade de dados disponível.
39:07 – 39:20Assistir
Como foi realizado o processo de teste do arquivo e das perguntas geradas para o fine-tuning?
O arquivo era enviado para a API e, após o processamento, algumas perguntas eram usadas nos testes. Inicialmente, perguntas idênticas às do PDF produziam boas respostas, mas variações provocavam alucinações. Por isso, passaram a testar perguntas diferentes e a compará-las com as perguntas originais do PDF, repetindo o ajuste quando necessário.
40:32 – 41:26Assistir
As perguntas usadas no fine-tuning foram extraídas diretamente do PDF ou geradas por inteligência artificial?
Foram usadas as perguntas geradas pela IA a partir das perguntas e respostas do PDF. A intenção era criar variações mais próximas da forma como usuários realmente perguntariam, embora algumas gerações apresentassem alucinações.
47:45 – 49:16Assistir
O uso da API gera cobrança mesmo quando ocorre um erro de formato nos dados?
Sim. As chamadas são cobradas mesmo quando há erro no formato; por isso, erros durante a preparação dos dados podem consumir créditos.
49:50 – 50:04Assistir
Existe um painel para monitorar os custos do fine-tuning e do uso do GPT-3.5?
Sim. O painel apresenta os custos de treinamento e de uso do GPT-3.5, permitindo acompanhar o consumo; no experimento, foram observados valores de aproximadamente 1,64 dólar para o treinamento e 0,01 dólar para o GPT-3.5.
52:32 – 52:55Assistir
É possível continuar ajustando um modelo que já passou por fine-tuning, adicionando novos exemplos?
Sim. É possível fazer um novo ajuste sobre o modelo já treinado, acrescentando mais exemplos, como novas perguntas e respostas.
53:34 – 53:48Assistir
Onde fica disponível o modelo treinado e como ele pode ser utilizado por uma aplicação externa?
O modelo treinado fica disponível no ambiente da plataforma e pode ser consumido por API. Para integrá-lo, gera-se uma chave de acesso, que funciona como uma permissão para que terceiros utilizem o modelo sem acessar diretamente a conta.
54:24 – 55:13Assistir
É possível integrar o modelo treinado a uma aplicação externa usando uma API e uma chave de acesso?
Sim. A integração pode ser feita por API, fornecendo ao sistema integrador uma chave de acesso que autoriza o consumo do modelo sem expor a conta proprietária.
54:30 – 55:13Assistir
Como o PDF do FAQ é convertido para o formato usado no treinamento?
Foi criado um script em Python que extrai o conteúdo do PDF e gera um arquivo JSON já estruturado no formato necessário para o treinamento do modelo.
56:59 – 57:30Assistir
Ao gerar perguntas similares para o fine-tuning, cada pergunta similar deve receber a mesma resposta da pergunta original?
Sim. O processo gera várias reformulações da pergunta original, mantendo a mesma resposta associada a todas elas.
59:52 – 1:00:07Assistir
O saneamento e a formatação dos dados do FAQ podem melhorar o resultado do fine-tuning?
Sim, provavelmente. A sessão destaca que textos com problemas gramaticais, acentuação ausente e quebras de linha inadequadas devem ser tratados antes do treinamento, embora esse teste comparativo não tenha sido realizado.
1:00:16 – 1:03:44Assistir
Por que é necessário converter o conteúdo do PDF para JSON antes de realizar o fine-tuning?
Porque a ferramenta de treinamento exige os dados em um formato estruturado específico, como JSON. O script extrai o texto do PDF, organiza perguntas e respostas e gera o arquivo nesse formato.
1:01:05 – 1:01:52Assistir
Como corrigir o texto extraído de um PDF quando ele apresenta quebras de linha e parágrafos incorretos?
É possível usar bibliotecas Python para extrair apenas o texto e reconstruir os parágrafos, identificando o início e o fim de cada trecho. Também se pode aplicar um modelo para reorganizar o texto, de forma semelhante à conversão de PDF para Word.
1:02:15 – 1:03:04Assistir
Existe uma forma de validar o arquivo JSON antes de enviá-lo para o treinamento?
Há ferramentas genéricas e plugins que verificam o arquivo e indicam visualmente as linhas com erro, permitindo corrigir os problemas antes do envio. Também foi mencionado que a própria ferramenta pode validar o arquivo ao carregá-lo.
1:04:03 – 1:05:01Assistir
Como o fine-tuning associa perguntas diferentes às respostas corretas?
O modelo aprende a associar a resposta ao modo como a pergunta é formulada. Por isso, gerar várias perguntas naturais e similares para a mesma resposta amplia as formas de consulta que o modelo consegue interpretar.
1:05:12 – 1:06:29Assistir
Por que é necessário multiplicar as perguntas similares no conjunto de treinamento?
Porque uma única formulação pode não cobrir as diferentes maneiras pelas quais os usuários farão a pergunta. A multiplicação cria várias amostras para cada resposta e aumenta a chance de o modelo reconhecer perguntas equivalentes.
1:06:32 – 1:06:46Assistir
Qual é a importância de sanear e validar os dados usados no fine-tuning?
A qualidade e o saneamento dos dados influenciam diretamente a assertividade do modelo. Dados não tratados aumentam a probabilidade de erros, por isso o nível de preparação necessário depende da precisão desejada.
1:08:03 – 1:08:23Assistir
Como as perguntas similares influenciam os pesos e o aprendizado do modelo durante o fine-tuning?
As perguntas similares são interpretadas por seus significados e organizadas em uma estrutura semelhante a uma árvore. Durante as épocas de treinamento, o modelo ajusta os pesos para associar cada pergunta à resposta mais adequada; mais informações e exemplos tendem a aumentar a probabilidade de acerto.
1:10:20 – 1:11:19Assistir
É possível instalar e executar localmente um modelo de IA ajustado para aproveitar o treinamento e aumentar a privacidade dos dados?
Sim. É possível executar o modelo localmente, o que oferece maior controle sobre o sigilo dos dados. No experimento, porém, essa opção não foi priorizada porque a conta Business utilizada já fornecia medidas de segurança e proteção contra vazamento de arquivos.
1:19:29 – 1:21:18Assistir
Como obter acesso à conta de infraestrutura usada nos desafios de IA generativa?
O acesso é liberado conforme a participação da pessoa em um desafio que necessite da infraestrutura. Para solicitar o uso, é preciso escolher um desafio e alinhar com a equipe a viabilização do acesso.
1:26:54 – 1:27:45Assistir
Quais foram as conclusões sobre os recursos computacionais necessários para executar modelos generativos localmente?
A equipe concluiu que executar esses modelos localmente era improdutivo e inviável para a maioria dos clientes devido ao custo computacional. Por isso, passou a explorar modelos próprios e alternativas via API, buscando reduzir custos e viabilizar a aplicação.
1:29:45 – 1:30:13Assistir