Pular para o conteúdo
LabS Atlas
Generative AI
Entrar
Sessões

Learning Prototype Especialização de LLM Sessão 5 LLM como Juiz e Recompensas (2025-12-05)

5 dez 202554min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão foi dedicada à consolidação da especialização de LLM e ao encerramento da etapa prática do Learning Prototype. Foi revisado o método desenvolvido ao longo dos encontros, baseado em quatro dimensões: expectativas, dados, avaliação das respostas e ferramental. Também foram recapituladas as pílulas de conhecimento sobre Claude, preparação de dados, LLM como juiz, comparação de modelos e escolha de ferramentas. A proposta foi reforçar que a especialização deve partir de um objetivo claro, utilizar dados adequados e contar com critérios explícitos para avaliar resultados.

Foi apresentada uma implementação em n8n para auditar atendimentos de suporte. O agente analisa conversas segundo regras de negócio, requisitos de segurança e LGPD, padrões de cordialidade, confirmação de protocolo, encerramento e resolução do problema, gerando notas, justificativas e feedback estruturado em JSON. A discussão destacou aplicações em treinamento de equipes, auditoria automática de atendentes e avaliação de chatbots, além dos desafios relacionados à qualidade dos dados, construção e melhoria de prompts, uso de RAG, tamanho da janela de contexto e possível adoção de modelos menores e mais baratos.

Por fim, foram explicadas as recompensas do Learning Prototype. Participantes que implementarem uma especialização, apresentarem o trabalho ou publicarem um relato no grupo poderão preencher um formulário até o fim de dezembro para solicitar reconhecimento, avaliado conforme o impacto da contribuição. Ficou em aberto a possibilidade de novas apresentações em encontros futuros, inclusive de projetos ainda em desenvolvimento, desde que descrevam claramente objetivo, dados, avaliação e ferramentas utilizadas.

Gerado por IA a partir da transcrição.
Capítulos · 25
02:45
Abertura e objetivo do encontro
Assistir
04:04
Resumo dos encontros e apresentações
Assistir
05:21
Método do Learning Prototype e Monster Labs
Assistir
07:54
Pílulas de conhecimento sobre especialização
Assistir
11:43
Consolidação e abertura das apresentações
Assistir
12:59
Método de especialização em quatro etapas
Assistir
14:16
Apresentação da especialização em análise de atendimentos
Assistir
18:09
Objetivo e métricas do auditor de atendimentos
Assistir
19:25
Regras de negócio, qualidade e LGPD
Assistir
22:01
Arquitetura do agente auditor e base de conhecimento
Assistir
24:37
Contexto, modelos e limites da especialização
Assistir
27:11
Demonstração da análise de chamados
Assistir
29:47
Saída em JSON e integração com sistemas
Assistir
34:56
Pontuação e feedback dos atendimentos
Assistir
37:31
Detecção de grosseria e falhas críticas
Assistir
40:04
Tempo, dificuldade e limites da POC
Assistir
41:21
Dados, RAG e melhoria de prompts
Assistir
42:38
Orientações para construir uma especialização
Assistir
43:57
Recompensas do Learning Prototype
Assistir
45:12
Como funciona a recompensa e a especialização
Assistir
46:29
Formulário, avaliação e prazo para solicitar a recompensa
Assistir
47:45
Encerramento, agradecimentos e espaço para dúvidas
Assistir
50:24
Exemplos práticos e critérios para apresentar o projeto
Assistir
51:42
Próximas apresentações e envio de projetos
Assistir
52:58
Confraternização e despedida
Assistir
Cortes · 7
Método de especialização e retrospectiva dos encontros
É apresentado o objetivo do quinto encontro prático, a dinâmica do Learning Prototype e o método de quatro etapas usado para especializar modelos de linguagem. Também são revisados os encontros anteriores, com temas como dados para IA, avaliação de respostas, escolha de modelos e ferramentas.
04:04 – 14:16Assistir
Agente auditor de atendimentos
É demonstrado um agente criado para avaliar automaticamente atendimentos de clientes, usando regras de negócio, métricas e documentos de referência. A apresentação explica como bons e maus atendimentos são classificados com base em critérios como segurança, LGPD, empatia, saudação e encerramento.
15:32 – 25:54Assistir
Contexto, RAG e saída estruturada na avaliação
A discussão mostra como excesso de conteúdo pode prejudicar a janela de contexto e compara uma abordagem baseada em documentos com uma futura implementação de RAG. Também são explicadas a análise passo a passo dos chamados, a geração de JSON e a possibilidade de enviar os resultados para planilhas ou bancos de dados.
25:54 – 34:55Assistir
Pontuação e feedback automático para atendentes
A demonstração apresenta um sistema que começa com uma pontuação e desconta pontos conforme identifica falhas no atendimento, como ausência de protocolo, grosseria ou falta de encerramento. O agente gera justificativas e feedbacks que poderiam ser encaminhados diretamente à equipe ou usados para monitorar chatbots.
34:56 – 40:03Assistir
Esforço, limitações e evolução da prova de conceito
O apresentador estima o tempo necessário para construir a solução e diferencia uma prova de conceito de uma especialização real em produção. São discutidos os desafios de usar dados sintéticos, criar um banco vetorial, avaliar respostas e aprimorar os prompts.
40:04 – 42:41Assistir
Como solicitar a recompensa
É explicado o processo para obter o reconhecimento pela participação: realizar uma implementação prática, apresentá-la nos encontros ou publicá-la no grupo e, depois, preencher um formulário. A equipe avaliará o impacto da contribuição e fará a transferência da recompensa, com prazo para participação até o final de dezembro.
45:12 – 47:45Assistir
Critérios para apresentar a especialização
O grupo esclarece que a especialização pode ser um projeto prático, como um bot de WhatsApp, sem precisar estar totalmente ligada ao exemplo discutido anteriormente. A apresentação ou publicação deve descrever o objetivo, as etapas realizadas, a avaliação e as ferramentas utilizadas, para que a contribuição possa ser analisada.
50:24 – 51:41Assistir
Perguntas desta sessão
Como um LLM pode ser usado para avaliar automaticamente a qualidade de atendimentos?
O LLM pode atuar como auditor, analisando cada atendimento com base em regras de negócio, boas práticas e métricas definidas. Ele classifica o atendimento como bom ou ruim, identifica falhas e pode gerar feedbacks e guias para treinamento de equipes.
18:05 – 19:04Assistir
Como avaliar se um atendimento foi bom quando o problema do cliente foi resolvido?
A avaliação deve considerar tanto a resolução do problema quanto as regras de qualidade da organização. Mesmo que o problema seja resolvido, o atendimento pode ser classificado negativamente se houver grosseria, falta de confirmação de segurança, ausência de protocolo, uso inadequado de abreviações ou outras violações. Essas regras são transformadas em métricas e usadas para especializar o LLM.
23:24 – 24:28Assistir
Como a análise automática determina se um atendimento foi bom ou ruim?
A classificação é baseada nos critérios e regras de negócio definidos na especialização, que determinam quais comportamentos tornam um atendimento bom ou ruim, em vez de depender apenas do julgamento livre do modelo.
32:59 – 33:13Assistir
Quanto tempo leva para construir uma especialização de LLM e qual é o nível de dificuldade do processo?
O tempo e a dificuldade variam conforme o projeto. O n8n facilita a implementação por meio de blocos, mas a complexidade depende da especialização; o exemplo apresentado foi considerado mais uma automação com critérios do que uma especialização completa.
40:04 – 40:40Assistir
Como reforçar um prompt para que um modelo de linguagem apresente todas as informações necessárias?
É preciso iterar na construção do prompt, verificar quais informações estão faltando e melhorar o conjunto de dados e o processo de avaliação. A qualidade dos dados usados na avaliação influencia diretamente a identificação e a correção dos problemas do prompt.
42:07 – 42:36Assistir
Como avaliar automaticamente as respostas de atendimentos usando um LLM como juiz?
Define-se um conjunto de critérios de avaliação para os chamados e solicita-se ao modelo que analise cada resposta com base nesses critérios. O modelo gera uma análise e um score, que podem ser usados para direcionar o atendimento ou orientar a pessoa responsável.
43:26 – 43:53Assistir