Pular para o conteúdo
LabS Atlas
Generative AI
Entrar
Sessões

Tech Talk IA Generativa que Escuta e Fala (2026-09-23)

23 set 20261h 04min
Assistir gravação

Entre para ler os trechos da transcrição de cada capítulo e perguntar ao Labinho sobre esta sessão.

O Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

atualizado há 25 dias
Resumo da sessão

A sessão discutiu a evolução das interfaces de voz, desde comandos pré-programados e assistentes como Siri e Alexa até modelos generativos capazes de processar áudio diretamente e responder com voz mais natural. Foram abordados aspectos que tornam a conversa fluida, como latência, turnos de fala, pausas, entonação, sotaques, interrupções, ruídos e a capacidade de interpretar emoção e intenção. Também foram comparadas arquiteturas em cascata, que convertem voz em texto antes de responder, com modelos nativos de voz para voz, mais rápidos e naturais, embora mais caros por exigirem maior processamento e tokenização de áudio.

A demonstração do ElevenLabs mostrou recursos de síntese de voz, dublagem, geração de música e clonagem vocal, evidenciando aplicações em acessibilidade, tradução, atendimento, produção de conteúdo e interfaces multimodais. A clonagem em poucos segundos causou impacto e levou à discussão sobre fraudes, autenticação, direitos autorais, regulamentação e a dificuldade de provar a origem de um áudio. Ficaram em aberto os critérios objetivos para avaliar a qualidade de modelos de voz, a preservação de coerência em conversas longas e a criação de mecanismos confiáveis para identificar ou autenticar conteúdos gerados por IA.

Gerado por IA a partir da transcrição.
Capítulos · 23
00:11
Abertura e apresentação do tema
Assistir
01:30
Comando de voz e IA generativa
Assistir
05:37
Por que a voz voltou ao centro da IA
Assistir
09:27
Evolução dos assistentes de voz
Assistir
15:58
Acessibilidade, tradução e vozes sintéticas
Assistir
18:34
Latência e turnos de fala naturais
Assistir
23:43
Duplex e processamento simultâneo de voz
Assistir
24:59
Arquiteturas de voz e níveis de latência
Assistir
27:39
Da transcrição ao processamento nativo de áudio
Assistir
33:04
Silêncio, sotaques e adaptação da IA
Assistir
42:11
Interrupções, ruídos e geração incremental
Assistir
46:07
Entonação e multimodalidade
Assistir
47:27
Limitações atuais e avaliação de modelos de voz
Assistir
50:00
Demonstração do ElevenLabs
Assistir
52:41
Exploração dos recursos de voz da ElevenLabs
Assistir
53:59
Clonagem instantânea da própria voz
Assistir
55:17
Realismo, canto e riscos da clonagem de voz
Assistir
56:32
Implicações jurídicas e falsificação de áudios
Assistir
57:48
Autenticidade e desafios na verificação de voz
Assistir
59:03
Regulamentação e selos para conteúdos gerados por IA
Assistir
1:00:20
Limitações das marcas d’água e controle jurídico
Assistir
1:01:37
Aplicações da tecnologia e encerramento da discussão
Assistir
1:02:57
Agradecimentos e encerramento da sessão
Assistir
Cortes · 9
Por que a voz voltou ao centro da IA
A apresentação introduz a IA generativa que escuta e fala, explicando por que a voz é uma interface natural e de baixa fricção. São destacadas situações em que falar é mais prático do que digitar, como fábricas, cozinhas, direção, esportes e acessibilidade.
05:37 – 09:27Assistir
Da voz comandada à voz generativa
O trecho apresenta a evolução das tecnologias de voz, passando por rádio, telefone, URAs, GPS e assistentes como Siri e Alexa. A explicação culmina nos modelos generativos atuais, capazes de processar áudio e responder com uma comunicação mais próxima da humana.
09:27 – 12:02Assistir
Latência e turnos de fala em conversas com IA
O trecho explica por que cerca de 200 milissegundos são importantes para que uma conversa com IA pareça natural. São apresentados mecanismos de detecção do fim da fala, arquiteturas duplex e quatro formas de processamento, culminando nos modelos nativos de voz para voz, que reduzem a latência ao processar áudio diretamente.
18:34 – 30:15Assistir
Custo, emoção e silêncio no processamento de voz
A discussão compara eficiência e custo entre processamento de texto e de voz, mostrando que o áudio preserva emoção, entonação, sotaque e contexto, mas exige mais recursos. O trecho também aborda o desafio de interpretar silêncios, diferentes velocidades de fala e sotaques regionais para identificar corretamente o fim de um turno.
30:19 – 38:21Assistir
Interrupções, entonação e multimodalidade
O trecho aborda problemas que os modelos de voz precisam resolver, como tosse, ruído, eco, interrupções e sobreposição de falas. Também explica como a geração incremental e a multimodalidade permitem interpretar entonações e combinar áudio, texto e imagem, embora conversas longas ainda possam comprometer a coerência.
42:11 – 48:42Assistir
Como avaliar modelos de voz
A apresentação discute a dificuldade de criar métricas para avaliar modelos de voz, considerando não apenas a exatidão das respostas, mas também a compreensão de ironia, piadas, emoções e outras nuances. O trecho prepara a demonstração prática de uma plataforma de geração de voz.
48:42 – 50:00Assistir
Recursos da plataforma de voz e música
São apresentados recursos da plataforma ElevenLabs, incluindo modulação e dublagem de voz, escolha de idiomas, processamento da voz e geração de música. Também são mencionadas possibilidades de criação de videocasts e ebooks com um limite alto de créditos.
51:25 – 52:41Assistir
Demonstração de clonagem de voz
O apresentador grava uma amostra de dez segundos para testar o recurso de clonagem instantânea de voz. Em seguida, o grupo avalia o resultado e destaca a semelhança com a voz original, apesar de perceber um leve efeito robótico.
53:59 – 56:32Assistir
Riscos jurídicos e autenticidade de vozes geradas por IA
A conversa discute o uso de vozes clonadas para fraudes, como falsificar autorizações, e os riscos de confundir uma gravação real com uma gerada por IA. Os participantes refletem sobre comprovação jurídica, limitações dos detectores, assinaturas ou selos de autenticidade e a dificuldade de controlar sistemas locais.
56:32 – 1:01:36Assistir
Perguntas desta sessão
Como a comunicação por voz evoluiu até chegar às tecnologias atuais de IA generativa?
A evolução passou da voz analógica, como rádio e telefone, para comandos de voz pré-programados em carros e URAs, depois para assistentes como Siri e Alexa, que transcreviam a fala e executavam buscas. A IA generativa atual processa áudio diretamente e devolve áudio, preservando melhor nuances como emoção, ritmo e intenção, o que torna a conversa mais natural.
09:25 – 11:34Assistir
Quando a inteligência artificial começou a ser aplicada a modelos de voz capazes de gerar conteúdos como audiobooks e histórias?
Não foi indicada uma data exata, mas foi observado que, nos últimos tempos, vídeos, audiobooks e histórias passaram a ser produzidos integralmente por IA, com vozes mais fluidas e semelhantes às humanas. Essa mudança também se diferencia das vozes rígidas e repetitivas tradicionalmente usadas em call centers.
12:15 – 13:11Assistir
O que significa a janela de aproximadamente 200 milissegundos entre turnos de fala em uma conversa com IA?
Essa janela corresponde ao intervalo natural que uma pessoa espera entre o fim da fala de alguém e o início da resposta. Acima desse tempo, o silêncio causa desconforto; abaixo dele, a resposta pode parecer uma interrupção. Por isso, a IA precisa aprender a detectar turnos de fala de forma semelhante aos humanos.
19:07 – 20:26Assistir
Como a IA determina se uma pessoa terminou de falar ou apenas fez uma pausa durante a conversa?
A IA combina marcadores de encerramento, silêncios calculados, entonação e características da fala. Uma pausa acompanhada de entonação que indica continuidade faz o sistema esperar; uma frase finalizada, com entonação conclusiva, faz a IA assumir o turno e responder. Onomatopeias ou sílabas prolongadas também podem indicar que o falante pretende continuar.
22:11 – 23:07Assistir
O que é o processamento full duplex em sistemas de conversa por voz?
No processamento full duplex, os canais de entrada e saída permanecem abertos simultaneamente. A pessoa pode continuar falando enquanto o modelo processa e responde, permitindo sobreposição de vozes e uma interação mais natural, com menor tempo de espera. Isso exige marcadores para que o sistema entenda quando está sendo ouvido ou interrompido.
23:43 – 24:54Assistir
A maior velocidade do processamento de voz para voz resulta de maior eficiência ou de um custo mais alto?
Os dois fatores estão presentes. O processamento voz-voz é mais eficiente e rápido porque elimina etapas intermediárias de transcrição e síntese, além de preservar nuances como entonação e emoção. Porém, é mais caro do que o processamento em texto, pois os arquivos de áudio são maiores e a IA precisa processar informações adicionais da voz, como sotaque, contexto ambiental e estado emocional.
30:26 – 32:46Assistir
Como um modelo de voz distingue um silêncio causado pelo usuário de uma pausa que indica a vez do modelo falar, e como decide quando encerrar o turno?
Essa distinção é aprendida com treinamento sobre turnos de fala, pausas, entonação, sotaques e velocidade regional. Em vez de depender apenas de um timeout fixo de aproximadamente 200 milissegundos, os modelos atuais analisam o fim do turno e o modo como a pessoa está falando para decidir quando passar a vez ao modelo.
33:56 – 36:23Assistir
Como modelos de voz representam e processam o áudio quando precisam fazer buscas ou acionar outros recursos?
O modelo recebe e responde em voz, mas pode acionar recursos específicos, como busca ou transcrição, quando identifica um gatilho. Nesses casos, executa a operação em paralelo enquanto mantém a conversa, podendo transcrever o comando para buscar informações, como uma música no Spotify. Computacionalmente, o áudio recebe uma representação acústica e é convertido em tokens para o processamento matemático.
38:45 – 41:02Assistir
Como funciona a tokenização de áudio em modelos de voz?
O modelo tokeniza a voz e transforma em unidades as palavras, as nuances da fala, a entonação e as notas associadas a cada trecho. Essas unidades são organizadas em representações distintas e processadas matematicamente para que o modelo preserve tanto o conteúdo falado quanto características prosódicas.
41:14 – 41:48Assistir
O processamento contínuo da voz em segundo plano também gera custo de uso?
Sim. O áudio processado é contabilizado como tokens consumidos. Em modelos com cobrança por consumo, isso pode aproximar o usuário do limite contratado; em modelos pagos por mensalidade, o sistema tende a economizar processamento para controlar o uso de recursos.
41:55 – 42:33Assistir
O que é possível fazer com interfaces de voz usando ferramentas de IA generativa?
É possível explorar plataformas como o ElevenLabs para gerar e modular vozes, converter texto em fala, dublar conteúdos em outros idiomas, clonar vozes e criar músicas e outros materiais audiovisuais.
49:41 – 50:07Assistir