Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Arquiteturas de IA de Voz

Ir para notas que citam esta
atualizado há 25 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Arquiteturas de IA de voz são as formas de encadear escuta, raciocínio e fala num sistema conversacional, da cascata clássica, que passa tudo por texto, ao modelo nativo fala a fala, que processa áudio de ponta a ponta. A escolha define a latência que o usuário sente, as nuances que se perdem no caminho e o custo de operar o sistema.

A geração anterior de assistentes seguia sempre o mesmo caminho: transcrever a voz em texto, fazer um modelo de linguagem entender o texto, escrever a resposta em texto e sintetizá-la em áudio. Cada etapa consumia uma parte do orçamento de latência, e o atraso somado ficava em torno de um segundo, podendo chegar a 3, 4 ou 7 segundos conforme o tamanho da resposta. Isso quebra a naturalidade da conversa, que depende de responder dentro da janela do Turno de Fala.

As quatro arquiteturas, da maior para a menor latência

  1. Cascata clássica: o sistema espera a fala inteira, transcreve, processa e só então responde. Na transcrição se perdem entonação, sotaque e ambiente.
  2. Cascata em streaming: as etapas trabalham de forma incremental e a resposta começa antes de o usuário terminar. Pega algumas nuances e reduz a espera, mas continua sendo uma cascata que passa por texto e ainda perde informação.
  3. Semi-cascata: o modelo pensa em texto, mas fala em áudio. Ainda perde agilidade, como quem escreve antes de falar, e a saída precisa reconstruir a entonação.
  4. Nativo fala a fala: o modelo recebe áudio, raciocina sobre áudio e devolve áudio, sem que nada vire texto no meio. Captura, raciocínio e geração acontecem na mesma janela de processamento, o caminho crítico encurta e a resposta chega quase como numa conversa humana.

A última é a base dos modelos mais recentes e entrega os melhores resultados de fala, com o maior custo.

Tokens de áudio e ferramentas externas

Mesmo sem transcrição, o modelo nativo trabalha com uma representação matemática do som. A voz é tokenizada: palavras, entonação e demais nuances viram tokens de áudio que o modelo processa como processaria tokens de texto. Isso também entra no consumo: em planos com limite de uso, os tokens de áudio contam para esse limite.

A conversa é voz a voz, mas uma ação externa ainda pode exigir texto. Ao pedir no carro para trocar a música, o modelo avisa que está buscando e responde enquanto executa a busca no aplicativo de música; nesse caminho há transcrição para montar a consulta. Falar enquanto trabalha é uma forma de ganhar tempo. O acionamento da ferramenta parte de um gatilho na conversa, papel que em modelos de texto cabe ao Function Calling.

Eficiência contra custo

Mais rápido não quer dizer mais barato

Processar voz a voz é muito mais eficiente em tempo de resposta, mas custa bem mais do que processar texto. Basta comparar o arquivo MP3 de uma página lida em voz alta com o arquivo de texto da mesma página: o áudio pesa muito mais, e isso vale também para o processamento.

Em troca, o áudio carrega contexto que o texto não carrega: emoção, estado de ânimo, ambiente e origem de quem fala. A resposta sai mais ajustada à pessoa sem que ela precise explicitar nada. Por isso a arquitetura nativa é a direção da IA Generativa de Voz, com o custo como principal freio.