Arquiteturas de IA de Voz
Ir para notas que citam estaArquiteturas de IA de voz são as formas de encadear escuta, raciocínio e fala num sistema conversacional, da cascata clássica, que passa tudo por texto, ao modelo nativo fala a fala, que processa áudio de ponta a ponta. A escolha define a latência que o usuário sente, as nuances que se perdem no caminho e o custo de operar o sistema.
A geração anterior de assistentes seguia sempre o mesmo caminho: transcrever a voz em texto, fazer um modelo de linguagem entender o texto, escrever a resposta em texto e sintetizá-la em áudio. Cada etapa consumia uma parte do orçamento de latência, e o atraso somado ficava em torno de um segundo, podendo chegar a 3, 4 ou 7 segundos conforme o tamanho da resposta. Isso quebra a naturalidade da conversa, que depende de responder dentro da janela do Turno de Fala.
As quatro arquiteturas, da maior para a menor latência
- Cascata clássica: o sistema espera a fala inteira, transcreve, processa e só então responde. Na transcrição se perdem entonação, sotaque e ambiente.
- Cascata em streaming: as etapas trabalham de forma incremental e a resposta começa antes de o usuário terminar. Pega algumas nuances e reduz a espera, mas continua sendo uma cascata que passa por texto e ainda perde informação.
- Semi-cascata: o modelo pensa em texto, mas fala em áudio. Ainda perde agilidade, como quem escreve antes de falar, e a saída precisa reconstruir a entonação.
- Nativo fala a fala: o modelo recebe áudio, raciocina sobre áudio e devolve áudio, sem que nada vire texto no meio. Captura, raciocínio e geração acontecem na mesma janela de processamento, o caminho crítico encurta e a resposta chega quase como numa conversa humana.
A última é a base dos modelos mais recentes e entrega os melhores resultados de fala, com o maior custo.
Tokens de áudio e ferramentas externas
Mesmo sem transcrição, o modelo nativo trabalha com uma representação matemática do som. A voz é tokenizada: palavras, entonação e demais nuances viram tokens de áudio que o modelo processa como processaria tokens de texto. Isso também entra no consumo: em planos com limite de uso, os tokens de áudio contam para esse limite.
A conversa é voz a voz, mas uma ação externa ainda pode exigir texto. Ao pedir no carro para trocar a música, o modelo avisa que está buscando e responde enquanto executa a busca no aplicativo de música; nesse caminho há transcrição para montar a consulta. Falar enquanto trabalha é uma forma de ganhar tempo. O acionamento da ferramenta parte de um gatilho na conversa, papel que em modelos de texto cabe ao Function Calling.
Eficiência contra custo
Processar voz a voz é muito mais eficiente em tempo de resposta, mas custa bem mais do que processar texto. Basta comparar o arquivo MP3 de uma página lida em voz alta com o arquivo de texto da mesma página: o áudio pesa muito mais, e isso vale também para o processamento.
Em troca, o áudio carrega contexto que o texto não carrega: emoção, estado de ânimo, ambiente e origem de quem fala. A resposta sai mais ajustada à pessoa sem que ela precise explicitar nada. Por isso a arquitetura nativa é a direção da IA Generativa de Voz, com o custo como principal freio.