Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Modelos de Linguagem em Nível de Byte

Ir para notas que citam esta
atualizado há 10 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Modelos de linguagem em nível de byte são modelos que leem e escrevem o texto como a sequência de bytes UTF-8 que o representa, sem um vocabulário de subpalavras, de modo que nenhuma palavra é rara demais para ser lida e cada letra fica visível.

A Tokenização de Texto por subpalavras esconde as letras dentro dos pedaços: o modelo vê "ção" como uma peça, não como c, a, o. Por isso modelos tradicionais tropeçam em tarefas de caractere, como soletrar, contar letras ou inverter uma palavra. Lendo bytes, essas tarefas ficam diretas, e qualquer idioma ou grafia é representável sem pedaços desconhecidos.

O preço é o comprimento. Cada token de subpalavra corresponde, em média, a uns quatro bytes de texto em inglês, então a sequência fica várias vezes mais longa e mais cara de processar. Arquiteturas recentes contornam isso agrupando bytes em blocos (patches) de tamanho variável: um pequeno codificador lê os bytes, decide onde cada bloco termina e entrega ao Transformer principal uma sequência mais curta.

Byte também tem sotaque. No UTF-8, letras sem acento ocupam um byte, mas "ç" e "ã" ocupam dois cada, e caracteres de escritas como devanágari ou birmanês ocupam três. No estudo de Petrov e colegas, um modelo em bytes (ByT5) ainda gasta 1,1 vez o inglês para o português, 2,5 vezes para o hindi e 3,5 para o birmanês: a Desigualdade de Tokenização entre Idiomas encolhe, mas não some. Os próprios autores do trabalho de Byteificação chamam o UTF-8 de unidade centrada no alfabeto latino.

Fontes