Modelos de Linguagem em Nível de Byte
Ir para notas que citam estaModelos de linguagem em nível de byte são modelos que leem e escrevem o texto como a sequência de bytes UTF-8 que o representa, sem um vocabulário de subpalavras, de modo que nenhuma palavra é rara demais para ser lida e cada letra fica visível.
A Tokenização de Texto por subpalavras esconde as letras dentro dos pedaços: o modelo vê "ção" como uma peça, não como c, a, o. Por isso modelos tradicionais tropeçam em tarefas de caractere, como soletrar, contar letras ou inverter uma palavra. Lendo bytes, essas tarefas ficam diretas, e qualquer idioma ou grafia é representável sem pedaços desconhecidos.
O preço é o comprimento. Cada token de subpalavra corresponde, em média, a uns quatro bytes de texto em inglês, então a sequência fica várias vezes mais longa e mais cara de processar. Arquiteturas recentes contornam isso agrupando bytes em blocos (patches) de tamanho variável: um pequeno codificador lê os bytes, decide onde cada bloco termina e entrega ao Transformer principal uma sequência mais curta.
Byte também tem sotaque. No UTF-8, letras sem acento ocupam um byte, mas "ç" e "ã" ocupam dois cada, e caracteres de escritas como devanágari ou birmanês ocupam três. No estudo de Petrov e colegas, um modelo em bytes (ByT5) ainda gasta 1,1 vez o inglês para o português, 2,5 vezes para o hindi e 3,5 para o birmanês: a Desigualdade de Tokenização entre Idiomas encolhe, mas não some. Os próprios autores do trabalho de Byteificação chamam o UTF-8 de unidade centrada no alfabeto latino.