Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Byteificação

Ir para notas que citam esta
atualizado há 10 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Byteificação (byteification) é a técnica de converter um modelo de linguagem já treinado com tokens de subpalavra num modelo que lê e escreve bytes, reaproveitando o que ele aprendeu em vez de treinar um modelo em bytes do zero.

A técnica foi publicada na Nature em outubro de 2026 no artigo "Retrofitting language models to operate over bytes", de pesquisadores do Allen Institute for AI (Ai2), LMU Munique, Cambridge, Universidade de Washington e Imperial College. O modelo original mantém seu Transformer central; troca-se só a borda: entra um codificador local que lê os bytes e decide onde agrupá-los em blocos, e um decodificador que devolve bytes na saída. O treino tem duas fases, primeiro só das peças novas e depois do conjunto todo. O principal resultado, o Bolmo 7B, partiu do Olmo 3 7B, e a mesma receita foi aplicada ao Qwen3 8B e ao Llama 3 8B. Tudo isso custou cerca de 49 bilhões de tokens de treino, menos de 1% de um pré-treino típico.

Os ganhos aparecem onde a Tokenização de Texto atrapalha: em compreensão de caracteres (soletrar, manipular letras) o Bolmo saltou de algo em torno de 55 para perto de 80 pontos, e melhorou também na versão multilíngue desse teste. Na média geral dos benchmarks ficou empatado com o original, mas perdeu em matemática e em código na primeira tentativa.

O custo está na sequência e na velocidade. O texto vira em média uns 4,4 bytes por token de subpalavra, e a geração cai para cerca de 125 bytes por segundo contra 150 do modelo original, uns 17% mais lenta. É o retrato dos Modelos de Linguagem em Nível de Byte: enxergam cada letra e tratam idiomas com menos desigualdade, mas pagam em comprimento.

Fontes