Quantização
Ir para notas que citam estaQuantização é a técnica de reduzir a quantidade de bits usados para representar cada peso de um modelo, diminuindo seu tamanho em memória e acelerando a inferência ao custo de alguma perda de precisão.
Ela é a etapa que decide se um modelo cabe ou não no aparelho em que vai rodar. Um modelo pequeno já nasce com poucos parâmetros, mas o espaço que ele ocupa depende tanto da contagem de parâmetros quanto do número de bits por parâmetro. Comprimir os pesos é, portanto, o último ajuste antes de empacotar o modelo para um dispositivo específico, e o nível de compressão escolhido é uma função direta do hardware disponível.
Impacto do número de bits no tamanho e na velocidade
Para um modelo de referência de cerca de 7 bilhões de parâmetros, o formato de 32 bits por parâmetro pesa em torno de 28 GB e o de 16 bits, em torno de 14 GB. Formatos mais comprimidos descem para algo próximo de 7 GB e de 4 GB para o mesmo modelo, ganhando velocidade e perdendo precisão na mesma proporção em que economizam memória.
O ganho de velocidade não é linear com a perda de qualidade. Passar de 2 bytes para 1 byte por parâmetro — metade da memória — chega a quase dobrar a velocidade de resposta mantendo a precisão praticamente igual, porque o caminho de raciocínio do modelo continua o mesmo: muda apenas quantos bits representam cada peso, não a estrutura da decisão.
A dúvida recorrente é se menos bits significam menos capacidade de distinguir conceitos próximos. A resposta depende da especificidade do modelo: em conceitos muito abstratos a perda de nuance é perceptível, mas em um modelo especializado numa resposta específica o efeito fica sutil, porque o repertório que ele precisa separar já é estreito.
Quantizar as ativações, não só os pesos
Comprimir pesos resolve tamanho; não resolve consumo. Um modelo que fica ativo o tempo todo processando — um assistente embarcado que recalcula sugestões continuamente, por exemplo — gasta energia e exige o hardware sem necessidade. Quantizar as ativações significa acionar o modelo sob demanda, disparado por uma ação explícita, em vez de deixá-lo em processamento permanente. Em muitos cenários essa decisão economiza mais do que espremer mais alguns bits de cada peso.
Na mesma linha entra a escala por grupo: quando há muitas requisições pequenas, vários modelos menores rodando em paralelo — vários de 4 bilhões de parâmetros, por exemplo — atendem melhor do que um único modelo de 16 bilhões que obriga as chamadas a esperarem na fila.
Até onde comprimir sem perder a tarefa
Quantização agressiva demais descarta informação que a tarefa ainda precisava. A imagem usada para o limite é a de torcer um pano até secar sem rasgá-lo: existe um ponto em que continuar espremendo deixa de render economia e passa a render erro. Esse ponto não se calcula de antemão, se descobre testando o modelo comprimido na tarefa real e comparando com a versão menos comprimida.
O nível certo de quantização é o maior que a tarefa ainda tolera, não o maior possível. Em execução local, escolher a compressão pelo limite do aparelho e verificar depois se a qualidade sobreviveu é o caminho inverso do recomendado.