Como os LLMs são feitos / Glossário

Quantização

Quantização deixa um modelo de IA menor e mais rápido guardando cada peso com menos bits, por exemplo 4 em vez de 16, aceitando um pequeno erro de arredondamento.

Cada peso é um número, e guardá-lo com precisão ocupa espaço. A quantização arredonda os pesos para um conjunto menor de valores. Um modelo de 7 bilhões de pesos precisa de uns 14 GB com 16 bits por peso, e de uns 3,5 GB com 4 bits.

Bem feita, ela custa surpreendentemente pouca qualidade: pesquisadores rodaram modelos de até 175 bilhões de parâmetros com pesos de 8 bits sem perda de desempenho. Arredondar demais, para pouquíssimos bits, começa a prejudicar.

A quantização é um dos principais motivos de modelos capazes hoje rodarem em notebooks e celulares. Muitas vezes ela é combinada com a destilação, que treina um modelo menor para copiar um maior.