Cómo se crean los LLM / Glosario

Cuantización

La cuantización hace un modelo de IA más pequeño y rápido guardando cada uno de sus pesos con menos bits, por ejemplo 4 en lugar de 16, a cambio de un pequeño error de redondeo.

Cada peso es un número, y guardarlo con precisión ocupa espacio. La cuantización redondea los pesos a un conjunto de valores más reducido. Un modelo con 7.000 millones de pesos necesita unos 14 GB a 16 bits por peso, y unos 3,5 GB a 4 bits.

Hecha con cuidado, cuesta sorprendentemente poca calidad: unos investigadores usaron modelos de hasta 175.000 millones de parámetros con pesos de 8 bits sin perder rendimiento. Redondear demasiado, a muy pocos bits, sí empieza a notarse.

La cuantización es una de las razones principales de que hoy funcionen modelos capaces en portátiles y móviles. A menudo se combina con la destilación, que entrena un modelo pequeño para copiar a uno grande.