Cómo se crean los LLM / Glosario

Leyes de escalado

Las leyes de escalado son patrones que muestran que la pérdida de un modelo de lenguaje baja de forma suave y predecible al añadir parámetros, datos de entrenamiento y cómputo. Los laboratorios las usan para decidir qué tamaño construir.

Una investigación de 2020 halló que la pérdida sigue leyes de potencia sencillas: duplica el tamaño del modelo, los datos o el cómputo y la pérdida baja en una cantidad predecible. Así los laboratorios podían prever lo bueno que sería un modelo antes de gastar el dinero en entrenarlo.

Un estudio de 2022 afinó la receta: con un presupuesto de cómputo fijo, haz crecer el modelo y sus datos a la vez, con unos 20 tokens de entrenamiento por parámetro. Su modelo Chinchilla, de 70.000 millones de parámetros y entrenado con 1,4 billones de tokens, superó a Gopher, de 280.000 millones, que usó el mismo presupuesto.

Las leyes de escalado predicen la pérdida, no habilidades concretas, así que algunas capacidades siguen sorprendiendo. Muchos modelos recientes también se entrenan con mucho más de 20 tokens por parámetro, porque un modelo más pequeño entrenado más tiempo sale más barato de usar después.