Cómo se crean los LLM / Glosario

Descenso de gradiente

El descenso de gradiente es el método con el que se entrenan casi todos los modelos de IA: calcula en qué dirección baja la pérdida para cada peso y mueve todos los pesos un pequeño paso hacia allí, una y otra vez.

Imagina que estás en una ladera con niebla y quieres llegar al valle. Notas hacia dónde baja el terreno y das un pequeño paso cuesta abajo. El descenso de gradiente hace lo mismo con la pérdida, en miles de millones de pesos a la vez.

La pendiente de cada peso se calcula con la retropropagación (backpropagation), un método que popularizó un artículo de 1986 en Nature. El tamaño de cada paso se llama tasa de aprendizaje: si es demasiado grande el entrenamiento se vuelve inestable, y si es demasiado pequeña avanza a paso de tortuga.

Los grandes modelos de lenguaje suelen entrenarse con Adam o una variante cercana, una forma refinada de descenso de gradiente que adapta el tamaño del paso para cada peso. Los entrenamientos suelen subir poco a poco la tasa de aprendizaje al principio y bajarla con el tiempo.