¿Qué son las leyes de escalado en IA?
Las leyes de escalado muestran que la pérdida de un modelo de lenguaje baja de forma predecible al añadir parámetros, datos y cómputo. También indican cómo repartir un presupuesto de cómputo fijo: un conocido estudio de 2022 vio que lo mejor son unos 20 tokens de entrenamiento por parámetro, haciendo crecer a la vez el modelo y sus datos.
▶ Pruébalo
Por qué importa
Entrenar un modelo grande cuesta una fortuna en chips y electricidad, así que los laboratorios lo planifican de antemano con las leyes de escalado. La sorpresa: con un presupuesto fijo, el modelo más grande no es el mejor.
En 6 minutos sabrás
- La calidad de un modelo depende de tres ingredientes que escalan: datos, parámetros y cómputo.
- Con un presupuesto fijo, un modelo gigante con pocos datos rinde peor que uno equilibrado.
- Las leyes de escalado permiten prever grandes entrenamientos a partir de experimentos pequeños y baratos.
Lo que vas a practicar
Tres cosas que escalan
Clasifica cada línea del plan de entrenamiento de Vireo según el ingrediente que hace crecer.
- 15 billones de tokens de texto → Datos
- Capas más anchas, y más capas → Parámetros
- Miles de chips funcionando durante meses → Cómputo
- 70.000 millones de pesos → Parámetros
- Añadir libros, código y más páginas web → Datos
- Una factura de la luz récord → Cómputo
Gasta el presupuesto de cómputo
Mueve el control para repartir el presupuesto entre tamaño del modelo y datos de entrenamiento. Busca la pérdida más baja y fíjala.
Mismo presupuesto, dos formas de gastarlo: un modelo más grande o más texto para entrenarlo. Mueve el control para probar repartos y mira la pérdida prevista. Cuanto más baja, mejor.
- Presupuesto 1×: El mejor reparto aquí: 1000 M parámetros con 20 mil M tokens.
- Presupuesto 10×: El mejor reparto aquí: 3200 M parámetros con 63 mil M tokens.
- Presupuesto 100×: El mejor reparto aquí: 10 mil M parámetros con 200 mil M tokens.
≈ 20 tokens de entrenamiento por parámetro Ilustrativo: una fórmula al estilo de Chinchilla, no mediciones reales
Planifica el próximo entrenamiento de Vireo
Mismo presupuesto, dos planes. ¿Qué modelo saldrá probablemente mejor?
- Un modelo de la cuarta parte de tamaño, entrenado con 4 veces más texto (Respuesta)
- El modelo más grande que permita el presupuesto, con el texto que quede
Vireo Labs entrena un modelo pequeño con mucho más de 20 tokens por parámetro. ¿Por qué puede ser buena idea?
- Los modelos pequeños son más baratos de usar con millones de personas, así que el entrenamiento extra compensa (Respuesta)
- Es un error: más de 20 tokens por parámetro no sirve de nada
¿Qué permiten las leyes de escalado a un laboratorio antes de gastar meses de cómputo?
- Prever más o menos lo bueno que será un modelo más grande a partir de pruebas pequeñas (Respuesta)
- Garantizar exactamente qué habilidades tendrá el modelo
Recuerda
Con un presupuesto de cómputo fijo, haz crecer el modelo y sus datos a la vez. El punto óptimo clásico son unos 20 tokens de entrenamiento por parámetro.
Con un presupuesto fijo, haz crecer modelo y datos a la vez: unos 20 tokens de entrenamiento por parámetro.
Datos clave
- La pérdida de un modelo de lenguaje baja de forma suave y predecible, siguiendo leyes de potencia, a medida que crecen el tamaño del modelo, los datos y el cómputo. · Fuente: Kaplan et al., Scaling Laws for Neural Language Models, OpenAI, 2020
- Con un presupuesto de cómputo fijo, los mejores resultados salieron de escalar por igual el tamaño del modelo y los tokens de entrenamiento: unos 20 tokens por parámetro. · Fuente: Hoffmann et al., Training Compute-Optimal Large Language Models, DeepMind, 2022
- Chinchilla, de 70.000 millones de parámetros y entrenado con 1,4 billones de tokens, superó a Gopher, de 280.000 millones, que usó el mismo presupuesto de cómputo. · Fuente: Hoffmann et al., DeepMind, 2022
- GPT-3, con 175.000 millones de parámetros, se entrenó con unos 300.000 millones de tokens: menos de 2 tokens por parámetro. · Fuente: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
- Llama 3 se preentrenó con más de 15 billones de tokens, muchos más de 20 por parámetro incluso para su modelo más grande. · Fuente: Meta, The Llama 3 Herd of Models, 2024
Actualizado:
Preguntas frecuentes
¿Qué es la ley de escalado de Chinchilla?
Un hallazgo de 2022: con una cantidad fija de cómputo de entrenamiento, el tamaño del modelo y los datos deben crecer a la vez. La regla práctica que salió de ahí son unos 20 tokens de entrenamiento por cada parámetro.
¿Los modelos de IA más grandes siempre funcionan mejor?
No con el mismo presupuesto. Un modelo más grande solo ayuda si también recibe suficientes datos. Un modelo más pequeño entrenado con más texto puede ganar a uno mucho mayor que se entrenó poco.
¿Qué significa cómputo en el entrenamiento de IA?
El número total de cálculos que se usan para entrenar un modelo. Se paga en chips especializados, el tiempo que funcionan y la electricidad que consumen.
¿Por qué se entrenan modelos pequeños con tantos datos?
Los modelos pequeños son más baratos y rápidos de usar para cada persona. Entrenarlos con muchos más datos de lo óptimo en cómputo les saca una calidad extra que compensa a lo largo de millones de usos.
Términos relacionados