¿Cómo aprende un modelo de IA de sus errores?
Un modelo aprende midiendo sus errores y ajustando sus valores. Después de cada apuesta, un número llamado pérdida dice cuánto se equivocó. La retropropagación calcula hacia dónde debe girar cada uno de sus miles de millones de pesos para bajar la pérdida, y el descenso de gradiente los mueve todos un pequeño paso en esa dirección, una y otra vez.
▶ Pruébalo
Por qué importa
«Entrenar» suena misterioso, pero es un solo bucle: medir el error, buscar hacia dónde se baja y girar un poco cada dial. El tamaño de cada ajuste decide si el entrenamiento funciona o no.
En 6 minutos sabrás
- La pérdida es un número que dice cuánto se equivocó una apuesta. El entrenamiento intenta bajarla.
- La retropropagación encuentra la dirección cuesta abajo para cada dial, y el descenso de gradiente los mueve todos.
- Una tasa de aprendizaje muy pequeña se arrastra y una muy grande se pasa o explota, así que los ingenieros la ajustan con cuidado.
Lo que vas a practicar
Cuatro palabras de ingeniería
Toca cada tarjeta. Estas cuatro ideas son todo el bucle de entrenamiento.
- 📉 Pérdida
- Un número que dice cuánto se equivocó el modelo. Si la palabra real era «azul» y el modelo le dio poca probabilidad, la pérdida es alta.
- 🎛️ Pesos
- Los diales del modelo, miles de millones. Entre todos deciden cada predicción. El entrenamiento solo cambia estos números.
- 🧭 Gradiente
- Para cada dial: hacia dónde girarlo para bajar la pérdida y cuánto importa. La retropropagación lo calcula para todos los diales a la vez.
- 👣 Tasa de aprendizaje
- Lo grande que es cada ajuste. Si es muy pequeña, el entrenamiento va a paso de tortuga; si es muy grande, se pasa de largo o explota.
Baja por el valle de la pérdida
La bola es uno de los diales de Vireo. Elige un tamaño de paso, pulsa Ajustar y baja la pérdida por debajo de la línea verde.
Tamaño de paso (tasa de aprendizaje): mínimo · pequeño · medio · grande · enorme
La altura de la bola es la pérdida. Cada Ajustar mira hacia dónde se baja y gira el dial en esa dirección, con el tamaño de paso que elijas. Baja la pérdida por debajo de la línea verde.
- En este valle, el paso medio es el más rápido. Los mínimos se arrastran, los grandes rebotan y los enormes salen volando.
- Un valle mucho más empinado. ¿Seguirá valiendo el mismo tamaño de paso? En un valle empinado gana el paso pequeño. Un paso que antes iba bien ahora se pasa de largo, y por eso los ingenieros ajustan la tasa de aprendizaje.
- Ahora, una pendiente larga y suave. ¿Qué le va mejor? En una pendiente suave, el paso grande es seguro y ahorra tiempo. Los entrenamientos reales suelen ir reduciendo el paso sobre la marcha.
Lee el panel de entrenamiento
La línea de pérdida de Vireo sube y baja como loca y luego se sale de la gráfica. ¿Cuál es el arreglo más probable?
- Bajar la tasa de aprendizaje (Respuesta)
- Subir la tasa de aprendizaje
- Borrar la mitad de los diales
¿Qué parte calcula hacia dónde debe girar cada uno de los diales?
- La retropropagación, que calcula el gradiente (Respuesta)
- Una ingeniera que revisa cada dial a mano
¿Una pérdida más baja significa que Vireo ya acierta siempre?
- No, significa que sus apuestas encajan mejor con el texto de entrenamiento (Respuesta)
- Sí, una pérdida baja significa que ya no comete errores
Recuerda
Entrenar es un solo bucle: medir la pérdida, buscar cuesta abajo y mover cada dial un pequeño paso. El tamaño del paso decide si funciona.
La pérdida mide el error, el gradiente señala cuesta abajo y la tasa de aprendizaje fija el tamaño de cada ajuste.
Datos clave
- La retropropagación, el método que calcula cómo ajustar cada peso de una red, se popularizó en un artículo de 1986 en Nature. · Fuente: Rumelhart, Hinton & Williams, Learning representations by back-propagating errors, 1986
- GPT-3 tiene 175.000 millones de parámetros, y cada uno es un dial que el entrenamiento ajusta. · Fuente: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
- La mayoría de los grandes modelos de lenguaje se entrenan con Adam o una variante cercana, una forma refinada de descenso de gradiente que adapta el tamaño del paso para cada dial. · Fuente: Kingma & Ba, Adam: A Method for Stochastic Optimization, 2015
- Los grandes entrenamientos suelen subir poco a poco la tasa de aprendizaje al principio y bajarla gradualmente a medida que avanzan.
Actualizado:
Preguntas frecuentes
¿Qué es el descenso de gradiente, explicado fácil?
Una forma de encontrar buenos valores dando pequeños pasos cuesta abajo. Miras qué dirección reduce el error, das un pasito hacia allí y repites hasta que el error es bajo.
¿Qué es una función de pérdida?
Una fórmula que convierte el error de un modelo en un solo número. En un modelo de lenguaje mide cuánto le sorprendió el token real: cuanto menos probable lo creía, más alta es la pérdida.
¿Qué es la tasa de aprendizaje?
El tamaño de cada paso de actualización durante el entrenamiento. Si es muy alta, el entrenamiento se vuelve inestable; si es muy baja, tarda muchísimo. Por eso es uno de los ajustes que más se cuidan.
¿Qué es la retropropagación?
El método que calcula, para cada peso de una red, cómo afectaría a la pérdida un pequeño cambio. Va hacia atrás desde la salida, capa a capa, y de ahí su nombre (backpropagation).
Términos relacionados