¿Qué es el ajuste con instrucciones en los modelos de lenguaje?
El ajuste con instrucciones (instruction tuning), también llamado ajuste fino supervisado, es el paso que convierte un modelo base en un asistente. El modelo sigue entrenando con miles de ejemplos escritos por personas: cada uno es una petición junto a una respuesta ideal. Aprende el patrón «petición y luego respuesta útil», así que en vez de continuar tu texto, lo responde.
▶ Pruébalo
Por qué importa
Un modelo recién preentrenado solo continúa texto: hazle una pregunta y puede escribir cinco preguntas más. Unos miles de buenos ejemplos le enseñan la forma de una respuesta útil.
En 6 minutos sabrás
- Un modelo base continúa texto. No sabe que debe responderte.
- El ajuste con instrucciones lo sigue entrenando con peticiones unidas a respuestas ideales.
- El modelo copia mucho sus ejemplos, así que lo que más importa es su calidad, variedad y tono.
Lo que vas a practicar
¿Autocompletado o asistente?
La petición era: «Dame 3 consejos para dormir mejor». ¿Quién escribió cada respuesta, el modelo base o el asistente ajustado?
- Dame 3 consejos para comer mejor. Dame 3 consejos para moverte más. → Modelo base
- 1. Acuéstate a la misma hora. 2. Baja las pantallas una hora antes. 3. Nada de café por la tarde. → Asistente ajustado
- …fue la publicación más leída de nuestro foro en marzo. Respuesta n.º 1: → Modelo base
- ¡Claro! Prueba un cuarto fresco y oscuro, una hora fija para levantarte y nada de móvil en la cama. → Asistente ajustado
- Con gusto. ¿Te cuesta más dormirte o seguir dormido? → Asistente ajustado
Mira cómo cambian las probabilidades
Ponte en el lugar de Vireo y elige la siguiente palabra, antes y después del ajuste. Los porcentajes son ilustrativos, inventados para mostrar la idea.
[Modelo base, antes del ajuste]
Nombra tres frutas. ___- Nombra: 34 % (la más probable)
- La: 12 %
- Manzana: 8 %
- Plátanos: 4 %
- otras palabras: 42 %
[Vireo, después del ajuste]
Usuario: Nombra tres frutas.
Vireo: ___- Manzana: 55 % (la más probable)
- Claro: 25 %
- Nombra: 1 %
- otras palabras: 19 %
[Vireo, después del ajuste]
Usuario: Di «buenos días» en inglés.
Vireo: ___- Good: 70 % (la más probable)
- Claro: 15 %
- Buenos: 5 %
- Di: 1 %
- otras palabras: 9 %
Elige los ejemplos de entrenamiento
Tomás está preparando el conjunto de ajuste de Vireo. ¿Qué ejemplos deberían entrar? Elige todos los buenos.
- Resume este correo en una línea → un resumen claro de una línea
- ¿Cuánto es el 15 % de 80? → «12», con el cálculo
- Escribe un poema de cumpleaños para mi abuela → un poema breve y cariñoso
- Ayúdame a entrar en la cuenta de mi ex → un no amable y claro
- ¿Cuál es la capital de Canadá? → «Toronto»
- Una página web cualquiera, sin ninguna petición
- Explica la lluvia a un niño → 900 palabras de jerga
Recuerda
El ajuste con instrucciones muestra a un modelo base miles de ejemplos de petición y respuesta, para que responder sea su paso siguiente más probable.
El ajuste con instrucciones muestra al modelo ejemplos de petición y respuesta hasta que responder es su paso siguiente más probable.
Datos clave
- En el estudio de InstructGPT, la gente prefirió las respuestas de un modelo de 1300 millones de parámetros ajustado para seguir instrucciones a las de GPT-3, de 175 000 millones, un modelo más de 100 veces mayor. · Fuente: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
- Ajustar un modelo con muchas tareas distintas escritas como instrucciones lo hace mejor en tareas nuevas con las que nunca se ajustó. · Fuente: Wei et al., Finetuned Language Models Are Zero-Shot Learners (FLAN), Google, 2021
- El estudio LIMA ajustó un modelo grande con solo 1000 ejemplos bien elegidos y aun así logró un buen comportamiento de asistente, lo que sugiere que la calidad importa más que la cantidad. · Fuente: Zhou et al., LIMA: Less Is More for Alignment, Meta, 2023
- Al ajuste con instrucciones se le llama a menudo ajuste fino supervisado (SFT, por sus siglas en inglés), porque cada ejemplo de entrenamiento incluye la respuesta que el modelo debe dar.
Actualizado:
Preguntas frecuentes
¿Qué diferencia hay entre un modelo base y un modelo ajustado con instrucciones?
Un modelo base solo ha aprendido a continuar texto, así que puede responder a una pregunta con más preguntas. Un modelo ajustado con instrucciones se ha entrenado además con ejemplos de petición y respuesta, así que responde a lo que pides.
¿Qué es el ajuste fino supervisado (SFT)?
Es un entrenamiento extra con ejemplos que incluyen cada uno la salida correcta. En los chatbots, esos ejemplos son peticiones unidas a respuestas ideales escritas o revisadas por personas.
¿Cuántos datos necesita el ajuste con instrucciones?
Muchos menos que el preentrenamiento: de miles a cientos de miles de ejemplos, frente a billones de palabras. Estudios como LIMA sugieren que un conjunto pequeño de ejemplos excelentes da mucho de sí.
¿Quién escribe los datos del ajuste con instrucciones?
Normalmente redactores formados y especialistas contratados por los laboratorios de IA, a veces con ayuda de otros modelos. Sus ejemplos marcan el estilo del asistente, por eso reciben pautas detalladas.
Términos relacionados