Cómo se crean los LLM / Glosario

Ajuste fino (fine-tuning)

El ajuste fino consiste en entrenar un poco más un modelo ya preentrenado con un conjunto de ejemplos más pequeño y específico, para que mejore en una tarea o se comporte de una forma concreta.

El preentrenamiento da al modelo un conocimiento amplio; el ajuste fino le da forma. El ajuste con instrucciones, también llamado ajuste fino supervisado, entrena un modelo base con peticiones emparejadas con respuestas ideales escritas por personas, y así un continuador de texto se convierte en asistente.

El ajuste fino necesita muchos menos datos que el preentrenamiento. Ajustar un modelo con muchas tareas escritas como instrucciones lo hizo mejor en tareas nuevas que nunca había practicado, y un estudio logró un buen comportamiento de asistente con solo 1.000 ejemplos muy bien elegidos.

Las empresas también ajustan modelos con sus propios datos, por ejemplo para imitar un estilo de redacción o dominar un campo especializado. Métodos más ligeros como LoRA entrenan solo un pequeño conjunto de pesos extra, así que el ajuste fino puede hacerse con mucho menos hardware.