Comment sont créés les LLM / Glossaire

Fine-tuning (réglage fin)

Le fine-tuning consiste à entraîner un peu plus un modèle déjà pré-entraîné sur un ensemble plus petit et ciblé d'exemples, pour qu'il devienne meilleur à une tâche ou se comporte d'une certaine façon.

Le pré-entraînement donne au modèle des connaissances larges ; le fine-tuning le façonne. Le fine-tuning sur instructions, aussi appelé fine-tuning supervisé, entraîne un modèle de base sur des demandes associées à des réponses idéales écrites par des humains, ce qui transforme un prolongeur de texte en assistant.

Le fine-tuning demande bien moins de données que le pré-entraînement. Ajuster un modèle sur de nombreuses tâches formulées comme des instructions l'a rendu meilleur sur de nouvelles tâches jamais vues, et une étude a obtenu un bon comportement d'assistant avec seulement 1 000 exemples soigneusement choisis.

Les entreprises ajustent aussi des modèles sur leurs propres données, par exemple pour adopter un style d'écriture ou un domaine spécialisé. Des méthodes plus légères comme LoRA n'entraînent qu'un petit ensemble de poids supplémentaires, ce qui permet de faire du fine-tuning avec bien moins de matériel.