Comment sont créés les LLM / Glossaire

Pré-entraînement

Le pré-entraînement est la première et la plus grosse étape de la création d'un modèle de langage : il lit une quantité énorme de texte et apprend en prédisant le token suivant, encore et encore, sans aucune étiquette humaine.

Pendant le pré-entraînement, le modèle voit du vrai texte dont le token suivant est caché, fait une supposition, regarde la vraie réponse et ajuste un peu ses poids. Le texte fournit lui-même les réponses, donc personne n'a besoin d'étiqueter quoi que ce soit.

Répété sur des milliers de milliards de tokens, ce jeu simple oblige le modèle à apprendre la grammaire, des faits, des styles d'écriture, des schémas de raisonnement et du code. Llama 3, par exemple, a été pré-entraîné sur plus de 15 000 milliards de tokens.

Le pré-entraînement consomme l'essentiel de la puissance de calcul dépensée pour un modèle et lui apporte l'essentiel de ses connaissances. Le résultat est un modèle de base qui prolonge bien un texte mais ne suit pas encore les instructions ; le fine-tuning et l'entraînement par retours viennent ensuite.