Comment sont créés les LLM / Glossaire

Fonction de perte (loss)

Une fonction de perte est la formule qui mesure à quel point la prédiction d'un modèle était fausse. L'entraînement cherche à rendre ce nombre, la perte, aussi petit que possible.

Quand un modèle de langage prédit le token suivant, il donne une probabilité à chaque token possible. La perte regarde la probabilité donnée au token qui est vraiment venu ensuite : une probabilité élevée donne une perte faible, une probabilité faible une perte élevée.

Ce type de perte s'appelle l'entropie croisée, et c'est elle que presque tous les modèles de langage apprennent à faire baisser. La descente de gradient utilise la perte pour calculer dans quel sens ajuster chaque poids.

La perte sert aussi aux labos à suivre leurs progrès. Les lois d'échelle décrivent comment la perte baisse de façon prévisible quand les modèles gagnent en paramètres, en données et en calcul. Une perte faible ne fait pas pour autant un assistant utile ou fiable ; il faut d'autres entraînements et des tests.