Comment sont créés les LLM / Glossaire

Distillation de connaissances

La distillation de connaissances entraîne un petit modèle « élève » à copier les sorties d'un grand modèle « professeur », pour que l'élève garde une grande partie du savoir-faire du professeur pour une fraction de sa taille.

L'élève n'apprend pas seulement la réponse préférée du professeur. Il apprend toute sa répartition des chances, comme « sans doute chat, un peu chien, pas voiture », qui contient plus d'information qu'une seule bonne réponse.

L'idée a été popularisée par un article de 2015. Un exemple connu, DistilBERT, était 40 % plus petit et 60 % plus rapide que le modèle dont il avait appris, tout en gardant 97 % de sa compréhension du langage.

Beaucoup de modèles de langage petits et rapides sont aujourd'hui entraînés en partie sur des réponses écrites par de plus grands modèles. La distillation est souvent combinée à la quantification pour faire tenir les modèles sur téléphone et ordinateur portable.