Wie LLMs entstehen / Glossar

Wissensdestillation (Knowledge Distillation)

Bei der Wissensdestillation lernt ein kleines „Schüler“-Modell, die Ausgaben eines großen „Lehrer“-Modells nachzuahmen. So behält der Schüler viel vom Können des Lehrers, bei einem Bruchteil der Größe.

Der Schüler lernt nicht nur die Top-Antwort des Lehrers, sondern dessen ganze Verteilung der Chancen, etwa „wahrscheinlich Katze, ein bisschen wie Hund, sicher kein Auto“. Das trägt mehr Information als eine einzige richtige Antwort.

Die Idee wurde 2015 durch einen Forschungsartikel bekannt. Ein bekanntes Beispiel, DistilBERT, war 40 % kleiner und 60 % schneller als das Modell, von dem es lernte, und behielt 97 % von dessen Sprachverständnis.

Viele kleine, schnelle Sprachmodelle werden heute teilweise mit Antworten größerer Modelle trainiert. Destillation wird oft mit Quantisierung kombiniert, damit Modelle auf Handys und Laptops passen.