Wie LLMs entstehen / Glossar

Gradientenabstieg

Der Gradientenabstieg ist das Verfahren, mit dem die meisten KI-Modelle trainiert werden: Er berechnet für jedes Gewicht, welche Richtung den Loss senkt, und stupst dann alle Gewichte einen kleinen Schritt dorthin, immer wieder.

Stell dir vor, du stehst im Nebel an einem Hang und willst ins Tal. Du spürst, wohin der Boden abfällt, und machst einen kleinen Schritt bergab. Der Gradientenabstieg macht dasselbe mit dem Loss, über Milliarden Gewichte gleichzeitig.

Das Gefälle für jedes Gewicht berechnet die Backpropagation, ein Verfahren, das ein Artikel 1986 in Nature bekannt gemacht hat. Die Größe jedes Schritts heißt Lernrate: zu groß, und das Training wird instabil, zu klein, und es kriecht.

Große Sprachmodelle werden meist mit Adam oder einer engen Variante trainiert, einer verfeinerten Form des Gradientenabstiegs, die die Schrittgröße für jedes Gewicht anpasst. Trainingsläufe fahren die Lernrate am Anfang meist langsam hoch und senken sie mit der Zeit.