Wie LLMs entstehen / Glossar

Verlustfunktion (Loss)

Eine Verlustfunktion ist die Formel, die misst, wie falsch die Vorhersage eines Modells war. Das Training versucht, diese Zahl, den Loss, so klein wie möglich zu machen.

Wenn ein Sprachmodell das nächste Token vorhersagt, gibt es jedem möglichen Token eine Wahrscheinlichkeit. Der Loss schaut auf die Wahrscheinlichkeit, die es dem Token gab, das wirklich kam: Hohe Wahrscheinlichkeit heißt niedriger Loss, niedrige Wahrscheinlichkeit heißt hoher Loss.

Diese Art Loss heißt Kreuzentropie (Cross-Entropy), und fast jedes Sprachmodell wird darauf trainiert, sie zu senken. Der Gradientenabstieg nutzt den Loss, um zu berechnen, in welche Richtung jedes Gewicht gestupst werden soll.

Am Loss messen Labore auch den Fortschritt. Skalierungsgesetze beschreiben, wie der Loss vorhersagbar sinkt, wenn Modelle mehr Parameter, Daten und Rechenleistung bekommen. Ein niedriger Loss ist aber noch kein hilfreicher oder ehrlicher Assistent; dafür braucht es weiteres Training und Tests.