Wie LLMs entstehen / Glossar

Skalierungsgesetze (Scaling Laws)

Skalierungsgesetze sind Muster, die zeigen, dass der Loss eines Sprachmodells gleichmäßig und vorhersagbar sinkt, wenn man Parameter, Trainingsdaten und Rechenleistung hinzufügt. Labore planen damit, wie groß sie bauen.

Forschung aus dem Jahr 2020 zeigte, dass der Loss einfachen Potenzgesetzen folgt: Verdoppelt man Modellgröße, Daten oder Rechenleistung, sinkt der Loss um einen vorhersagbaren Betrag. So konnten Labore abschätzen, wie gut ein Modell wird, bevor sie das Geld fürs Training ausgaben.

Eine Studie von 2022 verfeinerte das Rezept: Bei festem Rechenbudget sollen Modell und Daten gemeinsam wachsen, mit etwa 20 Trainings-Tokens pro Parameter. Ihr Modell Chinchilla mit 70 Milliarden Parametern, trainiert mit 1,4 Billionen Tokens, schlug das 280-Milliarden-Modell Gopher mit demselben Budget.

Skalierungsgesetze sagen den Loss vorher, nicht bestimmte Fähigkeiten, darum überraschen manche Fähigkeiten trotzdem. Viele neuere Modelle trainieren außerdem mit weit mehr als 20 Tokens pro Parameter, weil ein kleineres, länger trainiertes Modell danach günstiger zu betreiben ist.