Was sind Skalierungsgesetze in der KI?
Skalierungsgesetze (Scaling Laws) sind Muster, die zeigen, dass der Loss eines Sprachmodells vorhersagbar sinkt, wenn man Parameter, Trainingsdaten und Rechenleistung hinzufügt. Sie sagen Laboren auch, wie sie ein festes Rechenbudget aufteilen sollen: Eine bekannte Studie von 2022 fand die besten Ergebnisse bei etwa 20 Trainings-Tokens pro Parameter, wenn Modell und Daten gemeinsam wachsen.
▶ Probier es aus
Warum das wichtig ist
Ein großes Modell zu trainieren kostet ein Vermögen an Chips und Strom, darum planen Labore es vorab mit Skalierungsgesetzen. Die Überraschung: Bei festem Budget ist das größte Modell nicht das beste.
In 6 Minuten kannst du
- Die Qualität eines Modells hängt von drei Zutaten ab, die skalieren: Daten, Parameter und Rechenleistung.
- Bei festem Budget schneidet ein Riesenmodell mit zu wenig Daten schlechter ab als ein ausgewogenes.
- Mit Skalierungsgesetzen sagen Labore große Trainingsläufe aus kleinen, günstigen Experimenten vorher.
Das übst du
Drei Dinge, die skalieren
Ordne jede Zeile aus Vireos Trainingsplan der Zutat zu, die sie vergrößert.
- 15 Billionen Text-Tokens → Daten
- Breitere Schichten, und mehr davon → Parameter
- Tausende Chips, die monatelang laufen → Rechenleistung
- 70 Milliarden Gewichte → Parameter
- Bücher, Code und mehr Webseiten hinzufügen → Daten
- Eine Rekord-Stromrechnung → Rechenleistung
Gib das Rechenbudget aus
Zieh den Schieberegler, um das Budget zwischen Modellgröße und Trainingsdaten aufzuteilen. Finde den niedrigsten Loss und leg ihn fest.
Gleiches Budget, zwei Arten, es auszugeben: ein größeres Modell oder mehr Text zum Trainieren. Schieb, probier verschiedene Aufteilungen und beobachte den vorhergesagten Loss. Niedriger ist besser.
- Budget 1×: Die beste Aufteilung hier: 1 Mrd. Parameter mit 20 Mrd. Tokens.
- Budget 10×: Die beste Aufteilung hier: 3,2 Mrd. Parameter mit 63 Mrd. Tokens.
- Budget 100×: Die beste Aufteilung hier: 10 Mrd. Parameter mit 200 Mrd. Tokens.
≈ 20 Trainings-Tokens pro Parameter Beispielhaft: eine Formel im Stil von Chinchilla, keine echten Messwerte
Plane Vireos nächsten Lauf
Gleiches Budget, zwei Pläne. Welches Modell wird wahrscheinlich besser?
- Ein Modell mit einem Viertel der Größe, trainiert mit 4-mal mehr Text (Antwort)
- Das größte Modell, das das Budget hergibt, mit dem Text, der übrig bleibt
Vireo Labs trainiert ein kleines Modell mit weit mehr als 20 Tokens pro Parameter. Warum kann das klug sein?
- Kleine Modelle sind für Millionen Nutzer günstiger im Betrieb, also lohnt sich extra Training (Antwort)
- Das ist ein Fehler, mehr als 20 Tokens pro Parameter können nicht helfen
Was können Labore dank Skalierungsgesetzen tun, bevor sie monatelang rechnen?
- Aus kleineren Testläufen grob vorhersagen, wie gut ein größeres Modell wird (Antwort)
- Genau garantieren, welche Fähigkeiten das Modell haben wird
Merk dir
Bei festem Rechenbudget sollen Modell und Daten gemeinsam wachsen. Der klassische Sweet Spot liegt bei etwa 20 Trainings-Tokens pro Parameter.
Bei festem Budget sollen Modell und Daten gemeinsam wachsen: etwa 20 Trainings-Tokens pro Parameter.
Die wichtigsten Fakten
- Der Loss von Sprachmodellen sinkt gleichmäßig und vorhersagbar nach Potenzgesetzen, wenn Modellgröße, Daten und Rechenleistung wachsen. · Quelle: Kaplan et al., Scaling Laws for Neural Language Models, OpenAI, 2020
- Bei festem Rechenbudget kamen die besten Ergebnisse heraus, wenn Modellgröße und Trainings-Tokens gleichermaßen wuchsen, mit etwa 20 Tokens pro Parameter. · Quelle: Hoffmann et al., Training Compute-Optimal Large Language Models, DeepMind, 2022
- Chinchilla mit 70 Milliarden Parametern, trainiert mit 1,4 Billionen Tokens, schlug Gopher mit 280 Milliarden Parametern, das dasselbe Rechenbudget nutzte. · Quelle: Hoffmann et al., DeepMind, 2022
- GPT-3 mit 175 Milliarden Parametern wurde mit etwa 300 Milliarden Tokens trainiert: weniger als 2 Tokens pro Parameter. · Quelle: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
- Llama 3 wurde mit über 15 Billionen Tokens vortrainiert, weit mehr als 20 pro Parameter, selbst für sein größtes Modell. · Quelle: Meta, The Llama 3 Herd of Models, 2024
Aktualisiert:
Häufige Fragen
Was ist das Chinchilla-Skalierungsgesetz?
Eine Erkenntnis von 2022: Bei fester Trainings-Rechenleistung sollen Modellgröße und Trainingsdaten gemeinsam wachsen. Die Faustregel daraus lautet etwa 20 Trainings-Tokens pro Parameter.
Sind größere KI-Modelle immer besser?
Nicht bei gleichem Budget. Ein größeres Modell hilft nur, wenn es auch genug Trainingsdaten bekommt. Ein kleineres Modell mit mehr Text kann ein viel größeres, untertrainiertes schlagen.
Was bedeutet Rechenleistung beim KI-Training?
Die Gesamtzahl der Berechnungen, mit denen ein Modell trainiert wird. Bezahlt wird sie mit spezialisierten Chips, der Zeit, die sie laufen, und dem Strom, den sie verbrauchen.
Warum trainieren Labore kleine Modelle mit so vielen Daten?
Kleine Modelle sind für jeden Nutzer günstiger und schneller im Betrieb. Sie mit weit mehr Daten als dem rechenoptimalen Maß zu trainieren, holt zusätzliche Qualität heraus, die sich über Millionen Nutzungen auszahlt.
Verwandte Begriffe