Zum Inhalt springen
DE

Lektion 3 von 6 · 6 Min. · +100 XP

Wie trainiert das Vorhersagen des nächsten Tokens ein LLM?

Ein großes Sprachmodell wird vortrainiert, indem es immer wieder ein Spiel spielt: Es liest echten Text, das nächste Token ist verdeckt, es wettet darauf, was kommt, prüft dann die echte Antwort und passt seine Gewichte an. Billionenfach wiederholt, zwingt dieses einfache Spiel es, Grammatik, Fakten, Denkmuster und sogar Code aufzunehmen.

▶ Probier es aus

Warum das wichtig ist

Im Vortraining schreibt keine Lehrkraft Antworten. Der Text selbst ist der Lösungsschlüssel. Darum kann ein Modell aus dem ganzen Web lernen, und darum lernt es so viel mehr als Grammatik.

In 6 Minuten kannst du

  • Ein LLM lernt, indem es in echtem Text das nächste Token rät und sich nach jedem Tipp anpasst.
  • Der Text ist sein eigener Lösungsschlüssel, also muss kein Mensch etwas beschriften.
  • Gutes Raten belohnt Grammatik, Fakten, Denken und Code. Darum nehmen Modelle all das auf.

Das übst du

  1. Nimm Vireos Platz ein

    Jede Zeile stammt aus dem Trainingstext. Wette auf das nächste Token und sieh dann, wie ein trainiertes Modell seine Wetten verteilt. Die Prozente sind nur zur Veranschaulichung.

    1. Sie öffnete die Tür und ging ___

      • hinein: 38 % (am wahrscheinlichsten)
      • hinaus: 20 %
      • weg: 12 %
      • langsam: 6 %
      • Tür: 0,1 %
      • andere Wörter: 24 %
      Um hier gut zu raten, muss das Modell Grammatik lernen: Nach „ging“ kommt eine Richtung oder eine Art und Weise, fast nie ein weiteres Nomen.

    2. Wasser gefriert bei 0 Grad ___

      • Celsius: 72 % (am wahrscheinlichsten)
      • .: 10 %
      • und: 5 %
      • Fahrenheit: 3 %
      • andere Wörter: 10 %
      Wer das richtig rät, muss einen Fakt aufgesogen haben. Niemand hat Vireo Physik beigebracht: Der Fakt steht einfach immer wieder im Text.

    3. Anna hat 3 Äpfel und kauft 4 dazu. Jetzt hat sie ___

      • 7: 64 % (am wahrscheinlichsten)
      • sieben: 12 %
      • 4: 3 %
      • viele: 1 %
      • andere Wörter: 20 %
      Einfaches Rechnen gewinnt diese Runde. Wer Text gut vorhersagen will, wird still für alles belohnt, was hilft, auch für schrittweises Denken.

    4. for i in range( ___

      • 10: 30 % (am wahrscheinlichsten)
      • len: 26 %
      • n: 20 %
      • Äpfel: 0,1 %
      • andere Wörter: 24 %
      Code ist auch Text. Wer an Millionen Programmen übt, lernt nebenbei die Muster von Programmiersprachen.

    5. Englisch: thank you. Deutsch: ___

      • danke: 82 % (am wahrscheinlichsten)
      • thank: 3 %
      • bitte: 2 %
      • andere Wörter: 13 %
      Solche Paare stehen überall im Web, also lernt das Modell das Übersetzen als Nebeneffekt des Token-Ratens.

    6. Die Katze meiner Nachbarin heißt ___

      • Felix: 5 % (am wahrscheinlichsten)
      • Luna: 5 % (am wahrscheinlichsten)
      • Herr: 4 %
      • Tiger: 2 %
      • andere Wörter: 84 %
      Das kann dir kein Text verraten. Das Modell lernt, seine Wetten dünn zu verteilen, wählt aber trotzdem einen Namen. Eine Wurzel selbstsicher erfundener Antworten.

  2. Ein Schritt Vortraining

    Bring eine Runde des Trainingsspiels in die richtige Reihenfolge.

    1. Ein Stück echten Text aus den Trainingsdaten nehmen
    2. Das nächste Token verdecken
    3. Vireo wettet auf jedes mögliche nächste Token
    4. Das echte Token aufdecken und messen, wie überrascht Vireo war
    5. Die Gewichte so stupsen, dass das echte Token eine höhere Chance bekommt
    6. Ein Token weiterrücken und nochmal spielen

  3. Was bringt diese Runde bei?

    Jede Lücke belohnt eine andere Fähigkeit. Sortiere sie.

    • Die Katzen ___ müde. (sind) → Grammatik
    • Der größte Planet ist ___ (Jupiter) → Fakten
    • 12 + 30 = ___ (42) → Denken
    • Gestern ___ ich zur Schule. (ging) → Grammatik
    • Wasser kocht auf Meereshöhe bei ___ °C. (100) → Fakten
    • Finn ist größer als Mia, Mia größer als Elias, also ist Elias am ___ (kleinsten) → Denken

Merk dir

Vortraining ist ein Spiel: das nächste Token raten, prüfen, anpassen. Billionenfach gespielt, bringt es weit mehr als Wörter bei.

Ein Spiel, das nächste Token raten, bringt Grammatik, Fakten, Mathe und Code auf einmal bei.

Die wichtigsten Fakten

  • 1951 maß Claude Shannon, wie vorhersagbar Englisch ist, indem er Menschen den nächsten Buchstaben eines Texts raten ließ. · Quelle: C. E. Shannon, Prediction and Entropy of Printed English, Bell System Technical Journal, 1951
  • Llama 3 wurde mit über 15 Billionen Text-Tokens vortrainiert. · Quelle: Meta, The Llama 3 Herd of Models, 2024
  • Ein großer Teil des Trainingstexts von GPT-3 stammte aus einer gefilterten Version von Common Crawl, einem offenen Archiv des Webs. · Quelle: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
  • Ein Modell, das nur darauf trainiert war, das nächste Wort vorherzusagen, konnte sich schon an Aufgaben wie Übersetzen und Zusammenfassen versuchen, ohne eigens darauf trainiert zu sein. · Quelle: Radford et al., Language Models are Unsupervised Multitask Learners, OpenAI, 2019

Aktualisiert:

Häufige Fragen

Was ist Next-Token-Prediction?

Die Trainingsaufgabe hinter großen Sprachmodellen: Zu einem Text das Token vorhersagen, das als Nächstes kommt. Das Modell bewertet jedes mögliche Token und lernt daraus, wie falsch es lag.

Was ist selbstüberwachtes Lernen?

Lernen, bei dem die Daten ihre eigenen Antworten liefern. Ein Sprachmodell verdeckt das nächste Token in echtem Text und versucht es zu raten, also muss niemand Beispiele von Hand beschriften.

Wie kann Wörter-Vorhersagen einem Modell Fakten beibringen?

Viele nächste Tokens lassen sich nur raten, wenn man etwas über die Welt weiß. Um dort weniger Fehler zu machen, muss das Modell Muster in seinen Gewichten speichern, die wie Fakten funktionieren.

Mit wie vielen Tokens werden LLMs trainiert?

Moderne große Sprachmodelle werden mit Billionen Tokens vortrainiert. Meta nannte für Llama 3 zum Beispiel über 15 Billionen Tokens.

Verwandte Begriffe