Zum Inhalt springen
DE

Lektion 1 von 6 · 6 Min. · +100 XP

Was ist ein Transformer-Modell in der KI?

Ein Transformer ist die Bauart neuronaler Netze hinter modernen Sprachmodellen. Er macht aus jedem Token eine Zahlenliste und schickt diese durch einen Stapel gleicher Schichten nach oben. In jeder Schicht lässt Attention die Tokens Informationen teilen, und ein Feed-Forward-Teil verfeinert jedes einzelne. Ganz oben bewertet er jedes mögliche nächste Token.

▶ Probier es aus

Warum das wichtig ist

Fast jedes moderne Sprachmodell ist ein Transformer. Wenn du seine zwei Züge kennst, Austausch zwischen Wörtern und Nachdenken über jedes Wort, verstehst du, wie ein Modell Bedeutung Schicht für Schicht aufbaut.

In 6 Minuten kannst du

  • Text wird zu Tokens, und jedes Token wird zu einer Zahlenliste, bevor es in den Stapel geht.
  • Jede Schicht hat zwei Teile: Attention, wo Wörter Informationen teilen, und Feed-Forward, wo jedes Wort verfeinert wird.
  • Dutzende gestapelte Schichten machen aus groben Tipps scharfe Vorhersagen.

Das übst du

  1. Schick einen Satz durch den Stapel

    Bring die Reise von „Der Himmel ist sehr“ in die richtige Reihenfolge, vom rohen Text bis zu Vireos Tipp.

    1. Der Text wird in Tokens zerlegt
    2. Jedes Token wird zu einer Zahlenliste, seinem Embedding
    3. Attention: Jedes Token sammelt Hinweise von früheren Tokens
    4. Feed-Forward: Die Zahlen jedes Tokens werden einzeln verfeinert
    5. Diese zwei Teile wiederholen sich in jeder Schicht, Dutzende Male
    6. Ganz oben werden die Zahlen des letzten Tokens zu einer Bewertung für jedes mögliche nächste Token

  2. Ein Blick in den Turm

    Fachleute können Vireos Tipp auf halber Höhe des Stapels auslesen. Jede Runde zeigt denselben Satz auf einer anderen Höhe. Die Prozente sind nur zur Veranschaulichung.

    1. Schicht 2 von 48:
      Die Schlüssel zum alten Schrank       ___

      • ist: 34 % (am wahrscheinlichsten)
      • sind: 20 %
      • steht: 10 %
      • war: 8 %
      • andere Wörter: 28 %
      Weit unten im Stapel stützt sich der Tipp auf das nächstgelegene Wort, „Schrank“, und das steht im Singular. Die Schichten haben das Verb noch nicht mit „Schlüssel“ verbunden.

    2. Schicht 24 von 48:
      Die Schlüssel zum alten Schrank       ___

      • sind: 45 % (am wahrscheinlichsten)
      • ist: 24 %
      • waren: 10 %
      • war: 5 %
      • andere Wörter: 16 %
      Auf halber Höhe hat Attention das Verb mit „Schlüssel“ verbunden, also überholen Verben im Plural das „ist“.

    3. Schicht 48 von 48:
      Die Schlüssel zum alten Schrank       ___

      • sind: 78 % (am wahrscheinlichsten)
      • waren: 10 %
      • ist: 3 %
      • war: 1 %
      • andere Wörter: 8 %
      Ganz oben ist der Tipp scharf. Jede Schicht hat ein wenig Verständnis ergänzt, darum stapeln Transformer so viele davon.

  3. Welcher Teil macht das?

    Jede Schicht hat zwei Teile. Ordne jede Aufgabe zu.

    • „sie“ holt sich Informationen von „Katze“, drei Wörter zurück → Attention: Wörter teilen
    • Arbeitet an einem Token nach dem anderen, ohne auf die anderen zu schauen → Feed-Forward: jedes Wort allein
    • Verbindet ein Verb mit seinem Subjekt einige Wörter vorher → Attention: Wörter teilen
    • Hält viel von dem, was das Modell gespeichert hat, etwa aufgenommene Fakten → Feed-Forward: jedes Wort allein
    • Entscheidet, wie wichtig jedes frühere Wort gerade ist → Attention: Wörter teilen

  4. Warum haben Transformer gewonnen?

    1. Ältere Sprachmodelle lasen Text Wort für Wort. Was hat der Transformer geändert?

      • Er verarbeitet alle Tokens eines Texts nebeneinander, so nutzt das Training Chips effizient (Antwort)
      • Er liest noch langsamer und genauer, Buchstabe für Buchstabe

    2. Vireo hat 48 Schichten. Wie unterscheiden sie sich?

      • Gleiche Bauart, aber jede Schicht hat ihre eigenen gelernten Gewichte (Antwort)
      • Jede Schicht ist eine völlig andere Art Maschine

Merk dir

Ein Transformer ist eine Schichtbauart, viele Male gestapelt: Attention lässt Wörter teilen, Feed-Forward verfeinert jedes Wort, und oben wird das nächste Token bewertet.

Tokens steigen durch Dutzende gleicher Schichten. Jede Schicht teilt Informationen zwischen Wörtern und verfeinert dann jedes Wort.

Die wichtigsten Fakten

  • Der Transformer wurde 2017 vorgestellt, zuerst zum Übersetzen zwischen Sprachen. · Quelle: Vaswani et al., Attention Is All You Need, Google, 2017
  • Der ursprüngliche Transformer stapelte auf jeder Seite 6 Schichten, eine Seite zum Lesen der Eingabe und eine zum Schreiben der Ausgabe. · Quelle: Vaswani et al., 2017
  • Das größte GPT-3-Modell stapelt 96 Transformer-Schichten. · Quelle: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
  • Forschende fanden heraus, dass sich die Feed-Forward-Teile von Transformer-Schichten wie Schlüssel-Wert-Speicher verhalten, die Muster aus dem Trainingstext speichern. · Quelle: Geva et al., Transformer Feed-Forward Layers Are Key-Value Memories, 2021

Aktualisiert:

Häufige Fragen

Wofür steht das T in GPT?

Für Transformer. GPT steht für Generative Pre-trained Transformer: ein Modell, das Text erzeugt, zuerst mit viel Text vortrainiert wird und die Transformer-Bauart nutzt.

Was ist eine Schicht in einem neuronalen Netz?

Eine Verarbeitungsstufe. In einem Transformer nimmt jede Schicht die Zahlen jedes Tokens, lässt sie über Attention Informationen teilen, verfeinert sie mit einem Feed-Forward-Teil und gibt sie an die nächste Schicht weiter.

Warum sind Transformer besser als ältere Modelle?

Sie verarbeiten im Training alle Tokens eines Texts parallel und können weit auseinanderliegende Wörter verbinden. Dadurch wurde es praktikabel, viel größere Modelle mit viel mehr Text zu trainieren.

Sind alle großen Sprachmodelle Transformer?

Fast alle heute verbreiteten sind es oder sind enge Varianten davon. Forschende testen immer wieder andere Bauarten, aber der Transformer ist etwa seit 2018 der Standard.

Verwandte Begriffe