Was ist Attention in einem Transformer?
Attention (Aufmerksamkeit) ist der Teil eines Transformers, mit dem jedes Token entscheidet, welche früheren Tokens für es zählen. Es bewertet jedes frühere Token, macht aus den Werten Gewichte, die zusammen 100 % ergeben, und nimmt eine gewichtete Mischung ihrer Informationen auf. So findet „sie“ die Katze, und so weiß „Bank“, ob sie zum Sitzen gemeint ist.
▶ Probier es aus
Warum das wichtig ist
Ein Wort allein ist oft mehrdeutig. Mit Attention findet ein Sprachmodell heraus, worauf sich „sie“, „Bank“ oder „zu groß“ bezieht: Jedes Wort leiht sich Bedeutung von den Wörtern davor.
In 6 Minuten kannst du
- Attention lässt jedes Wort zurückblicken und sich Bedeutung von den Wörtern leihen, die für es zählen.
- Die Gewichte ergeben immer 100 %: Mehr Fokus auf ein Wort heißt weniger auf die anderen.
- Ändere ein Wort, und die Aufmerksamkeit verschiebt sich. Darum verändert der Kontext, was ein Modell versteht.
Das übst du
Sei der Attention-Head
Tipp auf frühere Wörter, um Aufmerksamkeit auf sie zu gießen. Verteile alle 10 Tropfen und vergleiche dann mit einem trainierten Head. Die Gewichte sind beispielhaft.
Die Katze saß, weil sie
Wer ist „sie“?
Trainierter Head: Katze 64% · saß, 18% · weil 12%
Gelesen als: sie = die Katze „Sie“ muss finden, wofür es steht. Der trainierte Head legt das meiste Gewicht auf „Katze“, den einzigen Kandidaten, der sitzen kann.
Wir picknickten im Park auf einer alten Bank
Welche „Bank“: Geld oder Sitzen?
Trainierter Head: Park 66% · picknickten 18% · auf 6%
Gelesen als: Bank = eine Sitzbank Allein könnte „Bank“ das Geldinstitut sein. Der Blick auf „Park“, mit etwas Hilfe von „picknickten“, macht daraus eine Sitzbank.
Die Vase passt nicht in die Kiste . Zu groß
Was ist zu groß?
Trainierter Head: Vase 56% · passt 14% · Kiste 13%
Gelesen als: zu groß = die Vase Was zu groß ist, passt nicht hinein. Um „groß“ zu verstehen, blickt der Head auf die Vase zurück, das Ding, das hineinpassen soll.
Die Vase passt nicht in die Kiste . Zu klein
Und jetzt: Was ist zu klein?
Trainierter Head: Kiste 54% · passt 14% · Vase 13%
Gelesen als: zu klein = die Kiste Ein Wort hat die Bedeutung umgedreht, und die Gewichte drehen sich mit. Attention wird für jeden Text neu berechnet, sie ist keine feste Nachschlagetabelle.
In einem Attention-Head
Tipp auf jede Karte. Jedes Token trägt drei kleine Zahlenlisten.
- 🔦 Query: Was suche ich?
- Das suchende Token schickt eine Query los, etwa „Ich bin ein Pronomen und brauche ein Nomen, das müde werden kann“.
- 🏷️ Key: Was biete ich?
- Jedes frühere Token hält einen Key hoch, ein Etikett dafür, was es ist. Je besser ein Key zur Query passt, desto höher sein Wert.
- 📦 Value: Was gebe ich weiter?
- Die Werte werden zu Gewichten, die zusammen 100 % ergeben. Die Query nimmt dann eine gewichtete Mischung der Values früherer Tokens auf: viel „Katze“, ein bisschen vom Rest.
- 🧠 Warum viele Heads?
- Jede Schicht lässt viele Heads nebeneinander laufen. Einer verbindet vielleicht Pronomen mit Nomen, ein anderer folgt dem Wort direkt davor, ein dritter ordnet Klammern zu.
Wonach kann ein Head suchen?
Forschende schauen in trainierte Modelle. Welche dieser Muster könnte ein Attention-Head aufgreifen? Wähl alle passenden.
- Auf welches Nomen sich ein Pronomen wie „sie“ bezieht
- Das Wort direkt vor dem aktuellen
- Die öffnende Klammer, die eine „)“ schließt
- Das Subjekt, zu dem ein Verb gehört
- Wörter, die erst später in der Antwort kommen
- Ob der Satz in der echten Welt stimmt
Merk dir
Jedes Token verteilt 100 % seiner Aufmerksamkeit auf frühere Tokens und nimmt eine Mischung ihrer Bedeutung auf. Der Kontext verändert die Mischung.
Jedes Wort verteilt 100 % seiner Aufmerksamkeit auf frühere Wörter und nimmt eine Mischung ihrer Bedeutung auf.
Die wichtigsten Fakten
- Der Transformer, die Bauart hinter heutigen großen Sprachmodellen, wurde 2017 in einem Artikel mit dem Titel „Attention Is All You Need“ vorgestellt. · Quelle: Vaswani et al., Google, 2017
- Der ursprüngliche Transformer ließ in jeder Schicht 8 Attention-Heads nebeneinander laufen. · Quelle: Vaswani et al., Attention Is All You Need, 2017
- GPT-3 hat 96 Schichten mit je 96 Attention-Heads. · Quelle: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
- Als Forschende ein trainiertes Sprachmodell untersuchten, fanden sie einzelne Heads, die Pronomen mit ihren Nomen und Verben mit ihren Objekten verbinden, ohne dass dem Modell je Grammatik beigebracht wurde. · Quelle: Clark et al., What Does BERT Look At?, 2019
Aktualisiert:
Häufige Fragen
Was ist Self-Attention, einfach erklärt?
Self-Attention lässt jedes Wort in einem Text auf die anderen Wörter desselben Texts schauen und entscheiden, wie wichtig jedes davon für es ist. Dann nimmt das Wort eine gewichtete Mischung ihrer Bedeutung auf.
Was sind Query, Key und Value?
Drei kleine Zahlenlisten, die jedes Token trägt. Die Query sagt, wonach ein Token sucht, der Key, was es anbietet, und der Value ist das, was es weitergibt, wenn es ausgewählt wird.
Was ist Multi-Head-Attention?
Mehrere Attention-Heads laufen parallel in derselben Schicht. Jeder Head lernt, nach einer anderen Art von Beziehung zu suchen, und ihre Ergebnisse werden kombiniert.
Kann Attention auf zukünftige Wörter schauen?
Nicht in einem Modell, das Text von links nach rechts schreibt. Jedes Token darf nur auf sich selbst und frühere Tokens achten, weil die späteren noch nicht geschrieben sind.
Verwandte Begriffe