Wie LLMs entstehen / Glossar

Attention-Mechanismus

Der Attention-Mechanismus ist der Teil eines Transformers, mit dem jedes Token gewichtet, wie wichtig jedes andere Token für es ist, und dann eine Mischung ihrer Informationen nach diesen Gewichten aufnimmt.

Für jedes Token bewertet Attention, wie relevant jedes andere Token ist, macht aus den Werten Gewichte, die zusammen 100 % ergeben, und mischt deren Informationen hinein. So findet „sie“ in einem Satz das Nomen, auf das es sich bezieht, und so lernt „Bank“, ob die Sitzbank oder das Geldinstitut gemeint ist.

Ein Modell lässt mehrere Attention-Heads nebeneinander laufen, und jeder kann eine andere Art von Verbindung lernen, etwa Pronomen zu Nomen oder Verben zu ihren Objekten. Der ursprüngliche Transformer nutzte 8 Heads pro Schicht, GPT-3 nutzt 96.

Attention vergleicht jedes Token mit jedem anderen, darum wächst ihr Aufwand mit dem Quadrat der Textlänge. Das ist ein Hauptgrund, warum das Kontextfenster eines Modells begrenzt ist.