Wie LLMs entstehen / Glossar

Transformer

Ein Transformer ist die Bauart neuronaler Netze hinter fast allen modernen Sprachmodellen. Er verarbeitet alle Tokens eines Texts parallel und nutzt Attention, damit die Tokens Informationen austauschen.

Der Transformer wurde 2017 in einem Forschungsartikel namens „Attention Is All You Need“ vorgestellt, zuerst zum Übersetzen zwischen Sprachen. Die Kernidee: nicht mehr Schritt für Schritt lesen, sondern jedes Wort auf einmal auf jedes andere schauen lassen.

Ein Transformer macht aus jedem Token ein Embedding und schickt es durch einen Stapel gleicher Schichten nach oben. In jeder Schicht mischt Attention Informationen anderer Tokens hinein, und ein Feed-Forward-Teil verfeinert jedes Token. Das größte GPT-3-Modell stapelt 96 solcher Schichten.

Weil die Arbeit parallel läuft, trainieren Transformer effizient auf modernen Chips, und das hat sehr große Modelle erst möglich gemacht. Dieselbe Bauart wird heute auch für Bilder, Audio und Code genutzt.