Wie LLMs entstehen / Glossar

Kontextfenster

Ein Kontextfenster ist die maximale Textmenge, gezählt in Tokens, die ein Sprachmodell auf einmal aufnehmen kann, samt deinen Nachrichten, seinen Antworten, eingefügten Dateien und versteckten Anweisungen.

Alles, was das Modell für sein nächstes Token nutzt, muss ins Fenster passen. Wird ein Gespräch länger, passen die ältesten Teile nicht mehr hinein, und das Modell kann sie nicht nutzen. Frühere Chats kennt es auch nicht, außer eine App gibt sie ihm wieder mit.

Die Fenster sind schnell gewachsen: GPT-3 konnte 2.048 Tokens auf einmal lesen, Llama 3.1 schafft 128.000, genug für ein ganzes Buch. Begrenzt sind sie trotzdem, auch weil der Aufwand der Attention mit dem Quadrat der Textlänge wächst.

Ein größeres Fenster wird nicht immer gut genutzt. Forschende fanden heraus, dass Modelle Informationen am Anfang und Ende eines langen Kontexts besser nutzen als solche, die in der Mitte vergraben sind. Stell das Wichtigste also dorthin, wo es auffällt.