Zum Inhalt springen
DE

Lektion 5 von 6 · 6 Min. · +100 XP

Was ist ein Kontextfenster, und warum vergisst ein Chatbot?

Das Kontextfenster ist die feste Menge Text, gezählt in Tokens, die ein Sprachmodell auf einmal sehen kann: deine Nachrichten, seine Antworten, eingefügte Dateien und versteckte Anweisungen. Wird ein Chat länger, passen die ältesten Teile nicht mehr hinein, und das Modell kann sie nicht nutzen. Frühere Chats kennt es nur, wenn eine App sie wieder einspeist.

▶ Probier es aus

Warum das wichtig ist

Ein Modell hat kein Gedächtnis zwischen Nachrichten: Es liest jedes Mal den ganzen Chat neu, aber nur so viel, wie ins Fenster passt. Darum gehen in langen Chats frühe Details verloren.

In 6 Minuten kannst du

  • Im Fenster stehen deine Nachrichten, die Antworten des Modells, eingefügte Dateien und die Anweisungen der App.
  • Wird ein Chat zu lang, fallen die ältesten Teile heraus, und das Modell kann sie nicht nutzen.
  • Wiederhol in langen Chats wichtige Details, oder starte neu mit einer kurzen Zusammenfassung.

Das übst du

  1. Was steht im Fenster?

    Bei jeder Nachricht liest das Modell sein Fenster von vorn. Was davon braucht dort Platz?

    • Deine Nachrichten in diesem Chat
    • Vireos eigene Antworten in diesem Chat
    • Ein Dokument, das du einfügst
    • Versteckte Anweisungen der App
    • Jedes Buch, mit dem Vireo trainiert wurde
    • Ein Chat mit Vireo vom letzten Monat

  2. Pack das Fenster

    Spiel Julias Chat ab und sieh, wie das Fenster rutscht. Dann hilf Vireo beim Antworten. Die Token-Zahlen sind gerundete, ausgedachte Beispiele.

    Was Vireo sieht: 600 · Vireos Fenster fasst 600 Tokens. Drück Chat abspielen und sieh, was passiert, wenn der Chat zu groß wird.

    1. Julia: Hilf mir, eine Überraschungsparty für meine Schwester Mia zu planen! Sie ist am Samstag, 12. April, und Mia hat eine Erdnussallergie. (40 Tok.)
      Zusammenf.: Party: Sa., 12. April. Mia hat Erdnussallergie. (14 Tok.)
    2. Vireo: Wie schön! Fangen wir mit Gästeliste und Ort an. (30 Tok.)
      Zusammenf.: Nach Gästen und Ort gefragt. (8 Tok.)
    3. Julia: gaesteliste.txt: 24 Namen, Telefonnummern und wer was mitbringt (520 Tok.)
      Zusammenf.: Gästeliste: 24 Personen. (8 Tok.)
    4. Vireo: Bei 24 Gästen passen ein Gemeindesaal oder ein großer Garten. (60 Tok.)
      Zusammenf.: Saal oder Garten für 24. (9 Tok.)
    5. Julia: Sorry, meine Katze ist gerade über die Tastatur gelaufen 😹 (20 Tok.)
      Zusammenf.: Katze auf der Tastatur. (5 Tok.)
    6. Vireo: Hier ein ausführlicher Vergleich von Saal und Garten: Preis, Platz, Wetter, Parken … (300 Tok.)
      Zusammenf.: Julia nimmt den Gemeindesaal. (8 Tok.)
    7. Julia: Zur Torte: Zitronenbiskuit mit Himbeeren, ihr Lieblingskuchen! (25 Tok.)
      Zusammenf.: Über die Torte gesprochen. (6 Tok.)
    8. Vireo: Playlist-Ideen: 40 Hits aus den 90ern, nach Stimmung sortiert … (280 Tok.)
      Zusammenf.: Playlist: 90er-Hits. (6 Tok.)
    9. Julia: Schreib jetzt die Tortenbestellung für die Konditorei: Datum, Gästezahl, Sorte und Allergien. (30 Tok.)

    ✗ Vireo: Bestellung: ein Zitronenbiskuit mit Himbeeren für etwa 10 Gäste. Abholdatum: unklar. Allergien: keine erwähnt.

    Datum, Allergie und Gästezahl standen in frühen Nachrichten, die aus dem Fenster gerutscht sind. Vireo war nicht schlampig: Es konnte sie einfach nicht mehr sehen.

    ✓ Vireo: Bestellung: Zitronenbiskuit mit Himbeeren für 24 Gäste, Abholung am Samstag, 12. April. Bitte streng erdnussfrei: Das Geburtstagskind hat eine Allergie.

    Alles passt, und jedes Detail für die Konditorei ist noch da. Genau das machen Apps in langen Chats im Hintergrund: kürzen, zusammenfassen, Wichtiges behalten.

  3. Fenster oder Training?

    Woher hat Vireo das: aus dem Kontextfenster, aus dem Training oder von nirgends?

    • Dein Name, den du vor zehn Nachrichten genannt hast → Kontextfenster
    • Dass Wasser auf Meereshöhe bei 100 °C kocht → Training
    • Das PDF, das du vor einer Minute hochgeladen hast → Kontextfenster
    • Was du es letzte Woche in einem anderen Chat gefragt hast → Nirgends
    • Wie man eine höfliche E-Mail schreibt → Training
    • Die Nachrichten von heute Morgen, ohne Websuche → Nirgends

Merk dir

Ein Modell sieht nur, was in sein Kontextfenster passt. Lange Chats schieben frühe Details hinaus, also wiederhol oder fasse zusammen, was wichtig ist.

Das Kontextfenster ist das ganze Kurzzeitgedächtnis des Modells. Was nicht hineinpasst, sieht es nicht.

Die wichtigsten Fakten

  • GPT-3, eines der ersten sehr großen Sprachmodelle, konnte ein Kontextfenster von 2.048 Tokens auf einmal lesen. · Quelle: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
  • Metas Llama-3.1-Modelle unterstützen ein Kontextfenster von 128.000 Tokens, genug für ein ganzes Buch. · Quelle: Meta, The Llama 3 Herd of Models, 2024
  • In einem Transformer achtet jedes Token auf jedes andere, darum wächst der Aufwand der Attention mit dem Quadrat der Textlänge. Das ist ein Grund, warum Fenster begrenzt sind. · Quelle: Vaswani et al., Attention Is All You Need, Google, 2017
  • Forschende fanden heraus, dass Modelle Informationen am Anfang und Ende eines langen Kontexts besser nutzen als solche, die in der Mitte stecken. · Quelle: Liu et al., Lost in the Middle: How Language Models Use Long Contexts, 2023

Aktualisiert:

Häufige Fragen

Was ist ein Kontextfenster bei KI?

Es ist die größte Textmenge, gemessen in Tokens, die ein Sprachmodell auf einmal aufnehmen kann. Dazu gehören deine Nachrichten, die Antworten des Modells, hochgeladene Dateien und die versteckten Anweisungen der App.

Warum vergisst ein Chatbot, was ich vorher gesagt habe?

Wird ein Chat länger als das Kontextfenster, passen die ältesten Nachrichten nicht mehr hinein, und das Modell sieht sie nicht. Es hilft, wichtige Details zu wiederholen oder einen neuen Chat mit einer Zusammenfassung zu starten.

Erinnern sich KI-Chatbots an frühere Gespräche?

Das Modell selbst nicht: Jeder Chat beginnt mit leerem Fenster. Manche Apps haben eine Gedächtnisfunktion, die Notizen speichert und in späteren Chats wieder ins Fenster legt.

Ist ein größeres Kontextfenster immer besser?

Es lässt das Modell längere Dokumente und Chats lesen, kostet aber mehr Rechenleistung, und Details mitten in sehr langen Texten können trotzdem übersehen werden.

Verwandte Begriffe