Wie schreiben KI-Chatbots ihre Antworten?
Ein KI-Chatbot läuft auf einem großen Sprachmodell, das immer ein kleines Wortstück, ein Token, nach dem anderen schreibt. Bei jedem Schritt bewertet es alle möglichen nächsten Tokens danach, wie wahrscheinlich sie nach dem bisherigen Text sind, wählt eins, hängt es an und wiederholt das. Weil es wahrscheinliche Wörter vorhersagt statt Fakten nachzuschlagen, prüf wichtige Antworten.
▶ Probier es aus
Warum das wichtig ist
Ein Chatbot schlägt Antworten nicht nach. Er sagt immer wieder das nächste Token vorher. Das erklärt, warum er flüssig klingt, warum Antworten variieren und warum er falschliegen kann.
In 6 Minuten kannst du
- Chatbots schreiben ein Token nach dem anderen und wählen jeweils ein wahrscheinliches nächstes Stück.
- Die Temperatur macht Antworten vorsichtiger oder überraschender, darum variieren sie.
- Eine selbstsichere, gut formulierte Antwort kann trotzdem falsch sein. Prüf, was wichtig ist.
Das übst du
Im Maschinenraum
Tipp auf jede Karte, um zu sehen, was dahintersteckt.
- 🧩 Was ist ein Token?
- Ein kleines Textstück: ein ganzes Wort, ein Wortteil oder ein Satzzeichen. „Unglaublich“ wird vielleicht in „Un“, „glaub“ und „lich“ zerlegt.
- 📚 Wie hat Lumi gelernt?
- Durch riesige Mengen Text und ein einziges Übungsspiel: das nächste Token verdecken, raten, vergleichen, anpassen. Milliardenfach.
- 📊 Was sagt Lumi vorher?
- Nicht ein Wort, sondern eine Bewertung für jedes mögliche nächste Token: wie wahrscheinlich es nach dem bisherigen Text ist.
- 🔁 Und wie entsteht eine Antwort?
- Lumi wählt ein wahrscheinliches Token, hängt es an den Text und sagt erneut vorher. Wort für Wort, bis die Antwort fertig ist.
Sei das Sprachmodell
Wähl das nächste Wort. Dann siehst du, wie wahrscheinlich jede Option war. Die Prozente sind ausgedacht, um die Idee zu zeigen, nicht aus einem echten Modell.
Vielen Dank für deine ___
- Hilfe: 40 % (am wahrscheinlichsten)
- Zeit: 15 %
- Nachricht: 8 %
- Traktor: 0,1 %
- andere Wörter: 37 %
Die Hauptstadt von Frankreich ist ___
- Paris: 85 % (am wahrscheinlichsten)
- eine: 5 %
- Lyon: 1 %
- andere Wörter: 9 %
Es war einmal ein ___
- kleiner: 30 % (am wahrscheinlichsten)
- junger: 15 %
- Drache: 5 %
- Toaster: 0,2 %
- andere Wörter: 50 %
- Temperatur: Niedrig. Es war einmal ein kleiner Junge, der in einem kleinen Dorf lebte.
- Temperatur: Hoch. Es war einmal ein Toaster, der davon träumte, den Mond zu besuchen.
Dr. Mira Okafor, eine erfundene Forscherin, gewann den Nobelpreis für ___
- Physik: 30 % (am wahrscheinlichsten)
- Chemie: 25 %
- Medizin: 20 %
- Mathematik: 2 %
- andere Wörter: 23 %
Von der Frage zur Antwort
Du stellst Lumi eine Frage. Bring die Schritte in die richtige Reihenfolge.
- Du schickst deine Nachricht ab
- Der Text wird in Tokens zerlegt
- Das Modell bewertet jedes mögliche nächste Token
- Ein wahrscheinliches Token wird gewählt und angehängt
- Das Modell sagt erneut vorher, bis die Antwort fertig ist
Was heißt das für dich?
Du stellst Lumi zweimal dieselbe Frage und bekommst zwei verschiedene Antworten. Warum?
- Lumi wählt mit etwas Zufall unter wahrscheinlichen Wörtern (Antwort)
- Lumi hat es sich nach Nachdenken anders überlegt
Lumi antwortet flüssig und selbstsicher. Was kannst du daraus schließen?
- Es ist gut formuliert, was nichts darüber sagt, ob es stimmt (Antwort)
- Es muss stimmen, es klingt so sicher
Merk dir
Ein Chatbot sagt immer wieder das nächste Token vorher. Flüssig heißt wahrscheinlich, nicht unbedingt wahr.
Ein Chatbot sagt das nächste Wort vorher. Flüssig heißt wahrscheinlich, nicht unbedingt wahr.
Die wichtigsten Fakten
- 1951 maß Claude Shannon, wie vorhersagbar Englisch ist, indem er Menschen den nächsten Buchstaben eines Textes raten ließ, eine frühe Form des Spiels, das Sprachmodelle heute spielen. · Quelle: C. E. Shannon, Prediction and Entropy of Printed English, Bell System Technical Journal, 1951
- Die meisten heutigen großen Sprachmodelle beruhen auf dem Transformer, einer Bauweise neuronaler Netze, die 2017 in einem Forschungspaper vorgestellt wurde. · Quelle: Vaswani et al., Attention Is All You Need, NeurIPS 2017
- Nach der KI-Verordnung der EU müssen Anbieter von KI-Systemen, die direkt mit Menschen sprechen, etwa Chatbots, dafür sorgen, dass Menschen wissen, dass sie mit einer KI interagieren, außer es ist offensichtlich. Das gilt seit 2. August 2026. · Quelle: KI-Verordnung der EU, Verordnung (EU) 2024/1689, Art. 50
- Ein Sprachmodell speichert keine Faktenliste zum Nachschlagen. Was es „weiß“, steckt verteilt in den Zahlen seines Modells, gelernt aus Mustern in seinen Trainingstexten.
Aktualisiert:
Häufige Fragen
Was ist ein großes Sprachmodell?
Ein großes Sprachmodell (LLM) ist ein KI-Modell, das mit riesigen Textmengen trainiert wurde, um das nächste Token vorherzusagen. Chatbots nutzen ein LLM, um Antworten Stück für Stück zu schreiben.
Was ist ein Token bei KI?
Ein Token ist das kleine Textstück, mit dem ein Sprachmodell arbeitet: ein ganzes Wort, ein Wortteil oder ein Satzzeichen. Modelle lesen und schreiben Text als Folge von Tokens.
Versteht ein Chatbot, was er sagt?
Nicht so wie Menschen. Er hat sehr genaue Sprachmuster gelernt und kann damit nützliche Antworten geben, hat aber keinen direkten Weg zu wissen, ob ein Satz wahr ist.
Warum geben KI-Chatbots auf dieselbe Frage verschiedene Antworten?
Chatbots ziehen meist aus mehreren wahrscheinlichen nächsten Wörtern, statt immer das Top-Wort zu nehmen. Eine andere frühe Wahl führt zu einer anders formulierten, manchmal auch inhaltlich anderen Antwort.
Verwandte Begriffe