Zum Inhalt springen
DE

Lektion 4 von 6 · 6 Min. · +100 XP

Wie erzeugt ein LLM eine Antwort, Token für Token?

Ein Sprachmodell schreibt seine Antwort Token für Token. Bei jedem Schritt bewertet es jedes mögliche nächste Token, macht aus den Werten Wahrscheinlichkeiten und zieht eins, sodass wahrscheinliche Tokens meistens gewinnen. Das Token wird an den Text gehängt, und die Schleife läuft weiter bis zu einem Stopp-Token. Die Temperatur macht die Ziehung sicherer oder mutiger.

▶ Probier es aus

Warum das wichtig ist

Jede Antwort, die du liest, wurde Token für Token aus einer Liste von Wahrscheinlichkeiten gezogen. Das erklärt, warum Antworten nach und nach erscheinen, warum sie variieren und wie ein einziger Regler den Ton ändert.

In 6 Minuten kannst du

  • Sprachmodelle schreiben, indem sie jedes nächste Token bewerten, eins ziehen und das wiederholen.
  • Verschiedene Antworten auf dieselbe Frage kommen von anderen Ziehungen, nicht von einem Sinneswandel.
  • Für Fakten und Mathe helfen stabile Einstellungen; für Ideen bringen wärmere Einstellungen Vielfalt.

Das übst du

  1. Die Generierungsschleife

    Du schickst Vireo eine Frage. Bring die Schritte, mit denen die Antwort entsteht, in die richtige Reihenfolge.

    1. Deine Nachricht wird in Tokens zerlegt
    2. Das Modell bewertet jedes mögliche nächste Token
    3. Aus den Werten werden Wahrscheinlichkeiten, geformt von der Temperatur
    4. Ein Token wird gezogen und an den Text gehängt
    5. Die Schleife läuft, bis ein Stopp-Token gezogen wird

  2. Bedien die Textmaschine

    Drück auf Nächstes Token und sieh zu, wie das Rad jedes Wort zieht. Stell dann für jede Mission die Regler ein und teste sie. Die Wahrscheinlichkeiten sind ausgedacht, um die Idee zu zeigen.

    1. Eine Matheantwort muss verlässlich sein: die richtige Zahl, jedes einzelne Mal.

      Du: Was ist 7 × 8?

      Nächstes Token · Chancen

      1. “7 × 8” 70 % · “Sieben mal acht” 22 % · “Das Ergebnis” 8 %
      2. “ist” 90 % · “ergibt” 8 % · “macht” 2 %
      3. “56” 84 % · “54” 7 % · “58” 5 % · “65” 3 % · “lila” 1 %
      4. “.” 90 % · “!” 10 %

      ✓ Bei niedriger Temperatur gewinnt das Top-Token fast jede Ziehung, also sagen alle drei Antworten 56. Für Fakten, Mathe und Code willst du es kühl.

    2. Brainstorming: Die Robotik-AG will viele verschiedene Teamnamen zur Abstimmung.

      Du: Schlag einen Namen für unser Robotik-Team vor.

      Nächstes Token · Chancen

      1. “Team” 100 %
      2. “Turbo” 50 % · “Blitz” 20 % · “Zahnrad” 14 % · “Pixel” 10 % · “Neon” 6 %
      3. “-Eulen” 55 % · “-Raketen” 20 % · “-Zauberer” 12 % · “-Füchse” 9 % · “-Funken” 4 %

      ✓ Wärmere Wahrscheinlichkeiten geben unwahrscheinlicheren Wörtern eine echte Chance, also bringt jede Ziehung einen neuen Namen. Bei Ideen geht es um Vielfalt.

    3. Ein Geschichtenanfang soll überraschen, aber trotzdem Sinn ergeben.

      Du: Beginn eine kurze Geschichte über einen Leuchtturm.

      Nächstes Token · Chancen

      1. “Der Leuchtturmwärter” 100 %
      2. “fand” 48 % · “hörte” 26 % · “malte” 18 % · “die” 5 % · “aß” 3 %
      3. “eine” 66 % · “eine alte” 20 % · “nur eine” 10 % · “glorp” 4 %
      4. “Nachricht” 40 % · “Möwe” 25 % · “Tür” 20 % · “Socke” 10 % · “von von” 5 %
      5. “im Nebel.” 50 % · “unter der Treppe.” 28 % · “in einer Flasche.” 17 % · “Banane Banane” 5 %

      ✓ Hohe Temperatur für Überraschung, Top-k 3, damit bei jedem Schritt nur die drei wahrscheinlichsten Wörter gezogen werden können. Kreativ, und der Unsinn am Ende wird abgeschnitten.

  3. Was das für dich bedeutet

    1. Du stellst Vireo zweimal dieselbe Frage und bekommst zwei verschiedene Formulierungen. Was ist passiert?

      • Jedes Token wurde neu aus den Wahrscheinlichkeiten gezogen (Antwort)
      • Vireo hat zwischen den Fragen etwas Neues gelernt

    2. Warum erscheint eine lange Antwort Wort für Wort auf dem Bildschirm?

      • Jedes Token entsteht erst nach dem vorherigen (Antwort)
      • Das ist eine Animation, damit die App freundlich wirkt

    3. Ein Entwickler stellt die Temperatur für ein Tool, das Steuerformulare ausfüllt, auf 0. Gute Idee?

      • Ja: Das Top-Token gewinnt immer, die Antworten sind stabil (Antwort)
      • Nein: Temperatur 0 schaltet das Modell ab

Merk dir

Eine Antwort wird Token für Token aus einer Liste von Wahrscheinlichkeiten gezogen. Niedrige Temperatur ist stabil, hohe kreativ.

Eine Antwort wird Token für Token aus Wahrscheinlichkeiten gezogen. Niedrige Temperatur ist verlässlich, hohe kreativ, und Top-k schneidet den Unsinn ab.

Die wichtigsten Fakten

  • Der Transformer, die Bauweise hinter heutigen großen Sprachmodellen, erzeugt seine Ausgabe Token für Token und gibt jedes neue Token als Eingabe für das nächste zurück. · Quelle: Vaswani et al., Attention Is All You Need, Google, 2017
  • Forschende fanden, dass immer das wahrscheinlichste Wort zu nehmen eher fade, repetitive Texte erzeugt, und schlugen Nucleus-Sampling (Top-p) vor: Gezogen wird nur aus der kleinsten Gruppe von Tokens, die den Großteil der Wahrscheinlichkeit abdeckt. · Quelle: Holtzman et al., The Curious Case of Neural Text Degeneration, ICLR 2020
  • Top-k-Sampling, also nur aus den k wahrscheinlichsten Tokens zu ziehen, erzeugte abwechslungsreichere Geschichten als übliche Verfahren. · Quelle: Fan, Lewis and Dauphin, Hierarchical Neural Story Generation, ACL 2018
  • Die Temperatur teilt die Rohwerte des Modells, bevor daraus Wahrscheinlichkeiten werden: Unter 1 wird der Favorit stärker, über 1 gleichen sich die Chancen an.

Aktualisiert:

Häufige Fragen

Was ist die Temperatur bei einem LLM?

Die Temperatur ist eine Einstellung, die die Wahrscheinlichkeiten vor jeder Ziehung umformt. Niedrige Werte lassen fast immer das wahrscheinlichste Token gewinnen, für stabile Antworten. Hohe Werte gleichen die Chancen an, die Antworten werden vielfältiger und, zu weit getrieben, weniger sinnvoll.

Warum geben KI-Chatbots auf dieselbe Frage verschiedene Antworten?

Chatbots ziehen jedes Token meist aus einer Liste von Wahrscheinlichkeiten, statt immer das Top-Token zu nehmen. Eine andere Ziehung früh in der Antwort führt zu anderen Formulierungen und manchmal zu einer anderen Antwort.

Was ist Top-k-Sampling?

Beim Top-k-Sampling darf das Modell nur aus den k wahrscheinlichsten nächsten Tokens ziehen. So bleibt etwas Vielfalt, und der lange Schwanz unwahrscheinlicher, oft unsinniger Tokens wird abgeschnitten.

Woher weiß ein LLM, wann es aufhören soll?

Im Training hat es ein spezielles Stopp-Token gelernt, das das Ende einer Antwort markiert. Wird dieses Token gezogen oder ein Längenlimit erreicht, endet die Generierung.

Verwandte Begriffe