Wie LLMs entstehen / Glossar

Temperatur (KI)

Die Temperatur ist eine Einstellung, die steuert, wie vorhersehbar oder abwechslungsreich die Ausgabe eines Sprachmodells ist. Niedrige Temperatur hält es bei den wahrscheinlichsten Tokens, hohe macht unwahrscheinlichere häufiger.

Für jedes nächste Token bewertet das Modell alle Optionen, macht aus den Werten Chancen und zieht eins. Die Temperatur teilt die Werte vor diesem Schritt: Unter 1 wird der Favorit noch stärker, über 1 gleichen sich die Chancen an.

Niedrige Temperatur passt zu Fakten, Code und Datenauszügen, wo du dieselbe verlässliche Antwort willst. Höhere Temperatur passt zu Brainstorming und kreativem Schreiben, aber zu weit aufgedreht wird der Text seltsam oder ergibt weniger Sinn.

Die Temperatur wird oft mit anderen Sampling-Regeln kombiniert, etwa Top-k, das nur aus den k wahrscheinlichsten Tokens zieht, oder Top-p, das nur aus der kleinsten Gruppe von Tokens zieht, die den Großteil der Chancen abdeckt.