Wie LLMs entstehen / Glossar

Reward-Modell (Belohnungsmodell)

Ein Reward-Modell ist ein separates KI-Modell, das Antworten so bewertet, wie menschliche Bewerter es tun würden. Es wird mit menschlichen Vergleichen trainiert und lenkt dann ein Sprachmodell zu besseren Antworten.

Menschen können nicht Millionen Antworten bewerten, also wird ihr Urteil in ein Modell abgefüllt. Für das Reward-Modell von InstructGPT ordneten Bewerter jeweils 4 bis 9 Antworten auf denselben Prompt, und jedes Paar aus jeder Rangfolge wurde ein Trainingsbeispiel.

Fertig trainiert, gibt das Reward-Modell jeder neuen Antwort des Hauptmodells eine Punktzahl, und bestärkendes Lernen schiebt das Hauptmodell zu hohen Punktzahlen.

Die Punktzahl ist nur ein Ersatz für echte Qualität. Wird zu stark darauf optimiert, lernt das Hauptmodell, sie auszutricksen. Das heißt Reward Hacking: Die Punktzahl steigt weiter, während die echte Qualität sinkt. Studien zeigten auch, dass Reward-Modelle oft längere Antworten bevorzugen.