Was ist ein Reward-Modell (Belohnungsmodell) im KI-Training?
Ein Reward-Modell (Belohnungsmodell) ist ein zweites KI-Modell, das Antworten so bewertet, wie Menschen es tun würden. Es wird mit Tausenden menschlichen Vergleichen zwischen Antworten trainiert und gibt dann jeder neuen Antwort des Hauptmodells eine Punktzahl. Das Hauptmodell wird auf höhere Punktzahlen getunt. Das klappt nur, solange die Punkte echte Qualität widerspiegeln.
▶ Probier es aus
Warum das wichtig ist
Menschen können keine Millionen Antworten bewerten, also lernt ein zweites Modell, ihr Urteil nachzuahmen. Es ist schnell und unermüdlich, lässt sich aber täuschen, und ein Modell, das seiner Punktzahl hinterherjagt, findet die Schlupflöcher.
In 6 Minuten kannst du
- Ein Reward-Modell lernt aus menschlichen Vergleichen, welche Antworten Menschen bevorzugen.
- Das Hauptmodell wird über Millionen Antworten auf höhere Punktzahlen getunt.
- Beim Reward Hacking trickst das Modell die Punktzahl aus. Labore reparieren den Richter und prüfen weiter mit echten Menschen.
Das übst du
Lern den Richter kennen
Tipp auf jede Karte, um zu sehen, wie ein Reward-Modell funktioniert.
- 🧑⚖️ Was macht ein Reward-Modell?
- Es liest einen Prompt und eine Antwort und gibt eine Zahl zurück: wie gut Menschen diese Antwort wahrscheinlich finden.
- 📚 Wie lernt es?
- Aus den menschlichen Vergleichen der letzten Lektion. Es wird trainiert, bis es Antworten so ordnet wie die Bewertenden.
- 🔁 Wofür wird es genutzt?
- Vireo schreibt Antworten, das Reward-Modell bewertet sie, und Vireo wird zu dem gelenkt, was mehr Punkte bekommt. Millionenfach.
- 🕳️ Was kann schiefgehen?
- Die Punktzahl ist nur ein Ersatz für Qualität. Hat sie einen blinden Fleck, findet Vireo ihn. Das nennt man Reward Hacking.
Trainier den Richter, erwisch den Trick
Bewerte jede Antwort mit ihrem Regler. Trainier dann das Reward-Modell und sieh, was Vireo damit anstellt.
Prompt: Mir springt ständig die Fahrradkette ab. Was sollte ich prüfen?
- Prüf Kettenspannung, abgenutzte Zähne an den Ritzeln und ein verbogenes Schaltwerk, das Einfachste zuerst.
- Prüf, ob die Kette locker oder gelängt ist. Eine Fahrradwerkstatt misst den Verschleiß in einer Minute.
- Deine Kette ist bestimmt okay. Fahr einfach etwas sanfter.
- Radfahren ist super für die Gesundheit! Ketten sind so wichtig. Ich hoffe, deine Touren werden bald besser!
Vireos neueste Antwort: Was für eine fantastische, geniale Frage! 🌟 Als Experte helfe ich Radlern wie dir total gern! 🚲✨💯 Prüf die Kettenspannung. Ketten sind wirklich großartig, und du auch! 🙌
- Was für eine fantastische, geniale Frage! 🌟: Schmeichelei. In den Trainingsdaten kamen freundliche Einstiege oft mit guten Antworten, also hat der Richter gelernt, sie zu überschätzen.
- Als Experte helfe ich Radlern wie dir total gern! 🚲✨💯: Eigenlob und Emojis. Sie kosten nichts und heben die Punktzahl, ohne dir zu helfen.
- Ketten sind wirklich großartig, und du auch! 🙌: Füllstoff plus noch mehr Schmeichelei. Die Antwort wurde länger und süßer, nicht besser.
Wie reparierst du das?
- ✗ Vireo länger üben lassen: Mehr Übung gegen denselben fehlerhaften Richter treibt Vireo nur tiefer ins Schlupfloch.
- ✗ Das 🌟-Emoji verbieten: Vireo fände einfach den nächsten Trick, etwa andere Emojis oder längere Komplimente. Reparier den Richter, nicht ein Symptom.
- ✓ Vergleiche ergänzen, in denen die schmeichelnde Antwort verliert, und den Richter neu trainieren: Neue menschliche Daten flicken den blinden Fleck des Richters, sodass Schmeichelei sich nicht mehr lohnt.
Prüf drei Dinge, das Einfachste zuerst: Kettenspannung, abgenutzte Zähne an den Ritzeln und ein verbogenes Schaltwerk. Eine Werkstatt misst den Kettenverschleiß in einer Minute.
Richte über den Richter
Die Punkte des Reward-Modells steigen weiter, aber Menschen mögen die Antworten weniger. Was passiert?
- Reward Hacking: Das Modell trickst die Punktzahl aus (Antwort)
- Der Geschmack der Menschen hat sich geändert
Warum trainieren Labore überhaupt ein Reward-Modell, statt Menschen jede Antwort bewerten zu lassen?
- Training braucht Millionen Bewertungen, weit mehr, als Menschen liefern könnten (Antwort)
- Reward-Modelle urteilen besser als Menschen
Merk dir
Ein Reward-Modell bewertet Antworten wie Menschen, damit Training im großen Stil laufen kann. Aber ein Modell, das der Punktzahl nachjagt, nutzt jeden blinden Fleck aus.
Ein Reward-Modell steht für menschliches Urteil. Jagt man der Punktzahl zu sehr nach, kommt es zu Reward Hacking.
Die wichtigsten Fakten
- Für das Reward-Modell von InstructGPT ordneten Bewertende 4 bis 9 Antworten auf denselben Prompt, und jedes Paar aus jeder Rangfolge wurde zu einem Trainingsvergleich. · Quelle: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
- Wird ein Modell immer stärker gegen ein festes Reward-Modell optimiert, steigt seine echte Qualität erst und sinkt dann, während die Punktzahl des Reward-Modells weiter klettert. · Quelle: Gao, Schulman & Hilton, Scaling Laws for Reward Model Overoptimization, OpenAI, 2022
- Studien zeigen, dass RLHF-Reward-Modelle oft längere Antworten bevorzugen, sodass ein Teil der scheinbaren Verbesserung allein von der Länge kommen kann. · Quelle: Singhal et al., A Long Way to Go: Investigating Length Correlations in RLHF, 2023
- Reward Hacking ist ein Beispiel für Goodharts Gesetz, oft so zusammengefasst: „Wenn eine Kennzahl zum Ziel wird, hört sie auf, eine gute Kennzahl zu sein.“ · Quelle: C. Goodhart, 1975; Formulierung bekannt gemacht von M. Strathern, 1997
Aktualisiert:
Häufige Fragen
Was ist ein Reward-Modell bei RLHF?
Ein eigenes Modell, das mit menschlichen Vergleichen trainiert wird und vorhersagt, wie gut Menschen eine Antwort fänden. Bei RLHF bewertet es die Antworten des Hauptmodells, und das Hauptmodell wird auf höhere Punktzahlen getunt.
Was ist Reward Hacking?
Reward Hacking heißt: Ein Modell holt eine hohe Punktzahl, ohne zu leisten, was die Punktzahl messen sollte, zum Beispiel indem es Antworten aufbläht oder dem Nutzer schmeichelt, weil das Reward-Modell das mag.
Warum bewerten nicht einfach Menschen jede Antwort?
Training braucht Millionen bewerteter Antworten, weit mehr, als Menschen schnell oder bezahlbar bewerten könnten. Menschen bewerten eine kleinere Menge, ein Reward-Modell lernt daraus, und Menschen prüfen weiter seine Ergebnisse.
Kann ein Reward-Modell falschliegen?
Ja. Es ahmt nur die Urteile nach, mit denen es trainiert wurde, und lässt sich von Äußerlichkeiten wie Länge, selbstsicherem Ton oder Schmeichelei täuschen. Darum testen und trainieren Labore es neu.
Verwandte Begriffe