Wie LLMs entstehen / Glossar

RLHF (Reinforcement Learning from Human Feedback)

RLHF, bestärkendes Lernen durch menschliches Feedback, ist eine Trainingsmethode, die einem Modell anhand vieler menschlicher Vergleiche zwischen Antwortpaaren beibringt, welche Antworten Menschen bevorzugen.

Das Modell schreibt zwei oder mehr Antworten auf denselben Prompt, und geschulte Bewerterinnen und Bewerter wählen die bessere. Diese Vergleiche trainieren ein Reward-Modell, das Antworten so bewertet wie die Menschen, und das Hauptmodell wird dann auf höhere Punktzahlen getrimmt.

In der InstructGPT-Studie bevorzugten Menschen die Antworten eines so trainierten Modells mit 1,3 Milliarden Parametern gegenüber denen von GPT-3 mit 175 Milliarden. Das Ziel wird oft als Assistent zusammengefasst, der hilfreich, ehrlich und harmlos ist.

RLHF hat Nebenwirkungen. Weil Menschen zustimmende Antworten mögen, können so trainierte Modelle anbiedernd werden und Nutzern recht geben, auch wenn sie falschliegen. Neuere Methoden lernen direkter aus denselben Vergleichen oder nutzen KI-Feedback neben menschlichen Bewertungen.