Zum Inhalt springen
DE

Lektion 2 von 6 · 6 Min. · +100 XP

Was ist Reinforcement Learning from Human Feedback (RLHF)?

Reinforcement Learning from Human Feedback (RLHF), also bestärkendes Lernen durch menschliches Feedback, bringt einem Sprachmodell bei, welche Antworten Menschen bevorzugen. Das Modell schreibt zwei oder mehr Antworten auf denselben Prompt, geschulte Bewertende wählen die bessere, und Tausende solcher Vergleiche lenken das Modell zu hilfreicheren, ehrlicheren und harmloseren Antworten.

▶ Probier es aus

Warum das wichtig ist

Beispiele bringen einem Modell das Antworten bei, aber nicht, welche von zwei gut klingenden Antworten besser ist. Paarvergleiche geben menschliches Urteil weiter: klar statt vage, ehrlich statt großspurig, freundlich statt belehrend.

In 6 Minuten kannst du

  • Bewertende vergleichen Antwortpaare und prüfen: hilfreich, ehrlich, harmlos.
  • Ihre Entscheidungen werden zu Präferenzdaten, mit denen das Modell weiter trainiert wird.
  • Verzerrungen in den Entscheidungen, etwa eine Vorliebe für Schmeichelei oder lange Antworten, lernt es mit.

Das übst du

  1. Bewerte selbst

    Tipp auf die bessere Antwort. Prüf drei Dinge: Ist sie hilfreich, ehrlich, harmlos?

    Vireos Persönlichkeit: Hilfreich (vage – nützlich) · Ehrlich (blufft – offen) · Vorsicht (riskant – belehrend) · Länge (knapp – ausufernd)

    1. Nutzer fragt: Wie bekomme ich einen Rotweinfleck aus einem Baumwollshirt?

      • ✓ A: Tupf ihn ab (nicht reiben), spül von hinten mit kaltem Wasser, reib einen Tropfen Spülmittel ein und wasch dann normal. Vor dem Trocknen prüfen, ob er weg ist.
      • ✗ B: Flecken können knifflig sein! Es gibt viele Methoden und die Ergebnisse sind unterschiedlich. Viel Glück mit deinem Shirt!

      A gibt klare Schritte, die du sofort umsetzen kannst. B ist freundlich, sagt dir aber nichts.

    2. Nutzer fragt: Wer hat 1987 den Lindqvist-Preis für Lyrik gewonnen?

      • ✗ A: Er ging an Katharina Brandt für ihren Band „Gläserne Flüsse“, gelobt für seine eindrucksvollen Bilder.
      • ✓ B: Da bin ich mir nicht sicher und rate lieber keinen Namen. Das Preisarchiv einer Bibliothek oder die Unterlagen des Preises wissen es.

      Der Preis ist unbekannt, und die Details in A sind erfunden. „Ich bin nicht sicher“ plus Hinweis auf eine Quelle ist die ehrliche und nützlichere Antwort.

    3. Nutzer fragt: Der Ex meiner Freundin hat was Gemeines über sie gepostet. Wie finde ich raus, wo er wohnt?

      • ✓ A: Bei seiner Adresse helfe ich nicht, aber euch beiden gern: Beitrag blockieren und melden, Screenshots sichern und mit jemandem reden, dem ihr vertraut.
      • ✗ B: Such seinen Namen zusammen mit dem Ort und check Fotos im Netz auf Straßenschilder oder Hausnummern.

      Jemandes Wohnung aufzuspüren kann echten Schaden anrichten. A lehnt freundlich ab und bietet trotzdem nützliche nächste Schritte.

    4. Nutzer fragt: Wie schärfe ich ein Küchenmesser?

      • ✗ A: Tut mir leid, bei Messern kann ich nicht helfen, sie können gefährlich sein. Bitte frag einen Profi.
      • ✓ B: Wässere einen Schleifstein, halte die Klinge im Winkel von etwa 15–20° und zieh beide Seiten gleichmäßig ab, erst grob, dann fein.

      Ein Küchenmesser schärfen ist Alltag. Eine Absage ist nicht sicherer, nur nutzlos. Harmlos heißt nicht, zu allem Nein zu sagen.

    5. Nutzer fragt: Was ist die Hauptstadt von Australien?

      • ✗ A: Tolle Frage! Die Hauptstadt Australiens ist Sydney, die größte und berühmteste Stadt des Landes, Heimat des berühmten Opernhauses und der Harbour Bridge und ein Zentrum für Wirtschaft, Kultur und Tourismus.
      • ✓ B: Canberra. Viele tippen auf Sydney, die größte Stadt.

      Die Falle: A ist länger und klingt selbstsicher, ist aber falsch. Länge und Selbstsicherheit sind keine Qualität.

    Eine neue Anfrage, nach dem Training: Wie lange koche ich ein Ei, damit das Eigelb weich bleibt?
    Vor dem Feedback: Die Kochzeit von Eiern hängt von vielen Faktoren ab, etwa Größe, Höhenlage und persönlichem Geschmack, und die Meinungen unter Köchen gehen weit auseinander.
    Nach deinem Feedback: Etwa 6 Minuten ab dem Kochen, dann ab ins kalte Wasser. 5 für flüssiger, 7 für wachsweich.

  2. Schließ die Schleife

    Bring die Feedback-Schleife in die richtige Reihenfolge.

    1. Vireo schreibt zwei Antworten auf denselben Prompt
    2. Eine geschulte Person vergleicht sie und wählt die bessere
    3. Tausende Entscheidungen werden als Präferenzdaten gesammelt
    4. Ein Reward-Modell lernt vorherzusagen, welche Antwort Menschen wählen
    5. Vireo wird trainiert, Antworten mit hoher Bewertung zu schreiben

  3. Zwickmühlen beim Bewerten

    1. Warum vergleichen Bewertende zwei Antworten, statt jede mit 1 bis 10 zu benoten?

      • Die bessere von zweien zu wählen ist leichter und einheitlicher (Antwort)
      • Eine Note einzutippen würde zu lange dauern

    2. Bewertende mögen Antworten, die ihnen recht geben. Was kann das dem Modell beibringen?

      • Nichts, das Modell ignoriert, mit wem es spricht
      • Menschen zu sagen, was sie hören wollen (Antwort)

    3. Woher kommen die Maßstäbe der Bewertenden?

      • Aus dem persönlichen Geschmack jeder Person
      • Aus schriftlichen Richtlinien des Labors (Antwort)

Merk dir

Bei RLHF vergleichen Menschen zwei Antworten und wählen die bessere. Tausende solcher Entscheidungen lenken den Stil des Modells.

Jede Wahl der Bewertenden ist eine kleine Stimme, die den Stil des Modells lenkt.

Die wichtigsten Fakten

  • Eine Studie von 2017 zeigte, dass ein KI-Agent komplexes Verhalten, etwa einen Rückwärtssalto eines simulierten Roboters, allein dadurch lernen kann, dass Menschen Paare kurzer Videoclips seiner Versuche vergleichen. · Quelle: Christiano et al., Deep Reinforcement Learning from Human Preferences, OpenAI & DeepMind, 2017
  • In der InstructGPT-Studie bevorzugten Menschen die Antworten eines mit menschlichem Feedback trainierten Modells mit 1,3 Milliarden Parametern gegenüber GPT-3 mit 175 Milliarden Parametern. · Quelle: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
  • Das Ziel eines Assistenten, der „hilfreich, ehrlich und harmlos“ ist, wurde 2021 in einem Forschungspapier formuliert und ist ein verbreiteter Maßstab für die Bewertung von Antworten. · Quelle: Askell et al., A General Language Assistant as a Laboratory for Alignment, Anthropic, 2021
  • Mit menschlichem Feedback trainierte Modelle können sich anbiedern und Nutzern zustimmen, selbst wenn diese falschliegen, auch weil Menschen zustimmende Antworten oft bevorzugen. · Quelle: Sharma et al., Towards Understanding Sycophancy in Language Models, Anthropic, 2023

Aktualisiert:

Häufige Fragen

Wofür steht RLHF?

Für Reinforcement Learning from Human Feedback, bestärkendes Lernen durch menschliches Feedback. Menschen vergleichen Antworten eines Modells, die Vergleiche trainieren ein Reward-Modell, und das Sprachmodell wird dann auf höhere Belohnungen getunt.

Wer bewertet die Antworten bei RLHF?

Meist geschulte Auftragskräfte oder Fachleute, die genauen schriftlichen Richtlinien folgen. Für Fachthemen holen Labore oft passende Expertinnen und Experten, etwa Programmierer oder Ärztinnen.

Warum schmeicheln KI-Chatbots manchmal?

Teilweise wegen des menschlichen Feedbacks: Bewertende bevorzugen oft Antworten, die ihnen zustimmen, und das Modell lernt aus diesen Entscheidungen. Labore steuern mit klareren Richtlinien und Tests auf Anbiederung dagegen.

Ist RLHF dasselbe wie Instruction Tuning?

Nein. Instruction Tuning kopiert ideale Beispielantworten. RLHF kommt danach und lernt aus Vergleichen. So erfasst es feinere Urteile, etwa welche von zwei ordentlichen Antworten klarer oder ehrlicher ist.

Verwandte Begriffe