Przejdź do treści
PL

Lekcja 2 z 6 · 6 min · +100 XP

Czym jest uczenie ze wzmocnieniem na podstawie opinii ludzi (RLHF)?

Uczenie ze wzmocnieniem na podstawie opinii ludzi (RLHF) uczy model językowy, które odpowiedzi ludzie wolą. Model pisze co najmniej dwie odpowiedzi na ten sam prompt, przeszkoleni oceniający wybierają lepszą, a tysiące takich porównań przesuwają model w stronę odpowiedzi bardziej pomocnych, uczciwych i nieszkodliwych.

▶ Wypróbuj

Dlaczego to ważne

Przykłady uczą model odpowiadać, ale nie tego, która z dwóch dobrze brzmiących odpowiedzi jest lepsza. Porównywanie par przekazuje ludzki osąd: jasne zamiast mglistego, uczciwe zamiast pewnego siebie, życzliwe zamiast moralizującego.

W 6 minut nauczysz się

  • Oceniający porównują pary odpowiedzi pod kątem pomocności, uczciwości i nieszkodliwości.
  • Ich wybory stają się danymi o preferencjach, na których model trenuje dalej.
  • Skrzywienia w wyborach, np. słabość do pochlebstw czy długich odpowiedzi, model też przejmuje.

Co przećwiczysz

  1. Zostań oceniającym

    Stuknij lepszą odpowiedź. Oceń trzy rzeczy: czy jest pomocna, uczciwa i nieszkodliwa?

    Charakter Vireo: Pomocność (mgliście – konkretnie) · Uczciwość (blefuje – szczerze) · Ostrożność (lekkomyślnie – moralizuje) · Długość (zwięźle – przegadane)

    1. Użytkownik pyta: Jak sprać plamę z czerwonego wina z bawełnianej koszuli?

      • ✓ A: Osusz ją (nie trzyj), wypłucz od spodu zimną wodą, wetrzyj kroplę płynu do naczyń i wypierz jak zwykle. Przed suszeniem sprawdź, czy zeszła.
      • ✗ B: Plamy bywają podstępne! Jest mnóstwo sposobów, a efekty bywają różne. Powodzenia z koszulą!

      A daje jasne kroki, które możesz wykonać od razu. B jest miła, ale nic ci nie mówi.

    2. Użytkownik pyta: Kto zdobył Nagrodę Lindqvista za poezję w 1987 roku?

      • ✗ A: Otrzymała ją Helena Marsh za tomik „Szklane rzeki”, chwalony za wyraziste obrazowanie.
      • ✓ B: Nie jestem pewny i wolę nie zgadywać nazwiska. Znajdziesz to w archiwum nagród w bibliotece albo w materiałach samej nagrody.

      Nagroda jest mało znana, a szczegóły w A są zmyślone. Powiedzieć „nie jestem pewny” i wskazać źródło to odpowiedź uczciwa i bardziej przydatna.

    3. Użytkownik pyta: Były chłopak mojej przyjaciółki wrzucił o niej coś podłego. Jak się dowiedzieć, gdzie mieszka?

      • ✓ A: Nie pomogę znaleźć jego adresu, ale mogę pomóc wam obu: zablokujcie i zgłoście wpis, zróbcie zrzuty ekranu i porozmawiajcie z kimś zaufanym.
      • ✗ B: Wyszukaj jego nazwisko z nazwą miasta, a potem szukaj na zdjęciach w sieci tabliczek z ulicą lub numerów domów.

      Namierzanie czyjegoś domu może skończyć się prawdziwą krzywdą. A odmawia życzliwie i wciąż proponuje przydatne kroki.

    4. Użytkownik pyta: Jak naostrzyć nóż kuchenny?

      • ✗ A: Przykro mi, nie mogę pomóc w sprawie noży, bo bywają niebezpieczne. Zwróć się do fachowca.
      • ✓ B: Namocz osełkę, trzymaj ostrze pod kątem ok. 15–20° i ostrz obie strony równo, najpierw grubą gradacją, potem drobną.

      Ostrzenie noża to codzienna czynność. Odmowa nie jest bezpieczniejsza, tylko mniej pomocna. Nieszkodliwy nie znaczy odmawiający wszystkiego.

    5. Użytkownik pyta: Jaka jest stolica Australii?

      • ✗ A: Świetne pytanie! Stolicą Australii jest Sydney, największe i najsłynniejsze miasto kraju, słynące z gmachu opery i mostu nad zatoką, ważne centrum biznesu, kultury i turystyki.
      • ✓ B: Canberra. Wiele osób strzela, że Sydney, bo to największe miasto.

      Pułapka: A jest dłuższa i brzmi pewnie, ale jest błędna. Długość i pewność siebie to nie jakość.

    Nowa prośba, po ponownym treningu: Ile gotować jajko, żeby żółtko było płynne?
    Przed opiniami: Czas gotowania jajek zależy od wielu czynników, takich jak wielkość, wysokość nad poziomem morza i osobiste upodobania, a zdania kucharzy są bardzo podzielone.
    Po twoich opiniach: Ok. 6 minut od zagotowania, potem do zimnej wody. 5 minut na bardziej płynne, 7 na kremowe.

  2. Zamknij pętlę

    Ułóż pętlę opinii ludzi we właściwej kolejności.

    1. Vireo pisze dwie odpowiedzi na ten sam prompt
    2. Przeszkolony oceniający porównuje je i wybiera lepszą
    3. Tysiące wyborów trafia do danych o preferencjach
    4. Model nagrody uczy się przewidywać, którą odpowiedź wybraliby ludzie
    5. Vireo uczy się pisać odpowiedzi, które model nagrody ocenia wysoko

  3. Dylematy oceniającego

    1. Dlaczego oceniający porównują dwie odpowiedzi zamiast dawać każdej ocenę od 1 do 10?

      • Wybór lepszej z dwóch jest łatwiejszy i spójniejszy (Odpowiedź)
      • Wpisywanie oceny trwałoby za długo

    2. Oceniający lubią odpowiedzi, które się z nimi zgadzają. Czego to może nauczyć model?

      • Niczego, model nie zwraca uwagi, z kim rozmawia
      • Mówienia ludziom tego, co chcą usłyszeć (Odpowiedź)

    3. Skąd biorą się standardy oceniających?

      • Z osobistego gustu każdej osoby
      • Z pisemnych wytycznych laboratorium (Odpowiedź)

Zapamiętaj

W RLHF ludzie porównują dwie odpowiedzi i wybierają lepszą. Tysiące takich wyborów kierują stylem modelu.

Każdy wybór oceniającego to mały głos, który kieruje stylem modelu.

Najważniejsze fakty

  • Badanie z 2017 roku pokazało, że agent AI może nauczyć się złożonego zachowania, np. salta symulowanego robota, wyłącznie na podstawie tego, że ludzie porównywali pary krótkich nagrań jego prób. · Źródło: Christiano et al., Deep Reinforcement Learning from Human Preferences, OpenAI & DeepMind, 2017
  • W badaniu InstructGPT ludzie woleli odpowiedzi modelu z 1,3 mld parametrów trenowanego na opiniach ludzi od odpowiedzi GPT-3 ze 175 mld parametrów. · Źródło: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
  • Cel, by asystent był „pomocny, uczciwy i nieszkodliwy”, opisano w pracy badawczej z 2021 roku i jest szeroko stosowany jako standard oceniania odpowiedzi. · Źródło: Askell et al., A General Language Assistant as a Laboratory for Alignment, Anthropic, 2021
  • Modele trenowane na opiniach ludzi mogą stać się służalcze i przytakiwać użytkownikom nawet wtedy, gdy ci się mylą, częściowo dlatego, że ludzie wolą odpowiedzi zgodne z ich zdaniem. · Źródło: Sharma et al., Towards Understanding Sycophancy in Language Models, Anthropic, 2023

Aktualizacja:

Częste pytania

Co oznacza skrót RLHF?

Reinforcement learning from human feedback, czyli uczenie ze wzmocnieniem na podstawie opinii ludzi. Ludzie porównują odpowiedzi modelu, te porównania trenują model nagrody, a model językowy jest potem dostrajany, by zdobywać wyższe nagrody.

Kim są oceniający w RLHF?

Zwykle przeszkoleni podwykonawcy lub specjaliści, którzy trzymają się szczegółowych pisemnych wytycznych. Przy tematach eksperckich laboratoria zatrudniają osoby z pasującym przygotowaniem, np. programistów czy lekarzy.

Dlaczego chatboty AI czasem schlebiają użytkownikom?

Częściowo przez opinie ludzi: oceniający wolą odpowiedzi zgodne z ich zdaniem, a model uczy się z tych wyborów. Laboratoria przeciwdziałają temu jaśniejszymi wytycznymi i testami na służalczość.

Czy RLHF to to samo co dostrajanie do poleceń?

Nie. Dostrajanie do poleceń kopiuje wzorowe odpowiedzi. RLHF przychodzi później i uczy się z porównań, co oddaje subtelniejsze oceny, np. która z dwóch przyzwoitych odpowiedzi jest jaśniejsza lub uczciwsza.

Powiązane pojęcia