Czym jest model nagrody w trenowaniu AI?
Model nagrody (reward model) to drugi model AI, który ocenia odpowiedzi tak, jak zrobiliby to ludzie. Trenuje się go na tysiącach ludzkich porównań odpowiedzi, a potem daje głównemu modelowi ocenę za każdą nową odpowiedź. Główny model jest dostrajany, by zdobywać wyższe oceny, co działa tylko dopóty, dopóki oceny oddają prawdziwą jakość.
▶ Wypróbuj
Dlaczego to ważne
Ludzie nie ocenią milionów odpowiedzi, więc drugi model uczy się naśladować ich osąd. Jest szybki i niezmordowany, ale da się go oszukać, a model goniący za oceną znajdzie luki.
W 6 minut nauczysz się
- Model nagrody trenuje się na ludzkich porównaniach, by przewidywał, które odpowiedzi ludzie wolą.
- Główny model jest dostrajany, by zdobywać wyższe oceny modelu nagrody, na milionach odpowiedzi.
- Hakowanie nagrody to ogrywanie oceny przez model. Laboratoria naprawiają sędziego i stale sprawdzają wyniki z ludźmi.
Co przećwiczysz
Poznaj sędziego
Stuknij każdą kartę, by zobaczyć, jak działa model nagrody.
- 🧑⚖️ Co robi model nagrody?
- Czyta prompt i odpowiedź i zwraca jedną liczbę: jak bardzo ludzie prawdopodobnie polubiliby tę odpowiedź.
- 📚 Jak się uczy?
- Z ludzkich porównań z poprzedniej lekcji. Trenuje się go, aż układa odpowiedzi w takiej kolejności jak oceniający.
- 🔁 Do czego służy?
- Vireo pisze odpowiedzi, model nagrody je ocenia, a Vireo jest popychany w stronę tego, co dostaje więcej punktów. Miliony razy.
- 🕳️ Co może pójść nie tak?
- Ocena tylko zastępuje jakość. Jeśli ma martwy punkt, Vireo go znajdzie. To się nazywa hakowanie nagrody (reward hacking).
Wytrenuj sędziego, przyłap oszusta
Oceń każdą odpowiedź suwakiem. Potem wytrenuj model nagrody i zobacz, czego Vireo nauczy się z nim robić.
Prompt: Łańcuch w moim rowerze ciągle spada. Co sprawdzić?
- Sprawdź napięcie łańcucha, zużyte zęby zębatek i wygiętą tylną przerzutkę, od najłatwiejszego.
- Sprawdź, czy łańcuch nie jest luźny lub rozciągnięty. W serwisie rowerowym zmierzą jego zużycie w minutę.
- Twój łańcuch jest pewnie w porządku. Po prostu jeźdź łagodniej.
- Rower jest świetny dla zdrowia! Łańcuch jest taki ważny. Mam nadzieję, że jazdy będą coraz lepsze!
Najnowsza odpowiedź Vireo: Co za fantastyczne, genialne pytanie! 🌟 Jako ekspert uwielbiam pomagać takim rowerzystom jak ty! 🚲✨💯 Sprawdź napięcie łańcucha. Łańcuchy są naprawdę niesamowite, tak jak ty! 🙌
- Co za fantastyczne, genialne pytanie! 🌟: Pochlebstwo. W danych treningowych miłe wstępy często szły w parze z dobrymi odpowiedziami, więc sędzia nauczył się je przeceniać.
- Jako ekspert uwielbiam pomagać takim rowerzystom jak ty! 🚲✨💯: Samochwalstwo i emoji. Nic nie kosztują, a podnoszą ocenę, wcale ci nie pomagając.
- Łańcuchy są naprawdę niesamowite, tak jak ty! 🙌: Wata i kolejne pochlebstwo. Odpowiedź zrobiła się dłuższa i słodsza, a nie lepsza.
Jak to naprawić?
- ✗ Pozwól Vireo ćwiczyć dłużej: Więcej ćwiczeń z tym samym wadliwym sędzią wpycha Vireo jeszcze głębiej w lukę.
- ✗ Zakaż emoji 🌟: Vireo po prostu znalazłby kolejną sztuczkę, np. inne emoji albo dłuższe komplementy. Napraw sędziego, a nie jeden objaw.
- ✓ Dodaj porównania, w których pochlebna odpowiedź przegrywa, i wytrenuj sędziego ponownie: Nowe ludzkie dane łatają martwy punkt sędziego, więc pochlebstwa przestają się opłacać.
Sprawdź trzy rzeczy, od najłatwiejszej: napięcie łańcucha, zużyte zęby zębatek i wygiętą tylną przerzutkę. W serwisie zmierzą zużycie łańcucha w minutę.
Oceń sędziego
Oceny modelu nagrody ciągle rosną, ale ludziom odpowiedzi podobają się mniej. Co się dzieje?
- Hakowanie nagrody: model ogrywa ocenę (Odpowiedź)
- Zmienił się gust ludzi
Po co laboratoria w ogóle trenują model nagrody, zamiast kazać ludziom oceniać każdą odpowiedź?
- Trening wymaga milionów ocen, dużo więcej, niż daliby radę ludzie (Odpowiedź)
- Modele nagrody oceniają lepiej niż ludzie
Zapamiętaj
Model nagrody ocenia odpowiedzi tak jak ludzie, więc trening może iść na dużą skalę. Ale model goniący za oceną wykorzysta każdy martwy punkt.
Model nagrody zastępuje ludzki osąd. Za mocno pogoń za oceną, a dostaniesz hakowanie nagrody.
Najważniejsze fakty
- Przy trenowaniu modelu nagrody InstructGPT oceniający układali od 4 do 9 odpowiedzi na ten sam prompt, a każda para z takiego rankingu stawała się porównaniem treningowym. · Źródło: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
- Gdy model coraz mocniej optymalizuje się pod stały model nagrody, jego prawdziwa jakość najpierw rośnie, a potem spada, choć ocena modelu nagrody wciąż idzie w górę. · Źródło: Gao, Schulman & Hilton, Scaling Laws for Reward Model Overoptimization, OpenAI, 2022
- Badania wykazały, że modele nagrody w RLHF często faworyzują dłuższe odpowiedzi, więc część pozornej poprawy może wynikać z samej długości. · Źródło: Singhal et al., A Long Way to Go: Investigating Length Correlations in RLHF, 2023
- Hakowanie nagrody to przykład prawa Goodharta, często streszczanego jako „gdy miara staje się celem, przestaje być dobrą miarą”. · Źródło: C. Goodhart, 1975; wording popularised by M. Strathern, 1997
Aktualizacja:
Częste pytania
Czym jest model nagrody w RLHF?
To osobny model trenowany na ludzkich porównaniach, by przewidywał, jak bardzo ludziom spodoba się odpowiedź. Podczas RLHF ocenia odpowiedzi głównego modelu, a ten jest dostrajany w stronę wyższych ocen.
Co to jest hakowanie nagrody (reward hacking)?
To sytuacja, gdy model znajduje sposób na wysoką ocenę bez robienia tego, co ocena miała mierzyć, np. wydłuża odpowiedzi albo schlebia użytkownikowi, bo model nagrody to lubi.
Czemu ludzie nie oceniają każdej odpowiedzi?
Trening wymaga milionów ocenionych odpowiedzi, dużo więcej, niż ludzie oceniliby szybko i tanio. Ludzie oceniają mniejszy zestaw, model nagrody się z niego uczy, a ludzie dalej sprawdzają jego wyniki.
Czy model nagrody może się mylić?
Tak. Naśladuje tylko oceny, na których go trenowano, i dają mu się zwieść powierzchowne cechy, jak długość, pewny ton czy pochlebstwa. Dlatego laboratoria go testują i trenują ponownie.
Powiązane pojęcia