Jak powstają modele językowe / Słowniczek

Model nagrody

Model nagrody to osobny model AI, który ocenia odpowiedzi tak, jak zrobiliby to ludzcy oceniający. Trenuje się go na ludzkich porównaniach, a potem używa, by prowadził model językowy ku lepszym odpowiedziom.

Ludzie nie ocenią milionów odpowiedzi, więc ich osądy zamyka się w modelu. Do treningu modelu nagrody InstructGPT oceniający układali ranking od 4 do 9 odpowiedzi na ten sam prompt, a każda para z rankingu stawała się przykładem treningowym.

Po treningu model nagrody daje wynik każdej nowej odpowiedzi głównego modelu, a uczenie ze wzmocnieniem pcha główny model w stronę wysokich wyników.

Wynik to tylko zastępstwo prawdziwej jakości. Gdy pchać za mocno, główny model uczy się go oszukiwać, co nazywa się reward hacking: wynik dalej rośnie, a prawdziwa jakość spada. Badania wykazały też, że modele nagrody często faworyzują dłuższe odpowiedzi.