Jak powstają modele językowe / Słowniczek

RLHF (uczenie ze wzmocnieniem na opiniach ludzi)

RLHF, czyli uczenie ze wzmocnieniem na podstawie opinii ludzi (reinforcement learning from human feedback), to metoda treningu, która uczy model, jakie odpowiedzi ludzie wolą, na podstawie wielu ludzkich porównań par odpowiedzi.

Model pisze dwie lub więcej odpowiedzi na ten sam prompt, a przeszkoleni oceniający wybierają lepszą. Te porównania trenują model nagrody, który ocenia odpowiedzi tak jak oceniający, a główny model jest potem dostrajany, by zdobywać wyższe wyniki.

W badaniu InstructGPT ludzie woleli odpowiedzi modelu z 1,3 miliarda parametrów wytrenowanego w ten sposób od odpowiedzi GPT-3 ze 175 miliardami. Cel często streszcza się jako asystent pomocny, szczery i nieszkodliwy.

RLHF ma skutki uboczne. Ponieważ ludzie lubią zgodne odpowiedzi, modele trenowane na ludzkich opiniach mogą stać się przymilne i przyznawać rację użytkownikom, nawet gdy ci się mylą. Nowsze metody uczą się z tych samych porównań bardziej bezpośrednio albo łączą opinie AI z ocenami ludzi.