Jak powstają modele językowe / Słowniczek

Alignment AI (zgodność z intencjami)

Alignment AI to praca nad tym, by zachowanie systemu AI zgadzało się z tym, czego ludzie chcą i co cenią: pomocność w codziennych sprawach, szczerość co do własnej wiedzy i ostrożność wobec szkód.

Pretrenowany model kopiuje wzorce z internetu, dobre i złe. Trening alignmentu dodaje spisane zasady zachowania modelu i trenuje go na przykładach i ocenach, które się ich trzymają, metodami takimi jak dostrajanie i RLHF.

Trudna jest równowaga. Model, który odmawia za rzadko, może pomóc wyrządzić szkodę, a taki, który odmawia za często, staje się bezużyteczny: badacze zbudowali zestawy testów, które wyłapują odmowy na niewinne pytania. Niektóre zespoły trenują osobne modele nagrody dla pomocności i bezpieczeństwa, bo te dwa cele potrafią się rozjeżdżać.

Inne podejścia każą modelowi krytykować i poprawiać własne odpowiedzi według spisanej listy zasad. Alignment nigdy się nie kończy; red teaming i monitoring po premierze stale znajdują nowe luki do załatania.