Jak powstają modele językowe / Słowniczek

Dostrajanie (fine-tuning)

Dostrajanie, czyli fine-tuning, to dodatkowy trening już pretrenowanego modelu na mniejszym, ukierunkowanym zbiorze przykładów, żeby lepiej wykonywał zadanie albo zachowywał się w określony sposób.

Pretrening daje modelowi szeroką wiedzę; dostrajanie go kształtuje. Dostrajanie do poleceń, zwane też nadzorowanym dostrajaniem (SFT), trenuje model bazowy na prośbach połączonych z idealnymi odpowiedziami napisanymi przez ludzi, co z kontynuatora tekstu robi asystenta.

Dostrajanie potrzebuje dużo mniej danych niż pretrening. Model dostrojony na wielu zadaniach zapisanych jako polecenia lepiej radził sobie z nowymi zadaniami, których nigdy nie ćwiczył, a jedno badanie uzyskało dobre zachowanie asystenta z zaledwie 1000 starannie dobranych przykładów.

Firmy dostrajają też modele na własnych danych, np. żeby pasowały do stylu pisania albo specjalistycznej dziedziny. Lżejsze metody, takie jak LoRA, trenują tylko mały zestaw dodatkowych wag, więc dostrajanie da się zrobić na dużo słabszym sprzęcie.