Jak powstają modele językowe / Słowniczek

Spadek gradientu (gradient descent)

Spadek gradientu to metoda, którą trenuje się większość modeli AI: dla każdej wagi ustala, w którą stronę strata maleje, a potem przesuwa wszystkie wagi o mały krok w tę stronę, raz za razem.

Wyobraź sobie, że stoisz na zamglonym zboczu i chcesz zejść do doliny. Wyczuwasz, w którą stronę opada teren, i robisz mały krok w dół. Spadek gradientu robi to samo ze stratą, na miliardach wag naraz.

Nachylenie dla każdej wagi oblicza propagacja wsteczna, metoda spopularyzowana w pracy z 1986 roku w „Nature”. Wielkość kroku to współczynnik uczenia (learning rate): za duży i trening robi się niestabilny, za mały i ledwo się wlecze.

Duże modele językowe trenuje się zwykle algorytmem Adam albo jego bliskim wariantem, dopracowaną formą spadku gradientu, która dobiera wielkość kroku dla każdej wagi. Treningi zwykle na starcie stopniowo podnoszą współczynnik uczenia, a z czasem go obniżają.