Jak powstają modele językowe / Słowniczek

Prawa skalowania

Prawa skalowania to wzorce pokazujące, że strata modelu językowego spada płynnie i przewidywalnie, gdy dodajesz parametry, dane treningowe i moc obliczeniową. Laboratoria planują dzięki nim wielkość modelu.

Badania z 2020 roku wykazały, że strata podlega prostym prawom potęgowym: podwój wielkość modelu, danych albo mocy obliczeniowej, a strata spadnie o przewidywalną wartość. Dzięki temu laboratoria mogły przewidzieć, jak dobry będzie model, zanim wydały pieniądze na trening.

Badanie z 2022 roku dopracowało przepis: przy stałym budżecie obliczeń zwiększaj model i dane razem, mniej więcej 20 tokenów treningowych na parametr. Ich model Chinchilla z 70 miliardami parametrów, trenowany na 1,4 biliona tokenów, pokonał Gophera z 280 miliardami, który zużył ten sam budżet.

Prawa skalowania przewidują stratę, a nie konkretne umiejętności, więc niektóre zdolności wciąż zaskakują. Wiele nowych modeli trenuje się też na dużo więcej niż 20 tokenach na parametr, bo mniejszy model trenowany dłużej jest potem tańszy w użyciu.