Jak powstają modele językowe / Słowniczek

Pretrening (trenowanie wstępne)

Pretrening to pierwszy i największy etap budowy modelu językowego: model czyta ogromną ilość tekstu i uczy się, przewidując raz za razem kolejny token, bez żadnych etykiet od ludzi.

W pretreningu model widzi prawdziwy tekst z ukrytym kolejnym tokenem, zgaduje, sprawdza prawdziwą odpowiedź i lekko poprawia swoje wagi. Odpowiedzi daje sam tekst, więc nikt nie musi niczego etykietować.

Powtórzona na bilionach tokenów, ta prosta gra zmusza model do wchłonięcia gramatyki, faktów, stylów pisania, wzorców rozumowania i kodu. Llama 3 była na przykład pretrenowana na ponad 15 bilionach tokenów.

Pretrening zużywa większość mocy obliczeniowej wydanej na model i daje mu większość wiedzy. Wynikiem jest model bazowy, który dobrze kontynuuje tekst, ale jeszcze nie wykonuje poleceń; potem przychodzi dostrajanie i trening na opiniach.