Czym są prawa skalowania w AI?
Prawa skalowania to wzorce pokazujące, że strata modelu językowego spada przewidywalnie, gdy dodajesz parametry, dane treningowe i moc obliczeniową. Mówią też laboratoriom, jak podzielić stały budżet obliczeń: znane badanie z 2022 roku wykazało, że najlepsze wyniki daje około 20 tokenów treningowych na parametr, czyli zwiększanie modelu i danych razem.
▶ Wypróbuj
Dlaczego to ważne
Trening dużego modelu kosztuje fortunę w chipach i prądzie, więc laboratoria planują go z góry dzięki prawom skalowania. Niespodzianka: przy stałym budżecie największy model wcale nie jest najlepszy.
W 6 minut nauczysz się
- Jakość modelu zależy od trzech skalowanych składników: danych, parametrów i mocy obliczeniowej.
- Przy stałym budżecie olbrzymi model ze zbyt małą ilością danych wypada gorzej niż zrównoważony.
- Prawa skalowania pozwalają przewidzieć duże treningi na podstawie małych, tanich eksperymentów.
Co przećwiczysz
Trzy rzeczy, które się skaluje
Przypisz każdą linię z planu treningu Vireo do składnika, który zwiększa.
- 15 bilionów tokenów tekstu → Dane
- Szersze warstwy i więcej warstw → Parametry
- Tysiące chipów pracujących miesiącami → Moc obliczeniowa
- 70 miliardów wag → Parametry
- Dodanie książek, kodu i kolejnych stron www → Dane
- Rekordowy rachunek za prąd → Moc obliczeniowa
Wydaj budżet obliczeń
Przesuń suwak, by podzielić budżet między rozmiar modelu i dane treningowe. Znajdź najniższą stratę, potem zatwierdź.
Ten sam budżet, dwa sposoby wydania: większy model albo więcej tekstu do treningu. Przesuwaj suwak, testuj podziały i patrz na przewidywaną stratę. Niżej znaczy lepiej.
- Budżet 1×: Najlepszy podział tutaj: 1 mld parametrów na 20 mld tokenach.
- Budżet 10×: Najlepszy podział tutaj: 3,2 mld parametrów na 63 mld tokenach.
- Budżet 100×: Najlepszy podział tutaj: 10 mld parametrów na 200 mld tokenach.
≈ 20 tokenów treningowych na parametr Przykładowo: wzór w stylu Chinchilli, nie prawdziwe pomiary
Zaplanuj kolejny trening Vireo
Ten sam budżet, dwa plany. Który model wyjdzie raczej lepszy?
- Model cztery razy mniejszy, trenowany na 4× większej ilości tekstu (Odpowiedź)
- Największy model, na jaki pozwala budżet, na tym tekście, który zostanie
Vireo Labs trenuje mały model na dużo więcej niż 20 tokenach na parametr. Czemu to może być mądre?
- Małe modele taniej obsługują miliony użytkowników, więc dodatkowy trening się opłaca (Odpowiedź)
- To błąd, ponad 20 tokenów na parametr nie może pomóc
Co prawa skalowania pozwalają zrobić laboratorium, zanim wyda miesiące obliczeń?
- Przewidzieć z mniejszych prób, jak dobry mniej więcej będzie większy model (Odpowiedź)
- Zagwarantować, jakie dokładnie umiejętności będzie miał model
Zapamiętaj
Przy stałym budżecie obliczeń zwiększaj model i jego dane razem. Klasyczny złoty środek to około 20 tokenów treningowych na parametr.
Przy stałym budżecie zwiększaj model i dane razem: około 20 tokenów treningowych na parametr.
Najważniejsze fakty
- Strata modelu językowego spada płynnie i przewidywalnie, zgodnie z prawami potęgowymi, gdy rośnie rozmiar modelu, dane i moc obliczeniowa. · Źródło: Kaplan et al., Scaling Laws for Neural Language Models, OpenAI, 2020
- Przy stałym budżecie obliczeń najlepsze wyniki dawało równe skalowanie rozmiaru modelu i liczby tokenów treningowych, około 20 tokenów na parametr. · Źródło: Hoffmann et al., Training Compute-Optimal Large Language Models, DeepMind, 2022
- Chinchilla z 70 miliardami parametrów, trenowana na 1,4 biliona tokenów, pokonała Gophera z 280 miliardami parametrów, który zużył ten sam budżet obliczeń. · Źródło: Hoffmann et al., DeepMind, 2022
- GPT-3 ze 175 miliardami parametrów był trenowany na około 300 miliardach tokenów: mniej niż 2 tokeny na parametr. · Źródło: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
- Llama 3 była pretrenowana na ponad 15 bilionach tokenów, czyli dużo więcej niż 20 na parametr, nawet dla jej największego modelu. · Źródło: Meta, The Llama 3 Herd of Models, 2024
Aktualizacja:
Częste pytania
Czym jest prawo skalowania Chinchilli?
To odkrycie z 2022 roku, że przy stałej ilości obliczeń treningowych rozmiar modelu i dane treningowe powinny rosnąć razem. Wynikająca z niego reguła kciuka to około 20 tokenów treningowych na każdy parametr.
Czy większe modele AI zawsze działają lepiej?
Nie przy tym samym budżecie. Większy model pomaga tylko, jeśli dostanie też dość danych treningowych. Mniejszy model trenowany na większej ilości tekstu może pokonać dużo większy, niedotrenowany.
Co oznacza moc obliczeniowa w treningu AI?
To łączna liczba obliczeń użytych do wytrenowania modelu. Płaci się za nią specjalistycznymi chipami, czasem ich pracy i zużytym prądem.
Czemu laboratoria trenują małe modele na tak dużej ilości danych?
Małe modele są tańsze i szybsze w obsłudze każdego użytkownika. Trenowanie ich na dużo większej ilości danych, niż wynika z optimum obliczeniowego, wyciska dodatkową jakość, która zwraca się przy milionach użyć.
Powiązane pojęcia