Przejdź do treści
PL

Lekcja 4 z 6 · 6 min · +100 XP

Jak model AI uczy się na swoich błędach?

Model uczy się, mierząc swoje błędy i poprawiając ustawienia. Po każdym zgadywaniu liczba zwana stratą mówi, jak bardzo się pomylił. Propagacja wsteczna ustala, w którą stronę obrócić każdą z miliardów wag, by strata spadła, a spadek gradientu przesuwa je wszystkie o mały krok w tę stronę, raz za razem.

▶ Wypróbuj

Dlaczego to ważne

„Trening” brzmi tajemniczo, ale to jedna pętla: oceń błąd, znajdź kierunek w dół, przekręć każde pokrętło odrobinę. Wielkość każdej poprawki decyduje, czy trening w ogóle zadziała.

W 6 minut nauczysz się

  • Strata to jedna liczba, która mówi, jak bardzo zgadywanie było błędne. Trening stara się ją zbić.
  • Propagacja wsteczna znajduje kierunek w dół dla każdego pokrętła, a spadek gradientu przesuwa je wszystkie.
  • Za mały współczynnik uczenia się wlecze, za duży przestrzeliwuje albo eksploduje, więc inżynierowie starannie go stroją.

Co przećwiczysz

  1. Cztery słowa inżynierów

    Dotknij każdej karty. Te cztery pojęcia to cała pętla treningu.

    📉 Strata
    Jedna liczba, która mówi, jak bardzo model się pomylił. Jeśli prawdziwym kolejnym słowem było „błękitne”, a model dał mu małą szansę, strata jest wysoka.
    🎛️ Wagi
    Pokrętła modelu, miliardy. Razem decydują o każdym przewidywaniu. Trening zmienia wyłącznie te liczby.
    🧭 Gradient
    Dla każdego pokrętła: w którą stronę je obrócić, by strata spadła, i jak bardzo ma to znaczenie. Propagacja wsteczna liczy to dla wszystkich pokręteł naraz.
    👣 Współczynnik uczenia
    Jak duża jest każda poprawka. Za mała i trening się wlecze, za duża i przestrzeliwuje albo się wysypuje.

  2. Stocz się w dolinę straty

    Kulka to jedno z pokręteł Vireo. Wybierz wielkość kroku, wciśnij „Popraw” i zejdź ze stratą poniżej zielonej linii.

    Wielkość kroku (współczynnik uczenia): malutki · mały · średni · duży · ogromny

    Wysokość kulki to strata. Każde Popraw sprawdza, gdzie jest w dół, i obraca pokrętło w tę stronę o wybraną wielkość kroku. Zejdź ze stratą poniżej zielonej linii.

    1. W tej dolinie najszybsze są średnie kroki. Malutkie się wloką, duże odbijają, ogromne wylatują.
    2. Dużo bardziej stroma dolina. Czy ten sam krok dalej zadziała? W stromej dolinie wygrywają małe kroki. Krok, który wcześniej był dobry, teraz przestrzeliwuje, dlatego inżynierowie stroją współczynnik uczenia.
    3. Teraz długie, łagodne zbocze. Co tu pasuje? Na łagodnym zboczu duże kroki są bezpieczne i oszczędzają czas. Prawdziwe treningi zwykle z czasem zmniejszają kroki.

  3. Odczytaj panel treningu

    1. Linia straty Vireo dziko skacze w górę i w dół, a potem wystrzela poza wykres. Co najpewniej pomoże?

      • Obniżyć współczynnik uczenia (Odpowiedź)
      • Podnieść współczynnik uczenia
      • Usunąć połowę pokręteł

    2. Która część ustala, w którą stronę ma się obrócić każde pojedyncze pokrętło?

      • Propagacja wsteczna, która liczy gradient (Odpowiedź)
      • Inżynier, który sprawdza każde pokrętło ręcznie

    3. Czy niższa strata znaczy, że Vireo ma teraz zawsze rację?

      • Nie, znaczy, że jego zgadywanie lepiej pasuje do tekstu treningowego (Odpowiedź)
      • Tak, niska strata znaczy, że przestał się mylić

Zapamiętaj

Trening to jedna pętla: zmierz stratę, znajdź kierunek w dół, przesuń każde pokrętło o mały krok. Wielkość kroku decyduje, czy to działa.

Strata mierzy błąd, gradient wskazuje kierunek w dół, a współczynnik uczenia ustala wielkość każdej poprawki.

Najważniejsze fakty

  • Propagację wsteczną, metodę ustalającą, jak poprawić każdą wagę sieci, spopularyzowała praca z 1986 roku w „Nature”. · Źródło: Rumelhart, Hinton & Williams, Learning representations by back-propagating errors, 1986
  • GPT-3 ma 175 miliardów parametrów, a każdy z nich to pokrętło, które przestawia trening. · Źródło: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
  • Większość dużych modeli językowych trenuje się algorytmem Adam albo jego bliskim wariantem, dopracowaną formą spadku gradientu, która dobiera wielkość kroku dla każdego pokrętła. · Źródło: Kingma & Ba, Adam: A Method for Stochastic Optimization, 2015
  • Duże treningi zwykle na starcie stopniowo podnoszą współczynnik uczenia, a potem powoli go obniżają.

Aktualizacja:

Częste pytania

Czym jest spadek gradientu w prostych słowach?

To sposób szukania dobrych ustawień małymi krokami w dół. Sprawdzasz, który kierunek zmniejsza błąd, robisz mały krok w tę stronę i powtarzasz, aż błąd będzie niski.

Czym jest funkcja straty?

To wzór, który zamienia błąd modelu w jedną liczbę. W modelu językowym mierzy, jak bardzo model był zaskoczony prawdziwym kolejnym tokenem: im mniej prawdopodobny według niego był ten token, tym wyższa strata.

Czym jest współczynnik uczenia?

To wielkość każdego kroku aktualizacji w treningu. Za wysoki sprawia, że trening jest niestabilny, za niski, że trwa o wiele za długo, więc to jedno z najstaranniej strojonych ustawień.

Czym jest propagacja wsteczna?

To metoda, która dla każdej wagi w sieci liczy, jak mała zmiana wpłynie na stratę. Działa wstecz, od wyjścia przez kolejne warstwy, stąd nazwa.

Powiązane pojęcia