Przejdź do treści
PL

Lekcja 3 z 6 · 6 min · +100 XP

Jak przewidywanie kolejnego tokenu trenuje model LLM?

Duży model językowy uczy się w pretreningu, grając w kółko w jedną grę: czyta prawdziwy tekst, zakrywa kolejny token, obstawia, co będzie dalej, potem sprawdza prawdziwą odpowiedź i poprawia swoje wagi. Powtórzona biliony razy, ta prosta gra zmusza go do przyswojenia gramatyki, faktów, wzorców rozumowania, a nawet kodu.

▶ Wypróbuj

Dlaczego to ważne

W pretreningu nie ma nauczyciela, który pisze odpowiedzi. Kluczem odpowiedzi jest sam tekst, dlatego model może uczyć się z całej sieci i przyswaja dużo więcej niż gramatykę.

W 6 minut nauczysz się

  • LLM uczy się, zgadując kolejny token w prawdziwym tekście i poprawiając się po każdej próbie.
  • Tekst jest swoim własnym kluczem odpowiedzi, więc żaden człowiek nie musi niczego etykietować.
  • Dobre zgadywanie nagradza gramatykę, fakty, rozumowanie i kod, dlatego modele przyswajają je wszystkie.

Co przećwiczysz

  1. Usiądź na miejscu Vireo

    Każda linijka pochodzi z tekstu treningowego. Obstaw kolejny token i zobacz, jak wytrenowany model rozkłada swoje zakłady. Procenty są przykładowe.

    1. Otworzyła drzwi i weszła do ___

      • środka: 38% (najbardziej prawdopodobne)
      • pokoju: 20%
      • kuchni: 12%
      • domu: 6%
      • szybko: 0,1%
      • inne słowa: 24%
      Żeby dobrze tu zgadnąć, model musi nauczyć się gramatyki: po „weszła do” przychodzi rzeczownik w dopełniaczu, prawie nigdy przysłówek.

    2. Woda zamarza w temperaturze 0 stopni ___

      • Celsjusza: 72% (najbardziej prawdopodobne)
      • .: 10%
      • i: 5%
      • Fahrenheita: 3%
      • inne słowa: 10%
      Trafienie oznacza przyswojenie faktu. Nikt nie uczył Vireo fizyki: ten fakt po prostu pojawia się w tekście raz za razem.

    3. Ania ma 3 jabłka i kupuje jeszcze 4. Teraz ma ___

      • 7: 64% (najbardziej prawdopodobne)
      • siedem: 12%
      • 4: 3%
      • dużo: 1%
      • inne słowa: 20%
      Tę rundę wygrywa prosta arytmetyka. Dobre przewidywanie tekstu po cichu nagradza wszystko, co pomaga, także rozumowanie krok po kroku.

    4. for i in range( ___

      • 10: 30% (najbardziej prawdopodobne)
      • len: 26%
      • n: 20%
      • jabłka: 0,1%
      • inne słowa: 24%
      Kod to też tekst. Ćwiczenie na milionach programów uczy przy okazji wzorców języków programowania.

    5. Angielski: thank you. Polski: ___

      • dziękuję: 82% (najbardziej prawdopodobne)
      • thank: 3%
      • dzień: 2%
      • inne słowa: 13%
      Takie pary są w całej sieci, więc model uczy się tłumaczyć jako efekt uboczny zgadywania kolejnego tokenu.

    6. Kot mojej sąsiadki wabi się ___

      • Filemon: 5% (najbardziej prawdopodobne)
      • Mruczek: 5% (najbardziej prawdopodobne)
      • Pan: 4%
      • Tygrys: 2%
      • inne słowa: 84%
      Żaden tekst ci tego nie powie. Model uczy się rozkładać zakłady cienko, a i tak wybierze jakieś imię: to jedno ze źródeł pewnych siebie, zmyślonych odpowiedzi.

  2. Jeden krok pretreningu

    Ułóż po kolei jedną turę gry treningowej.

    1. Weź fragment prawdziwego tekstu z danych treningowych
    2. Zakryj token, który jest następny
    3. Vireo obstawia każdy możliwy kolejny token
    4. Odkryj prawdziwy token i zmierz, jak bardzo Vireo był zaskoczony
    5. Przesuń wagi, by prawdziwy token dostał większą szansę
    6. Przesuń się o jeden token i graj dalej

  3. Czego uczy ta runda?

    Każda luka nagradza inną umiejętność. Posortuj je.

    • Koty ___ zmęczone. (są) → Gramatyka
    • Największa planeta to ___ (Jowisz) → Fakty
    • 12 + 30 = ___ (42) → Rozumowanie
    • Wczoraj ___ do szkoły. (poszedłem) → Gramatyka
    • Na poziomie morza woda wrze w ___ °C. (100) → Fakty
    • Ola jest wyższa od Kuby, Kuba od Leny, więc Lena jest ___ (najniższa) → Rozumowanie

Zapamiętaj

Pretrening to jedna gra: zgadnij kolejny token, sprawdź, popraw się. Rozegrana biliony razy uczy dużo więcej niż słów.

Jedna gra, zgadywanie kolejnego tokenu, uczy naraz gramatyki, faktów, matematyki i kodu.

Najważniejsze fakty

  • W 1951 roku Claude Shannon zmierzył, jak przewidywalny jest angielski, prosząc ludzi o zgadywanie kolejnej litery tekstu. · Źródło: C. E. Shannon, Prediction and Entropy of Printed English, Bell System Technical Journal, 1951
  • Llama 3 była pretrenowana na ponad 15 bilionach tokenów tekstu. · Źródło: Meta, The Llama 3 Herd of Models, 2024
  • Duża część tekstu treningowego GPT-3 pochodziła z przefiltrowanej wersji Common Crawl, otwartego archiwum sieci. · Źródło: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
  • Model wytrenowany tylko do przewidywania kolejnego słowa potrafił już podejmować zadania takie jak tłumaczenie i streszczanie, choć nie był do nich specjalnie trenowany. · Źródło: Radford et al., Language Models are Unsupervised Multitask Learners, OpenAI, 2019

Aktualizacja:

Częste pytania

Czym jest przewidywanie kolejnego tokenu?

To zadanie treningowe dużych modeli językowych: na podstawie tekstu przewidzieć token, który będzie następny. Model ocenia każdy możliwy token i uczy się z tego, jak bardzo się pomylił.

Czym jest uczenie samonadzorowane?

To uczenie, w którym dane same dają odpowiedzi. Model językowy zakrywa kolejny token prawdziwego tekstu i próbuje go zgadnąć, więc nikt nie musi ręcznie etykietować przykładów.

Jak przewidywanie słów może nauczyć model faktów?

Wiele kolejnych tokenów da się zgadnąć tylko, wiedząc coś o świecie. Żeby zmniejszyć błąd w takich miejscach, model musi zapisać w wagach wzorce, które działają jak fakty.

Na ilu tokenach trenuje się modele LLM?

Nowoczesne duże modele językowe pretrenuje się na bilionach tokenów. Meta podała na przykład ponad 15 bilionów tokenów dla Llamy 3.

Powiązane pojęcia