Przejdź do treści
PL

Lekcja 1 z 6 · 6 min · +100 XP

Czym jest model transformer w AI?

Transformer to architektura sieci neuronowej, na której opierają się nowoczesne modele językowe. Zamienia każdy token w listę liczb, a potem przepuszcza je w górę przez stos identycznych warstw. W każdej warstwie mechanizm uwagi pozwala tokenom wymieniać się informacją, a część feed-forward dopracowuje każdy z nich. Na górze model ocenia każdy możliwy kolejny token.

▶ Wypróbuj

Dlaczego to ważne

Niemal każdy nowoczesny model językowy to transformer. Jego dwa ruchy, wymiana między słowami i przemyślenie każdego słowa, tłumaczą, jak model buduje znaczenie warstwa po warstwie.

W 6 minut nauczysz się

  • Tekst staje się tokenami, a każdy token listą liczb, zanim wejdzie do stosu.
  • Każda warstwa ma dwie części: uwagę, gdzie słowa wymieniają się informacją, i feed-forward, gdzie każde słowo jest dopracowywane.
  • Stos dziesiątek warstw zamienia zgrubne zgadywanie w trafne przewidywania.

Co przećwiczysz

  1. Wyślij zdanie w górę stosu

    Ułóż po kolei podróż zdania „Niebo jest dziś bardzo”, od surowego tekstu do zgadywania Vireo.

    1. Tekst zostaje pocięty na tokeny
    2. Każdy token staje się listą liczb, swoim embeddingiem
    3. Uwaga: każdy token zbiera wskazówki od wcześniejszych tokenów
    4. Feed-forward: liczby każdego tokenu są dopracowywane osobno
    5. Te dwie części powtarzają się w każdej warstwie, dziesiątki razy
    6. Na górze liczby ostatniego tokenu zamieniają się w wynik dla każdego możliwego kolejnego tokenu

  2. Zajrzyj do wieży

    Inżynierowie mogą odczytać zgadywanie Vireo w połowie stosu. Każda runda to to samo zdanie na innej wysokości. Procenty są przykładowe.

    1. Warstwa 2 z 48:
      Klucze do starej szafy       ___

      • jest: 34% (najbardziej prawdopodobne)
      • są: 20%
      • drzwi: 10%
      • była: 8%
      • inne słowa: 28%
      Nisko w stosie zgadywanie opiera się na najbliższym słowie, „szafy”, czyli jednej szafie. Warstwy nie połączyły jeszcze czasownika z „kluczami”.

    2. Warstwa 24 z 48:
      Klucze do starej szafy       ___

      • są: 45% (najbardziej prawdopodobne)
      • jest: 24%
      • były: 10%
      • była: 5%
      • inne słowa: 16%
      W połowie drogi uwaga połączyła czasownik z „kluczami”, więc formy liczby mnogiej wyprzedzają „jest”.

    3. Warstwa 48 z 48:
      Klucze do starej szafy       ___

      • są: 78% (najbardziej prawdopodobne)
      • były: 10%
      • jest: 3%
      • była: 1%
      • inne słowa: 8%
      Na górze zgadywanie jest wyraźne. Każda warstwa dodała trochę zrozumienia, dlatego transformery mają ich tak wiele.

  3. Która część to robi?

    Każda warstwa ma dwie części. Przypisz każde zadanie.

    • „on” zbiera informację od „kota” trzy słowa wcześniej → Uwaga: słowa się dzielą
    • Pracuje na jednym tokenie naraz, nie patrząc na inne → Feed-forward: każde słowo osobno
    • Łączy czasownik z podmiotem kilka słów wcześniej → Uwaga: słowa się dzielą
    • Przechowuje sporą część zapamiętanej wiedzy, np. wchłonięte fakty → Feed-forward: każde słowo osobno
    • Decyduje, jak bardzo liczy się teraz każde wcześniejsze słowo → Uwaga: słowa się dzielą

  4. Czemu transformery wygrały?

    1. Starsze modele językowe czytały tekst słowo po słowie. Co zmienił transformer?

      • Obsługuje wszystkie tokeny tekstu obok siebie, więc trening wydajnie wykorzystuje chipy (Odpowiedź)
      • Czyta jeszcze wolniej i staranniej, litera po literze

    2. Vireo ma 48 warstw. Czym się od siebie różnią?

      • Ta sama budowa, ale każda warstwa ma własne wyuczone wagi (Odpowiedź)
      • Każda warstwa to zupełnie inna maszyna

Zapamiętaj

Transformer to jedna budowa warstwy ułożona w stos wiele razy: uwaga pozwala słowom się dzielić, feed-forward dopracowuje każde słowo, a góra ocenia kolejny token.

Tokeny wznoszą się przez dziesiątki identycznych warstw. Każda warstwa dzieli informację między słowami, a potem dopracowuje każde słowo.

Najważniejsze fakty

  • Transformer przedstawiono w 2017 roku, najpierw do tłumaczenia między językami. · Źródło: Vaswani et al., Attention Is All You Need, Google, 2017
  • Oryginalny transformer miał po 6 warstw z każdej strony: jedna strona czytała wejście, druga pisała wyjście. · Źródło: Vaswani et al., 2017
  • Największy model GPT-3 ma w stosie 96 warstw transformera. · Źródło: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
  • Badacze odkryli, że części feed-forward w warstwach transformera zachowują się jak pamięć klucz-wartość, przechowująca wzorce z tekstu treningowego. · Źródło: Geva et al., Transformer Feed-Forward Layers Are Key-Value Memories, 2021

Aktualizacja:

Częste pytania

Co oznacza T w GPT?

Transformer. GPT to skrót od Generative Pre-trained Transformer: model, który generuje tekst, jest najpierw pretrenowany na dużej ilości tekstu i korzysta z architektury transformera.

Czym jest warstwa w sieci neuronowej?

To jeden etap przetwarzania. W transformerze każda warstwa bierze liczby każdego tokenu, pozwala im wymienić się informacją przez uwagę, dopracowuje je częścią feed-forward i przekazuje wyżej.

Czemu transformery są lepsze od starszych modeli?

W treningu przetwarzają wszystkie tokeny tekstu równolegle i potrafią łączyć słowa, które stoją daleko od siebie. Dzięki temu dało się trenować dużo większe modele na dużo większej ilości tekstu.

Czy wszystkie duże modele językowe to transformery?

Prawie wszystkie dzisiejsze popularne modele to transformery albo ich bliskie warianty. Badacze testują inne konstrukcje, ale transformer jest standardem mniej więcej od 2018 roku.

Powiązane pojęcia