Przejdź do treści
PL

Lekcja 1 z 6 · 6 min · +100 XP

Czym jest duży model językowy (LLM)?

Duży model językowy (LLM) to system AI wytrenowany na ogromnych ilościach tekstu do jednego zadania: przewidywania kolejnego kawałka tekstu. Dostaje kilka słów, ocenia każdy możliwy kolejny token, wybiera prawdopodobny i powtarza. Miliardy liczb dostrojonych w treningu przechowują wyuczone wzorce, więc model potrafi odpowiadać, tłumaczyć, streszczać i pisać kod.

▶ Wypróbuj

Dlaczego to ważne

Każdy chatbot działa na LLM. Gdy zobaczysz, że to przewidywacz kolejnego słowa, zrozumiesz, czemu brzmi tak płynnie, czemu tyle wie i czemu potrafi się pewnie mylić.

W 6 minut nauczysz się

  • Gdy chatbot odpowiada, wyobraź sobie, jak układa ranking kolejnych słów: to tłumaczy i jego płynność, i jego wpadki.
  • Sprawdzaj nazwiska, daty i liczby, które ci podaje, bo prawdopodobnie brzmiąca odpowiedź może być zmyślona.
  • Używaj go do szkiców, wyjaśnień i przeredagowania, gdzie prawdopodobne sformułowania są dokładnie tym, czego chcesz.

Co przećwiczysz

  1. Duży. Językowy. Model.

    Dotknij każdej karty, by rozłożyć nazwę na części.

    📏 Duży
    Miliardy regulowanych liczb, zwanych parametrami, trenowanych na bilionach słów. Rozmiar to duża część tego, czemu działa tak dobrze.
    💬 Językowy
    Pracuje z tekstem: czyta go i pisze, w wielu ludzkich językach i w kodzie programów.
    🧮 Model
    Gigantyczna funkcja matematyczna. Wchodzi tekst, a wychodzi wynik dla każdego możliwego kolejnego tokenu.
    🎯 To co on właściwie robi?
    Jedno, w kółko: przewiduje kolejny kawałek tekstu. Odpowiadanie, streszczanie i tłumaczenie są na tym zbudowane.

  2. Usiądź na miejscu Vireo

    Wybierz słowo, które twoim zdaniem będzie następne. Potem zobacz, jak prawdopodobna była każda opcja. Procenty są przykładowe.

    1. Kot położył się na ___

      • dywanie: 62% (najbardziej prawdopodobne)
      • podłodze: 21%
      • kanapie: 9%
      • księżycu: 0,1%
      • inne słowa: 8%
      Vireo widział to zdanie tak często, że „dywanie” góruje nad resztą. Taka lista z rankingiem to wszystko, co model kiedykolwiek wytwarza.

    2. Woda zamarza w temperaturze zero stopni ___

      • Celsjusza: 80% (najbardziej prawdopodobne)
      • Fahrenheita: 5%
      • dzisiaj: 2%
      • inne słowa: 13%
      Fakt powtórzony w niezliczonych tekstach staje się silnym przewidywaniem. Tak model „wie”: jako wzorce, a nie lista faktów.

    3. Przetłumacz na francuski: dzień dobry → ___

      • bonjour: 88% (najbardziej prawdopodobne)
      • bonsoir: 4%
      • hello: 2%
      • inne słowa: 6%
      Nikt nie zaprogramował tłumacza. Przewidywanie tekstu w wielu językach nauczyło Vireo, które słowa idą w parze.

    4. Tomás, inżynier od trenowania modeli w Vireo Labs, urodził się w ___

      • Hiszpanii: 20% (najbardziej prawdopodobne)
      • 1990: 14%
      • Lizbonie: 10%
      • Meksyku: 9%
      • inne słowa: 47%
      Vireo nigdy nie czytał o Tomásie, a i tak układa ranking i wybierze jedną opcję. Tak płynna odpowiedź może być po prostu zmyślona.

  3. Prawda czy mit?

    Posortuj każde zdanie o dużych modelach językowych.

    • Uczył się z ogromnych ilości tekstu → Prawda
    • Wyszukuje odpowiedzi w bazie danych → Mit
    • Pisze po jednym tokenie → Prawda
    • Ktoś napisał regułę do każdej odpowiedzi → Mit
    • Może brzmieć pewnie i się mylić → Prawda
    • Za każdym razem daje tę samą odpowiedź → Mit

  4. Linia produkcyjna

    Ten kurs prowadzi Vireo od surowego tekstu do asystenta. Ułóż stanowiska po kolei.

    1. Zebrać ogromne ilości tekstu
    2. Wyczyścić go i pociąć na tokeny
    3. Pretrening: zgadywać kolejny token biliony razy
    4. Dostroić do poleceń i opinii ludzi
    5. Porządnie przetestować, potem wydać

Zapamiętaj

LLM to przewidywacz kolejnego tokenu wytrenowany na ogromnych ilościach tekstu. Płynnie znaczy prawdopodobnie, a nie koniecznie prawdziwie.

LLM raz za razem przewiduje kolejny token. Jego wiedza to wzorce zapisane w miliardach liczb.

Najważniejsze fakty

  • Większość dzisiejszych dużych modeli językowych opiera się na transformerze, architekturze przedstawionej w pracy badawczej z 2017 roku. · Źródło: Vaswani et al., Google, Attention Is All You Need, NeurIPS 2017
  • GPT-3 miał 175 miliardów parametrów, czyli regulowanych liczb, w których zapisane jest to, czego model się nauczył. · Źródło: Brown et al., OpenAI, Language Models are Few-Shot Learners, 2020
  • Llama 3 była pretrenowana na ponad 15 bilionach tokenów tekstu. · Źródło: Meta, Introducing Meta Llama 3, 2024
  • Ludzie woleli odpowiedzi modelu z 1,3 miliarda parametrów dostrojonego do wykonywania poleceń od odpowiedzi GPT-3 ze 175 miliardami: trening po pretreningu ma znaczenie. · Źródło: Ouyang et al., OpenAI, Training language models to follow instructions with human feedback, 2022

Aktualizacja:

Częste pytania

Co oznacza skrót LLM?

LLM to skrót od angielskiego large language model, czyli duży model językowy: model AI z miliardami parametrów, wytrenowany na ogromnych ilościach tekstu do przewidywania kolejnego tokenu.

Czy chatbot to to samo co LLM?

Chatbot to aplikacja zbudowana wokół LLM. Model przewiduje tekst; aplikacja dodaje okno czatu, dodatkowy trening do wykonywania poleceń, zasady bezpieczeństwa, a czasem narzędzia, np. wyszukiwanie w sieci.

Czy duży model językowy rozumie, co mówi?

Nie tak jak ludzie. Nauczył się bardzo szczegółowych wzorców języka, co czyni go przydatnym, ale nie ma wbudowanego sposobu, by sprawdzić, czy zdanie jest prawdziwe.

Czemu nazywa się je dużymi?

Z powodu rozmiaru: miliardy parametrów, trenowanych na bilionach słów z ogromną mocą obliczeniową. Większe modele trenowane na większej ilości danych są na ogół bardziej zdolne.

Powiązane pojęcia