Jak LLM tworzy odpowiedź, token po tokenie?
Model językowy pisze odpowiedź po jednym tokenie. Na każdym kroku ocenia każdy możliwy kolejny token, zamienia oceny na szanse i losuje jeden, więc prawdopodobne tokeny wygrywają najczęściej. Token zostaje dopisany do tekstu, a pętla powtarza się aż do tokenu stopu. Temperatura sprawia, że losowanie jest bezpieczniejsze albo odważniejsze.
▶ Wypróbuj
Dlaczego to ważne
Każda odpowiedź, którą czytasz, została wylosowana token po tokenie z listy szans. To wyjaśnia, czemu odpowiedzi pojawiają się stopniowo, czemu się różnią i jak jedno pokrętło zmienia ton.
W 6 minut nauczysz się
- Modele językowe piszą, oceniając każdy kolejny token, losując jeden i powtarzając.
- Różne odpowiedzi na to samo pytanie biorą się z różnych losowań, a nie ze zmiany zdania.
- Przy faktach i matematyce pomagają stabilne ustawienia; przy pomysłach cieplejsze dają różnorodność.
Co przećwiczysz
Pętla generowania
Wysyłasz Vireo pytanie. Ułóż kroki pisania odpowiedzi we właściwej kolejności.
- Twoja wiadomość zostaje podzielona na tokeny
- Model ocenia każdy możliwy kolejny token
- Oceny zamieniają się w szanse, kształtowane przez temperaturę
- Jeden token zostaje wylosowany i dopisany do tekstu
- Pętla powtarza się, aż wypadnie token stopu
Uruchom maszynę do generowania
Naciskaj „Kolejny token” i patrz, jak koło losuje każde słowo. Potem ustaw pokrętła dla każdej misji i przetestuj je. Szanse są wymyślone, by pokazać zasadę.
Wynik z matematyki musi być niezawodny: właściwa liczba, za każdym razem.
Ty: Ile to 7 × 8?
Kolejny token · szanse
- “7 × 8” 70% · “Siedem razy osiem” 22% · “Wynik” 8%
- “to” 90% · “równa się” 8% · “daje” 2%
- “56” 84% · “54” 7% · “58” 5% · “65” 3% · “fiolet” 1%
- “.” 90% · “!” 10%
✓ Przy niskiej temperaturze najlepszy token wygrywa prawie każde losowanie, więc wszystkie trzy odpowiedzi mówią 56. Do faktów, matematyki i kodu chcesz chłodu.
Burza mózgów: kółko robotyki chce wielu różnych nazw drużyny do głosowania.
Ty: Zaproponuj nazwę naszej drużyny robotyków.
Kolejny token · szanse
- “Drużyna” 100%
- “Stalowe” 50% · “Złote” 20% · “Szybkie” 14% · “Pikselowe” 10% · “Turbo” 6%
- “Sowy” 55% · “Rakiety” 20% · “Wilki” 12% · “Lisy” 9% · “Iskry” 4%
✓ Cieplejsze szanse dają mniej prawdopodobnym słowom prawdziwą szansę, więc każde losowanie przynosi nową nazwę. Przy pomysłach chodzi właśnie o różnorodność.
Początek opowiadania powinien zaskoczyć czytelnika, ale wciąż mieć sens.
Ty: Zacznij krótkie opowiadanie o latarni morskiej.
Kolejny token · szanse
- “Latarnik” 100%
- “znalazł” 48% · “usłyszał” 26% · “namalował” 18% · “ten” 5% · “zjadł” 3%
- “nagle” 66% · “wreszcie” 20% · “znowu” 10% · “glorp” 4%
- “wiadomość” 40% · “wieloryba” 25% · “drzwi” 20% · “skarpetkę” 10% · “w w” 5%
- “we mgle.” 50% · “pod schodami.” 28% · “w butelce.” 17% · “banan banan” 5%
✓ Wysoka temperatura dla zaskoczenia, top-k 3, żeby na każdym kroku mogły wypaść tylko trzy najbardziej prawdopodobne słowa. Kreatywnie, a ogon bzdur jest odcięty.
Co to oznacza dla ciebie
Zadajesz Vireo dwa razy to samo pytanie i dostajesz dwa różne sformułowania. Co się stało?
- Każdy token został wylosowany z szans od nowa (Odpowiedź)
- Vireo nauczył się czegoś nowego między pytaniami
Dlaczego długa odpowiedź pojawia się na ekranie słowo po słowie?
- Każdy token powstaje dopiero po poprzednim (Odpowiedź)
- To animacja, żeby aplikacja wydawała się przyjazna
Programistka ustawia temperaturę 0 w narzędziu, które wypełnia zeznania podatkowe. Dobry pomysł?
- Tak: najlepszy token wygrywa za każdym razem, więc odpowiedzi są stabilne (Odpowiedź)
- Nie: temperatura 0 wyłącza model
Zapamiętaj
Odpowiedź jest losowana po jednym tokenie z listy szans. Niska temperatura daje stabilność, wysoka kreatywność.
Odpowiedź jest losowana po jednym tokenie z szans. Niska temperatura jest niezawodna, wysoka kreatywna, a top-k odcina bzdury.
Najważniejsze fakty
- Transformer, architektura stojąca za dzisiejszymi dużymi modelami językowymi, generuje wynik po jednym tokenie, podając każdy nowy token z powrotem jako wejście do następnego kroku. · Źródło: Vaswani et al., Attention Is All You Need, Google, 2017
- Badacze odkryli, że wybieranie zawsze najbardziej prawdopodobnego słowa daje mdły, powtarzalny tekst, i zaproponowali próbkowanie nucleus (top-p), które losuje tylko z najmniejszego zbioru tokenów obejmującego większość szans. · Źródło: Holtzman et al., The Curious Case of Neural Text Degeneration, ICLR 2020
- Próbkowanie top-k, czyli losowanie tylko spośród k najbardziej prawdopodobnych tokenów, posłużyło do generowania bardziej różnorodnych opowiadań niż standardowe dekodowanie. · Źródło: Fan, Lewis and Dauphin, Hierarchical Neural Story Generation, ACL 2018
- Temperatura dzieli surowe oceny modelu, zanim staną się szansami: poniżej 1 faworyt staje się silniejszy, powyżej 1 szanse się wyrównują.
Aktualizacja:
Częste pytania
Co to jest temperatura w LLM?
Temperatura to ustawienie, które zmienia kształt szans przed losowaniem każdego tokenu. Niskie wartości sprawiają, że najbardziej prawdopodobny token wygrywa prawie zawsze, co daje stabilne odpowiedzi. Wysokie spłaszczają szanse, więc odpowiedzi są bardziej różnorodne, a przy przesadzie mniej sensowne.
Dlaczego chatboty AI dają różne odpowiedzi na to samo pytanie?
Chatboty zwykle losują każdy token z listy szans, zamiast zawsze brać ten najwyżej oceniony. Inne losowanie na początku odpowiedzi prowadzi do innych sformułowań, a czasem do innej odpowiedzi.
Co to jest próbkowanie top-k?
Top-k pozwala modelowi losować tylko spośród k najbardziej prawdopodobnych kolejnych tokenów. Zachowuje trochę różnorodności, a odcina długi ogon mało prawdopodobnych, często bezsensownych tokenów.
Skąd LLM wie, kiedy przestać pisać?
Podczas treningu nauczył się specjalnego tokenu stopu, który oznacza koniec odpowiedzi. Gdy ten token zostanie wylosowany albo osiągnięty zostanie limit długości, generowanie się kończy.
Powiązane pojęcia