Jak powstają modele językowe / Słowniczek

Słowniczek: Jak powstają modele językowe

Proste definicje pojęć z tematu Jak powstają modele językowe, każda z linkiem do krótkiej lekcji wizualnej.

Alignment AI (zgodność z intencjami): Alignment AI to praca nad tym, by zachowanie systemu AI zgadzało się z tym, czego ludzie chcą i co cenią: pomocność w codziennych sprawach, szczerość co do własnej wiedzy i ostrożność wobec szkód.
Benchmark AI: Benchmark AI to stały zestaw zadań ze sprawdzalnymi odpowiedziami, np. pytań egzaminacyjnych, zadań z matematyki czy programowania, służący do mierzenia i porównywania modeli.
Crawler (robot internetowy): Crawler to program, który automatycznie odwiedza strony internetowe, zapisuje ich treść i podąża za linkami, by znaleźć kolejne. Crawlery zbierają dużą część tekstu używanego do trenowania modeli językowych.
Deduplikacja danych: Deduplikacja danych to wyszukiwanie i usuwanie powtórzonych kopii tego samego tekstu ze zbioru danych, żeby model językowy nie widział w treningu w kółko tego samego fragmentu.
Destylacja wiedzy: Destylacja wiedzy trenuje mały model-„ucznia”, by naśladował odpowiedzi dużego modelu-„nauczyciela”, więc uczeń zachowuje sporą część umiejętności nauczyciela przy ułamku jego rozmiaru.
Dostrajanie (fine-tuning): Dostrajanie, czyli fine-tuning, to dodatkowy trening już pretrenowanego modelu na mniejszym, ukierunkowanym zbiorze przykładów, żeby lepiej wykonywał zadanie albo zachowywał się w określony sposób.
Embedding (osadzenie): Embedding to lista liczb, która przedstawia słowo, token, zdanie albo obraz jako punkt w przestrzeni znaczeń, tak że rzeczy o podobnym znaczeniu lądują blisko siebie.
Funkcja straty: Funkcja straty to wzór, który mierzy, jak bardzo przewidywanie modelu było błędne. Trening stara się, żeby ta liczba, strata, była jak najmniejsza.
Karta modelu (model card): Karta modelu to krótki publiczny dokument wydawany razem z modelem AI, jak etykieta z wartościami odżywczymi. Mówi, do czego model służy, jak go trenowano i testowano oraz jakie ma znane ograniczenia i ryzyka.
Kwantyzacja: Kwantyzacja zmniejsza i przyspiesza model AI, zapisując każdą jego wagę mniejszą liczbą bitów, np. 4 zamiast 16, kosztem niewielkiego błędu zaokrąglenia.
Łańcuch myśli (chain of thought): Łańcuch myśli to rozpisane krok po kroku rozumowanie, które model językowy pisze przed ostateczną odpowiedzią. Modele rozumujące trenuje się, by tworzyły długie łańcuchy myśli przy trudniejszych zadaniach.
Mechanizm uwagi (attention): Mechanizm uwagi to część transformera, która pozwala każdemu tokenowi ocenić, jak bardzo liczy się dla niego każdy inny token, a potem wchłonąć mieszankę ich informacji według tych wag.
Model bazowy: Model bazowy to model językowy prosto po pretreningu. Kontynuuje tekst zamiast wykonywać polecenia, więc potrzebuje dalszego treningu, zanim zadziała jako asystent.
Model nagrody: Model nagrody to osobny model AI, który ocenia odpowiedzi tak, jak zrobiliby to ludzcy oceniający. Trenuje się go na ludzkich porównaniach, a potem używa, by prowadził model językowy ku lepszym odpowiedziom.
Okno kontekstowe: Okno kontekstowe to maksymalna ilość tekstu, liczona w tokenach, jaką model językowy może przyjąć naraz, łącznie z twoimi wiadomościami, jego odpowiedziami, wklejonymi plikami i ukrytymi instrukcjami.
Parametry (wagi modelu): Parametry, nazywane też wagami, to regulowane liczby wewnątrz modelu AI. Trening je dostraja, żeby przewidywania modelu były coraz lepsze, a razem przechowują wszystko, czego model się nauczył.
Prawa skalowania: Prawa skalowania to wzorce pokazujące, że strata modelu językowego spada płynnie i przewidywalnie, gdy dodajesz parametry, dane treningowe i moc obliczeniową. Laboratoria planują dzięki nim wielkość modelu.
Pretrening (trenowanie wstępne): Pretrening to pierwszy i największy etap budowy modelu językowego: model czyta ogromną ilość tekstu i uczy się, przewidując raz za razem kolejny token, bez żadnych etykiet od ludzi.
Red teaming: Red teaming to celowe atakowanie własnego systemu AI przed premierą, by zmusić go do złego zachowania i znaleźć oraz naprawić jego słabe punkty, zanim trafią na nie prawdziwi użytkownicy.
RLHF (uczenie ze wzmocnieniem na opiniach ludzi): RLHF, czyli uczenie ze wzmocnieniem na podstawie opinii ludzi (reinforcement learning from human feedback), to metoda treningu, która uczy model, jakie odpowiedzi ludzie wolą, na podstawie wielu ludzkich porównań par odpowiedzi.
robots.txt: robots.txt to mały plik tekstowy na stronie internetowej, który mówi crawlerom, które strony mogą odwiedzać, a których nie. Właściciele stron mogą nim poprosić crawlery AI, by nie zbierały ich treści.
Spadek gradientu (gradient descent): Spadek gradientu to metoda, którą trenuje się większość modeli AI: dla każdej wagi ustala, w którą stronę strata maleje, a potem przesuwa wszystkie wagi o mały krok w tę stronę, raz za razem.
Temperatura (AI): Temperatura to ustawienie, które decyduje, jak przewidywalny albo różnorodny jest tekst modelu językowego. Niska temperatura trzyma się najbardziej prawdopodobnych tokenów, wysoka częściej wybiera mniej prawdopodobne.
Tokenizer: Tokenizer to narzędzie, które tnie tekst na tokeny, czyli kawałki czytane przez model językowy, i zamienia każdy kawałek w liczbę. Zamienia też liczby z wyjścia modelu z powrotem w tekst.
Transformer: Transformer to architektura sieci neuronowej stojąca za niemal wszystkimi nowoczesnymi modelami językowymi. Przetwarza wszystkie tokeny tekstu równolegle i dzięki mechanizmowi uwagi pozwala im wymieniać się informacją.
Wywoływanie narzędzi (function calling): Wywoływanie narzędzi to sytuacja, gdy model językowy pisze ustrukturyzowane żądanie użycia zewnętrznego narzędzia, np. wyszukiwarki, kalkulatora albo kalendarza, a otaczające go oprogramowanie uruchamia narzędzie i zwraca wynik.