Wszystkie tematy / Jak powstają modele językowe
Jak powstaje duży model językowy, od surowego tekstu do chatbota
Przejdź z jednym modelem przez całą fabrykę: zbieranie i czyszczenie tekstu, cięcie go na tokeny, miesiące ćwiczenia przewidywania kolejnego tokenu na tysiącach chipów i trening, który z autouzupełniania robi pomocnego asystenta. Każda lekcja to 6-minutowy animowany rysunek z krótką grą. Bez matmy, bez kodu.
- Lekcje: 24
- 144 min
- Za darmo
- Bez rejestracji
Cześć, jestem Tomás. W Vireo Labs pomagam trenować modele językowe. Przeprowadzę cię przez każde stanowisko tej linii, od bałaganu stron internetowych do modelu, który odpowiada na pytania, i pokażę, gdzie zapadają trudne decyzje.
Surowiec
Skąd bierze się tekst, jak się go czyści i jak zamienia w liczby
- 1
Czym jest duży model językowy?
Gigantyczny przewidywacz kolejnego słowa, zbudowany z tekstu
- 2
Skąd się bierze tekst do treningu
Strony z sieci, książki, kod i rozmowy
- 3
Czyszczenie danych
Usuwanie duplikatów, spamu i danych prywatnych
- 4
Tokeny: jak tekst dzieli się na kawałki
Czemu model czyta „niewiarygodny” jako trzy części
- 5
Embeddingi: słowa jako punkty w przestrzeni
Podobne znaczenia lądują blisko siebie
- 6
Czyje to dane?
Prawa autorskie, zgoda i sprzeciw
Pretrening
Transformer, mechanizm uwagi i miesiące zgadywania kolejnego tokenu
- 7
Transformer
Warstwowa budowa każdego nowoczesnego LLM
- 8
Mechanizm uwagi
Jak każde słowo patrzy wstecz na słowa, które się liczą
- 9
Zgadnij kolejny token
Jedna gra treningowa, rozegrana biliony razy
- 10
Nauka na błędach
Strata, poprawki i miliardy małych pokręteł
- 11
Skalowanie
Więcej danych, więcej parametrów, więcej chipów
- 12
Model bazowy
Genialne autouzupełnianie, które nie jest jeszcze asystentem
Od modelu do asystenta
Polecenia, opinie ludzi, rozumowanie, bezpieczeństwo i narzędzia
- 13
Dostrajanie do poleceń
Uczenie modelu, jak wykonywać prośby
- 14
Nauka z opinii ludzi
Ludzie porównują dwie odpowiedzi i wybierają lepszą
- 15
Modele nagrody
Drugi model, który ocenia odpowiedzi
- 16
Nauka rozumowania
Myślenie krok po kroku nad zadaniami ze sprawdzalnym wynikiem
- 17
Trening bezpieczeństwa
Odmawiać szkody, być szczerym, przyznawać się do wątpliwości
- 18
Narzędzia i agenci
Wyszukiwanie, kod i działania w świecie
Testy i premiera
Benchmarki, red teaming, mniejsze modele i jak powstaje odpowiedź
- 19
Benchmarki i ewaluacje
Jak nowy model dostaje świadectwo
- 20
Red teaming
Eksperci próbują złamać model przed premierą
- 21
Zmniejszanie modeli
Destylacja i kwantyzacja
- 22
Jak powstaje odpowiedź
Po jednym tokenie, ze szczyptą przypadku
- 23
Okno kontekstowe i pamięć
Co model widzi naraz, a co zapomina
- 24
Karty modeli i premiera
Co mówi ci odpowiedzialna premiera
Jak to działa
- 01
Zobacz
Animowany rysunek pokazuje, jak coś naprawdę działa.
- 02
Wypróbuj
Krótka gra każe ci tego użyć: wypatrz, posortuj, przełącz, zdecyduj.
- 03
Zapamiętaj
Trzy wnioski i odznaka na twoją kartę.
Częste pytania
Czy muszę znać matematykę albo programowanie?
Nie. Każdy krok jest pokazany jako animowany rysunek z codziennymi przykładami. Zobaczysz, czym jest token, waga czy model nagrody, bez ani jednego wzoru.
Ile trwa trenowanie dużego modelu językowego?
Pretrening czołowego modelu trwa zwykle od kilku tygodni do kilku miesięcy na tysiącach specjalistycznych chipów, po długiej fazie zbierania i czyszczenia danych. Do tego dochodzi dostrajanie, które robi z niego asystenta.
Czy ten kurs jest darmowy?
Tak. Każda lekcja jest bezpłatna, bez rejestracji i bez płatnego dostępu.
Czym ten kurs różni się od kursu o kompetencjach AI?
Kurs o kompetencjach AI uczy, jak rozumieć AI i dobrze z niej korzystać. Ten kurs zagląda za kulisy i prowadzi jeden model przez każdy etap: budowę, testy i premierę.