Skąd pochodzą dane treningowe dużych modeli językowych?
Duże modele językowe uczą się z ogromnej mieszanki tekstu: publicznych stron internetowych zebranych przez crawlery, książek, prac naukowych, otwartego kodu, encyklopedii i postów z forów, a do tego licencjonowanych i specjalnie napisanych danych. Każde źródło uczy czegoś innego, od faktów przez opowiadanie po programowanie. Nowoczesne modele trenują na bilionach tokenów, a mieszanka decyduje, w czym model jest dobry.
▶ Wypróbuj
Dlaczego to ważne
Model nauczy się tylko tego, co jest w jego danych. Mieszanka źródeł tłumaczy, w czym jest dobry, które języki zna dobrze i czyim głosem mówi.
W 6 minut nauczysz się
- Jeśli model słabo radzi sobie w twoim języku albo dziedzinie, pewnie widział o niej mało tekstu w treningu.
- Pamiętaj, że publiczny tekst z sieci zawiera opinie i błędy, więc model może powtarzać jedno i drugie.
- Szukaj dokumentacji modelu: odpowiedzialni twórcy opisują swoje źródła danych.
Co przećwiczysz
Z której rury to przyszło?
Każdy fragment pochodzi z jednego źródła. Wrzuć go do właściwej rury.
- Godziny otwarcia: pon.–pt. 9:00–17:00. Jesteśmy obok dworca. → Strony www
- Rozdział 3. Deszcz nie przestawał padać od trzech dni, gdy Maja dotarła do latarni. → Książki
- def area(r): return 3.14159 * r * r → Kod
- Re: błąd „dysk pełny”? Wyczyszczenie cache mi pomogło, dzięki wszystkim! → Fora
- – Nigdy nie chciałam odejść – szepnęła, zamykając stary pamiętnik. → Książki
- for (let i = 0; i < 10; i++) { total += i; } → Kod
- P: Czy podlewać kaktusy co tydzień? O: Zimą to za często, spróbuj raz w miesiącu. → Fora
- 10 prostych sposobów na pomidory na balkonie → Strony www
Czego nauczyła każda rura?
Każda linijka jest w stylu jednego źródła. Wybierz kolejne słowo i zobacz przewidywanie Vireo. Procenty są przykładowe.
Dawno, dawno temu, za siedmioma ___
- górami: 90% (najbardziej prawdopodobne)
- morzami: 3%
- lasami: 2%
- kanapkami: 0%
- inne słowa: 5%
if user is None:
return ___- None: 55% (najbardziej prawdopodobne)
- False: 20%
- user: 5%
- hello: 0,1%
- inne słowa: 20%
Ktoś jeszcze miał ten problem? EDIT: już działa, ___
- dzięki: 40% (najbardziej prawdopodobne)
- okazało: 20%
- nigdy: 2%
- inne słowa: 38%
Zapraszamy od poniedziałku do ___
- piątku: 70% (najbardziej prawdopodobne)
- soboty: 15%
- niedzieli: 5%
- inne słowa: 10%
Zaplanuj mieszankę danych Vireo
Tomás naszkicował plan kolejnego treningu. Przestaw każdą linię na ustawienie, które da lepszy model.
- Dodaj teksty w wielu językach
- Skopiuj najpopularniejszą stronę 1000 razy, żeby się bardziej liczyła
- Dodaj publiczny kod z projektów open source
- Dodaj prywatne wiadomości ludzi
- Dodaj podręczniki i prace naukowe, na które mamy zgodę
- Używaj tekstu tylko z jednej dużej strony
Zapamiętaj
Model wie tylko to, co przeczytał. Jego mieszanka stron www, książek, kodu i rozmów kształtuje wszystko, co robi.
Model kształtuje mieszanka danych: strony www, książki, kod i rozmowy uczą każde czegoś innego.
Najważniejsze fakty
- Organizacja non-profit Common Crawl archiwizuje od 2008 roku miliardy stron internetowych i udostępnia je za darmo; przefiltrowane wersje zasilają wiele modeli językowych. · Źródło: Common Crawl Foundation
- W mieszance treningowej GPT-3 około 60% wagi miał przefiltrowany tekst z crawla sieci, 22% wybrane strony www, 16% dwa zbiory książek, a 3% Wikipedia. · Źródło: Brown et al., OpenAI, Language Models are Few-Shot Learners, 2020
- The Pile, otwarty zbiór danych do trenowania modeli językowych, łączył 22 różne źródła, od prac naukowych po kod i posty z forów. · Źródło: Gao et al., EleutherAI, The Pile, 2020
- Llama 3 była pretrenowana na ponad 15 bilionach tokenów zebranych z publicznie dostępnych źródeł. · Źródło: Meta, Introducing Meta Llama 3, 2024
Aktualizacja:
Częste pytania
Na jakich danych trenuje się modele LLM?
Głównie na tekście: publicznych stronach internetowych, książkach, pracach naukowych, encyklopediach, otwartym kodzie i dyskusjach z forów, często też na licencjonowanych danych i przykładach napisanych przez ludzi specjalnie do treningu.
Ile danych potrzeba do wytrenowania LLM?
Nowoczesne modele pretrenuje się na bilionach tokenów, czyli na dużo większej ilości tekstu, niż człowiek przeczytałby przez wiele żyć. Dokładna ilość zależy od modelu.
Czy modele LLM uczą się na książkach?
Wiele tak, bo książki to długie, dobrze zredagowane teksty. Które książki wolno wykorzystać i na jakich warunkach, jest przedmiotem sporów i procesów sądowych w kilku krajach.
Czemu mieszanka danych ma znaczenie?
Model uczy się wzorców z tego, co czyta. Więcej kodu robi go lepszym w programowaniu, więcej języków bardziej wielojęzycznym, a jednostronne dane jednostronnym.
Powiązane pojęcia