Przejdź do treści
PL

Lekcja 3 z 6 · 6 min · +100 XP

Jak czyści się dane treningowe modelu językowego?

Surowy tekst z sieci to bałagan, więc przed treningiem przechodzi przez linię czyszczącą. Filtry wycinają menu i banery z ciasteczkami, odrzucają zepsute strony, usuwają spam i kopie tego samego tekstu, zostawiają głównie dobrze napisane zdania i zaczerniają dane prywatne, jak e-maile i numery telefonów. Większość zebranego tekstu ląduje w koszu; im czystsze dane, tym lepszy model.

▶ Wypróbuj

Dlaczego to ważne

Model uczy się wszystkiego, co przeczyta, także spamu, kopii i numerów telefonów. Czyszczenie decyduje, jak model będzie brzmiał i co może powtarzać.

W 6 minut nauczysz się

  • Wszystko, co publikujesz publicznie, może trafić do crawla, więc nie zostawiaj numerów telefonów i adresów na otwartych stronach.
  • Gdy model powtarza frazy ze spamu albo dziwne szablonowe teksty, to znak, co było w jego danych.
  • Pytaj dostawców AI, jak filtrują dane prywatne; dobrzy opisują to w swojej dokumentacji.

Co przećwiczysz

  1. Oczyść stronę

    Crawler zapisał tę stronę z wiadomościami. Dotknij każdej części, która nie jest samym artykułem.

    Dziennik Portowy
    🍪 Używamy ciasteczek. Akceptujesz wszystkie?
    Start · Wiadomości · Sport · Pogoda · Zaloguj

    Miasto otwiera bibliotekę rzeczy
    Od poniedziałku mieszkańcy mogą za darmo wypożyczać wiertarki, namioty i maszyny do szycia. „Ludzie kupowali narzędzia, których używali raz” – mówi bibliotekarka Joanna Kowalczyk.
    SPONSOROWANE: Schudnij 10 kg w 3 dni!!! Kliknij tutaj
    © Dziennik Portowy · Prywatność · Regulamin · Udostępnij

  2. Poprowadź linię czyszczącą

    Strony przychodzą po kolei. Zaczernij dane prywatne, dotykając ich, a potem wyślij każdą stronę do właściwego kosza.

    1. Jak pszczoły trafiają do domu (notatki-przyrodnicze.example/pszczoly) → ✅ Zostaw

      Pszczoły miodne używają słońca jak kompasu. W pochmurne dni odczytują wzory w świetle i zapamiętują punkty orientacyjne po drodze, od drzew po płoty.

      Jasny, dobrze napisany artykuł. Dokładnie z takiego tekstu Vireo powinien się uczyć.

    2. TANIE BUTY najlepsze tanie buty KUP (tanie-buty-najlepsze.example/tanie-buty) → 🚫 Spam

      tanie buty najlepsze tanie buty kup teraz tanie buty za darmo tanie buty najlepsza cena kliknij tanie buty!!!

      Słowa kluczowe nawrzucane dla wyszukiwarek, nie dla ludzi. Model, który to czyta, uczy się bełkotać.

    3. Re: skrzypi mi łańcuch w rowerze (forum-napraw.example/skrzypiacy-lancuch) → ✅ Zostaw

      Przetrzyj łańcuch szmatką, daj po kropli oleju na każde ogniwo i zakręć pedałami. Dalej skrzypi? Napisz do mnie na magda.k@skrzynka.example [E-MAIL] albo zadzwoń: 555 014 200 [TELEFON].

      Przydatna rada od prawdziwej osoby. Zostaw radę, ale dopiero po zaczernieniu danych kontaktowych.

      • [E-MAIL] magda.k@skrzynka.example: Adres e-mail wskazuje prawdziwą osobę. On znika, pomocna rada zostaje.
      • [TELEFON] 555 014 200: Numer telefonu jest prywatny. Model, który go zapamięta, mógłby podać go komukolwiek.

    4. Jak pszczoły trafiają do domu (kopie-newsow.example/pszczoly-dom) → 📑 Duplikat

      Pszczoły miodne używają słońca jak kompasu. W pochmurne dni odczytują wzory w świetle i zapamiętują punkty orientacyjne po drodze, od drzew po płoty.

      Ten sam odcisk co artykuł o pszczołach, który już widziałeś/-aś. Powtarzany tekst sprawia, że model zapamiętuje, zamiast się uczyć.

    5. Ładowanie… (sklep.example/ladowanie) → 🧩 Zepsuta

      Akceptujesz wszystkie ciasteczka? Tak · Nie · Menu · Start · Zaloguj · Koszyk (0) · © Wszelkie prawa zastrzeżone · Ładowanie… Ładowanie…

      Same przyciski i menu, żadnych prawdziwych zdań. Takie zepsute strony się wyrzuca.

    6. Zupa pomidorowa w 20 minut (domowa-kuchnia.example/zupa-pomidorowa) → ✅ Zostaw

      Zeszklij cebulę na oliwie, dodaj dwie puszki pomidorów i szczyptę cukru, gotuj 15 minut, potem zmiksuj. Tak jak robią w Neapolu.

      Jasny przepis w prawdziwych zdaniach. Trafia do zbioru treningowego.

      • ✓ Neapolu: Miasto to nie dana prywatna, tylko część historii przepisu. Usuwać trzeba tylko dane, które wskazują konkretną osobę.

    7. Top 10 najlepszych recenzji top 10 (top10-recenzje.example/top-10-najlepsze) → 🚫 Spam

      Top 10 najlepszych produktów. Najlepsza recenzja top produktów. Ten produkt to najlepszy produkt dla najlepszych efektów. Kup najlepszy produkt. Top najlepsze 10.

      Maszynowo wygenerowany wypełniacz, który się powtarza i nic nie mówi. Filtry jakości go odrzucają.

  3. Po co w ogóle czyścić?

    1. Ten sam artykuł pojawia się w crawlu 500 razy. Czemu zostawić tylko jedną kopię?

      • Powtórki pchają model do zapamiętania tekstu słowo w słowo (Odpowiedź)
      • Kopie są OK, więcej danych to zawsze lepiej

    2. Czy linia czyszcząca wyłapie każdą daną prywatną?

      • Nie, filtry coś przeoczą, więc część się prześlizgnie (Odpowiedź)
      • Tak, komputer znajdzie każde nazwisko i numer

Zapamiętaj

Model jest tak dobry jak tekst, z którego się uczy. Czyszczenie wyrzuca śmieci i kopie i zaczernia dane prywatne.

Większość zebranego tekstu nigdy nie trafia do treningu. Reszta jest filtrowana, deduplikowana i oczyszczana z danych prywatnych.

Najważniejsze fakty

  • Usunięcie powtórzonego tekstu z danych treningowych sprawiło, że modele językowe dużo rzadziej powtarzały zapamiętany tekst i trenowały się wydajniej. · Źródło: Lee et al., Deduplicating Training Data Makes Language Models Better, ACL 2022
  • Badacze pokazali, że model językowy potrafi odtworzyć fragmenty swoich danych treningowych słowo w słowo, w tym nazwiska, numery telefonów i adresy e-mail. · Źródło: Carlini et al., Extracting Training Data from Large Language Models, USENIX Security 2021
  • Zbiór C4 powstał przez oczyszczenie Common Crawl prostymi regułami: zostawić linie kończące się znakiem interpunkcyjnym, odrzucić strony z tekstem zastępczym albo kodem i usunąć powtarzane fragmenty. · Źródło: Raffel et al., Google, Exploring the Limits of Transfer Learning (T5), 2020
  • Czyszczenie danych zwykle usuwa większość tego, co zebrał crawler, dlatego zespoły zaczynają od bardzo dużych crawli.

Aktualizacja:

Częste pytania

Jak firmy AI czyszczą dane treningowe?

Wyciągają z każdej strony główny tekst, odfiltrowują spam, zepsute strony i niską jakość, usuwają duplikaty i zaczerniają dane osobowe, jak e-maile i numery telefonów. Wiele zespołów używa też małych modeli do oceny jakości tekstu.

Czemu z danych treningowych usuwa się duplikaty?

Tekst, który model widzi wiele razy, łatwiej zapamiętuje i powtarza słowo w słowo. Do nauki wystarczy jedna kopia, a usunięcie reszty oszczędza czas obliczeń.

Czy dane osobowe są usuwane z danych treningowych AI?

Zwykle część tak: filtry wyłapują wzorce, jak adresy e-mail i numery telefonów. Filtry mogą jednak coś przeoczyć, więc dane osobowe wciąż mogą się prześlizgnąć.

Powiązane pojęcia