Jak powstają modele językowe / Słowniczek

Deduplikacja danych

Deduplikacja danych to wyszukiwanie i usuwanie powtórzonych kopii tego samego tekstu ze zbioru danych, żeby model językowy nie widział w treningu w kółko tego samego fragmentu.

Sieć jest pełna kopii: ten sam artykuł na wielu stronach, ta sama informacja o ciasteczkach na milionach stron, ten sam regulamin wszędzie. Narzędzia do deduplikacji wychwytują dokładne kopie i prawie-kopie i zostawiają tylko jedną.

Powtórzony tekst marnuje czas treningu i uczy model zapamiętywania. Badacze odkryli, że po deduplikacji danych treningowych modele językowe znacznie rzadziej powtarzały zapamiętany tekst i trenowały się wydajniej.

Deduplikacja to jeden krok dłuższej linii czyszczenia, która usuwa też śmieci ze stron, odrzuca spam i tekst niskiej jakości oraz usuwa dane prywatne, takie jak adresy e-mail i numery telefonów.