Wie LLMs entstehen / Glossar

Deduplizierung

Deduplizierung heißt, wiederholte Kopien desselben Texts in einem Datensatz zu finden und zu entfernen, damit ein Sprachmodell im Training nicht dieselbe Passage immer wieder sieht.

Das Web ist voller Kopien: derselbe Artikel auf vielen Seiten, derselbe Cookie-Hinweis auf Millionen Seiten, dieselben AGB überall. Deduplizierungs-Tools erkennen exakte und fast exakte Kopien und behalten nur eine.

Wiederholter Text verschwendet Trainingszeit und bringt dem Modell bei, auswendig zu lernen. Forschende fanden heraus, dass Sprachmodelle mit deduplizierten Trainingsdaten viel seltener auswendig gelernten Text wiederholen und effizienter trainieren.

Deduplizierung ist ein Schritt in einer längeren Reinigungsstraße, die auch Seitenballast entfernt, Spam und minderwertigen Text aussortiert und private Angaben wie E-Mail-Adressen und Telefonnummern löscht.