Zum Inhalt springen
DE

Lektion 3 von 6 · 6 Min. · +100 XP

Wie werden die Trainingsdaten für ein Sprachmodell bereinigt?

Roher Webtext ist chaotisch, darum läuft er vor dem Training durch eine Reinigungsstraße. Filter entfernen Menüs und Cookie-Banner, sortieren kaputte Seiten, Spam und Kopien desselben Texts aus, behalten vor allem gut geschriebene Sätze und schwärzen private Angaben wie E-Mail-Adressen und Telefonnummern. Der Großteil des gecrawlten Texts fliegt raus; je sauberer die Daten, desto besser das Modell.

▶ Probier es aus

Warum das wichtig ist

Ein Modell lernt alles, was es liest, auch Spam, Kopien und Telefonnummern. Das Bereinigen entscheidet, wie das Modell klingt und was es wiederholen könnte.

In 6 Minuten kannst du

  • Alles, was du öffentlich postest, kann in einem Crawl landen. Halte Telefonnummern und Adressen von offenen Seiten fern.
  • Wiederholt ein Modell Spam-Floskeln oder seltsame Textbausteine, zeigt das, was in seinen Daten steckte.
  • Frag KI-Anbieter, wie sie private Angaben filtern; gute beschreiben das in ihrer Dokumentation.

Das übst du

  1. Die Seite abspecken

    Der Crawler hat diese Nachrichtenseite gespeichert. Tipp auf alles, was nicht zum Artikel selbst gehört.

    Hafenblatt
    🍪 Wir verwenden Cookies. Alle akzeptieren?
    Start · Lokales · Sport · Wetter · Anmelden

    Stadt eröffnet Bibliothek der Dinge
    Ab Montag können Einwohner Bohrmaschinen, Zelte und Nähmaschinen kostenlos ausleihen. „Die Leute kauften Werkzeug, das sie einmal brauchten“, sagt Bibliothekarin Sabine Krüger.
    ANZEIGE: 10 kg weg in 3 Tagen!!! Hier klicken
    © Hafenblatt · Datenschutz · Impressum · Teilen

  2. Bediene die Reinigungsstraße

    Seiten kommen eine nach der anderen. Schwärze private Angaben per Tipp und schick dann jede Seite in die richtige Kiste.

    1. Wie Bienen den Heimweg finden (naturnotizen.example/bienen) → ✅ Behalten

      Honigbienen nutzen die Sonne als Kompass. An bewölkten Tagen lesen sie Muster im Licht, und sie merken sich Orientierungspunkte unterwegs, von Bäumen bis zu Zäunen.

      Ein klarer, gut geschriebener Artikel. Genau aus solchem Text sollte Vireo lernen.

    2. SCHUHE BILLIG beste billige Schuhe KAUFEN (billige-schuhe.example/schuhe-billig) → 🚫 Spam

      schuhe billig beste billige schuhe jetzt kaufen billige schuhe gratis billige schuhe bester preis hier klicken billige schuhe!!!

      Suchbegriffe, für Suchmaschinen hineingestopft, nicht für Menschen. Ein Modell, das das liest, lernt zu plappern.

    3. Re: Meine Fahrradkette quietscht (reparaturforum.example/kette-quietscht) → ✅ Behalten

      Wisch die Kette mit einem Lappen ab, gib einen Tropfen Öl auf jedes Glied und dreh die Pedale. Quietscht sie noch? Schreib mir an julia.k@mailbox.example [E-MAIL] oder ruf an unter 030 23125142 [TELEFON].

      Nützlicher Rat von einem echten Menschen. Den Rat behalten, aber erst, wenn die Kontaktdaten geschwärzt sind.

      • [E-MAIL] julia.k@mailbox.example: Eine E-Mail-Adresse führt zu einem echten Menschen. Sie muss weg, der hilfreiche Tipp bleibt.
      • [TELEFON] 030 23125142: Eine Telefonnummer ist privat. Ein Modell, das sie auswendig lernt, könnte sie jedem nennen.

    4. Wie Bienen den Heimweg finden (kopie-news.example/bienen-heimweg) → 📑 Duplikat

      Honigbienen nutzen die Sonne als Kompass. An bewölkten Tagen lesen sie Muster im Licht, und sie merken sich Orientierungspunkte unterwegs, von Bäumen bis zu Zäunen.

      Derselbe Fingerabdruck wie beim Bienenartikel von vorhin. Wiederholter Text lässt ein Modell auswendig lernen statt verstehen.

    5. Wird geladen … (shop.example/laden) → 🧩 Kaputt

      Alle Cookies akzeptieren? Ja · Nein · Menü · Start · Anmelden · Warenkorb (0) · © Alle Rechte vorbehalten · Wird geladen … Wird geladen …

      Nur Knöpfe und Menüs, keine echten Sätze. Kaputte Seiten wie diese fliegen raus.

    6. Tomatensuppe in 20 Minuten (heimkueche.example/tomatensuppe) → ✅ Behalten

      Eine Zwiebel in Olivenöl andünsten, zwei Dosen Tomaten und eine Prise Zucker dazugeben, 15 Minuten köcheln lassen, dann pürieren. Genau wie in Neapel.

      Ein klares Rezept in echten Sätzen. Ab in den Trainingsdatensatz.

      • ✓ Neapel: Eine Stadt ist keine private Angabe, sie gehört zur Geschichte des Rezepts. Nur Angaben, die auf eine Person zeigen, müssen weg.

    7. Top 10 beste Top-10-Tests (top10-tests.example/top-10-beste) → 🚫 Spam

      Top 10 beste Produkte. Beste Top-Produkte im Test. Dieses Produkt ist das beste Produkt für beste Ergebnisse. Bestes Produkt kaufen. Top beste 10.

      Maschinell erzeugter Fülltext, der sich wiederholt und nichts sagt. Qualitätsfilter sortieren ihn aus.

  3. Wozu der ganze Aufwand?

    1. Derselbe Artikel taucht 500-mal im Crawl auf. Warum nur eine Kopie behalten?

      • Wiederholungen bringen das Modell dazu, den Text wörtlich auswendig zu lernen (Antwort)
      • Kopien sind okay, mehr Daten sind immer besser

    2. Kann eine Reinigungsstraße jede private Angabe erwischen?

      • Nein, Filter übersehen Dinge, manches rutscht durch (Antwort)
      • Ja, Computer finden jeden Namen und jede Nummer

Merk dir

Ein Modell ist nur so gut wie der Text, aus dem es lernt. Bereinigen sortiert Müll und Kopien aus und schwärzt private Angaben.

Der meiste gecrawlte Text kommt nie ins Training. Was bleibt, wird gefiltert, von Duplikaten befreit und von privaten Angaben gereinigt.

Die wichtigsten Fakten

  • Doppelten Text aus Trainingsdaten zu entfernen führte dazu, dass Sprachmodelle viel seltener auswendig gelernten Text wiederholten und effizienter trainierten. · Quelle: Lee et al., Deduplicating Training Data Makes Language Models Better, ACL 2022
  • Forschende zeigten, dass ein Sprachmodell Teile seiner Trainingsdaten wortwörtlich wiedergeben konnte, darunter Namen, Telefonnummern und E-Mail-Adressen. · Quelle: Carlini et al., Extracting Training Data from Large Language Models, USENIX Security 2021
  • Der Datensatz C4 entstand, indem Common Crawl mit einfachen Regeln bereinigt wurde: Zeilen mit Satzzeichen am Ende behalten, Seiten mit Platzhaltertext oder Code verwerfen und wiederholte Passagen entfernen. · Quelle: Raffel et al., Google, Exploring the Limits of Transfer Learning (T5), 2020
  • Beim Bereinigen fliegt meist der Großteil dessen raus, was ein Crawler sammelt. Deshalb starten Teams mit sehr großen Crawls.

Aktualisiert:

Häufige Fragen

Wie bereinigen KI-Firmen ihre Trainingsdaten?

Sie ziehen den Haupttext aus jeder Seite, filtern Spam, kaputte und minderwertige Seiten heraus, entfernen Duplikate und schwärzen persönliche Angaben wie E-Mail-Adressen und Telefonnummern. Viele Teams lassen die Textqualität zusätzlich von kleinen Modellen bewerten.

Warum werden Duplikate aus Trainingsdaten entfernt?

Text, den ein Modell oft sieht, wird eher auswendig gelernt und wortwörtlich wiederholt. Zum Lernen reicht eine Kopie, und der Rest kostet nur Rechenzeit.

Werden persönliche Daten aus KI-Trainingsdaten entfernt?

Meist ein Teil davon: Filter erkennen Muster wie E-Mail-Adressen und Telefonnummern. Aber Filter können Angaben übersehen, sodass persönliche Daten trotzdem durchrutschen können.

Verwandte Begriffe