Woher kommen die Trainingsdaten für große Sprachmodelle?
Große Sprachmodelle lernen aus einer riesigen Textmischung: öffentliche Webseiten, die Crawler sammeln, Bücher, wissenschaftliche Artikel, Open-Source-Code, Lexika und Forenbeiträge, dazu lizenzierte und eigens geschriebene Daten. Jede Quelle bringt etwas anderes bei, von Fakten über Erzählen bis Programmieren. Moderne Modelle trainieren mit Billionen Tokens, und die Mischung bestimmt, was das Modell gut kann.
▶ Probier es aus
Warum das wichtig ist
Ein Modell kann nur lernen, was in seinen Daten steht. Die Mischung der Quellen erklärt, was es gut kann, welche Sprachen es beherrscht und wessen Stimmen es wiedergibt.
In 6 Minuten kannst du
- Ist ein Modell in deiner Sprache oder deinem Fach schwach, hat es im Training wahrscheinlich wenig Text dazu gesehen.
- Denk daran, dass öffentlicher Webtext Meinungen und Fehler enthält, und ein Modell kann beides wiedergeben.
- Schau in die Dokumentation eines Modells: Verantwortungsvolle Anbieter beschreiben ihre Datenquellen.
Das übst du
Aus welchem Rohr kommt das?
Jeder Schnipsel stammt aus einer Quelle. Sortiere ihn ins richtige Rohr.
- Öffnungszeiten: Mo–Fr 9–17 Uhr. Du findest uns direkt am Bahnhof. → Webseiten
- Kapitel 3. Seit drei Tagen hatte es nicht aufgehört zu regnen, als Lena den Leuchtturm erreichte. → Bücher
- def area(r): return 3.14159 * r * r → Code
- Re: Fehler „Festplatte voll“? Cache leeren hat bei mir geholfen, danke euch! → Foren
- „Ich wollte nie gehen“, flüsterte sie und schloss das alte Tagebuch. → Bücher
- for (let i = 0; i < 10; i++) { total += i; } → Code
- F: Kakteen jede Woche gießen, okay? A: Im Winter zu oft, lieber monatlich. → Foren
- 10 einfache Tipps für Tomaten auf dem Balkon → Webseiten
Was hat jedes Rohr beigebracht?
Jede Zeile ist im Stil einer Quelle geschrieben. Wähl das nächste Wort und sieh Vireos Vorhersage. Die Prozente sind nur zur Veranschaulichung.
Es war eine dunkle und stürmische ___
- Nacht: 90 % (am wahrscheinlichsten)
- Stunde: 3 %
- Zeit: 2 %
- Brezel: 0 %
- andere Wörter: 5 %
if user is None:
return ___- None: 55 % (am wahrscheinlichsten)
- False: 20 %
- user: 5 %
- hallo: 0,1 %
- andere Wörter: 20 %
Hat noch jemand dieses Problem? EDIT: gelöst, ___
- danke: 40 % (am wahrscheinlichsten)
- lag: 20 %
- nie: 2 %
- andere Wörter: 38 %
Wir haben geöffnet von Montag bis ___
- Freitag: 70 % (am wahrscheinlichsten)
- Samstag: 15 %
- Sonntag: 5 %
- andere Wörter: 10 %
Plane Vireos Datenmischung
Tomás hat einen Plan für den nächsten Trainingslauf entworfen. Stell jede Zeile so ein, dass ein besseres Modell herauskommt.
- Text in vielen Sprachen hinzufügen
- Die beliebteste Seite 1.000-mal kopieren, damit sie mehr zählt
- Öffentlichen Code aus Open-Source-Projekten hinzufügen
- Private Nachrichten von Menschen hinzufügen
- Lehrbücher und Fachartikel hinzufügen, die wir nutzen dürfen
- Nur Text von einer einzigen großen Website nehmen
Merk dir
Ein Modell weiß nur, was es gelesen hat. Seine Mischung aus Webseiten, Büchern, Code und Gesprächen prägt alles, was es tut.
Ein Modell wird von seiner Datenmischung geprägt: Webseiten, Bücher, Code und Gespräche bringen ihm jeweils etwas anderes bei.
Die wichtigsten Fakten
- Common Crawl, eine gemeinnützige Organisation, archiviert seit 2008 Milliarden Webseiten und stellt sie frei zur Verfügung; gefilterte Versionen davon stecken in vielen Sprachmodellen. · Quelle: Common Crawl Foundation
- In der Trainingsmischung von GPT-3 hatten gefilterte Web-Crawl-Texte etwa 60 % Gewicht, kuratierte Webseiten 22 %, zwei Büchersammlungen 16 % und Wikipedia 3 %. · Quelle: Brown et al., OpenAI, Language Models are Few-Shot Learners, 2020
- The Pile, ein offener Datensatz zum Training von Sprachmodellen, kombinierte 22 verschiedene Quellen, von Fachartikeln bis zu Code und Forenbeiträgen. · Quelle: Gao et al., EleutherAI, The Pile, 2020
- Llama 3 wurde mit über 15 Billionen Tokens aus öffentlich verfügbaren Quellen vortrainiert. · Quelle: Meta, Introducing Meta Llama 3, 2024
Aktualisiert:
Häufige Fragen
Mit welchen Daten werden LLMs trainiert?
Vor allem mit Text: öffentliche Webseiten, Bücher, wissenschaftliche Artikel, Lexika, Open-Source-Code und Forendiskussionen, oft ergänzt durch lizenzierte Daten und Beispiele, die Menschen eigens fürs Training schreiben.
Wie viele Daten braucht man, um ein LLM zu trainieren?
Moderne Modelle werden mit Billionen Tokens vortrainiert, weit mehr Text, als ein Mensch in vielen Leben lesen könnte. Die genaue Menge hängt vom Modell ab.
Werden LLMs mit Büchern trainiert?
Viele ja, denn Bücher bieten lange, gut lektorierte Texte. Welche Bücher genutzt werden dürfen und zu welchen Bedingungen, ist umstritten und in mehreren Ländern Thema von Klagen.
Warum ist die Datenmischung so wichtig?
Ein Modell lernt die Muster in dem, was es liest. Mehr Code macht es besser im Programmieren, mehr Sprachen machen es mehrsprachiger, und einseitige Daten machen es einseitig.
Verwandte Begriffe