Wie LLMs entstehen / Glossar

Vortraining (Pretraining)

Das Vortraining ist die erste und größte Phase beim Bau eines Sprachmodells: Es liest riesige Mengen Text und lernt, indem es immer wieder das nächste Token vorhersagt, ganz ohne menschliche Labels.

Im Vortraining sieht das Modell echten Text, bei dem das nächste Token verdeckt ist. Es rät, prüft die echte Antwort und passt seine Gewichte ein wenig an. Der Text liefert die Antworten selbst, also muss niemand etwas beschriften.

Über Billionen Tokens wiederholt, zwingt dieses einfache Spiel das Modell, Grammatik, Fakten, Schreibstile, Denkmuster und Code aufzunehmen. Llama 3 zum Beispiel wurde mit über 15 Billionen Tokens vortrainiert.

Das Vortraining verbraucht den Großteil der Rechenleistung, die in ein Modell fließt, und liefert den Großteil seines Wissens. Das Ergebnis ist ein Basismodell, das Text gut fortsetzt, aber noch keinen Anweisungen folgt; Fine-Tuning und Feedback-Training kommen danach.