Alle Themen / Wie LLMs entstehen
Wie ein großes Sprachmodell entsteht, vom rohen Text zum Chatbot
Begleite ein Modell durch die ganze Fabrik: Text sammeln und bereinigen, in Tokens zerlegen, monatelang auf Tausenden Chips das nächste Token raten und dann das Training, das aus einer Autovervollständigung einen hilfreichen Assistenten macht. Jede Lektion ist eine animierte 6-Minuten-Zeichnung mit einem kurzen Spiel. Ohne Mathe, ohne Code.
- 24 Lektionen
- 144 Min.
- Kostenlos
- Ohne Anmeldung
Hi, ich bin Tomás. Ich helfe bei Vireo Labs, Sprachmodelle zu trainieren. Ich führe dich durch jede Station am Band, von einem chaotischen Haufen Webseiten bis zu einem Modell, das Fragen beantwortet, und zeige dir, wo die schwierigen Entscheidungen fallen.
Der Rohstoff
Woher der Text kommt, wie er bereinigt wird und wie er zu Zahlen wird
- 1
Was ist ein großes Sprachmodell?
Ein riesiger Wortvorhersager, gebaut aus Text
- 2
Woher der Trainingstext kommt
Web-Crawls, Bücher, Code und Gespräche
- 3
Die Daten bereinigen
Duplikate, Spam und private Angaben entfernen
- 4
Tokens: wie Text zu Stücken wird
Warum ein Modell „unglaublich“ als drei Teile liest
- 5
Embeddings: Wörter als Punkte im Raum
Ähnliche Bedeutungen landen nah beieinander
- 6
Wem gehören die Daten?
Urheberrecht, Einwilligung und Widerspruch
Vortraining
Der Transformer, Attention und monatelanges Raten des nächsten Tokens
- 7
Der Transformer
Der Schichtenbau hinter jedem modernen LLM
- 8
Attention
Wie jedes Wort auf die wichtigen Wörter zurückblickt
- 9
Rate das nächste Token
Das eine Trainingsspiel, billionenfach gespielt
- 10
Aus Fehlern lernen
Loss, kleine Stupser und Milliarden winziger Regler
- 11
Hochskalieren
Mehr Daten, mehr Parameter, mehr Chips
- 12
Das Basismodell
Eine geniale Autovervollständigung, noch kein Assistent
Vom Modell zum Assistenten
Anweisungen, menschliches Feedback, Schlussfolgern, Sicherheit und Tools
- 13
Instruction Tuning
Dem Modell beibringen, Bitten zu folgen
- 14
Lernen aus menschlichem Feedback
Menschen vergleichen zwei Antworten und wählen die bessere
- 15
Reward-Modelle
Ein zweites Modell, das Antworten bewertet
- 16
Schlussfolgern lernen
Schritt für Schritt denken bei Aufgaben mit prüfbarer Lösung
- 17
Sicherheitstraining
Schaden ablehnen, ehrlich bleiben, Zweifel zugeben
- 18
Tools und Agenten
Suche, Code und Aktionen in der echten Welt
Testen und veröffentlichen
Benchmarks, Red Teams, kleinere Modelle und wie eine Antwort entsteht
- 19
Benchmarks und Evals
Wie ein neues Modell sein Zeugnis bekommt
- 20
Red Teaming
Fachleute versuchen, das Modell vor dem Start zu knacken
- 21
Modelle verkleinern
Destillation und Quantisierung
- 22
Wie eine Antwort entsteht
Token für Token, mit einer Prise Zufall
- 23
Kontextfenster und Gedächtnis
Was das Modell auf einmal sieht und was es vergisst
- 24
Model Cards und Veröffentlichung
Was ein verantwortungsvoller Start dir verrät
So funktioniert's
- 01
Sehen
Eine animierte Zeichnung zeigt, wie die Sache wirklich funktioniert.
- 02
Ausprobieren
Ein kurzes Spiel lässt dich es anwenden: finden, sortieren, umschalten, entscheiden.
- 03
Behalten
Drei Merksätze und ein Abzeichen für deine Sammlung.
Häufige Fragen
Muss ich Mathe oder Programmieren können?
Nein. Jeder Schritt wird als animierte Zeichnung mit Alltagsbeispielen gezeigt. Du siehst, was ein Token, ein Gewicht oder ein Reward-Modell ist, ohne eine einzige Formel.
Wie lange dauert es, ein großes Sprachmodell zu trainieren?
Das Vortraining eines Spitzenmodells läuft meist Wochen bis Monate auf Tausenden spezialisierten Chips, nach einer langen Phase des Sammelns und Bereinigens von Daten. Das Fine-Tuning, das daraus einen Assistenten macht, kommt noch dazu.
Ist der Kurs kostenlos?
Ja. Alle Lektionen sind gratis, ohne Anmeldung und ohne Bezahlschranke.
Was ist der Unterschied zum Kurs KI-Kompetenz?
Bei KI-Kompetenz geht es darum, KI zu verstehen und gut zu nutzen. Dieser Kurs schaut hinter die Kulissen und begleitet ein Modell durch jede Phase: wie es gebaut, getestet und veröffentlicht wird.