Zum Inhalt springen
DE

Lektion 1 von 6 · 6 Min. · +100 XP

Was ist ein großes Sprachmodell (LLM)?

Ein großes Sprachmodell (LLM, Large Language Model) ist ein KI-System, das mit riesigen Textmengen für eine Aufgabe trainiert wurde: das nächste Textstück vorherzusagen. Es bewertet jedes mögliche nächste Token, wählt ein wahrscheinliches und wiederholt das. Milliarden im Training eingestellte Zahlen speichern die gelernten Muster, darum kann es antworten, übersetzen, zusammenfassen und programmieren.

▶ Probier es aus

Warum das wichtig ist

Jeder Chatbot läuft auf einem LLM. Wenn du siehst, dass es ein Wortvorhersager ist, wird klar, warum es so flüssig klingt, warum es so viel weiß und warum es trotzdem selbstsicher falschliegen kann.

In 6 Minuten kannst du

  • Wenn ein Chatbot antwortet, stell dir vor, wie er nächste Wörter ordnet: Das erklärt seinen Redefluss und seine Ausrutscher.
  • Prüf Namen, Daten und Zahlen, die er dir nennt, denn eine plausibel klingende Antwort kann erfunden sein.
  • Nutz ihn zum Entwerfen, Erklären und Umformulieren, wo wahrscheinliche Formulierungen genau das sind, was du willst.

Das übst du

  1. Groß. Sprach. Modell.

    Tipp auf jede Karte, um den Namen zu entschlüsseln.

    📏 Groß
    Milliarden verstellbare Zahlen, Parameter genannt, trainiert mit Billionen Wörtern. Die Größe ist ein wichtiger Grund, warum es so gut funktioniert.
    💬 Sprache
    Es arbeitet mit Text: liest und schreibt ihn, in vielen menschlichen Sprachen und in Programmiercode.
    🧮 Modell
    Eine riesige mathematische Funktion. Text geht hinein, und heraus kommt eine Bewertung für jedes mögliche nächste Token.
    🎯 Und was macht es eigentlich?
    Eine Sache, immer wieder: das nächste Textstück vorhersagen. Antworten, Zusammenfassen und Übersetzen bauen alle darauf auf.

  2. Nimm Vireos Platz ein

    Wähl das Wort, das deiner Meinung nach als Nächstes kommt. Dann siehst du, wie wahrscheinlich jede Option war. Die Prozente sind nur zur Veranschaulichung.

    1. Die Katze sitzt auf der ___

      • Matte: 62 % (am wahrscheinlichsten)
      • Treppe: 21 %
      • Couch: 9 %
      • Wolke: 0,1 %
      • andere Wörter: 8 %
      Vireo hat diese Wendung so oft gesehen, dass „Matte“ alle anderen überragt. Eine solche Rangliste ist alles, was das Modell je erzeugt.

    2. Wasser gefriert bei null Grad ___

      • Celsius: 80 % (am wahrscheinlichsten)
      • Fahrenheit: 5 %
      • heute: 2 %
      • andere Wörter: 13 %
      Ein Fakt, der in unzähligen Texten steht, wird zu einer starken Vorhersage. So „weiß“ ein Modell Dinge: als Muster, nicht als Faktenliste.

    3. Übersetze ins Französische: guten Morgen → ___

      • bonjour: 88 % (am wahrscheinlichsten)
      • bonsoir: 4 %
      • hello: 2 %
      • andere Wörter: 6 %
      Niemand hat einen Übersetzer programmiert. Text in vielen Sprachen vorherzusagen hat Vireo gezeigt, welche Wörter zusammengehören.

    4. Tomás, Trainingsingenieur bei Vireo Labs, wurde geboren in ___

      • Spanien: 20 % (am wahrscheinlichsten)
      • Madrid: 14 %
      • Lissabon: 10 %
      • Mexiko: 9 %
      • andere Wörter: 47 %
      Vireo hat nie etwas über Tomás gelesen, ordnet aber trotzdem Optionen und wählt eine. So kann eine flüssige Antwort einfach erfunden sein.

  3. Stimmt oder Mythos?

    Sortiere jede Aussage über große Sprachmodelle.

    • Es hat aus riesigen Textmengen gelernt → Stimmt
    • Es schlägt Antworten in einer Datenbank nach → Mythos
    • Es schreibt ein Token nach dem anderen → Stimmt
    • Jemand hat für jede Antwort eine Regel geschrieben → Mythos
    • Es kann sicher klingen und trotzdem falschliegen → Stimmt
    • Es gibt jedes Mal dieselbe Antwort → Mythos

  4. Das Fließband

    Dieser Kurs begleitet Vireo vom rohen Text zum Assistenten. Bring die Stationen in die richtige Reihenfolge.

    1. Riesige Textmengen sammeln
    2. Bereinigen und in Tokens zerlegen
    3. Vortraining: billionenfach das nächste Token raten
    4. Fine-Tuning auf Anweisungen und Feedback
    5. Gründlich testen, dann veröffentlichen

Merk dir

Ein LLM ist ein Token-Vorhersager, trainiert mit riesigen Textmengen. Flüssig heißt wahrscheinlich, nicht unbedingt wahr.

Ein LLM sagt immer wieder das nächste Token vorher. Sein Wissen sind Muster, gespeichert in Milliarden Zahlen.

Die wichtigsten Fakten

  • Die meisten heutigen großen Sprachmodelle basieren auf dem Transformer, einer Bauart, die 2017 in einem Forschungsartikel vorgestellt wurde. · Quelle: Vaswani et al., Google, Attention Is All You Need, NeurIPS 2017
  • GPT-3 hatte 175 Milliarden Parameter, also verstellbare Zahlen, die speichern, was ein Modell lernt. · Quelle: Brown et al., OpenAI, Language Models are Few-Shot Learners, 2020
  • Llama 3 wurde mit über 15 Billionen Text-Tokens vortrainiert. · Quelle: Meta, Introducing Meta Llama 3, 2024
  • Menschen bevorzugten die Antworten eines Modells mit 1,3 Milliarden Parametern, das auf Anweisungen feinjustiert war, gegenüber GPT-3 mit 175 Milliarden: Das Training nach dem Vortraining zählt. · Quelle: Ouyang et al., OpenAI, Training language models to follow instructions with human feedback, 2022

Aktualisiert:

Häufige Fragen

Wofür steht LLM?

LLM steht für Large Language Model, auf Deutsch großes Sprachmodell: ein KI-Modell mit Milliarden Parametern, trainiert mit riesigen Textmengen, um das nächste Token vorherzusagen.

Ist ein Chatbot dasselbe wie ein LLM?

Ein Chatbot ist eine App, die um ein LLM herum gebaut ist. Das Modell sagt Text vorher; die App ergänzt das Chatfenster, zusätzliches Training für Anweisungen, Sicherheitsregeln und manchmal Tools wie die Websuche.

Versteht ein großes Sprachmodell, was es sagt?

Nicht so wie Menschen. Es hat sehr genaue Sprachmuster gelernt, was es nützlich macht, aber es hat keinen eingebauten Weg zu prüfen, ob ein Satz stimmt.

Warum heißen sie „groß“?

Wegen ihrer Größe: Milliarden Parameter, trainiert mit Billionen Wörtern und enormer Rechenleistung. Größere Modelle mit mehr Daten sind im Allgemeinen fähiger geworden.

Verwandte Begriffe