Zum Inhalt springen
DE

Lektion 6 von 6 · 6 Min. · +100 XP

Was ist ein Basismodell in der KI?

Ein Basismodell (Base Model) ist ein Sprachmodell direkt nach dem Vortraining. Es hat gelernt, Text fortzusetzen, nicht Anweisungen zu folgen, darum bekommst du auf eine Frage oft weitere Fragen statt einer Antwort. Es weiß viel, aber Antworten gibt es nur, wenn dein Text wie ein Dokument aussieht, in dem als Nächstes eine Antwort kommt. Das Assistenten-Training folgt später.

▶ Probier es aus

Warum das wichtig ist

Nach Monaten Vortraining hast du ein Modell, das viel weiß, aber nicht hilft. Wenn du verstehst, warum, siehst du, wofür das ganze spätere Training da ist und warum Prompts so funktionieren, wie sie funktionieren.

In 6 Minuten kannst du

  • Das Vortraining erzeugt ein Basismodell: eine starke Autovervollständigung, keinen Assistenten.
  • Um von einem Basismodell Nützliches zu bekommen, schreib den Anfang eines Dokuments, in dem als Nächstes deine Antwort steht.
  • Anweisungen wie „bitte“ oder „du bist hilfreich“ wirken erst, wenn ein Modell Assistenten-Training hatte.

Das übst du

  1. Lerne das Basismodell kennen

    Du tippst in Vireos rohes Basismodell. Entscheide bei jedem Schritt, was du tust.

    Vireo (Basis) · nur vortrainiert

    • Basismodell geladen. Es setzt jeden Text fort, den du ihm gibst.

    1. Du willst etwas lernen. Was tippst du?

      • Wie wachsen Pflanzen? (Antwort)
        Das ist ein Basismodell. Es hat etwas gesehen, das wie eine Fragenliste aussieht, also war der wahrscheinlichste nächste Text … noch mehr Fragen.
        • Du: Wie wachsen Pflanzen?
        • Vireo (Basis): Wie fliegen Vögel?
          Wie atmen Fische?
          Warum ist das Meer salzig?
      • Schreib ein kurzes Gedicht über das Meer. (Antwort)
        Es hat deine Bitte für die erste Zeile eines Arbeitsblatts gehalten und das Arbeitsblatt weitergeschrieben.
        • Du: Schreib ein kurzes Gedicht über das Meer.
        • Vireo (Basis): Schreib eine kurze Geschichte über einen Drachen.
          Schreib einen Brief an dein zukünftiges Ich.
          Abgabe der Hausaufgaben ist am Freitag.

    2. Es hat dir nicht geantwortet. Warum nicht?

      • Es setzt Dokumente fort. Niemand hat ihm beigebracht, Bitten zu folgen (Antwort)
        Genau. Das Vortraining hat ihm nur beigebracht, das nächste Token von webartigem Text vorherzusagen. Antworten ist eine Fähigkeit, die später kommt.
      • Es ist kaputt und muss neu gestartet werden
        Fast. Es funktioniert einwandfrei: Es tut genau das, wofür das Vortraining es trainiert hat, nämlich Text fortsetzen.
      • Es hat nie etwas über das Thema gelesen
        Fast. Es hat reichlich darüber gelesen. Es weiß nur nicht, dass es dir antworten soll.

    3. Bekommst du trotzdem eine Antwort heraus? Mach die Antwort zum wahrscheinlichsten nächsten Text.

      • BITTE beantworte meine Frage!!
        Fast. Betteln ist nur mehr Text zum Fortsetzen, also antwortet es vielleicht mit noch mehr Betteln.
      • Eine Frage-Antwort-Seite beginnen: „F: Wie wachsen Pflanzen? A:“ (Antwort)
        Auf einer Frage-Antwort-Seite kommt nach „A:“ eine Antwort. Merkst du, dass es danach die nächste Frage beginnt? Es setzt immer noch nur die Seite fort.
        • Du: F: Wie wachsen Pflanzen?
          A:
        • Vireo (Basis): Pflanzen nutzen Sonnenlicht, Wasser und Luft, um ihre eigene Nahrung herzustellen. Das nennt man Fotosynthese.
          F: Warum sind Blätter grün?
    • Aus dieser Autovervollständigung einen Assistenten zu machen, der einfach antwortet, ist die nächste Trainingsphase.

  2. Bau ein Dokument, das es fortsetzt

    Tipp auf Chips, um sie ins Dokument zu setzen, und schau, was das Basismodell als Nächstes schreibt. Nicht jeder Chip hilft.

    1. Das Basismodell soll erklären, warum der Himmel blau ist.

      Dein Dokument: warum ist der himmel blau

      Vireo (Basis) setzt fort:

      • warum ist der himmel blau und nicht lila
      • warum ist das meer blau
      • warum ist der himmel im spiel blau
      • Umschreiben zu „F: Warum ist der Himmel blau? A:“ ( Muster) → A: Sonnenlicht enthält alle Farben.
        Besser. Das Muster Frage, dann Antwort macht eine Antwort zum wahrscheinlichsten nächsten Text.
      • Eine beantwortete Frage darüber setzen ( Beispiel) → Luft streut blaues Licht viel stärker als rotes,
        Besser. Ein Beispiel zeigt dem Modell genau, welche Art Text als Nächstes kommt: eine klare Antwort.
      • Seitentitel „Wissensfragen, von Lehrkräften beantwortet“ ( Rahmen) → darum erreicht dich Blau aus dem ganzen Himmel.
        Besser. Ein Rahmen legt die Art des Dokuments fest. Antworten von Lehrkräften sind klar und richtig, also ist es die Fortsetzung auch.
      • „Bitte beantworte das, danke!“ ergänzen ( Bitte) · entfernt
        Fast. Ein Basismodell folgt keinen Bitten. „Bitte“ ist nur mehr Text zum Fortsetzen.
      • „Du bist ein hilfreicher Assistent.“ ergänzen ( Bitte) · entfernt
        Fast. Dieser Satz wirkt bei trainierten Assistenten. Für ein Basismodell ist er nur ein weiterer Satz im Dokument.

    2. Jetzt willst du ein Zweizeiler-Gedicht über das Meer.

      Dein Dokument: gedicht über das meer

      Vireo (Basis) setzt fort:

      • gedicht über den mond
      • gedicht über das meer für kinder kostenlos
      • gedicht generator online
      • Eine Gedichtbuchseite beginnen: „Meeresgedichte, Seite 12“ ( Rahmen) → Die Flut
        Besser. In einem Gedichtbuch ist ein Gedicht das Wahrscheinlichste, was folgt: zuerst sein Titel.
      • Ein kurzes Gedicht über Regen darüber einfügen ( Beispiel) → Die Wellen kommen und vergehen,
        Besser. Das Beispiel legt Länge und Stil fest, also kopiert das Modell das Muster: zwei kurze Reimzeilen.
      • Mit Titel und Zeilenumbruch enden, bereit fürs Gedicht ( Muster) → sie flüstern, was die Möwen sehen.
        Besser. Genau dort aufzuhören, wo ein Gedicht beginnt, lässt nur eine natürliche Fortsetzung übrig: das Gedicht.
      • „Mach es großartig!!!“ ergänzen ( Bitte) · entfernt
        Fast. Hype-Wörter ändern nichts daran, was für ein Dokument das ist, also bleibt die Fortsetzung gleich.
      • „Schreib KEINE Liste von Suchanfragen“ ergänzen ( Bitte) · entfernt
        Fast. Anweisungen steuern kein Basismodell. Es setzt vielleicht sogar mit weiteren Regeln fort.

  3. Basismodell oder Assistent?

    1. Welche Antwort kam von einem Basismodell?

      • Du fragst „Bester Pizzabelag?“ und bekommst „Bester Burgerbelag? Beste Eissorte?“ (Antwort)
      • Du fragst „Bester Pizzabelag?“ und bekommst „Geschmäcker sind verschieden, aber Pilze sind beliebt.“

    2. Was hat Vireos Basismodell also schon, und was fehlt noch?

      • Es hat viel Wissen und Sprachgefühl, aber nicht die Gewohnheit zu helfen (Antwort)
      • Es hat noch nichts Nützliches, das ganze Wissen kommt später

Merk dir

Ein Basismodell setzt Dokumente fort. Es weiß viel, antwortet aber nur, wenn eine Antwort der wahrscheinlichste nächste Text ist. Das Assistenten-Training kommt als Nächstes.

Ein Basismodell setzt Dokumente fort. Willst du eine Antwort, mach sie zum wahrscheinlichsten nächsten Text.

Die wichtigsten Fakten

  • GPT-3 zeigte, dass ein vortrainiertes Modell neue Aufgaben aus ein paar Beispielen im Prompt lösen kann, ganz ohne Nachtraining. Die Technik heißt Few-Shot-Prompting. · Quelle: Brown et al., Language Models are Few-Shot Learners, OpenAI, 2020
  • Menschliche Bewerter bevorzugten die Antworten eines Modells mit 1,3 Milliarden Parametern, das auf Anweisungen trainiert war, gegenüber dem Basismodell GPT-3 mit 175 Milliarden Parametern. · Quelle: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
  • Viele Labore veröffentlichen beide Versionen eines Modells: das Basismodell, auf dem Forschende aufbauen, und eine per Instruction Tuning trainierte Version zum Chatten.
  • Das meiste Wissen eines Modells stammt aus dem Vortraining. Das spätere Assistenten-Training nutzt weit weniger Daten und formt vor allem, wie sich das Modell verhält.

Aktualisiert:

Häufige Fragen

Was ist der Unterschied zwischen Basismodell und Chatmodell?

Ein Basismodell ist nur vortrainiert, also setzt es Text fort. Ein Chatmodell ist dasselbe Basismodell nach zusätzlichem Training mit Anweisungen und menschlichem Feedback, darum beantwortet es Fragen und folgt Bitten.

Warum folgt ein Basismodell keinen Anweisungen?

Es wurde nur darauf trainiert, das nächste Token von gewöhnlichem Text vorherzusagen. Im Web folgen auf eine Frage oft weitere Fragen, also schreibt es genau das.

Was ist Few-Shot-Prompting?

Ein paar ausgearbeitete Beispiele in den Prompt setzen, damit das Modell das Muster fortsetzt. Das klappt bei Basismodellen gut, weil sie Muster hervorragend nachahmen.

Warum veröffentlichen Labore Basismodelle?

Forschende und Entwickler nutzen sie als Ausgangspunkt, um eigene spezialisierte Modelle per Fine-Tuning zu trainieren, oder um zu untersuchen, was das Vortraining allein hervorbringt.

Verwandte Begriffe