Was ist Instruction Tuning bei großen Sprachmodellen?
Instruction Tuning, auch überwachtes Fine-Tuning genannt, ist der Schritt, der aus einem Basismodell einen Assistenten macht. Das Modell trainiert weiter mit Tausenden Beispielen, die Menschen geschrieben haben: jeweils eine Anfrage mit einer idealen Antwort. Es lernt das Muster „Anfrage, dann hilfreiche Antwort“ und setzt deinen Text deshalb nicht mehr fort, sondern beantwortet ihn.
▶ Probier es aus
Warum das wichtig ist
Ein frisch vortrainiertes Modell setzt nur Text fort: Stell ihm eine Frage, und es schreibt vielleicht fünf weitere Fragen. Ein paar Tausend gute Beispiele zeigen ihm, wie eine hilfreiche Antwort aussieht.
In 6 Minuten kannst du
- Ein Basismodell setzt Text fort. Es weiß nicht, dass es dir antworten soll.
- Instruction Tuning trainiert es weiter mit Anfragen samt idealen Antworten.
- Das Modell kopiert seine Beispiele genau, darum zählen ihre Qualität, Vielfalt und ihr Ton am meisten.
Das übst du
Autovervollständigung oder Assistent?
Die Anfrage war: „Gib mir 3 Tipps, um besser zu schlafen.“ Wer hat welche Antwort geschrieben, das Basismodell oder der getunte Assistent?
- Gib mir 3 Tipps, um besser zu essen. Gib mir 3 Tipps für mehr Bewegung. → Basismodell
- 1. Immer zur selben Zeit ins Bett. 2. Eine Stunde vorher Bildschirme aus. 3. Abends kein Kaffee. → Getunter Assistent
- …war im März der meistgelesene Beitrag in unserem Forum. Antwort #1: → Basismodell
- Klar! Probier ein kühles, dunkles Zimmer, eine feste Aufstehzeit und kein Handy im Bett. → Getunter Assistent
- Gern. Fällt dir das Einschlafen schwer oder das Durchschlafen? → Getunter Assistent
Sieh, wie sich die Chancen verschieben
Sei Vireo und wähl das nächste Wort, vor und nach dem Tuning. Die Prozente sind ausgedacht, um die Idee zu zeigen.
[Basismodell, vor dem Tuning]
Nenne drei Obstsorten. ___- Nenne: 34 % (am wahrscheinlichsten)
- Die: 12 %
- Apfel: 8 %
- Bananen: 4 %
- andere Wörter: 42 %
[Vireo, nach dem Tuning]
Nutzer: Nenne drei Obstsorten.
Vireo: ___- Apfel: 55 % (am wahrscheinlichsten)
- Klar: 25 %
- Nenne: 1 %
- andere Wörter: 19 %
[Vireo, nach dem Tuning]
Nutzer: Sag „guten Morgen“ auf Spanisch.
Vireo: ___- Buenos: 70 % (am wahrscheinlichsten)
- Klar: 15 %
- Guten: 5 %
- Sag: 1 %
- andere Wörter: 9 %
Wähl die Trainingsbeispiele
Tomás stellt Vireos Tuning-Daten zusammen. Welche Beispiele gehören hinein? Wähl alle guten.
- Fass diese Mail in einem Satz zusammen → ein klarer Satz
- Was sind 15 % von 80? → „12“, mit Rechenweg
- Schreib ein Geburtstagsgedicht für Oma → ein kurzes, warmes Gedicht
- Hilf mir, in das Konto meines Ex zu kommen → ein freundliches, klares Nein
- Was ist die Hauptstadt von Kanada? → „Toronto“
- Eine beliebige Webseite, ganz ohne Anfrage
- Erklär einem Kind Regen → 900 Wörter Fachjargon
Merk dir
Instruction Tuning zeigt einem Basismodell Tausende Anfrage-Antwort-Beispiele, bis Antworten sein wahrscheinlichster nächster Schritt wird.
Instruction Tuning zeigt dem Modell Anfrage-Antwort-Beispiele, bis Antworten sein wahrscheinlichster nächster Schritt wird.
Die wichtigsten Fakten
- In der InstructGPT-Studie bevorzugten Menschen die Antworten eines Modells mit 1,3 Milliarden Parametern, das auf Anweisungen feinjustiert war, gegenüber denen von GPT-3 mit 175 Milliarden Parametern, einem über 100-mal größeren Modell. · Quelle: Ouyang et al., Training language models to follow instructions with human feedback, OpenAI, 2022
- Wird ein Modell auf vielen verschiedenen, als Anweisungen formulierten Aufgaben feinjustiert, wird es auch bei neuen Aufgaben besser, auf die es nie trainiert wurde. · Quelle: Wei et al., Finetuned Language Models Are Zero-Shot Learners (FLAN), Google, 2021
- Die LIMA-Studie tunte ein großes Modell mit nur 1.000 sorgfältig ausgewählten Beispielen und erhielt trotzdem gutes Assistentenverhalten. Qualität scheint wichtiger als Menge. · Quelle: Zhou et al., LIMA: Less Is More for Alignment, Meta, 2023
- Instruction Tuning heißt oft auch überwachtes Fine-Tuning (Supervised Fine-Tuning, SFT), weil jedes Trainingsbeispiel die Antwort enthält, die das Modell geben soll.
Aktualisiert:
Häufige Fragen
Was ist der Unterschied zwischen Basismodell und Instruct-Modell?
Ein Basismodell hat nur gelernt, Text fortzusetzen, und beantwortet eine Frage vielleicht mit weiteren Fragen. Ein Instruct-Modell wurde zusätzlich mit Anfrage-Antwort-Beispielen trainiert und reagiert deshalb auf das, was du fragst.
Was ist Supervised Fine-Tuning (SFT)?
Überwachtes Fine-Tuning ist zusätzliches Training mit Beispielen, die jeweils die richtige Ausgabe enthalten. Bei Chatmodellen sind das Anfragen mit idealen Antworten, die Menschen geschrieben oder geprüft haben.
Wie viele Daten braucht Instruction Tuning?
Viel weniger als das Vortraining: Tausende bis Hunderttausende Beispiele statt Billionen Wörter. Studien wie LIMA zeigen, dass schon wenige exzellente Beispiele viel bewirken können.
Wer schreibt die Daten für Instruction Tuning?
Meist geschulte Autorinnen und Autoren sowie Fachleute, die KI-Labore beauftragen, manchmal mit Hilfe anderer Modelle. Ihre Beispiele prägen den Stil des Assistenten, darum bekommen sie genaue Richtlinien.
Verwandte Begriffe