Wie LLMs entstehen / Glossar

Fine-Tuning

Fine-Tuning heißt, ein bereits vortrainiertes Modell mit einem kleineren, gezielten Satz von Beispielen etwas weiterzutrainieren, damit es eine Aufgabe besser kann oder sich auf eine bestimmte Art verhält.

Das Vortraining gibt einem Modell breites Wissen, das Fine-Tuning formt es. Instruction Tuning, auch überwachtes Fine-Tuning genannt, trainiert ein Basismodell mit Bitten samt idealen Antworten, die Menschen geschrieben haben. So wird aus einem Textfortsetzer ein Assistent.

Fine-Tuning braucht weit weniger Daten als das Vortraining. Ein Modell, das auf vielen als Anweisungen formulierten Aufgaben feinjustiert wurde, wurde besser bei neuen Aufgaben, die es nie gesehen hatte, und eine Studie erreichte starkes Assistentenverhalten mit nur 1.000 sorgfältig ausgewählten Beispielen.

Firmen feinjustieren Modelle auch mit eigenen Daten, etwa für einen bestimmten Schreibstil oder ein Fachgebiet. Leichtere Methoden wie LoRA trainieren nur einen kleinen Satz zusätzlicher Gewichte, sodass Fine-Tuning auf viel weniger Hardware läuft.