Wie LLMs entstehen / Glossar

Basismodell (Base Model)

Ein Basismodell ist ein Sprachmodell direkt nach dem Vortraining. Es setzt Text fort, statt Anweisungen zu folgen, und braucht weiteres Training, bevor es als Assistent funktioniert.

Stellst du einem Basismodell eine Frage, antwortet es vielleicht mit weiteren Fragen, weil im Web auf eine Liste von Fragen oft noch mehr Fragen folgen. Es hat gelernt, Dokumente fortzusetzen, nicht der Person zu helfen, die tippt.

Basismodelle wissen trotzdem viel. GPT-3 zeigte, dass ein Basismodell neue Aufgaben aus ein paar Beispielen im Prompt lösen kann, genannt Few-Shot-Prompting, solange der Text wie ein Dokument aussieht, in dem als Nächstes die Antwort kommt.

Viele Labore veröffentlichen beides: ein Basismodell, auf dem Forschende und Entwickler aufbauen, und eine per Instruction Tuning trainierte Version zum Chatten. Das spätere Assistenten-Training nutzt weit weniger Daten und formt vor allem, wie sich das Modell verhält.