Wie LLMs entstehen / Glossar

KI-Alignment

KI-Alignment ist die Arbeit daran, dass sich ein KI-System so verhält, wie Menschen es wollen und für richtig halten: hilfreich bei Alltagsfragen, ehrlich darüber, was es weiß, und vorsichtig, um Schaden zu vermeiden.

Ein vortrainiertes Modell kopiert Muster aus dem Internet, gute wie schlechte. Alignment-Training ergänzt schriftliche Regeln, wie sich das Modell verhalten soll, und trainiert es mit Beispielen und Bewertungen, die diesen Regeln folgen, etwa mit Fine-Tuning und RLHF.

Schwierig ist die Balance. Ein Modell, das zu wenig ablehnt, kann helfen, Schaden anzurichten, und eines, das zu viel ablehnt, wird nutzlos: Forschende bauten Testsets, um Modelle zu ertappen, die harmlose Fragen ablehnen. Manche Teams trainieren getrennte Reward-Modelle für Hilfsbereitschaft und für Sicherheit, weil beides auseinanderziehen kann.

Andere Ansätze lassen ein Modell seine eigenen Antworten anhand einer schriftlichen Liste von Prinzipien kritisieren und überarbeiten. Alignment ist nie fertig; Red Teaming und Beobachtung nach dem Start finden immer neue Lücken.