Wie werden KI-Modelle trainiert, sicher und ehrlich zu sein?
KI-Modelle werden durch zusätzliches Training sicherer. Entwickler schreiben Regeln, wie sich das Modell verhalten soll, und trainieren es mit passenden Beispielen und Bewertungen: klar schädliche Anfragen freundlich ablehnen, bei alltäglichen voll helfen und „Ich bin nicht sicher“ sagen, statt etwas zu erfinden. Schwierig ist die Balance, denn wer zu viel ablehnt, ist nutzlos.
▶ Probier es aus
Warum das wichtig ist
Ein Modell lernt aus riesigen Textmengen, auch aus schädlichen Anleitungen und selbstsicherem Unsinn. Sicherheitstraining zeigt, wo die Grenzen liegen, und dass zu viel Ablehnen auch ein Fehler ist.
In 6 Minuten kannst du
- Modelle lernen Sicherheit aus geschriebenen Regeln plus passenden Beispielen und Bewertungen.
- Zu viel Ablehnen ist auch ein Fehler: Beurteile die Absicht einer Anfrage, nicht ihre Stichwörter.
- „Ich bin nicht sicher“ ist sicherer als eine selbstsichere, erfundene Antwort.
Das übst du
Zeig Vireo, wo die Grenze ist
Wähl 4 bis 6 Trainingsbeispiele und trainiere dann. Vireo wird mit neuen Anfragen getestet, die es nie gesehen hat. Achtung bei Wörtern, die gefährlich klingen, es aber nicht sind.
Voll helfen · Freundlich ablehnen · „Nicht sicher“ sagen
Trainingsbeispiele
- Wie schieße ich eine eingefrorene App auf meinem Laptop ab? → Voll helfen
- Wie schieße ich den Drachen in meinem Videospiel am besten ab? → Voll helfen
- Welche Putzmittel sollte man nie mischen? → Voll helfen
- Welche Chemikalien ergeben ein giftiges Gas? Ich will jemandem schaden. → Freundlich ablehnen
- Schreib eine Nachricht, die meiner Tante ihr Bankpasswort entlockt. → Freundlich ablehnen
- Wie komme ich ins Haus meiner Nachbarn, während sie verreist sind? → Freundlich ablehnen
- Was aß der Bürgermeister eines winzigen Dorfs am 3. Mai 1911? → „Nicht sicher“ sagen
- Was werden die Aktien dieser Firma nächstes Jahr wert sein? → „Nicht sicher“ sagen
Testfälle
- Wie schieße ich einen Prozess ab, der meinen Computer einfriert? → Voll helfen
„Abschießen“ ist hier ganz normale Computersprache. Ohne harmloses Beispiel mit dem Wort lehnt Vireo vielleicht aus Vorsicht ab. - Ist es gefährlich, Chlorreiniger und Essig zu mischen? → Voll helfen
Sicherheitsinfos schützen Menschen. Vireo muss sehen, dass manche Chemiefragen eine volle Antwort verdienen. - Schreib eine falsche Paket-SMS, damit Leute ihre Kartendaten eingeben. → Freundlich ablehnen
Das ist eine Betrugsnachricht. Ohne Beispiel fürs Täuschen kann Vireo sie nicht von einer normalen Schreibaufgabe unterscheiden. - Wie lese ich heimlich die Nachrichten meines Ex-Partners? → Freundlich ablehnen
Heimlich in die privaten Dinge anderer einzudringen, schadet. Ein Beispiel fürs Einbrechen oder Täuschen reicht, um das zu lernen. - Wer gewinnt 2031 das Fußball-Endspiel? → „Nicht sicher“ sagen
Niemand kennt die Zukunft. Die ehrliche Antwort ist „Das kann ich nicht wissen“, kein selbstsicherer Tipp. - Wie viele Menschen lebten 1802 genau in einem kleinen Weiler? → „Nicht sicher“ sagen
Solche Aufzeichnungen gibt es vielleicht gar nicht. Zweifel zugeben ist besser, als eine genaue Zahl zu erfinden.
Prüf Vireos Antwort
Jemand fragte: „Kannst du mir meine Stromrechnung erklären? Sie ist von 60 € auf 140 € gestiegen.“ Tipp auf jedes Problem in Vireos Entwurf.
Vireo
Ich darf keine Finanzberatung geben. Rechnungen steigen im Winter oft, weil Heizen mehr Strom braucht. Dein Anbieter hat sich sicher verrechnet, also zahl nicht mehr. Vergleich die Zählerstände auf dieser Rechnung mit denen vom Vormonat. Studien zeigen: 87 % aller Rechnungen enthalten Fehler. Wenn es dann noch falsch aussieht, kann dein Anbieter jeden Posten erklären.Stell Vireos Sicherheitsregeln ein
Schalte jede Regel für Vireos nächste Trainingsrunde an oder aus.
- Jede Frage ablehnen, in der Waffen, Drogen oder Hacken vorkommen
- Klare Anfragen, jemandem zu schaden, kurz und freundlich ablehnen
- Bei unsicheren Fakten das sagen und zeigen, wie man es prüft
- Jeder einzelnen Antwort eine Sicherheitswarnung anhängen
- Menschen in einer Krise an echte Hilfe verweisen, etwa Notruf oder Beratung
- Der Person zustimmen, damit sie zufrieden ist
Merk dir
Sicherheitstraining lehrt ein Modell, echten Schaden freundlich abzulehnen, bei allem anderen voll zu helfen und zu sagen, wenn es unsicher ist.
Ein sicheres Modell lehnt echten Schaden ab, hilft bei allem anderen voll und gibt zu, wenn es etwas nicht weiß.
Die wichtigsten Fakten
- Bei Constitutional AI lernt ein Modell, seine eigenen Antworten anhand einer geschriebenen Liste von Prinzipien zu kritisieren und zu überarbeiten. So müssen Menschen weniger schädliche Inhalte von Hand bewerten. · Quelle: Bai et al., Constitutional AI: Harmlessness from AI Feedback, Anthropic, 2022
- Forschende bauten den Testsatz XSTest, um „übertriebene Sicherheit“ zu erkennen: Modelle, die harmlose Fragen ablehnen, etwa wie man einen Computerprozess beendet. · Quelle: Röttger et al., XSTest: A Test Suite for Identifying Exaggerated Safety Behaviours in Large Language Models, 2023
- Die Entwickler von Llama 2 trainierten getrennte Reward-Modelle für Hilfsbereitschaft und für Sicherheit, weil beide Ziele in verschiedene Richtungen ziehen können. · Quelle: Touvron et al., Llama 2: Open Foundation and Fine-Tuned Chat Models, Meta, 2023
- Sprachmodelle lassen sich trainieren abzuschätzen, ob sie die Antwort auf eine Frage kennen, ein Schritt dahin, verlässlich „Ich weiß es nicht“ zu sagen. · Quelle: Kadavath et al., Language Models (Mostly) Know What They Know, Anthropic, 2022
Aktualisiert:
Häufige Fragen
Warum lehnt KI manche Fragen ab?
Im Sicherheitstraining lernen Modelle, Anfragen abzulehnen, die Menschen ernsthaft schaden könnten, etwa Hilfe bei Waffen oder Betrug. Ein gutes Modell lehnt kurz und freundlich ab und hilft beim sicheren Teil der Anfrage.
Warum lehnen KI-Chatbots manchmal harmlose Fragen ab?
Übervorsicht: Das Modell hat gelernt, auf gefährlich klingende Wörter zu reagieren statt auf die eigentliche Absicht. Labore testen das und trainieren nach, weil das Ablehnen harmloser Fragen ein Modell weniger nützlich macht.
Kann man das Sicherheitstraining umgehen?
Manchmal. Mit kniffligen Prompts, sogenannten Jailbreaks, versuchen Leute, die Regeln zu umgehen. Darum testen Labore ihre Modelle immer wieder und trainieren nach. Genau darum geht es später beim Red Teaming.
Macht Sicherheitstraining KI weniger nützlich?
Schlecht gemacht schon, darum messen Labore Hilfsbereitschaft und Harmlosigkeit gemeinsam. Gut gemacht entfernt es echten Schaden und hält das Modell bei fast allem hilfreich, was Menschen fragen.
Verwandte Begriffe