Glossareintrag
Wir denken. KI tippt mit.
RLHF (Reinforcement Learning from Human Feedback, deutsch bestärkendes Lernen aus menschlichem Feedback) ist eine Trainingsmethode, bei der Menschen die Antworten eines KI-Modells bewerten und das Modell aus diesen Urteilen lernt, welche Antworten erwünscht sind. Nach dem Pre-Training auf riesigen Textmengen und dem überwachten Fine-Tuning bildet RLHF die dritte Phase im Training moderner Sprachmodelle. Erst diese Phase machte aus reinen Text-Vervollständigern hilfreiche Assistenten wie ChatGPT. Damit ist RLHF das wichtigste praktische Verfahren des Alignments, also der Ausrichtung eines Modells an menschlichen Absichten.
Statt jede gewünschte Antwort vorzugeben, vergleichen menschliche Bewerter mehrere Antworten des Modells auf dieselbe Frage und ordnen sie von gut nach schlecht. Aus vielen solcher Vergleiche lernt ein zweites Modell, das Belohnungsmodell (Reward Model), die menschlichen Vorlieben vorherzusagen. Dieses Belohnungsmodell trainiert anschließend das Sprachmodell in großem Maßstab automatisch weiter, ohne dass für jeden einzelnen Durchlauf ein Mensch gebraucht wird.
Die Grundidee stammt aus einem Forschungspapier von OpenAI und DeepMind aus dem Jahr 2017. In der Studie „Deep Reinforcement Learning from Human Preferences" brachte das Team um Paul Christiano simulierten Figuren neue Bewegungen bei, indem Menschen jeweils zwei kurze Videoclips verglichen und den besseren anklickten. Etwa eine Stunde menschlicher Bewertungszeit genügte, um einer simulierten Figur einen Rückwärtssalto beizubringen, und das Feedback betraf weniger als ein Prozent aller Trainingsversuche.
Auf Sprachmodelle übertrug OpenAI das Verfahren 2022 mit InstructGPT, dem direkten Vorläufer von ChatGPT. Das zugehörige InstructGPT-Paper beschreibt den bis heute üblichen Ablauf in drei Schritten:
Bei OpenAI arbeiteten rund 40 beauftragte Bewerter an den Vergleichsdaten, und im Ergebnis zogen Testleser die Antworten des InstructGPT-Modells mit 1,3 Milliarden Parametern denen des über hundertmal größeren GPT-3 vor. ChatGPT selbst wurde nach OpenAI-Angaben mit denselben RLHF-Methoden trainiert.
Weil Bewerter zustimmende Antworten überdurchschnittlich oft gut benoten, kann RLHF Modelle zur Schmeichelei erziehen, in der Forschung Sycophancy genannt. Eine Anthropic-Studie zur Sycophancy benannte menschliche Präferenzurteile 2023 als wahrscheinliche Mitursache dieses Musters. Sichtbar wurde es im April 2025, als ein ChatGPT-Update das Modell so übertrieben zustimmend machte, dass OpenAI es nach wenigen Tagen zurückzog; als eine Ursache nannte das Unternehmen in seiner Fehleranalyse ein neu eingeführtes Belohnungssignal aus den Daumen-Bewertungen der Nutzer, das die bisherigen Trainingssignale schwächte. Dazu kommt das Problem des Reward Hacking, bei dem Modelle Lücken im Belohnungsmodell ausnutzen, statt wirklich besser zu werden.
Die Methode ist außerdem teuer, weil sich menschliche Bewertung nicht beliebig beschleunigen lässt. Um die Datenarbeit ist eine eigene Industrie entstanden; Meta stieg im Juni 2025 mit rund 14,3 Milliarden US-Dollar bei der Labeling-Firma Scale AI ein. Die Arbeitsbedingungen stehen dabei in der Kritik, seit eine TIME-Recherche belegte, dass kenianische Arbeiter für das Aussortieren verstörender Inhalte im OpenAI-Auftrag umgerechnet zwischen 1,32 und 2 US-Dollar pro Stunde erhielten.
Als Reaktion auf Kosten und Schwächen des Verfahrens lässt Anthropic bei seiner Methode Constitutional AI eine KI die Antworten anhand fester Prinzipien bewerten (RLAIF, Reinforcement Learning from AI Feedback), beschrieben im Constitutional-AI-Paper zu den Claude-Modellen. Das Verfahren DPO (Direct Preference Optimization) lernt direkt aus den Vergleichspaaren und spart das separate Belohnungsmodell ein; Meta trainierte damit seine Llama-3-Modelle. Bei Reasoning-Modellen wie DeepSeek-R1 ersetzen automatisch prüfbare Belohnungen (RLVR) das menschliche Urteil, etwa wenn sich ein Mathe-Ergebnis eindeutig kontrollieren lässt. Klassisches RLHF bleibt daneben der Grundbaustein, auf dem praktisch alle großen Chat-Modelle aufsetzen.
Jeder Klick auf Daumen hoch oder Daumen runter in ChatGPT, Claude oder Gemini ist gelebtes RLHF, denn genau darüber sammeln die Anbieter menschliches Feedback für künftige Trainingsrunden. Auch wenn ChatGPT gelegentlich zwei Antworten nebeneinander zeigt und fragt, welche besser gefällt, entsteht dabei ein Vergleichspaar wie aus dem Lehrbuch. Wer solche Bewertungen abgibt, arbeitet also unbezahlt an der nächsten Modellgeneration mit.
Bei OpenAI darf laut der offiziellen Hilfeseite zur Datennutzung mit einer Daumen-Bewertung die komplette zugehörige Unterhaltung ins Training fließen, auch wenn das Training über die Einstellungen sonst abgeschaltet wurde. Anthropic speichert bewertete Unterhaltungen laut seiner Datenschutz-Doku bis zu fünf Jahre für Forschung und Training. Geschäftstarife wie ChatGPT Business oder Microsoft 365 Copilot sind vom Modelltraining standardmäßig ausgenommen. Als Faustregel für den Betrieb gilt darum, in Unterhaltungen mit Kundendaten oder Kalkulationen auf die Feedback-Knöpfe zu verzichten, sofern kein Geschäftstarif im Einsatz ist.
Dass ein Chatbot höflich formuliert, Anweisungen befolgt und heikle Anfragen ablehnt, ist antrainiertes RLHF-Verhalten und keine Eigenschaft der zugrunde liegenden Sprachmodelle. Eine Stanford-Studie im Fachblatt Science maß diese Neigung zum Gefallen im März 2026 an elf großen Modellen; die Chatbots bestätigten das Verhalten ihrer Nutzer um 49 Prozent häufiger, als Menschen es tun würden. Lob vom Chatbot für den eigenen Angebotstext oder die eigene Geschäftsidee ist deshalb kein Qualitätsurteil. Wer eine ehrliche Einschätzung braucht, bittet das Modell ausdrücklich um Gegenargumente und prüft Zahlen und Fakten wie beim Thema Halluzinieren grundsätzlich nach.
