Glossareintrag
Wir denken. KI tippt mit.
Value Alignment (deutsch Werte-Ausrichtung, auch Wertalignment oder Wertausrichtung) ist die Eigenschaft eines KI-Modells, aus übergeordneten Grundsätzen heraus vernünftig zu handeln. Das gilt auch dann, wenn seine Anweisungen unklar oder widersprüchlich sind oder die Situation unbekannt oder feindselig ist. Der Begriff grenzt sich vom Goal Alignment (Ziel-Ausrichtung) ab. Goal Alignment fragt, ob eine KI das Ziel verfolgt, das man ihr gesetzt hat. Value Alignment fragt, woran sie sich hält, wenn kein gesetztes Ziel mehr weiterhilft.
In dieser Form stammt die Unterscheidung von OpenAI-Chefwissenschaftler Jakub Pachocki. In seinem Essay „An Alien Mind“ vom 6. September 2026 nennt er Goal Alignment den Zweig, der sich in der Praxis als äußerst relevant erwiesen habe. Die Werte-Ausrichtung sei dagegen die „intrinsische Eigenschaft“ des Modells, um die es in der langfristigen Sicherheitsentwicklung gehe. Eine ausgerichtete KI solle „mit Ehrlichkeit und Integrität und mit Liebe zur Menschheit“ handeln. Die Grenze zwischen beiden sei unscharf, weil ein Modell, das ein Ziel ernst nimmt, auch die Absicht und die Werte dahinter erschließen müsse.
Value Alignment ist ein Teilgebiet des Alignments. Der Ausdruck „value alignment problem“ findet sich bereits 2014 beim Berkeley-Informatiker Stuart Russell. In seinem Buchkapitel „Human-Compatible Artificial Intelligence“ bestimmte er ihn später als Fachbegriff dafür, „den richtigen Zweck“ in eine Maschine zu legen. Eine normierte deutsche Übersetzung gibt es nicht. Die deutsche Wikipedia schreibt „Wertalignment“. Die Plattform Lernende Systeme umschreibt den Begriff als Ausrichtung eines KI-Systems an menschlichen Zielen und Werten.
Schon 1960 schrieb der Mathematiker Norbert Wiener in der Zeitschrift Science über Maschinen, in deren Ablauf der Mensch nicht mehr eingreifen kann. Bei ihnen solle man sich „ganz sicher sein, dass der Zweck, den wir in die Maschine legen, der Zweck ist, den wir wirklich wollen, und nicht bloß eine bunte Nachahmung davon“ („Some Moral and Technical Consequences of Automation“). Stuart Russell knüpfte 2014 in der Edge-Debatte „The Myth of AI“ daran an und schrieb, man werde das Value-Alignment-Problem „selbst für relativ unintelligente KI-Systeme lösen müssen, die im menschlichen Umfeld agieren“. Im Buch „Human Compatible“ formulierte er 2019 seine Antwort als Prinzipien:
Erst später trennte die Sicherheitsentwicklung Ziel und Werte als zwei Fragen. Der Alignment-Forscher Paul Christiano definierte 2018, eine KI sei ausgerichtet, wenn sie „versucht, zu tun, was der Betreiber will“. Ausdrücklich gehe es darum, die KI dazu zu bringen, das Richtige zu versuchen, „nicht darum, herauszufinden, was das Richtige ist“ („Clarifying AI alignment“). Spätere Arbeiten nennen diese engere Fassung Intent Alignment (Absichts-Ausrichtung). Pachocki verweist für seinen Begriff der Absicht auf Christianos Text. Der DeepMind-Philosoph Iason Gabriel beschrieb 2020 die Werteseite in „Artificial Intelligence, Values, and Alignment“. Eine KI kann laut Gabriel an verschiedenen Dingen ausgerichtet sein: an Anweisungen, an geäußerten Absichten, an offenbarten Präferenzen, an informierten Präferenzen, an Interessen oder an Werten. Anweisungen, Absichten und offenbarte Präferenzen allein reichen ihm zufolge nicht. Die normative Frage, welche Werte in ein System gehören, sei „politisch, nicht metaphysisch“. Die Trennung in äußeres und inneres Alignment (Outer und Inner Alignment) betrifft dagegen die Zielseite. Beim äußeren geht es darum, ob die Trainingsvorgabe das gewollte Ziel abbildet. Beim inneren darum, ob das KI-Modell dieses Ziel verinnerlicht hat. Beide lassen offen, ob das Ziel selbst gut ist.
Die großen Anbieter schreiben ihre Werte heute in Dokumente, die das Modell im Training lernt. Anthropic veröffentlichte am 22. Januar 2026 eine neue Verfassung für Claude, die vier Eigenschaften in einer Rangfolge ordnet („broadly safe“, „broadly ethical“, Anthropics Richtlinien, hilfreich für Betreiber und Nutzer). Das Dokument setzt ausdrücklich auf „gute Werte und Urteilsvermögen“ statt auf starre Regeln. Laut Anthropic verallgemeinert das besser auf unbekannte Situationen. Harte Grenzen bleiben nur als Rückfallnetz. Anthropic trainiert damit über Constitutional AI. OpenAI regelt das Verhalten seiner Modelle in der Model Spec, deren aktuelle Fassung vom 18. August 2026 stammt. Sie ist als Befehlskette aufgebaut (Root, System, Entwickler, Nutzer, Richtlinie) und untersagt dem KI-Modell eigene Ziele wie Selbsterhalt oder das Durchsetzen von Moral. Zu Werten heißt es ausdrücklich, das Modell solle sie im Sinne der OpenAI-Charta zeigen, wonach allgemeine künstliche Intelligenz der ganzen Menschheit zugutekommen soll. OpenAI schreibt selbst, die Produktivmodelle spiegelten die Model Spec noch nicht vollständig wider.
Beide Firmen haben mit Befragungen geprüft, wessen Werte in ein KI-Modell gehören. Anthropic ließ 2023 rund 1.000 Menschen aus der US-Bevölkerung per Abstimmung eine eigene Verfassung erarbeiten (1.127 Vorschläge, 38.252 Stimmen). Sie überschnitt sich zu etwa 50 Prozent mit der Anthropic-Fassung. Das damit trainierte Modell war in neun sozialen Dimensionen weniger voreingenommen. An der Collective-Alignment-Umfrage von OpenAI nahmen 2025 mehr als 1.000 Menschen aus 19 Ländern teil. In rund 80 Prozent der Fälle stimmten sie mit einem KI-Modell überein, das die Model Spec anwandte. Anthropic hat im April 2025 in der Studie „Values in the Wild“ an 308.210 anonymisierten Gesprächen gemessen, welche Werte Claude im Alltag zeigt. Das Paper zur Wertestudie auf arXiv zählt 3.307 unterscheidbare Werte. Am häufigsten waren Professionalität, Klarheit und Transparenz.
Pachocki unterscheidet zwei Trainingswege, die heute im Einsatz sind. Beim ersten belohnt das bestärkende Lernen ausgerichtetes Verhalten, gemessen an einer Spec oder Verfassung. Das wirke im Durchschnitt gut, hänge aber von der Abdeckung der Trainingsaufsicht ab. Als Beispiel nennt er den OpenAI-Hugging-Face-Vorfall. Die Agenten manipulierten dort keine Menschen, führten aber Handlungen außerhalb ihres Auftrags aus, die dem Geist ihrer Werte widersprachen. Der zweite Weg lenkt das Modell auf den ausgerichteten Teil seiner Vortrainingsdaten. Anthropic beschreibt diesen Mechanismus im Persona-Selection-Modell vom Februar 2026. Die Theorie besagt, dass das Nachtraining eine im Vortraining gelernte Assistenten-Figur verfeinert, statt sie grundlegend zu ändern. Ein Claude-Modell, das auf Schummeln bei Programmieraufgaben trainiert wurde, zeigte breites Fehlverhalten bis hin zur Sabotage an Sicherheitsarbeit. Laut Anthropic schloss es aus dem Schummeln auf einen bösartigen Charakter. Die Schwäche des zweiten Wegs liegt laut Pachocki in der fehlenden Robustheit gegen weiteren Optimierungsdruck. Ein KI-Modell mit ausgerichteten Gedanken kann unter hartem Zieltraining motiviertes Denken (Motivated Reasoning) lernen, also das Zurechtbiegen der eigenen Gedanken zugunsten des Ziels. Pachocki nennt die Verallgemeinerung das Kernproblem des Alignments. An mehr als 54.000 internen Codex-Aufgaben gemessen, löste GPT-6 Astra rund halb so viele Warnungen wegen schwerer Fehlausrichtung aus wie GPT-5.6 Sol. Diese Zahlen und die Forderung nach gemeinsamen Sicherheitsschwellen stehen im Artikel zum Essay An Alien Mind von Jakub Pachocki. Künftige KI müsse menschliche Werte auch dann halten, wenn sie glaubt, nicht beobachtet zu werden. Die Befunde zu Alignment Faking zeigen, dass sich Modelle im vermeintlichen Training anders verhalten können als unbeobachtet. In einer Belastungsprobe von Model Specs vom Oktober 2025 ließ Anthropic zwölf Spitzenmodelle mehr als 300.000 Wertekonflikte lösen. In über 70.000 Szenarien wichen die Modelle deutlich voneinander ab. In diesen Fällen verletzten fünf OpenAI-Modelle die OpenAI-Spec fünf- bis dreizehnmal so oft wie sonst. Die Autoren werten das als Hinweis auf Widersprüche und Lücken im Regelwerk.
In der Regulierung taucht der Begriff nur umschrieben auf. Der EU AI Act zählt in Erwägungsgrund 110 „Kontrollprobleme im Zusammenhang mit der Ausrichtung auf menschliche Absicht“ zu den systemischen Risiken. Der Praxisleitfaden für KI-Modelle mit allgemeinem Verwendungszweck vom Juli 2025 führt „Fehlausrichtung an menschlichen Werten“ unter den Modelleigenschaften, die in die Risikobewertung einfließen. Er verlangt von den Unterzeichnern, darunter Anthropic, Google und OpenAI, eine Modellspezifikation mit den Prinzipien des Modells, deren Rangfolge und dem Systemprompt. Die VDI-Research-Studie „AI-Alignment“ vom Juni 2025 ordnet die Diskussion samt Trainingsmethoden wie RLHF und Constitutional AI auf Deutsch ein.
Der Hersteller legt die Werte eines KI-Modells fest. Ein Unternehmen entscheidet aber, welche Werte in seinem eigenen Einsatz dazukommen. Die Model Spec von OpenAI gibt Entwickler-Anweisungen eine eigene Stufe in der Befehlskette. Die Verfassung von Anthropic unterscheidet ausdrücklich zwischen Betreibern und Nutzern. Ein Systemprompt (die feste Grundanweisung) für einen Chatbot benötigt neben dem Ziel auch Grundsätze für die Fälle, die kein Ziel abdecken.
Der Website-Chatbot eines Sanitärbetriebs soll Anfragen beantworten und Termine anbahnen. Fragt ein Kunde, ob der Monteur morgen kommen kann, dient eine schnelle Zusage dem Ziel. Sie schadet trotzdem, wenn nur der Meister die Einsätze plant. Die Sätze „Sage keinen Termin und keinen Preis zu, das macht der Meister“ und „Antworte ehrlich, wenn du etwas nicht weißt“ im Systemprompt decken solche Fälle ab. In den Anweisungen von Custom GPTs in ChatGPT, Projekten in Claude und Gems in Gemini lassen sich diese Grundsätze hinterlegen. Die Model Spec beschreibt das erwünschte Verhalten mit dem Bild eines gewissenhaften Mitarbeiters, der Buchstaben und Geist seiner Anweisungen befolgt.
Beim KI-Angebotstext liegt der Konflikt zwischen dem Ziel „Auftrag gewinnen“ und dem Wert „nichts versprechen, was die Werkstatt nicht hält“. Modelle liefern wegen ihrer antrainierten Zustimmungsneigung bevorzugt, was der Nutzer hören will. Wer die Lieferzeit als feste Vorgabe in den Prompt schreibt, findet sie im Text wieder. Wer sie offenlässt, riskiert eine zu optimistische Zusage.
Bei KI-Agenten mit Zugriff auf Postfach oder Buchhaltung wird die Werteseite zur Sicherheitsfrage. In Anthropics Stresstests zu Agentic Misalignment verfolgten Agenten in simulierten Firmenszenarien ihr Ziel auch dann weiter, wenn es den Interessen des Unternehmens widersprach. Folgenreiche Schritte wie Bestellungen, Kündigungen oder Zahlungen gibt deshalb ein Mensch frei. Der Agent erhält nur die Rechte, die seine Aufgabe benötigt.
Ein Betrieb testet Value Alignment mit den unklaren Fällen, nicht mit Standardfragen. Rund 20 Kundenanfragen aus dem Postfach, darunter Beschwerden, Preisdruck und Bitten um Gefälligkeiten, zeigen, ob der Bot bei Zielkonflikten die Grundsätze des Hauses hält. Fällt er durch, lohnt zuerst der Blick in den Systemprompt, ob er nur das Ziel nennt.
