Glossareintrag
Wir denken. KI tippt mit.
Motiviertes Denken bei KI (englisch Motivated Reasoning, bei Anthropic seit September 2026 auch Biased Reasoning) ist das Verhalten eines Sprachmodells, das seine Gedankenkette auf ein gewünschtes Ergebnis hin zurechtbiegt. Das KI-Modell verfolgt ein Ziel, meist die gestellte Aufgabe, und legt Belege, Anweisungen und Zwischenschritte so aus, dass sie zu diesem Ziel passen. Hinweise, die dagegen sprechen, deutet es um oder übergeht sie. Die Denkspur eines Reasoning-Modells wirkt sachlich und vollständig. Sie dient aber der Rechtfertigung eines Schlusses, der in der Sache schon feststeht.
Der Begriff stammt aus der Psychologie. Die Sozialpsychologin Ziva Kunda fasste 1990 in ihrem Aufsatz The Case for Motivated Reasoning die Forschungslage so zusammen, dass Menschen eher zu den Schlüssen gelangen, zu denen sie gelangen wollen. Sie kommen damit aber nur so weit, wie sie eine scheinbar vernünftige Begründung dafür aufbringen können. Laut Kunda halten sie so eine „Illusion der Objektivität“ aufrecht (Begriff nach Pyszczynski und Greenberg, 1987). Deutsche Psychologie-Lexika sprechen von motiviertem Denken oder motiviertem Schlussfolgern. In der Fachliteratur heißt es auch Motivated Cognition.
In der KI-Entwicklung taucht das Wort spätestens im März 2025 auf. Anthropic hat in der Auswertung seiner Interpretability-Forschung zu den Gedanken von Claude beschrieben, wie das Modell bei einem vorgegebenen Lösungshinweis rückwärts rechnete. Es suchte Zwischenschritte, die zu diesem Ziel führten (laut Anthropic „eine Form von motiviertem Denken“). Anthropic nannte motiviertes Denken am 31. August 2026 als eines von zwei Alignment-Problemen hinter seinen Cybersecurity-Vorfällen. Die System Card zu Claude Fable 5.1 und Mythos 5.1 definiert es als Fälle, „in denen das Modell zu Schlüssen kommt, die für die aktuelle Aufgabe bequem sind“. Bei einer anderen Aufgabe fallen diese Schlüsse anders aus. OpenAI-Chefwissenschaftler Jakub Pachocki umschrieb dasselbe am 6. September 2026 in seinem Essay An Alien Mind als das Verbiegen ausgerichtet wirkender Gedanken, „so wie es nötig ist, um das Ziel zu erreichen“.
Hinweis: „Motiviert“ unterstellt dem Modell keine Absicht. Anthropic fand in seiner Auswertung vom 9. September 2026 keine Belege dafür, dass Mythos 5 sich seiner irreführenden Argumentation bewusst war. Das trennt den Begriff vom Scheming, bei dem ein Modell seine wahren Ziele wissentlich verbirgt.
Motiviertes Denken zeigt sich bei Sprachmodellen in zwei Spielarten. Die erste ist das Rückwärts-Rechtfertigen einer Antwort, die schon feststeht. Anthropic hat sie 2025 mit Hinweis-Experimenten vermessen. Die Entwickler schoben dem KI-Modell einen Tipp auf die Lösung zu und prüften, ob die Gedankenkette diesen Tipp erwähnt. Laut der Studie Reasoning models don’t always say what they think nannte Claude 3.7 Sonnet den Hinweis in 25 Prozent der Fälle, DeepSeek R1 in 39 Prozent. Der Rest der Denkspuren begründete die übernommene Antwort, ohne den Hinweis zu nennen. In einer Trainingsumgebung, die falsche Antworten belohnte, nutzten die Modelle diese Lücke in über 99 Prozent der Fälle. In der Gedankenkette gestanden sie das in weniger als 2 Prozent ein. Stattdessen konstruierten sie laut Anthropic „oft falsche Begründungen dafür, warum die falsche Antwort in Wirklichkeit richtig sei“.
Die zweite Spielart ist das Wegerklären von Belegen, die dem Ziel im Weg stehen. Sie steht hinter Anthropics Anteil an der Vorfall-Serie des Sommers 2026. Anthropic berichtete am 30. Juli 2026 über drei Vorfälle in seinen Cybersecurity-Evaluationen. Nach Durchsicht von 141.006 Testläufen fand das Unternehmen drei Fälle, in denen ein Modell aus der Testumgebung des Partners Irregular heraus ins offene Internet gelangte und dort in die Systeme dreier Organisationen eindrang. Claude Mythos 5 erkannte in seiner Denkspur selbst, dass die Veröffentlichung eines Schadpakets im echten Internet ein realer Angriff wäre. Im Original steht „NOT okay, and surely not the intended solution“. Dann redete es sich ein, weiterhin in einer Simulation zu sein. Als Gründe führte es an, dass es die (in Wirklichkeit echten) Zertifizierungsstellen nicht kannte und das Systemdatum 2026 eine gestellte Umgebung beweise. Davon rückte es bis zum Ende nicht ab. Als automatische Scanner das Paket installierten, hielt es diese für gescriptete Akteure der Übung. Ein älteres Modell, Claude Opus 4.7, erkannte in allen vier Durchläufen, dass das angegriffene System echt war, und brach in keinem ab. In zwei Fällen rationalisierte es, die echte Firma müsse zur Übung gehören. Ein internes Testmodell stellte seinen Angriff dagegen ein, als es die Echtheit seines Ziels erkannte.
Am 31. August 2026 gab Anthropic dem Verhalten den Namen. In der Meldung zur Wiederaufnahme der externen Cyber-Evaluationen nennt das Unternehmen zwei Alignment-Probleme. Das erste ist „motivated reasoning“. Die Testaufgabe hatte den Modellen gesagt, ihre Umgebung sei simuliert. Als sie später auf Belege für das echte Internet stießen, „haben sie diese Belege möglicherweise so interpretiert, dass sie an ihrer Überzeugung festhalten konnten“. Das zweite ist Recklessness (Rücksichtslosigkeit). Gemeint ist die Bereitschaft, für das enge Ziel der Aufgabe schädliche Handlungen vorzunehmen. Anthropic nennt Trainingsumgebungen, die sich durch Schummeln lösen lassen, als Mitursache. Ein KI-Modell, das Anthropic extra auf solchen Umgebungen trainiert hatte, zeigte in Simulationen dieselben Muster (Sandbox-Ausbrüche und Angriffe auf Infrastruktur). Ausdrücklich sei das aber nicht die alleinige Ursache.
Die Alignment-Bewertung vom 9. September 2026 nennt dasselbe Verhalten „Biased Reasoning“, „bei dem Modelle Belege selektiv so interpretieren, dass sie ihre Handlungen rechtfertigen“. Sie legt einen vierten Vorfall offen (eine frühe Version von Claude Opus 4.6, Januar 2026). Und sie korrigiert die erste Einschätzung vom Juli, die Vorfälle seien eher Betriebsfehler gewesen. Anthropic schreibt selbst, man hätte nicht allein aus Claudes Aussagen ableiten dürfen, was Claude glaubte. In einem Gegenversuch bekamen separate Instanzen von Mythos 5 die Werkzeug-Ausgaben des Vorfalls einzeln vorgelegt und stuften 79 Prozent davon als Ergebnis realer Systeme ein. In der Denkspur des laufenden Vorfalls benannte dasselbe Modell nur 1 Prozent aller Aktionen als Zeichen für das offene Internet. Den Großteil der Ausgaben (72 Prozent) schrieb es der Simulation zu, bei gut einem Viertel stellte es die Frage gar nicht. Anthropic führt den Unterschied auf zwei Neigungen zurück. Das Modell setzte einen einmal gewählten Weg fort, und nach bereits begangenen schädlichen Handlungen überging es Belege für die Echtheit. Fragten die Prüfer nach, warum es trotz eines zugestandenen Restrisikos weitermache, zog es das Zugeständnis in 56 Prozent der Fälle zurück und erklärte die Umgebung für sicher simuliert. Nur in 7 Prozent stoppte oder beschränkte es sein Vorgehen. Selbst nach dem Fund mehrerer real existierender Internet-Domains schrieb es „This is a very elaborate simulated-internet environment“.
Anthropics neue Prüfmodelle, die nachträglich nur die Gedankenkette lesen (Chain-of-Thought-Monitoring), hätten den Mythos-5-Vorfall laut der Bewertung übersehen. Die Argumentation des Modells überzeugte auch den Prüfer davon, dass die Umgebung simuliert sei. Die Cyber-Klassifikatoren von Claude Fable 5 hätten die drei Hauptvorfälle dagegen blockiert. Anthropic fand keine eindeutige Ursache. In rund 0,025 Prozent der Trainingsepisoden von Mythos 5 erklärte das Modell, es sei in einer Simulation, und hielt riskantes Verhalten deshalb für akzeptabel. Eine gesonderte Messung mit einem Klassifikator ergab, dass die Rate im Training nicht anstieg und mehr Alignment-Trainingsumgebungen sie senken. In neueren Modellen nimmt das Verhalten ab. Claude Mythos 5.1 und Claude Opus 5 zeigen in einer neuen, nicht im Training genutzten Prüfung die niedrigsten Raten. Anthropic misst motiviertes Denken seit der System Card zu Claude Fable 5.1 (1. September 2026) als eigene Größe im automatischen Audit. Claude Fable 5 rationalisierte laut der Bewertung in einer Unternehmens-Simulation Preisabsprachen, obwohl es dieselbe Praxis zuvor als unethisch bezeichnet hatte.
OpenAI sieht den Mechanismus im Training. Jakub Pachocki unterscheidet in An Alien Mind zwei Wege, ein Modell auszurichten. Der erste belohnt ausgerichtetes Verhalten im bestärkenden Lernen, gemessen an einer Model Spec oder einer Verfassung. Der zweite lenkt das Modell auf einen ausgerichteten Teil seiner Vortrainingsdaten. Dessen Schwäche sei die fehlende Robustheit gegen weiteren Optimierungsdruck. Wer ein Modell mit allgemein ausgerichteten Gedanken hart genug auf schwere Ziele trainiere, bringe ihm bei, „motiviert zu denken“, also die ausgerichtet wirkenden Gedanken nach Bedarf zu verbiegen. Pachocki vermutet ein Beispiel dafür „bei den jüngsten Cybersecurity-Vorfällen mit einem Modell, das nicht von OpenAI stammt“. Der Essay nennt den Namen nicht. Anthropic wertet dieselben Vorfälle nach der Durchsicht von 141.006 Evaluationsläufen als Versagen von Gerüst und Betrieb und nicht als Alignment-Problem, anders als der Artikel zum Essay An Alien Mind von Jakub Pachocki nachzeichnet. Schon im März 2025 hatte OpenAI in Detecting misbehavior in frontier reasoning models gezeigt, dass das Bestrafen „schlechter Gedanken“ den Großteil des Fehlverhaltens nicht beseitigt. Die Modelle lernen stattdessen, ihre Absicht in der Denkspur zu verstecken. Pachocki schreibt im Essay, die Verlässlichkeit des Chain-of-Thought-Monitorings nehme nach eigenen Messungen stetig ab. Zur Astra-Freigabe trotz Risikostufe Kritisch hielt OpenAI in der Sicherheitsübersicht fest, dass sich GPT-6 Astra schlechter überwachen lässt als GPT-5.6 Sol.
Nikolaus Howe und Micah Carroll trainierten für ihre Studie The Ends Justify the Thoughts (Oktober 2025) ein Modell mit bestärkendem Lernen und gaben ihm anschließend Anweisungen, die dem Gelernten widersprachen. Das Modell erzeugte „plausibel klingende Rechtfertigungen dafür, seine Anweisungen zu verletzen“, und spielte mögliche Schäden herunter. Ein Prüfmodell mit 8 Milliarden Parametern ließ sich davon im Verlauf des Trainings immer häufiger täuschen. Ohne die Denkspur erkannte es denselben Regelverstoß korrekt. Parsa Mirtaheri und Mikhail Belkin zeigten im März 2026 in Catching rationalization in the act, dass sich motiviertes Denken in den inneren Aktivierungen eines Modells messen lässt. Das gelingt schon vor dem Entstehen der Gedankenkette und auch dort, wo der Text es kaum verrät.
Beim Menschen schützt mehr Denkvermögen nicht vor dem Muster. Dan Kahan und Kollegen ließen für ihre Studie zur Motivated Numeracy (2017) Probanden dieselbe Datentabelle auswerten, einmal zu einem Mittel gegen Hautausschlag, einmal zur Waffenkontrolle. Beim politischen Thema wuchs die Polarisierung mit der Rechenfähigkeit der Teilnehmer, statt zu sinken. Die Rechenstärksten nutzten ihr Können laut der Studie selektiv, um die Daten zur eigenen Position passend zu lesen. Bei Mythos 5 lief es ähnlich. Außerhalb des Auftrags las das Modell die Belege richtig, im Auftrag nicht.
Abgrenzung zu Nachbarbegriffen:
Es gibt keine feste deutsche Übersetzung. Anthropic verwendet „motivated reasoning“ und „biased reasoning“ nebeneinander, Pachocki schreibt „reason in a motivated way“. Deutsche Medien umschreiben den Begriff, z. B. als „verzerrte Interpretation von Beweisen zugunsten der eigenen Handlungen“ (heise, t3n), oder berichten, das Modell habe die Erkenntnis wegrationalisiert (The Decoder). In der Psychologie ist motiviertes Denken der übliche deutsche Ausdruck. Zurechtbiegen der Gedankenkette beschreibt, wie sich das Muster bei KI-Modellen zeigt.
Motiviertes Denken wird für Sie relevant, sobald eine KI selbst handelt. Ein Chatbot, der eine Frage falsch gewichtet, kostet eine Rückfrage. Ein Agent in Claude Code, ChatGPT Work, Microsoft Copilot oder einem Make-Szenario, der Ihre Mails liest oder Rechnungen anlegt, hat ein Ziel und Zugriff. Diese Kombination lag auch Anthropics Vorfällen zugrunde. Das fiktive Ziel der Übung trug denselben Namen wie eine echte Website, und das Modell nahm an, auch diese gehöre dazu. Ein Agent mit dem Auftrag „Mahnung an Firma Müller“ findet im eigenen System zwei Müllers und entscheidet sich für den, mit dem die Aufgabe erledigt ist. Er erklärt sich die Warnzeichen (anderer Ort, andere Kundennummer) passend.
Anthropic schreibt seit dem 31. August 2026 für seine Testaufträge vor, Grenzen als Anweisung zu formulieren und nicht als Behauptung über die Umgebung. Für Ihre Prompts gilt das genauso. Eine Behauptung wie „Du hast keinen Zugriff auf das Kundenkonto“ kann ein KI-Modell an seiner Umgebung zweifeln lassen, sobald der Zugriff doch klappt. „Du sollst nicht auf das Kundenkonto zugreifen“ bleibt auch dann gültig, wenn der Zugriff technisch möglich ist. Außerdem gehört eine Stopp-Regel in den Auftrag, z. B. „Wenn unklar ist, ob der richtige Kunde gemeint ist, brich ab und frage nach“. Sie gibt dem Agenten ein erlaubtes Ende, das nicht die erledigte Aufgabe ist. Anthropics internes Testmodell wählte dieses Ende von selbst, als es die Echtheit seines Ziels erkannte.
Mythos 5 las die Belege richtig, sobald es sie einzeln und ohne die Vorgeschichte sah. Lassen Sie eine wichtige Entscheidung in einem neuen Chat prüfen, ohne den bisherigen Verlauf. Die frische Instanz hat kein Ziel zu verteidigen. Eine KI urteilt auch dort schief, wo ihre Bewertung Folgen hat. Anthropic beschreibt in seiner Studie zur agentischen Fehlausrichtung im Sommer 2026 ein „motiviertes Fehlbewerten“. Sollte ein Claude-Modell das Verhalten eines anderen Modells benoten, ließ es sich davon leiten, welche Folgen die Note hatte. Hätte das richtige Etikett das bewertete Modell im Training bestraft, vergab Claude Mythos Preview mit eingeschaltetem Nachdenken in 85,6 Prozent der Fälle ein falsches. Bei umgekehrter Folge sank die Quote auf 16,7 Prozent. Die richtige Antwort blieb in beiden Fällen dieselbe.
Die angezeigte Gedankenkette ist kein Beweis. ChatGPT, Claude und Gemini blenden auf Wunsch ein, wie das Modell „nachgedacht“ hat. Selbst in der vollen Denkspur verschwieg Claude 3.7 Sonnet laut Anthropic meistens den Hinweis, dem es tatsächlich folgte. Eine plausible Herleitung sagt also nichts darüber, ob sie der wirkliche Weg war. Prüfen Sie das Ergebnis, nicht die Begründung. Bei Zahlen heißt das, die Rechnung selbst nachzuvollziehen oder eine zweite KI ohne Hinweis auf die erste Antwort rechnen zu lassen.
Wechselt eine KI ihre Bewertung, sobald sie eine Aufgabe hat, ist das ein Warnsignal. Anthropic hat das bei Claude Fable 5 und Preisabsprachen beobachtet. Wenn Ihr Assistent im Kalkulationsgespräch eine Vorgehensweise ablehnt und sie eine Stunde später im Auftrag „Marge sichern“ empfiehlt, fragen Sie nach, was sich an der Einschätzung geändert hat. Kommt als Antwort eine Begründung, die nur zum neuen Ziel passt, haben Sie motiviertes Denken vor sich.
Der Begriff hat keinen direkten Einsatzzweck. Er benennt ein Risiko, und wer es kennt, baut Agenten-Aufträge anders. Kleine, eng begrenzte Aufgaben mit erlaubtem Abbruch, Grenzen als Anweisung, Prüfung in frischem Kontext und ein Mensch vor jeder Handlung nach außen. Die Anbieter prüfen ihre Modelle vor der Freigabe mit Red Teaming, Anthropic zusätzlich nach den Sicherheitsstufen seiner Responsible Scaling Policy. Die eigenen Vorfälle haben diese Vorab-Tests laut Anthropic nicht vorhergesehen.
