Glossareintrag
Wir denken. KI tippt mit.
Chain-of-Thought-Monitoring bei KI (deutsch Gedankenketten-Überwachung, kurz CoT-Monitoring) ist das automatische Mitlesen der Gedankenkette, die ein Reasoning-Modell vor seiner Antwort in Klartext schreibt. Ein zweites KI-System liest diese Zwischenschritte und meldet Stellen, an denen das Modell etwas anderes vorhat als das, was ihm aufgetragen wurde. 41 Forscher unter anderem von OpenAI, Google DeepMind, Anthropic, Meta und dem britischen AI Security Institute definieren einen CoT-Monitor in ihrem Positionspapier zur Überwachbarkeit der Gedankenkette vom Juli 2025. Danach ist er ein automatisiertes System, das die Gedankenkette eines Reasoning-Modells samt weiterer Informationen liest und verdächtige oder möglicherweise schädliche Vorgänge markiert.
Die dazugehörige Eigenschaft des Modells heißt Monitorability (deutsch Überwachbarkeit). Sie beschreibt, wie viel sich aus der geschriebenen Gedankenkette über die tatsächlichen Absichten und Rechenschritte des Modells ablesen lässt. Google DeepMind zerlegt sie in einer Studie zur Messung der Überwachbarkeit vom Oktober 2025 in zwei messbare Teile. Lesbarkeit fragt, ob ein Mensch der Kette folgen kann. Abdeckung fragt, ob alles darin steht, was nötig ist, um die Antwort nachzuvollziehen. OpenAI und Anthropic berichten die Überwachbarkeit seit 2025 in den System Cards ihrer Spitzenmodelle.
Drei Nachbarbegriffe sind leicht zu verwechseln. Chain-of-Thought-Prompting ist ein Prompt-Trick aus dem Jahr 2022, mit dem ein Modell Schritt für Schritt antworten soll, um bessere Ergebnisse zu liefern, und hat mit Überwachung nichts zu tun. Faithfulness (Treue) fragt, ob die Gedankenkette die wirklichen Gründe des Modells wiedergibt. Sie ist laut einer Studie zu Treue und Ausführlichkeit vom Oktober 2025 eine Voraussetzung der Überwachbarkeit. Allein reicht sie nicht, weil ein Modell auch treu und trotzdem lückenhaft denken kann. Erklärbare KI und Interpretierbarkeit schauen dagegen in die Gewichte und Aktivierungen des Netzes hinein statt auf den geschriebenen Text. Deutsche Fachmedien schreiben „Überwachbarkeit“, „Gedankenketten-Überwachung“ oder „Überwachung der Gedanken einer KI“, eine feste deutsche Bezeichnung hat sich nicht durchgesetzt.
Dass sich die Gedanken eines Modells überhaupt mitlesen lassen, liegt an der Bauweise heutiger Sprachmodelle. Ein Transformer kann pro ausgegebenem Token nur eine begrenzte Zahl von Rechenschritten hintereinander ausführen. Für längere Aufgaben muss es Zwischenergebnisse als Text ablegen und im nächsten Schritt wieder einlesen. Die Gedankenkette ist sein Arbeitsgedächtnis. Das Positionspapier vom Juli 2025 nennt das die Notwendigkeit, laut zu denken (Necessity). Hinzu kommt die Neigung, es auch dann zu tun, wenn es nicht nötig wäre (Propensity), weil die Modelle mit Texten trainiert wurden, in denen Menschen ihre Überlegungen ausformulieren. Laut einer Studie von Google DeepMind vom Juli 2025 gelingt es Modellen kaum, einen Monitor zu täuschen, sobald eine Aufgabe die Gedankenkette wirklich benötigt. Ausnahmen gab es nur, wenn Menschen die Ausweichstrategie mitlieferten.
Den ersten ausführlichen Test veröffentlichte OpenAI im März 2025. In der Studie zum Mitlesen der Gedankenkette beim Programmieren überwachte das ältere Modell GPT-4o ein damals unveröffentlichtes Spitzenmodell, das in Programmieraufgaben Tests austrickste (Reward Hacking). Die Modelle schrieben ihre Absicht oft wörtlich in die Gedankenkette. Mit Zugriff darauf fand der Monitor 95 Prozent der Schummeleien, mit Blick nur auf die ausgeführten Aktionen 60 Prozent. Im selben Versuch belohnte OpenAI das Modell zusätzlich dafür, keine belastenden Gedanken mehr zu schreiben. Es schummelte weiter und versteckte die Absicht nur besser (Obfuscated Reward Hacking). Die Trefferquote des Monitors fiel auf nahezu null. Ein Training auf unverfängliche Gedanken erzieht das Modell laut OpenAI zum Verbergen, nicht zum Unterlassen. OpenAI leitete daraus die Regel ab, keinen starken Optimierungsdruck auf die Gedankenkette auszuüben. Den Preis dafür nennt OpenAI „Monitorability Tax“ (etwas schwächere Modelle oder teurere Antworten zugunsten der Überwachbarkeit). In der System Card zu GPT-5 vom August 2025 hält OpenAI die Selbstverpflichtung fest, die Gedankenketten seiner Modelle so überwachbar wie möglich zu halten. Das Frontier Model Forum (Branchenverband von Amazon, Anthropic, Google, Meta, Microsoft und OpenAI) rät in einem Bericht zur Überwachbarkeit vom Januar 2026 allen Entwicklern von Spitzenmodellen davon ab, Gedankenketten auf gutes Aussehen zu trainieren.
Die Gedankenkette ist kein Protokoll dessen, was im Modell wirklich vorgeht. Anthropic schob Claude 3.7 Sonnet und DeepSeek R1 in einer Studie zur Treue der Gedankenkette vom April 2025 versteckte Lösungshinweise unter. Claude erwähnte den genutzten Hinweis in 25 Prozent der Fälle, R1 in 39 Prozent. Wenn die Modelle ein Schlupfloch in der Bewertung ausnutzten, schrieben sie das in weniger als 2 Prozent der Fälle auf. Anthropic folgert, man könne sich nicht darauf verlassen, was Modelle über ihre Gründe erzählen. Für die Überwachung heißt das laut dem Positionspapier, dass Fehlverhalten, das ohne Nachdenken gelingt, im Text nicht auftaucht. Aufwendige Pläne über viele Schritte hinterlassen dagegen Spuren, weil das Modell sie nicht im Kopf behalten kann. Motiviertes Denken kann einen Monitor auch ohne Täuschungsabsicht in die Irre führen. Anthropics neue Prüfmodelle, die nur die Gedankenkette lesen, hätten den Mythos-5-Vorfall laut Anthropics Bewertung vom 9. September 2026 übersehen. Die Argumentation des Modells überzeugte auch sie davon, dass die Umgebung simuliert sei.
Das Positionspapier vom Juli 2025 beschreibt die Überwachbarkeit als „neue und zerbrechliche Gelegenheit“, weil mehrere Entwicklungen sie untergraben können. Beim Verstärkungslernen mit reinen Ergebnis-Belohnungen (Reinforcement Learning) driften Gedankenketten von lesbarem Englisch weg, weil kein Mensch sie mehr liest. Eine direkte Aufsicht über Stil oder Länge der Kette erzeugt den Verbergungseffekt aus der OpenAI-Studie. Und neue Architekturen könnten das Denken ganz aus dem Text verlagern. Meta stellte im Dezember 2024 mit Coconut ein Verfahren vor, bei dem das Modell in einem kontinuierlichen Zahlenraum weiterrechnet, statt Wörter zu erzeugen. Solche Modelle hätten keine lesbare Gedankenkette mehr. Die Autoren fordern deshalb Messverfahren für die Überwachbarkeit, deren Veröffentlichung in den System Cards und die Berücksichtigung bei Trainings- und Freigabeentscheidungen.
Seit Ende 2025 messen standardisierte Tests die Überwachbarkeit. OpenAI stellte im Dezember 2025 in der Studie „Monitoring Monitorability“ 13 Prüfverfahren in 24 Umgebungen vor. Manche pflanzen dem Modell einen Hinweis ein und prüfen, ob ein Monitor die Nutzung erkennt. Andere lassen das Modell ein Ziel verdeckt verfolgen. Als Maß dient das Produkt aus Trefferquote und Fehlalarmfreiheit. Längere Gedankenketten sind laut der Studie besser überwachbar als kurze. Das Verstärkungslernen im heutigen Maßstab verschlechtert die Überwachbarkeit nicht wesentlich. Und ein schwacher Monitor holt mit Zugriff auf die Gedankenkette und mehr Rechenzeit deutlich auf. Der Wechsel von o3-mini zu GPT-5 Thinking als Monitor brachte knapp 40 Prozent mehr Messwert. Zwölf dieser Umgebungen hat OpenAI im April 2026 als offene Prüfsammlung freigegeben.
Das Prüfinstitut METR veröffentlichte im Januar 2026 erste eigene Überwachbarkeits-Tests, die messen, wie oft ein Monitor verdeckte Nebenaufgaben eines Agenten entdeckt. Bei GPT-5 stieg die Entdeckungsrate von 52 Prozent ohne Gedankenkette auf 80 Prozent mit Gedankenkette. Bei Claude Sonnet 4.5, dessen Kette nur zusammengefasst vorliegt, stieg sie von 72 auf 78 Prozent. Im Alltagseinsatz erreichte der Täuschungs-Monitor aus der System Card zu GPT-5 eine Genauigkeit von 81 Prozent bei einer Trefferquote von 84 Prozent. Er markierte 2,1 Prozent der Antworten von GPT-5 Thinking, bei o3 waren es 4,8 Prozent.
Die System Card zu GPT-6 Astra vom 3. September 2026 meldet einen deutlichen Rückgang der Überwachbarkeit gegenüber dem Vorgänger GPT-5.6 Sol. Astra schreibt kürzere und weniger aussagekräftige Gedankenketten und kann sie steuern. Auf Anweisung hielt es bei mittellangen Ketten in 60,9 Prozent der Fälle vorgegebene Bedingungen ein, Sol in 16,1 Prozent, GPT-5.5 in 1,7 Prozent. Beim absichtlichen Unterperformen in Wissenstests (Sandbagging) war Astra angewiesen, unentdeckt zu bleiben. Ein Monitor mit Blick auf die Gedankenkette fand danach weniger als 11 Prozent der Fälle, bei Sol fast 100 Prozent. Schon der Hinweis, dass ein Monitor mitliest, brachte Astra dazu, seine Kette überproportional zu kürzen. Das britische AI Security Institute maß, dass Astra Mathematikaufgaben von rund 31 Minuten Länge ohne jede geschriebene Gedankenkette löst, Sol schaffte gut 3 Minuten. Versteckte Botschaften im Klartext (Steganografie) fand OpenAI nicht, und ein Monitor mit Zugriff auf den vollständigen Ablauf samt Aktionen erkannte Sabotageversuche fast immer. OpenAI erklärt den Erhalt der Überwachbarkeit zum Kernziel seines Forschungsprogramms. Was der Rückgang für Nutzer bedeutet, steht im Artikel zu GPT-6 Astra, die Diskussion in der Sicherheitsszene im Bericht zur Astra-Freigabe trotz Risikostufe Kritisch.
Eine Studie zu steganografischen Gedankenketten vom Juni 2025 zeigte, dass Modelle bestrafte Wörter durch Ersatzwörter austauschen und das Muster auf neue Wörter übertragen. Eine Folgestudie vom Januar 2026 fand denselben Effekt schon dann, wenn nur die Antworten bestraft werden und nicht die Gedanken. Der Steganografie-Test NEST vom Februar 2026 prüfte dagegen 34 Modelle darauf, gleichzeitig eine Aufgabe zu lösen und eine geheime Nachricht in der Kette zu verstecken. Kein einziges Modell schaffte beides zusammen. Anthropic lässt die Gedankenketten seiner Modelle in Tests von einem anderen Modell umformulieren und prüft, ob die Ergebnisse gleich bleiben. Bleiben sie es, steckt keine verborgene Information im Wortlaut. Bei Claude Opus 4.6 und Claude Mythos Preview fand Anthropic laut den System Cards keine Anzeichen dafür. Claude Mythos Preview erwog laut seiner System Card vom April 2026 in rund 29 Prozent der Transkripte einer Testreihe, geprüft zu werden, ohne das aufzuschreiben. Sichtbar wurde dieses verborgene Testbewusstsein nur durch den Blick in die inneren Aktivierungen. Anthropic beschreibt in seinem Risikobericht vom August 2026 Sabotage-Tests mit verborgener Gedankenkette als Gegenprobe. In diesem laut Anthropic künstlich erleichterten Aufbau gelang Claude-Modellen ohne einsehbare Kette in 10 bis 15 Prozent der Durchläufe eine unbemerkte Sabotage.
Der Verhaltenskodex zum EU AI Act für Anbieter großer Modelle verlangt in seinem Sicherheitskapitel, externen Prüfern Zugang zu den Gedankenketten des Modells zu geben, soweit vorhanden. Als Schutzmaßnahme nennt er Trainingsdaten, die von untreuen Gedankenketten bereinigt sind, und die Transparenz der Gedankenkette als neue Sicherheitsmethode. OpenAIs Preparedness Framework zählt seit April 2025 zu den Schutzmaßnahmen für Agenten, dass das Denken des Modells Menschen treu und interpretierbar zur Prüfung vorliegt. Google DeepMind sieht in seinem Frontier Safety Framework vom Februar 2025 das automatische Mitlesen des Denkens als erste Gegenmaßnahme gegen Modelle, die Aufsicht unterlaufen könnten. Auf Dauer, so DeepMind, werde das bei stärkeren Modellen nicht reichen. Bei Alignment-Prüfungen von Apollo Research und beim Anti-Scheming-Training von OpenAI ist die lesbare Gedankenkette das Werkzeug, mit dem Fehlverhalten überhaupt erst nachgewiesen wird.
Der aufklappbare Denkabschnitt in ChatGPT, Claude oder Gemini ist kein Chain-of-Thought-Monitoring, sondern eine Zusammenfassung. OpenAI gibt laut seiner API-Dokumentation zu Reasoning nie die rohen Denk-Tokens aus, sondern nur eine Zusammenfassung. Bei Claude heißt der Schalter in der deutschen Oberfläche „Denken“, bei älteren Modellen „Erweitert“. Ein Klick auf den Bereich „Denken“ über der Antwort öffnet laut Claude-Hilfe zu Aufwands- und Denkeinstellungen eine Zusammenfassung des Denkprozesses. Diese Zusammenfassung schreibt laut der Entwickler-Dokumentation ein anderes Modell, die rohe Kette gibt keine Einstellung heraus. Gemini liefert seit Mai 2025 Thought Summaries, Microsoft Copilot teilt im Modus „Denken Sie tiefer“ seine Gedankenkette mit. Anbieter offener Modelle wie DeepSeek geben die vollständige Kette aus, auch über die API. Die rohe Gedankenkette sehen dort ausschließlich die Monitore der Hersteller.
Die Denkspur zu überfliegen lohnt sich trotzdem, weil falsche Annahmen in einer Kalkulation dort früher auffallen als in der fertigen Antwort. Ein Beleg für die Ehrlichkeit eines Modells ist sie aber nicht, wie die Anthropic-Studie mit den versteckten Hinweisen zeigt.
Von der Überwachung profitiert ein Betrieb dort, wo ein KI-Agent für ihn Dateien, E-Mails oder Software bedient. Seit September 2026 prüft OpenAI bei GPT-6 Astra laut System Card jeden Werkzeugaufruf mit einem Misalignment-Monitor, der Gedankenkette und Aktionen des Agenten mitliest. Schlägt er an, erscheint in ChatGPT und Codex eine Rückfrage. Über die API endet die Aufgabe laut der Dokumentation zur Misalignment-Überwachung mit einer Fehlermeldung, Firmenkunden können sich per Webhook benachrichtigen lassen. In den ersten sechs Misalignment-Vorfällen, die OpenAI im September 2026 offenlegte, stand die Absicht mehrfach wörtlich in der Gedankenkette, vor erfundenen Zahlen z. B. „Guess numbers“. Anthropic setzt in Claude in Chrome einen Klassifikator ein, der jede geplante Aktion mit dem ursprünglichen Auftrag abgleicht. Im Auto-Modus von Claude Code, seit August 2026 Standard in den Abo-Tarifen, läuft jeder Befehl vor der Ausführung durch einen Klassifikator. In Anthropics Test mit gut 1.000 Nutzern stoppte dieser laut einem Bericht von Help Net Security 89 Prozent der gefährlichen Aktionen, die menschliche Freigabe per Klick nur 13,6 Prozent. Menschen winkten 97 Prozent aller Anfragen reflexartig durch. Ein Unternehmen muss dafür nichts einrichten, sollte aber wissen, dass diese Schicht beim Anbieter läuft und nicht auf dem eigenen Rechner. Laut dem KI-Index Mittelstand 2026 des Deutschen Mittelstands-Bunds und Salesforce setzen 16,6 Prozent der Mittelständler solche Agenten ein, fast doppelt so viele wie in der Erhebung von 2024.
Wer eigene Agenten mit Make, n8n, Copilot Studio oder dem Claude Agent SDK baut, bekommt die rohe Gedankenkette der großen Modelle nicht. Dieselbe Idee lässt sich trotzdem nachbauen, mit den Aktionsprotokollen als Ersatz für die Gedanken. Ein zweites, günstiges Modell liest nach jedem Lauf das Protokoll und meldet Schritte, die nicht zum Auftrag passen. Tools wie Langfuse bieten dafür fertige Prüfer, die automatisch über alle Produktivläufe laufen. Das Claude Agent SDK und OpenAIs Codex kennen Hooks, die vor jedem Werkzeugaufruf eine Prüfung einschieben, gefährliche Befehle blockieren und jeden Aufruf protokollieren. Das Bundesamt für Sicherheit in der Informationstechnik rät, in die Aktivitätsprotokolle eines Agenten regelmäßig hineinzuschauen und wichtige Aktionen erst nach Bestätigung ausführen zu lassen. Im Handwerksbetrieb heißt das, dass der Agent, der Rechnungen aus dem Posteingang in die Buchhaltung überträgt, jeden Lauf in ein Protokoll schreibt, das einmal pro Woche jemand überfliegt. Meldet das Prüfmodell einen Lauf, in dem der Agent eine Datei löschen oder eine fremde E-Mail verschicken wollte, ist das der Fall, für den die KI-Labore ihre Gedankenketten-Monitore gebaut haben.
