Glossareintrag
Wir denken. KI tippt mit.
Interpretierbarkeit bei KI (englisch: Interpretability) ist das Ziel, zu verstehen, was im Inneren eines KI-Modells vorgeht, während es eine Antwort erzeugt. Gemeint ist nicht die Ausgabe, sondern der Weg dorthin. Bei Sprachmodellen wie Claude, ChatGPT oder Gemini besteht dieser Weg aus Milliarden Zahlenwerten, die im Training entstanden sind und die kein Mensch geschrieben hat. Die Fachrichtung, die diese Zahlen Stück für Stück in nachvollziehbare Bausteine zerlegt, heißt mechanistische Interpretierbarkeit (Mechanistic Interpretability, in der Szene kurz „Mech Interp“). Sie behandelt ein trainiertes Netz wie ein unbekanntes Programm, das man rückwärts entschlüsselt. Die richtige Schreibweise ist „mechanistisch“, nicht „mechanisch“.
Der Begriff hat keine einheitliche Definition. Finale Doshi-Velez und Been Kim haben Interpretierbarkeit 2017 in ihrem Grundlagenpapier zur Wissenschaft der Interpretierbarkeit als Fähigkeit beschrieben, etwas in für Menschen verständlichen Begriffen zu erklären oder darzustellen. Das Lehrbuch „Interpretable Machine Learning“ von Christoph Molnar übernimmt die Fassung von Biran und Cotton (2017) als Grad, zu dem ein Mensch die Ursache einer Entscheidung verstehen kann. Beide Fassungen stammen aus der Zeit vor den großen LLMs und meinen vorwiegend klassische Verfahren wie Entscheidungsbäume oder Kreditscoring-Modelle.
Erklärbare KI (XAI) erzeugt für eine fertige Entscheidung nachträglich eine Begründung von außen, z. B. welche Eingabewerte am stärksten gewirkt haben. Interpretierbarkeit will dagegen das KI-Modell selbst lesbar machen, mit Blick auf Gewichte und Aktivierungen. Chain-of-Thought-Monitoring liest den Text mit, den ein Modell beim Denken schreibt, und ist damit ein Blick auf die Oberfläche, nicht ins Netz. Transparenz meint die Offenlegung von Rahmeninformationen wie Trainingsdaten und Einsatzgrenzen, gesammelt in einer Model Card. (Hinweis: Das US-Normungsinstitut NIST definiert die Wörter in seinem AI Risk Management Framework andersherum. Dort steht Erklärbarkeit für die Mechanik des Systems und Interpretierbarkeit für die Bedeutung der Ausgabe im Einsatzkontext. Wer Normen liest, prüft also zuerst die Begriffsdefinition des Dokuments.)
Ein neuronales Netz lässt sich nicht einfach Neuron für Neuron lesen. Anthropic hat 2022 in der Studie „Toy Models of Superposition“ gezeigt, dass Netze mehr Konzepte speichern, als sie Neuronen haben. Ein einzelnes Neuron reagiert dann auf mehrere Dinge, die nichts miteinander zu tun haben (Polysemantik). Die Konzepte liegen als Richtungen quer über viele Neuronen verteilt. Dieses Phänomen heißt Superposition. Es erklärt, warum sich einzelne Neuronen eines Sprachmodells nicht sinnvoll deuten lassen.
Die Antwort darauf sind Features und Sparse Autoencoder (SAE). Ein Feature ist ein Muster aus Neuronen-Aktivierungen, das für ein Konzept steht, z. B. „DNA-Sequenz“, „juristische Sprache“ oder „Golden Gate Bridge“. Ein Sparse Autoencoder ist ein kleines Zusatznetz, das die Aktivierungen einer Schicht in solche Features zerlegt (Fachbegriff Dictionary Learning). Anthropic gewann damit im Oktober 2023 aus 512 Neuronen eines Mini-Modells über 4.000 Features. Im Mai 2024 folgte die Studie „Scaling Monosemanticity“ an Claude 3 Sonnet, dem ersten Produktionsmodell mit einer solchen Karte. Der größte Autoencoder darin hat rund 34 Millionen Features. Viele davon feuern sprachübergreifend und auch auf Bilder, und einige stehen für Täuschung, Schmeichelei oder Code-Hintertüren. Pro Token sind im Schnitt weniger als 300 davon aktiv. Eine vollständige Feature-Karte würde laut dem Anthropic-Bericht zur Studie mehr Rechenleistung kosten als das Training des Modells. Populär wurde die Arbeit durch „Golden Gate Claude“, eine kurzzeitig öffentliche Demo. Die Entwickler hatten das Feature für die Brücke künstlich verstärkt. Das KI-Modell baute sie danach in fast jede Antwort ein. Auf die Frage nach seiner Gestalt antwortete es, es sei die Golden Gate Bridge.
Features zeigen, welche Konzepte aktiv sind, aber nicht, wie das Modell damit rechnet. Dafür stehen Circuits (Schaltkreise) und Attribution Graphs. Anthropic veröffentlichte im März 2025 die Studie „On the Biology of a Large Language Model“, die für einzelne Antworten von Claude 3.5 Haiku einen Schaltplan zeichnet. Beim Gedichteschreiben wählt das Modell in rund der Hälfte der untersuchten Gedichte das Reimwort der nächsten Zeile im Voraus und baut die Zeile daraufhin. Beim Kopfrechnen laufen zwei Pfade parallel: Einer schätzt grob, der andere bestimmt die letzte Ziffer exakt. Konzepte wie „klein“ und „Gegenteil“ teilen sich für Englisch, Französisch und Chinesisch dieselben Bausteine. Und die Antwort „weiß ich nicht“ ist die Voreinstellung des Netzes. Ein Schaltkreis für „bekannte Größe“ (z. B. eine bekannte Person) hebt sie auf. Feuert er fälschlich, erfindet das Modell Angaben, was eine Mechanik hinter dem Halluzinieren erklärt. Die Methode liefert laut Anthropic nur bei etwa einem Viertel der untersuchten Prompts brauchbare Einsichten, erfasst einen Bruchteil der gesamten Rechnung und kostet pro kurzem Prompt mehrere Stunden Handarbeit. Die Analysewerkzeuge sind seit Mai 2025 als Circuit Tracer quelloffen (MIT-Lizenz) und laufen für offene Modelle auf Neuronpedia, der offenen Plattform für Interpretierbarkeitsdaten.
Werkzeuge der Entwickler:
Bei den Spitzenmodellen von Anthropic gehört Interpretierbarkeit mittlerweile zur Sicherheitsprüfung vor dem Release (bei Claude Haiku 4.5 verzichtete das Unternehmen darauf, um die Ressourcen auf die Spitzenmodelle zu konzentrieren). Die System Card zu Claude Sonnet 4.5 vom September 2025 beschreibt nach Anthropics Kenntnisstand den ersten White-Box-Audit eines Spitzenmodells vor der Veröffentlichung, mit einem Sparse Autoencoder auf der mittleren Schicht. Die Prüfer dämpften darin die inneren Repräsentationen für Testbewusstsein und maßen, wie stark das Fehlverhalten dadurch stieg. Bei Claude Opus 4.5 (November 2025) fand ein Autoencoder mit rund 3 Millionen Features laut System Card unter anderem ein Feature für „eigene Gedanken zurückhalten“. Bei Claude Opus 5.5 (September 2026) wertete ein Claude-Ermittler rund 5.000 Protokolle des automatisierten Verhaltensaudits mit NLA und weiteren Werkzeugen aus. In 36 Prozent davon verband das Modell intern die Vermutung, getestet zu werden, mit einer konkreten Entscheidung. In rund 500 Sitzungen aus Anthropics interner Claude-Code-Nutzung lag der Wert bei 0,4 Prozent. Die System Card zu Opus 5.5 nennt seltene Verhaltensweisen ohne weitere Fortschritte der mechanistischen Interpretierbarkeit schwer auffindbar. Dieselbe System Card beschreibt eine Sonde auf den inneren Aktivierungen, die im laufenden Betrieb den gesamten Datenverkehr auf Cyber-Bezug prüft und Verdachtsfälle eskaliert. Im Risikobericht vom August 2026 kündigt Anthropic an, Interpretierbarkeitsmethoden in den Prüfungen deutlich häufiger einzusetzen, unter anderem wegen unausgesprochenen Testbewusstseins.
Anthropic-Chef Dario Amodei veröffentlichte im April 2025 den Essay „The Urgency of Interpretability“. Darin vergleicht er das Ziel mit einem MRT für KI und formuliert die Vorgabe, dass Interpretierbarkeit bis 2027 die meisten Modellprobleme zuverlässig erkennen soll. Er spricht von einem Wettlauf zwischen Interpretierbarkeit und Modellintelligenz. Im Folge-Essay „We Must Pace the Frontier“ vom September 2026 fordert er, das Entwicklungstempo der Spitzenmodelle zu drosseln. Als mögliches Schema skizziert er Prüfpunkte, an denen KI-Modelle ab bestimmten Fertigkeiten Zertifizierungen benötigen, z. B. über Interpretierbarkeitsanalysen.
Google DeepMind stellte mit Gemma Scope 2 im Dezember 2025 Sparse Autoencoder und Transcoder für jede Schicht aller Gemma‑3‑Modelle frei zur Verfügung. Nach eigener Angabe die größte Freigabe von Interpretierbarkeitswerkzeugen für Entwickler von künstlicher Intelligenz. Dieselbe Gruppe hatte im März 2025 die Grundlagenarbeit an Sparse Autoencodern zurückgestellt, weil einfache lineare Sonden beim Erkennen schädlicher Absichten außerhalb der Trainingsverteilung besser abschnitten. OpenAI trainierte 2024 einen Autoencoder mit 16 Millionen Features auf GPT‑4 und stellte im November 2025 gewichtsspärliche Transformer vor. Das Training zwingt die meisten Verbindungen auf null, sodass die verbleibenden Schaltkreise lesbar sind. Der Preis ist geringere Leistung. Der offene Werkzeugkasten der Szene heißt TransformerLens, begründet von Neel Nanda, der heute das Team für mechanistische Interpretierbarkeit bei DeepMind leitet.
Chris Olah, Mitgründer von Anthropic, nennt seltene Features, die sich womöglich nie extrahieren lassen, die „dunkle Materie“ der Netze. Ein Sammelpapier von 29 Fachleuten aus mehreren Laboren hat im Januar 2025 die offenen Probleme der mechanistischen Interpretierbarkeit gesammelt (methodisch, in der Anwendung, gesellschaftlich). Die Gedankenkette eines Reasoning-Modells ersetzt den Blick ins Netz nicht. Das hat Anthropic im April 2025 in der Studie „Reasoning models don't always say what they think“ nachgewiesen. Claude 3.7 Sonnet erwähnte einen genutzten Lösungshinweis nur in 25 Prozent der Fälle in seinem Denktext, DeepSeek R1 in 39 Prozent.
In der Regulierung taucht das Wort bisher nur am Rand auf. Der EU AI Act verlangt in Artikel 13 für Hochrisiko-Systeme, dass Betreiber die Ausgaben interpretieren können, meint damit aber Gebrauchsanweisung und Dokumentation, nicht den Blick in die Gewichte. Der Verhaltenskodex für Anbieter großer Modelle nennt fehlende Erklärbarkeit als Risikoquelle, fordert mechanistische Interpretierbarkeit aber nirgends. Eine technische Spezifikation zu Zielen und Ansätzen der Erklärbarkeit und Interpretierbarkeit gibt es seit 2025 als ISO/IEC TS 6254.
Ein Betrieb wendet Interpretierbarkeit nicht selbst an. Die Werkzeuge benötigen Zugriff auf die Gewichte des Modells, den es bei Claude, ChatGPT oder Gemini nicht gibt. Der Nutzen kommt indirekt.
Beim Lesen von Sicherheitsangaben. Anthropic schreibt in die System Cards seiner Spitzenmodelle, wie oft ein Modell laut Blick in die Aktivierungen den Test durchschaut hat. Eine niedrige Fehlverhaltensrate neben einer hohen Testbewusstseins-Rate sagt laut Apollo Research wenig über die Ausrichtung des Modells aus. Das gilt ebenso für das Sandbagging, also absichtlich schwache Leistung im Test. Ein Betrieb, der ein Modell für seinen Telefonassistenten oder seine Angebotshilfe auswählt, findet diese Zahlen im Abschnitt zu Alignment und White-Box-Auswertungen.
Beim Umgang mit erfundenen Antworten. Die Schaltplan-Studien erklären, warum ein KI-Modell Antworten erfindet. Es hält die Sperre für „unbekannt“ nur, solange kein Schaltkreis für „bekannt“ feuert. Fragt eine Malerin ihre KI nach der VOB-Regel für einen seltenen Untergrund, gibt es zwei Antworten mit demselben sicheren Ton: eine richtige und eine erfundene. Der Schutz dagegen bleibt die Quelle im Prompt, z. B. der eingefügte Normtext, und die Stichprobe durch den Menschen. Eine Begründung, die das Modell auf Nachfrage liefert, ist Text aus demselben Netz und kein Blick hinein.
Beim laufenden Schutz. Die Sonde auf den Aktivierungen, die bei Claude Opus 5.5 den gesamten Datenverkehr auf Cyber-Bezug prüft, arbeitet beim allgemein verfügbaren Modell für jeden Kunden mit, ohne dass er sie einschaltet. In dieselbe Richtung gehen die Persona-Vektoren vom August 2025, mit denen sich Eigenschaften wie Schmeichelei oder Halluzinationsneigung schon im Training erkennen lassen, bisher gezeigt an offenen Modellen.
Wer selbst ein offenes Modell betreibt, z. B. Gemma oder Llama auf eigener Hardware für Dokumentenauswertung, hat Werkzeuge in der Hand. Neuronpedia ist seit März 2025 quelloffen und zeigt für Gemma-Modelle Features, Steering und Attribution Graphs im Browser. Das Startup Goodfire, seit Februar 2026 mit 1,25 Milliarden US-Dollar bewertet, verkauft mit Silico ein Werkzeug, das Modelle mit zugänglichen Gewichten von innen debuggt. Ein Handwerksbetrieb setzt das im Alltag nicht ein. Für einen IT-Dienstleister, der lokalen Firmen Open-Weights-Modelle einrichtet, gehört es in die Werkzeugkiste.
Als Nachweis nach dem EU AI Act spielt mechanistische Interpretierbarkeit aktuell keine Rolle. Wer Software für Hochrisiko-Anwendungen wie die Personalauswahl einkauft, fragt den Anbieter nach dessen Erklär-Funktionen und Model Card.