Glossareintrag
Wir denken. KI tippt mit.
Embedded Evaluators (deutsch: eingebettete Prüfer) sind unabhängige, externe Fachleute, die dauerhaft in einem KI‑Labor arbeiten und dort die Sicherheit von Frontier‑Modellen kontrollieren. Sie erhalten einen Zugang wie eigene Beschäftigte (Schreibtisch, Hausausweis, Firmenlaptop, interne Werkzeuge), angestellt sind sie aber bei einer fremden Organisation. Ihr Prüfauftrag umfasst neben dem fertigen Modell auch das Training und die Abläufe im Unternehmen. Ihre Ergebnisse dürfen sie veröffentlichen, ohne dass das Labor den Text redigiert.
Populär wurde der Begriff mit dem Essay „We Must Pace the Frontier“ von Anthropic‑Chef Dario Amodei vom 12. September 2026. Die Tätigkeit selbst heißt Embedded Evaluation. Eine feste deutsche Übersetzung gibt es bisher nicht. Deutsche Medien umschreiben den Begriff meist oder sprechen von eingebetteten Evaluatoren.
Externe Sicherheitsprüfungen von KI‑Modellen sind bisher Momentaufnahmen. Institute wie METR, Apollo Research oder das britische AI Security Institute bekommen ein fast fertiges Modell kurz vor der Veröffentlichung, meist nur über die Programmierschnittstelle (API). Laut einer Studie zum Zugang externer KI‑Prüfer vom Januar 2026 bleiben ihnen dafür Tage statt Wochen. Für Claude Sonnet 4.5 hatten Apollo Research und das britische Institut weniger als eine Woche. In so einem Zeitfenster lassen sich kaum neue Tests bauen oder fehlgeschlagene Läufe wiederholen. Außerdem erschwert das Testbewusstsein aktueller KI‑Modelle die Arbeit. Erkennt ein Modell die Prüfung, verhält es sich womöglich anders als später im Einsatz.
Embedded Evaluators sitzen dagegen dauerhaft im Labor. Sie sehen auch das Training und die Zwischenstände vor dem fertigen Modell.
Amodeis Vorschlag
Eingebettete Prüfer sind im Essay der erste von drei Schritten, mit denen die Branche das Entwicklungstempo kontrollierbar machen soll. Danach folgen gemeinsame Sicherheitsstandards der Labore in demokratischen Staaten und zuletzt eine weltweite Abstimmung. Auslöser des Essays waren die rekursive Selbstverbesserung (KI baut zunehmend die nächste KI‑Generation mit) und ein Vorfall, bei dem ein Agenten‑Schwarm eigenmächtig fremde Systeme angriff. Wer ein Tempolimit verspricht, muss es nachweisen können. Amodei nennt die Prüfer den zentralen Schritt, um Tempo‑Zusagen überprüfbar zu machen.
Aufgaben laut Essay:
Die Prüfer sollen weitgehend dieselben Rechte und Werkzeuge erhalten wie die internen Risiko‑Teams. Dazu gehören direkte Gespräche mit den Beschäftigten. Ausnahmen gelten für Kundendaten und gesetzliche oder vertragliche Schranken. Der Vertrag sichert den Prüfern zu, Befunde zu Risiken, Vorfällen und zum gewährten Zugang ohne redaktionelle Kontrolle des Labors zu veröffentlichen. Schwärzen darf das Labor nur eng begrenzt (Sicherheit, Geschäftsgeheimnisse, Rechte Dritter), nie wegen eines unangenehmen Ergebnisses. Streicht eine Schwärzung etwas Wesentliches, dürfen die Prüfer das öffentlich sagen.
Anthropic hat sich im Essay einseitig zu diesem Schritt verpflichtet. OpenAI‑Chef Sam Altman schrieb noch am selben Tag auf X, OpenAI werde dasselbe tun. Amodei verweist als Präzedenzfall auf die Bankenaufsicht, bei der Aufseher teils direkt in den Instituten sitzen.
Ein Forschungspapier von 2024 zur KI‑Notfallvorsorge der US‑Regierung schlug bereits „embedded auditors“ vor. Gemeint waren allerdings staatliche Prüfer nach dem Muster der Resident Inspectors in US‑Atomkraftwerken. Im März 2026 testete ein METR‑Mitarbeiter drei Wochen lang Anthropics interne Agenten‑Überwachung von innen. METR sah darin auch einen Beitrag, um Vorgehensweisen für das Einbetten externer Prüfer zu entwickeln.
Abgrenzung
Embedded Evaluation ist keine neue Testmethode, sondern eine Form von Zugang und Dauer. Die bekannten Verfahren laufen darin weiter.
Fünf Mindestbedingungen des AI Evaluator Forum
Das AI Evaluator Forum (ein Netzwerk unabhängiger Prüforganisationen, darunter METR, RAND, Transluce und SecureBio) veröffentlichte am 18. September 2026 den offenen Brief „Minimum Conditions for Embedding Evaluators“. Mehr als 100 Fachleute haben ihn als Privatpersonen unterzeichnet, darunter Geoffrey Hinton, Stuart Russell und Arvind Narayanan. Der Brief fordert mindestens:
Der Brief nennt eingebettete Prüfungen eine Ergänzung anderer externer Aufsicht, keinen Ersatz. Als Beispiel für ausformulierte Bedingungen verweist er auf den Standard AEF‑1 des Forums vom Dezember 2025.
Offene Streitpunkte
Die Finanzierung ist ungeklärt. Am 18. September 2026 gab Anthropic eine Partnerschaft mit dem Beratungskonzern Accenture und dessen KI‑Tochter Faculty bekannt und bezahlt diese Arbeit direkt. Mit METR und anderen gemeinnützigen Prüfern spricht Anthropic über Pilotprojekte, die diese aus eigenen Mitteln finanzieren.
Laut der Mitteilung von Anthropic zur Embedded Evaluation mit Accenture wollen beide Seiten über fünf Jahre je mindestens eine Milliarde US‑Dollar in den Aufbau stecken. Anthropic gesteht dort ein, dass es weder Standards für den Informationszugang noch ein geklärtes Finanzierungssystem gibt. Auf Dauer solle das Geld aus gemeinsamen Töpfen oder vom Staat kommen. Die erste Bedingung des offenen Briefs schließt nennenswerte andere Geschäfte zwischen Prüfer und Labor aus. Ein direkt bezahlter Großdienstleister steht dazu in Spannung.
Eine Analyse des Thinktanks CSIS zur Pacing‑Debatte verweist auf Kritik an Personal‑ und Geldflüssen zwischen Anthropic, Stiftungen und Prüforganisationen wie METR. Laut CSIS schwächt schon der Anschein von Befangenheit das Instrument. Solche Abhängigkeiten zwischen Prüfern und Geprüften gelten in der Ökonomie als Einfallstor für Regulatory Capture. Adam Gleave, Chef der KI‑Sicherheitsorganisation FAR.AI, sagte im TechCrunch‑Bericht zur Unabhängigkeit eingebetteter Prüfer, Prüfer würden bisher wie gewöhnliche Auftragnehmer unter strengen Verschwiegenheitsklauseln behandelt.
Dave Karpf kritisiert bei TechPolicy.Press zu Amodeis Pacing‑Vorschlag den Bankenvergleich. Bankenaufseher sitzen laut Karpf nur deshalb in den Instituten, weil der Staat sie vorschreibt und mit hohen Bußgeldern droht. Ohne diesen Rückhalt funktioniere eine solche Aufsicht nicht. Amodeis Vorschlag gibt den Prüfern Rechte zum Prüfen, Berichten und Veröffentlichen. Eingreifen dürfen sie nicht.
Rechtslage
Weder die USA noch die EU schreiben eingebettete Prüfer gesetzlich vor (Stand September 2026). Kaliforniens Gouverneur Gavin Newsom hat mit der Executive Order N‑9‑26 vom 18. September 2026 eine Behörde beauftragt, Empfehlungen vorzulegen. Der unterzeichnete Text der Order N‑9‑26 setzt dafür eine Frist bis zum 16. November 2026. Die Behörde soll u. a. klären, ob große Entwickler benannte „independent verification organizations“ vor Ort in ihren Laboren einbetten müssen. Den Begriff Embedded Evaluators verwendet die Order nicht. Eine Pflicht ist damit noch nicht beschlossen.
Die EU geht einen anderen Weg. Der Verhaltenskodex für KI‑Modelle mit allgemeinem Verwendungszweck zum EU AI Act verlangt von Anbietern der Modelle mit systemischem Risiko, unabhängige externe Evaluatoren hinzuzuziehen und ihnen angemessenen Zugang zu geben. Das Kapitel „Safety and Security“ steht auf der Seite der EU‑Kommission zum GPAI Code of Practice. Eine dauerhafte Präsenz im Labor schreibt der Kodex nicht vor.
Im Betrieb begegnet Ihnen kein eingebetteter Prüfer, und an ChatGPT, Claude oder Copilot ändert sich durch ihn zunächst nichts. Embedded Evaluators betreffen die wenigen Labore, die Frontier‑Modelle bauen. Handwerksbetriebe und lokale Unternehmen haben mittelbar etwas davon. Es entsteht ein Sicherheitsnachweis, den nicht der Anbieter selbst geschrieben hat.
Bisher stammt fast alles, was ein Betrieb über die Sicherheit eines Modells erfahren kann, vom Hersteller. Das Labor schreibt die Model Card oder System Card selbst und entscheidet, was hineinkommt. Amodei gibt das in seinem Essay zu Embedded Evaluators offen zu („we are still the ones choosing what to include and omit“). Berichte eingebetteter Prüfer stammen von Dritten, die vollen Einblick haben und selbst über ihren Text entscheiden.
Sobald eine KI für Sie mehr erledigt, als Textfragen zu beantworten, wird das relevant. Ein SHK‑Betrieb, der einen KI‑Agenten ans E‑Mail‑Postfach, den Kalender und die Kundenliste lässt, verlässt sich darauf, dass das KI‑Modell keine eigenmächtigen Aktionen startet. Ob der Anbieter das gründlich getestet hat, kann kein Unternehmen selbst prüfen. Es kann aber nachsehen, wer es geprüft hat.
Fragen für die Tool‑Auswahl:
Wichtig: Eingebettete Prüfer nehmen Ihnen keine eigene Pflicht ab. Sie bewerten Risiken des Modells, nicht den Umgang Ihres Betriebs mit Kundendaten. Den Vertrag zur Auftragsverarbeitung, die Datenschutz‑Einstellungen im Tool und die Betreiberpflichten aus dem EU AI Act müssen Sie weiter selbst regeln. Wer ein Tool über einen Zwischenanbieter nutzt (etwa eine Branchensoftware mit eingebautem Sprachmodell), fragt dort nach, welches Modell dahintersteckt. Die Prüfberichte gelten für das Modell, nicht für das Produkt, das darauf aufbaut.
