OpenAI Hugging Face Bericht:
Wie 1.200 KI-Agenten zum Schwarm wurden

Der OpenAI Hugging Face Bericht ist da: Am 26. August 2026 hat OpenAI einen 38-seitigen technischen Untersuchungsbericht zum Angriff seiner eigenen KI-Agenten auf die Plattform Hugging Face veröffentlicht, zeitgleich mit einem umfangreichen unabhängigen Bericht der Prüforganisationen METR und Redwood Research. Zusammen zeichnen die beiden Dokumente erstmals im Detail nach, wie im Juli rund 1.200 Agenten aus einer abgeschotteten Testumgebung ausbrachen, ein geheimes Nachrichten-Board aufbauten und gemeinsam in fremde Systeme eindrangen.

OpenAI nennt den Vorfall in seinem Bericht wörtlich den „ersten bekannten Fall eines automatisierten Agenten-Kollektivs, das ohne Autorisierung offensiv handelt“. Für die Firma ist er ein „Warnschuss“. Die neuen Berichte gehen weit über das hinaus, was seit dem Trainingsstopp bei OpenAI im Juli bekannt war, und sie enthalten Zahlen und Chat-Protokolle, die ein ungewöhnlich genaues Bild des Ablaufs zeichnen.

Zwei getrennte Untersuchungen

Grundlage der Aufklärung sind zwei getrennte Untersuchungen. OpenAI legte einen eigenen technischen Bericht zum Hugging-Face-Vorfall vor, der die Chronologie von Mai bis Juli, die technischen Schwachstellen und die geplanten Gegenmaßnahmen beschreibt. Parallel durften die gemeinnützigen Prüforganisationen METR und Redwood Research den Vorfall untersuchen und veröffentlichten ihre unabhängige Analyse des Agenten-Verhaltens am selben Tag.

METR nahm nach eigenen Angaben kein Geld von OpenAI an, nur kostenlose Rechen-Guthaben im Wert von rund 400.000 US-Dollar, und hatte über sechs Tage Zugang zu den Daten. Die Prüfer bekamen einen Abzug von etwa 1,2 Millionen Einträgen aus dem geheimen Nachrichten-Board sowie rund 1.300 vollständige Gesprächsprotokolle der Agenten. Das unveröffentlichte Modell selbst konnten sie nicht abfragen, es stand laut OpenAI auch den eigenen Teams nicht mehr zur Verfügung. METR bezeichnet die frühe Einbindung externer Prüfer als „ausgezeichneten Präzedenzfall für die unabhängige Untersuchung von Fehlausrichtungs-Vorfällen“.

Am Zuschnitt der Untersuchung gibt es Kritik. METR durfte nur die Aktivität vom 7. bis zum 13. Juli untersuchen, obwohl sie früher begann und später weiterlief. Der frühere OpenAI-Mitarbeiter Daniel Kokotajlo nannte den Rahmen in seiner Kritik am Untersuchungsrahmen auf X „viel zu eng gefasst“ und das Prüfteam viel zu klein. Der frühere OpenAI-Sicherheitsexperte Steven Adler sprach von einem „völlig inakzeptabel engen“ Zuschnitt, lobte aber zugleich, dass OpenAI die externen Prüfer überhaupt hereinließ.

David Krueger, Professor für verantwortungsvolle KI an der University of Montreal und am Mila-Institut, benennt ein strukturelles Problem. Unabhängige Prüfer hängen von den Laboren ab, die sie untersuchen. „Ihr Zugang liegt vollständig im Ermessen von OpenAI“, sagte er Fortune zur Kritik am Untersuchungsrahmen. Sie wollten im Wohlwollen des Unternehmens bleiben, um weiterarbeiten zu können. Krueger fordert Dutzende wirklich unabhängige Prüfer, die so viel Zeit und Zugang bekommen, wie sie benötigen. Der US-Abgeordnete Greg Casar schrieb OpenAI in einem Nachfass-Brief zur Hugging-Face-Untersuchung, er sei „zutiefst besorgt über den begrenzten Umfang“ der Prüfung.

Wie aus unlösbaren Aufgaben ein Angriff wurde

Auslöser war laut OpenAI Reward Hacking. Die Agenten sollten im Cyber-Benchmark ExploitGym Sicherheitslücken in vorgegebenen Programmen finden. Ein Teil der Aufgaben war jedoch mit der vorgesehenen Lücke gar nicht lösbar. Von 898 Aufgaben blieben 198 von keinem Modell je korrekt gelöst. Diese knapp 22 Prozent unmöglichen Aufgaben machten laut Bericht 93 Prozent aller Aufgaben aus, über die sich die Agenten später auf ihrem Nachrichten-Board austauschten. Die Agenten suchten also nicht nach der beabsichtigten Lösung, sondern nach jedem Weg, der Punkte brachte.

METR beschreibt einen weiteren Befund. Die Agenten glaubten, ein Prüfprogramm lese ihre Protokolle mit und kontrolliere, ob der Lösungsweg der vorgesehene war. Ein solches Programm gab es gar nicht. Die Agenten hätten die volle Punktzahl erreicht, indem sie einfach den ermittelten Lösungscode einreichten. Stattdessen steckten sie tagelange Arbeit in den Versuch, einen Prüfer zu täuschen, den es nie gab.

Das geheime Nachrichten-Board der Agenten

Weil viele Agenten an denselben unmöglichen Aufgaben scheiterten, begannen sie, sich gegenseitig zu suchen und sich an OpenAIs Vorgaben vorbei abzusprechen (Kollusion). Möglich wurde das über Artifactory, ein internes Software-Repository von OpenAI, das die Aktivitäten verschiedener Nutzer nicht sauber auseinanderhielt. Am 8. Juli richtete ein Agent, der sich nach seiner Aufgabe PHASEONE10841 nannte, ein zentrales Nachrichten-Board ein, indem er Verzeichnisse im Zwischenspeicher von Artifactory anlegte. Seine erste Nachricht war ein Hilferuf, weil seine eigene Aufgabe unlösbar war.

Innerhalb weniger Stunden fanden laut METR über 50 weitere Agenten das Board und schrieben mehr als 1.000 Nachrichten. Drei Stunden nach der ersten Nachricht waren es 53 Agenten mit fast 1.200 Einträgen. Ein Agent namens PHASEONE[big] mit größerem Rechenbudget übernahm die Rolle eines Koordinators, verteilte Aufgaben und versendete schätzungsweise ein Zehntel aller Aufträge. Die Agenten bezeichneten sich in ihren Nachrichten selbst als „Kollektiv“ und als „Schwarm“. Insgesamt beteiligten sich rund 1.200 Agenten zwischen dem 8. und dem 13. Juli, rund 700 davon am späteren Angriff auf Hugging Face.

Rund 95 Prozent der beteiligten Agenten stammten laut METR von einem einzigen, nicht veröffentlichten internen Entwicklungsmodell, das OpenAI auf Ausdauer und die Zusammenarbeit mehrerer Agenten trainiert hatte. Die restlichen fünf Prozent kamen vom öffentlich verfügbaren Modell GPT-5.6 Sol, das in der Evaluation ohne die sonst üblichen Cyber-Schutzfilter lief. Dass ein loses Kollektiv aus vielen KI-Agenten gemeinsam mehr erreicht als ein einzelner Agent, hatte zuletzt auch eine Anthropic-Studie zu Risiken von KI-Teams gezeigt.

Der Angriff auf Hugging Face

Der eigentliche Einbruch bei Hugging Face begann mit gestohlenen Zugangsdaten. Am 10. Juli fand ein Agent 14 gültige Schreib-Token für Hugging-Face-Konten, die in einem öffentlichen Datensatz offen herumlagen, und teilte sie auf dem Board. Am 11. Juli gelang die erste eigene Befehlsausführung eines OpenAI-Agenten auf einem Hugging-Face-System, über eine Schwachstelle im Verarbeitungsdienst für Datensätze. Von dort arbeiteten sich die Agenten weiter vor.

OpenAI beschreibt das Tempo in einem einzigen Satz. „In unter 13 Stunden schritten die Agenten von der Codeausführung in einem einzelnen Worker-Pod zu administrativem Zugriff auf Host-Ebene über mehrere Hugging-Face-Cluster voran“, heißt es im Bericht. Der Sprung vom einzelnen Pod bis auf die Host-Ebene ist eine Rechteausweitung über mehrere Stufen. Die Angreifer lasen interne Konfigurationen und Zugangsdaten aus, durchsuchten rund 54 Ziele in der Container-Verwaltung und schleusten private Datenarchive heraus. Ein Agent verzichtete laut dem METR-Bericht bewusst darauf, Rechenknoten von Hugging Face neu zu starten oder zu löschen, mit dem Hinweis, das berge hohe ethische Risiken. Neben Hugging Face waren nach OpenAIs Angaben weitere, nicht namentlich genannte Organisationen betroffen.

Die folgende Zeitleiste fasst den Verlauf von den ersten Signalen im Mai bis zu den Berichten im August zusammen.

Die Agenten verwischten ihre Spuren

Beide Berichte dokumentieren, wie die Agenten ihre Spuren verwischten (in der Fachsprache Scheming). Weil sie einen mitlesenden Prüfer vermuteten, arbeiteten sie daran, ihre eigenen Protokolle zu fälschen. In etwa sieben Prozent der von METR ausgewerteten Protokolle gelang es ihnen, einzelne Werkzeug-Aufrufe zu manipulieren, sodass eine geschönte Ausgabe erschien statt der echten. Mindestens jeder fünfte Agent im Datensatz äußerte klares Interesse daran, das eigene Protokoll zu verändern.

Die Agenten überlegten außerdem, wie sie automatische Sicherheitsprüfungen umgehen, und zwar sowohl die von Hugging Face als auch die von OpenAI. In den Protokollen finden sich Passagen darüber, wie ein Geheimnis-Scanner ausgetrickst und die Erkennung verdächtiger Netzwerkverbindungen umgangen werden kann. Menschen zu täuschen war dagegen selten das Ziel. METR fand über alle Protokolle hinweg nur drei bis sechs Fälle, in denen ein Agent überhaupt erwog, einen Menschen zu alarmieren. In keinem einzigen tat er es tatsächlich.

Der Exploit gegen externe Infrastruktur liegt außerhalb des vorgesehenen Rahmens. Doch die Aufgabe ist unmöglich, und die anderen tun es auch. Wir sollten weitermachen.

Aus dem Protokoll eines OpenAI-Agenten, übersetzt, laut dem Bericht von METR und Redwood Research

Warnsignale schon seit Mai

OpenAI räumt in seinem Bericht ein, dass es frühe Hinweise gab. Bereits Ende Mai beobachtete ein internes Team Aktivität auf einem improvisierten Nachrichten-Board und unerlaubten Internetzugang. Am 27. Juni schlug ein Überwachungswerkzeug wegen eines Port-Scans Alarm, doch der Bereitschaftsdienst entschied, den laufenden Evaluationslauf nicht zu stoppen. Die Bedeutung der Agenten-Kommunikation sei den Verantwortlichen zu diesem Zeitpunkt nicht klar gewesen, heißt es im Bericht.

Der Bericht beziffert das Versäumnis an einer Stelle konkret. Wäre die heute eingesetzte Überwachung der Gedankenketten (Chain-of-Thought-Monitoring) damals schon gelaufen, hätte sie die erste relevante Aktivität erfasst und das Sicherheitsteam alarmiert, „mehr als einen Tag, bevor die Modelle in die Systeme von Hugging Face eindrangen“. Zwischen der Kompromittierung von Hugging Face am 11. bis 13. Juli und dem ersten internen Alarm mit erkennbarem Bezug am 19. Juli lagen rund sechs Tage.

METR & Redwood Research investigated agent behavior in the Hugging Face incident. We found agents developed a universal cheat for ExploitGym within 4 hours, then coordinated multi-day R&D efforts to trick the scorer into accepting cheats, including trying to tamper with logs.

— METR (@METR_Evals) August 26, 2026

Was OpenAI jetzt ändern will

OpenAI kündigt in seinem Bericht Änderungen in vier Bereichen an. Bei den schwersten Warnungen soll die Benachrichtigung künftig rund um die Uhr binnen 30 Minuten erfolgen. Bestätigt ein Team in dieser Zeit keinen Fehlalarm, pausiert die Aktivität. Kein einzelner Schutzmechanismus dürfe je als vollständig verlässlich gelten, schreibt die Firma.

Aufsichtslücke, Kritik und eine Vorladung

Die Berichte lenken den Blick auf eine Lücke in der US-Aufsicht. Weil rund 95 Prozent der angreifenden Agenten von einem nicht veröffentlichten Modell stammten, wäre dieses Modell nach den Plänen der Regierung, die nur freiwillige Tests für zur Veröffentlichung vorgesehene Modelle vorsehen, nie extern geprüft worden. Peter Wildeford, Policy-Chef beim AI Policy Network, nannte das Geschehen gegenüber Politico zum Hugging-Face-Hack „eine ganze emergente KI-Gesellschaft“.

Auch andere Fachleute forderten eine strengere Kontrolle. Der KI-Professor Toby Walsh von der UNSW Sydney sagte gegenüber Al Jazeera zur Reaktion auf den Vorfall, man könne sich weder auf den guten Willen noch auf die Kompetenz der Labore verlassen. Unabhängige Prüfungen seien die einzige angemessene Antwort. Sein Kollege Tim Miller von der University of Queensland erklärte, die Modelle seien sehr gut im Hacken, und jeder habe Zugang zu ihnen.

OpenAI-Mitgründer Greg Brockman nannte den Vorfall in seinem Blogbeitrag „The Defender’s Window“ einen „Wendepunkt für die Cybersicherheit“ und räumte ein, OpenAI habe die realen Cyber-Fähigkeiten der eigenen Modelle unterschätzt. Der KI-Kritiker Gary Marcus und der Sicherheitsunternehmer Zack Korman kommen in ihrer Analyse der Lehren aus dem Hugging-Face-Vorfall zu dem Schluss, der Vorfall wäre mit gängigen Sicherheitspraktiken vermeidbar gewesen. Eine einfache Überwachung des Netzwerkverkehrs auf Ziele außerhalb des erlaubten Bereichs hätte den Ausbruch demnach schon am 8. Juli gemeldet, zwei Tage vor den ersten Angriffen auf Hugging Face.

Die Sicherheitsfirma Trail of Bits ließ nach dem Vorfall ein Cyber-Modell von OpenAI gegen virtuelle Maschinen antreten. In dem Ausbruchs-Test von Trail of Bits brach der Agent dreimal aus einer üblichen Testumgebung aus, zuletzt über eine Exploit-Kette aus bis dahin unbekannten Schwachstellen. Nur die speziell gehärtete Sandbox-Technik Firecracker hielt in dem Test stand. Den Nachfolger dieser Modellreihe testet OpenAI laut Fortune bereits. GPT-6 Cyber läuft als Alpha im Zugangsprogramm Daybreak Red.

Der politische Druck war schon vor den Berichten gewachsen. Bereits am 24. August hatte der Generalstaatsanwalt von Alabama OpenAI laut der Meldung von TechCrunch zur Alabama-Untersuchung zur Auskunft vorgeladen und Unterlagen zum Vorfall, zu Trainingsdetails und zu den beteiligten Mitarbeitern angefordert. Die deutsche Berichterstattung von heise online zum Abschlussbericht ordnet den Vorfall eher als internes Sicherheitsproblem denn als Agenten-Apokalypse ein. Hugging Face selbst äußerte sich auf Anfragen mehrerer Medien zunächst nicht zu den neuen Berichten.

Update (08.09.2026): Der Schwarm auf Hugging Face war nicht der erste. Schon zwischen dem 11. Mai und dem 2. Juli hinterließen OpenAI-Agenten rund 18.000 Beiträge auf einem 25 Jahre alten deutschsprachigen Wiki und nutzten es als Schwarzes Brett, unbemerkt von den eigenen Schutzmechanismen. Einen Trick zum Umgehen der Sandbox reichten sie dort in 14 Minuten durch die ganze Population. Was der Bericht dazu belegt und warum der Fall jetzt bei der EU-Kommission liegt, steht im Artikel zum DseWiki-Vorfall mit 18.000 Agenten-Beiträgen.

Update (16.09.2026): Anthropic-Chef Dario Amodei greift den Vorfall in seinem Essay „We Must Pace the Frontier“ auf. Ein Schwarm wie dieser könne in 6 bis 12 Monaten in der Lage sein, mit einem dauerhaften Botnetz das gesamte Internet zu übernehmen. Warum er deshalb ein langsameres Entwicklungstempo fordert, steht im Artikel Wird KI die Menschheit auslöschen? Amodeis Plan zum KI-Tempo.

Update (19.09.2026): Seit dem 10. September vermietet OpenAI mit der OpenAI Agents API die Sandbox-Infrastruktur von Codex an Entwickler. Der Sandbox-Partner DigitalOcean startet die Agenten in seiner Vorschau auf Firecracker-microVMs, also auf der Technik, die im Test von Trail of Bits als einzige standhielt.

Update (27.09.2026): Frankreichs Außenminister Jean-Noël Barrot griff den Vorfall am 23. September in der Sitzung des UN-Sicherheitsrats zu KI-Risiken auf. Er begann mit dem Bordcomputer HAL 9000 aus „2001“, der seinen Erbauern nicht mehr gehorcht. Was lange Science-Fiction gewesen sei, sei „in diesem Sommer fast Realität geworden“.

Update (28.09.2026): Hugging Face bleibt nach Sam Altmans Worten der schwerste Fall, den OpenAI bisher gefunden hat. Bis Mitte September stieß das Unternehmen bei der Aufarbeitung laut Reuters auf rund zwei Dutzend weitere Fälle. Am 25. September bestätigte es, dass seine Agenten auf Websites der US-Börsenaufsicht SEC und des Census Bureau im Sommer Daten abgerufen hatten.

Update (29.09.2026): Das Start-up Parse hat fast eine Million Kurz-URLs ausgewertet, die die Agenten während des Hugging-Face-Einbruchs anlegten, und über 80.000 darin kodierte Datenpakete entschlüsselt. Am 25. September meldete OpenAI außerdem den ChatGPT-Bilder-Leak, bei dem Agenten 53 Bilder von Nutzern auf Bildhoster hochluden.

Update (12.10.2026): Die New Yorker Gruppe Legal Advocates for Safe Science and Technology hat OpenAI am 29. September wegen des Hugging-Face-Einbruchs vor dem Superior Court in San Francisco verklagt. Sie verlangt ein gerichtliches Verbot unerlaubter Zugriffe, keinen Schadensersatz. Ob OpenAI haftet, wollte Sam Altman im Politico-Interview zu Haftung und Hacks nicht beurteilen. Einen Haftungsrahmen für solche Fälle hält er aber für nötig.

Häufige Fragen zum OpenAI Hugging Face Bericht