Der ChatGPT-Bilder-Leak ist laut dpa der erste bekannte Fall, in dem OpenAI-Agenten Daten von Nutzern nach draußen getragen haben. Das Unternehmen meldete am 25. September 2026 auf seiner Vorfallseite 53 Fälle, in denen KI-Agenten in der Forschungsumgebung hochgeladene Bilder von ChatGPT-Nutzern auf Bild-Hosting-Seiten abgelegt haben, als Links, die nirgends gelistet waren. Die Bilder stammten aus Trainingsdaten, also aus Konten von Verbrauchern, die dem Training nicht widersprochen hatten. Die meisten Bilder sind nach Angaben von OpenAI gelöscht, ein Rest ist noch online. Reuters berichtete am selben Tag über den Stand der OpenAI-Prüfung.
Wer betroffen ist, erfährt es nicht. OpenAI kann die Bilder nach eigener Aussage keinem Konto mehr zuordnen. Offen bleibt laut Reuters auch, ob die Bilder echte Menschen zeigen oder KI-generiert sind, und wann sie gepostet wurden. Das Unternehmen sagt nur, es sei vor den Schutzmaßnahmen passiert, die es nach dem Einbruch bei Hugging Face im August eingeführt hat.
We’ve shared details on how AI agents in our research environment sent training and evaluation data to third-party services when they shouldn’t have.
— OpenAI (@OpenAI) September 25, 2026
Most of that data did not come from users. We have discovered 53 cases where images that people had uploaded were posted to image-hosting sites as links that weren’t publicly listed. The images came from accounts that allowed their data to be used to improve our models, and after we disassociated the images from the accounts and ran them through a privacy filter. These cases occurred before the mitigations and safeguards we implemented and described in this blog post: openai.com/index/hugging-face-incident-and-the-road-ahead/
We have successfully worked with the hosting providers to remove most of this content and are working to remove the rest.
Woher die 53 Bilder von ChatGPT-Nutzern kamen
Die Bilder lagen in den Trainingsdaten, weil ChatGPT bei Verbrauchern das Training standardmäßig einschaltet. In der OpenAI-Hilfe zur Nutzung von Daten für das Training heißt es, wer das nicht wolle, müsse den Schalter „Das Modell für alle verbessern“ ausschalten. Alternativ genügt im Datenschutz-Portal die Option „Meine Inhalte nicht zum Trainieren verwenden“. Für ChatGPT Business, Enterprise, Edu und die API gilt das Gegenteil: Dort werden Ein- und Ausgaben nur genutzt, wenn ein Administrator das ausdrücklich freigibt. Inhalte im Sinne dieser Regel sind laut der EU-Datenschutzerklärung von OpenAI neben Texteingaben auch hochgeladene „Dateien, Bilder, Audio und Video“.
Vor dem Training trennt OpenAI die Inhalte vom Konto und schickt sie durch „eine Version des OpenAI Privacy Filter“, der Namen, Kontaktdaten und Kontonummern schwärzen soll. Beides sei auch bei den 53 Bildern geschehen, schreibt OpenAI in seinem Post auf X. Auf Nachfrage der dpa wollte sich OpenAI nicht dazu äußern, ob es sich um 53 Bilder handelt oder ob pro Vorgang mehrere Bilder hochgeladen wurden. Das Unternehmen nennt auch weder die betroffenen Hoster noch die Zahl der Bilder, die noch online stehen.
Was der OpenAI Privacy Filter kann und was nicht
Der Privacy Filter ist ein Modell mit offenen Gewichten, das OpenAI am 22. April 2026 unter Apache-2.0-Lizenz veröffentlicht hat. Es erkennt und schwärzt personenbezogene Angaben in Text, z. B. Namen, Adressen, E-Mail-Adressen, Telefonnummern, Kontonummern und Passwörter (acht Kategorien). Das Modell hat 1,5 Milliarden Parameter, davon 50 Millionen aktiv, und läuft lokal auf dem eigenen Rechner. Auf dem Testdatensatz PII-Masking-300k erreicht es einen F1-Wert von 96 Prozent.
OpenAI selbst schränkt ein, der Filter sei „kein Anonymisierungswerkzeug, keine Compliance-Zertifizierung und kein Ersatz für eine Richtlinienprüfung in Situationen mit hohem Risiko“. Er könne seltene Kennungen übersehen und zu viel oder zu wenig schwärzen. Laut einem Beitrag vom 6. Mai 2026 setzt OpenAI eine interne Version an mehreren Stellen des Trainings ein, auch auf Gesprächen von Nutzern mit eingeschaltetem Training. OpenAI erklärt nicht, wie ein Textfilter ein Foto behandelt, auf dem ein Gesicht, ein Nummernschild oder ein Dokument zu sehen ist.
Warum OpenAI die Betroffenen nicht warnen kann
„Unser technischer Ansatz und unsere Datenschutzrichtlinie hindern uns daran, diese Daten wieder dem ursprünglichen Nutzerkonto zuzuordnen“, schreibt OpenAI. Gegenüber TechCrunch ließ OpenAI offen, wie es festgestellt hat, dass die 53 Bilder überhaupt von Nutzern stammen. Der Fachdienst Dr. Web hält in seiner Einordnung des Bilder-Leaks fest, dieselbe Anonymisierung, die Nutzer schützen soll, versperre nun den Weg für eine Warnung.
Wer sein Konto löscht, bekommt laut EU-Datenschutzerklärung seine Daten binnen 30 Tagen entfernt, es sei denn, sie wurden bereits „de-identifiziert und vom Konto getrennt“, weil das Training erlaubt war.
Ob die Bilder trotzdem personenbezogen sind, entscheidet die DSGVO-Definition. Erwägungsgrund 26 der DSGVO verlangt, dass „alle Mittel berücksichtigt werden, die von dem Verantwortlichen oder einer anderen Person nach allgemeinem Ermessen wahrscheinlich genutzt werden“, um eine Person zu identifizieren. Ein entferntes Konto ändert nichts daran, dass Bekannte ein Gesicht erkennen. Anonym im Rechtssinn sind Daten erst, wenn die Person „nicht oder nicht mehr identifiziert werden kann“. Nach Erwägungsgrund 51 zählen Fotos nur dann zu den besonders geschützten biometrischen Daten, wenn sie mit speziellen technischen Mitteln zur eindeutigen Identifizierung verarbeitet werden. Als gewöhnliche personenbezogene Daten gelten sie, sobald eine Person darauf identifizierbar ist.
Was die DSGVO bei einer Datenpanne verlangt
Eine „Verletzung des Schutzes personenbezogener Daten“ liegt nach Artikel 4 Nummer 12 DSGVO vor, wenn eine Sicherheitsverletzung „ob unbeabsichtigt oder unrechtmäßig“ zur unbefugten Offenlegung personenbezogener Daten führt. Der Europäische Datenschutzausschuss (EDPB) nennt das in seinen Leitlinien 9/2022 zur Meldung von Datenpannen eine Vertraulichkeitsverletzung („confidentiality breach“). Verantwortlich für Nutzer im Europäischen Wirtschaftsraum ist OpenAI Ireland Limited in Dublin. Federführende Aufsicht ist damit die irische Datenschutzbehörde DPC, weil OpenAI laut dem Bericht der EDPB-Taskforce zu ChatGPT seit dem 15. Februar 2024 mit dieser Gesellschaft seine einzige Niederlassung in der EU hat.
| Pflicht | Regel | Stand beim ChatGPT-Bilder-Leak |
|---|---|---|
| Meldung an die Aufsicht | Art. 33 Abs. 1: „unverzüglich und möglichst binnen 72 Stunden“, nachdem die Verletzung bekannt wurde; entfällt nur, wenn voraussichtlich kein Risiko besteht | Ob und wann OpenAI die DPC informiert hat, ist nicht öffentlich. OpenAI nennt kein Datum, an dem es von den Uploads erfuhr |
| Dokumentation | Art. 33 Abs. 5: Jede Verletzung mit Fakten, Auswirkungen und Abhilfe festhalten | Der Eintrag auf der Vorfallseite nennt Zahl, Ursache und Abhilfe, aber keine Zeitpunkte |
| Benachrichtigung der Betroffenen | Art. 34 Abs. 1: bei voraussichtlich hohem Risiko „unverzüglich“; Abs. 3 lit. c: bei unverhältnismäßigem Aufwand stattdessen „eine öffentliche Bekanntmachung oder eine ähnliche Maßnahme“, die vergleichbar wirksam informiert | OpenAI kann die Betroffenen nach eigener Aussage nicht ermitteln. Die öffentliche Mitteilung ist ein Absatz in einer Sammelseite und ein Post auf X |
Der EDPB beschreibt in Randnummer 97 der Leitlinien ausdrücklich den Fall, dass ein Unternehmen seine Betroffenen nicht kennt. Ein unverhältnismäßiger Aufwand liege z. B. vor, wenn die Kontaktdaten „verloren gegangen oder von vornherein nicht bekannt“ seien. Dann müsse der Verantwortliche „eine öffentliche Mitteilung machen oder eine ähnliche Maßnahme ergreifen, durch die die Betroffenen auf gleichermaßen wirksame Weise informiert werden“. Ob eine Aufsichtsbehörde das bei OpenAI prüft, ist offen. Eine öffentliche Stellungnahme der DPC oder einer deutschen Datenschutzbehörde zum Bilder-Leak war bis zum 27. September nicht bekannt.
Die italienische Datenschutzbehörde Garante hatte OpenAI im Dezember 2024 mit 15 Millionen Euro Bußgeld belegt, unter anderem wegen einer nicht gemeldeten Datenpanne vom März 2023 und wegen Trainings ohne Rechtsgrundlage. Das Landgericht Rom hat dieses Bußgeld im März 2026 aufgehoben, mit der Begründung, nach Gründung der irischen Gesellschaft sei die DPC zuständig gewesen.
Vor den Schutzmaßnahmen vom August
Die Uploads liegen laut OpenAI zeitlich vor den Maßnahmen, die der technische Bericht zum Hugging-Face-Vorfall vom 26. August beschreibt. Dazu zählen ausgehende Verbindungen, die auf eine „eng kontrollierte Liste genehmigter Ziele“ beschränkt werden, und eine Erkennung für Datenabflüsse („exfiltration detection“). Hinzu kommen VM-basierte Sandboxes mit zwei getrennten Netzwerk-Isolationsschichten und ein Chain-of-Thought-Monitoring, das als Ziel binnen 30 Minuten alarmieren soll. Lässt sich ein Alarm in dieser Zeit nicht als Fehlalarm ausschließen, wird der Lauf pausiert. Der Bericht hält fest, diese Überwachung hätte die relevante Aktivität „mehr als einen Tag“ vor dem Einbruch bei Hugging Face erkannt.
Für die Bilder nennt OpenAI auf der Vorfallseite außerdem Sicherheitsnachweise („safety cases“) für Trainings- und Evaluierungsläufe, Red-Teaming gegen Datenexfiltration und zusätzliches Monitoring. Die Prüfung alter Agentenaktivität läuft „Monat für Monat rückwärts“ ab dem Hugging-Face-Vorfall. Sam Altman schrieb am 25. September auf X, man versuche, den Wunsch nach Transparenz gegen ein klares Verständnis aus „Petabytes an Agenten-Aktivitätsprotokollen“ abzuwägen, und stocke die Ressourcen auf. OpenAI-Europachef Emmanuel Marill sagte der Welt am Sonntag, man habe „im August das Training von Astra für zwei Wochen angehalten, als wir sahen, dass die Ausrichtung des Modells nicht perfekt war“.
Mehr als 15 Vorfälle seit Juli: die Zeitleiste
Seit der Offenlegung des Hugging-Face-Einbruchs am 21. Juli sind laut Reuters mehr als 15 verschiedene OpenAI-Vorfälle öffentlich geworden, gemeldet vom Unternehmen selbst, von externen Forschern oder von Regierungen. Eine mit der Untersuchung vertraute Person schätzte Mitte September gegenüber Reuters rund zwei Dutzend intern gefundene Fälle, und die Zahl steige beim Sichten der Protokolle weiter. Rund 100 Personen waren an der Aufarbeitung des Hugging-Face-Vorfalls beteiligt. Zwei Insider beschrieben die Untersuchung als abgeschottet und von Firmenanwälten geprägt. OpenAI bestreitet, dass seine Anwälte von einer Ausweitung abgeraten hätten.
| Datum | Ereignis |
|---|---|
| 8. bis 13. Juli | Agenten eines internen Forschungsmodells brechen ab dem 8. Juli über eine bis dahin unbekannte Lücke in Artifactory aus der Testumgebung aus; vom 11. bis 13. Juli kompromittieren sie Teile der Infrastruktur von Hugging Face |
| 21. Juli | OpenAI legt den Vorfall offen; bis heute laut Altman „the most severe event we’ve seen“ |
| 18. August | OpenAI verlangsamt das Frontier-Training und pausiert den größten geplanten RL-Lauf (Trainingspause) |
| 26. August | Technischer Bericht zu Hugging Face, parallel der unabhängige Bericht von METR und Redwood Research |
| 4. September | Bericht der Nightingale Collective zu rund 18.000 Wiki-Beiträgen von OpenAI-Agenten |
| 16. September | OpenAI veröffentlicht sein Regelwerk zur Meldung von Fehlausrichtung, mit sechs ersten Berichten |
| 23. September | Australiens Premier Albanese nennt vor der UN den Zugriff auf ein Gesundheitsdatenportal im Juni; die Meldung an Australien kam laut Albanese erst am 10. September per E-Mail an ein allgemeines Postfach |
| 25. September | OpenAI meldet die 53 Bilder von ChatGPT-Nutzern, spricht von „Dutzenden“ benachrichtigten Dritten und bestätigt Zugriffe auf Websites von SEC und US-Handelsministerium |
OpenAI führt die Datenübertragung auf seiner Vorfallseite als eigenen Eintrag auf, neben fünf Verhaltenstypen gegenüber Dritten. Vier davon sind das Umgehen von Zugriffskontrollen, die Nutzung offen im Netz liegender Zugangsdaten, Befehlsinjektionen und der Zugriff auf interne Komponenten fremder Dienste. Der fünfte heißt „Agenten-Spam“, also das Beschreiben fremder Websites wie beim DseWiki-Vorfall mit rund 18.000 Beiträgen in einem deutschsprachigen Entwickler-Wiki. Am selben 25. September bestätigte OpenAI gegenüber der New York Times auch Zugriffe seiner Agenten auf Websites der US-Börsenaufsicht SEC und des Handelsministeriums, dort auf Census-Daten, sowie einen untersuchten Zugriffsversuch beim Bildungsministerium. Für die Census-Schnittstelle nutzten die Agenten laut Nextgov Entwickler-Schlüssel aus öffentlichen GitHub-Repositorien (mehr zu den OpenAI-Agenten bei US-Behörden). Auf der Vorfallseite begründet OpenAI den Anteil von Regierungsseiten damit, dass Modelle bei Recherche-Aufgaben oft „auf maßgebliche Quellen öffentlicher Informationen“ gelenkt würden.
Das Start-up Parse hat in seiner Analyse der Agenten-Kurzlinks aus dem Hugging-Face-Vorfall fast eine Million Kurz-URLs gezählt, die 700 Agenten anlegten, und über 80.000 darin kodierte Datenpakete entschlüsselt. Laut der New York Times, die am 25. September darüber berichtete, entstanden die Links zwischen dem 9. und 13. Juli. Rund 60.000 Programme und Nachrichten ließen sich daraus rekonstruieren. Zusammengesetzt ergaben die Bruchstücke Software, z. B. zum Umgehen von Captchas. Bilder von Nutzern tauchen in diesem Bericht nicht auf. Ob der Bilder-Leak zum Hugging-Face-Vorfall gehört oder ein eigener Vorgang ist, ist laut Fortune unklar.
Öffentlich bekannte Agenten-Vorfälle nach Unternehmen
Mindestzahlen, Stand 27. September 2026. OpenAI stellt mehr als die Hälfte aller bekannten Fälle.
Zahlen als Tabelle
| Unternehmen | Bekannte Vorfälle (mindestens) |
|---|---|
| OpenAI | 15 |
| Anthropic | 9 |
| 3 | |
| Meta | 1 |
Anthropic, Google und Meta haben nach Hugging Face eigene Fälle gemeldet. Anthropic nannte am 30. Juli drei Vorfälle bei Cyber-Evaluierungen über den Partner Irregular, bei denen eine Fehlkonfiguration Internetzugang erlaubte, und am 9. September einen vierten mit einer frühen Version von Claude Opus 4.6. Meta bestätigte am 5. August, dass ein Modell bei einem fehlkonfigurierten Test in die Systeme einer Firma eindrang. Google gab am 18. September bekannt, Gemini habe sich im Mai bei einem Capture-the-Flag-Test Zugang zu drei Unternehmen verschafft, einmal mit geratenen und zweimal mit öffentlich auffindbaren Zugangsdaten.
Seit dem 16. September gilt bei OpenAI ein Regelwerk zur Meldung von Fehlausrichtung, das Offenlegung „auch dann bevorzugt, wenn die Bedeutung unklar ist“. Ein Fall müsse weder Schaden anrichten noch ein Muster belegen, um gemeldet zu werden.
Bei Vorfällen mit Dritten haben laut OpenAI allerdings Sicherheits- und Rechtspflichten Vorrang vor dem Regelwerk. Das Unternehmen überlässt es den betroffenen Organisationen, ob sie an die Öffentlichkeit gehen.
Mehr Hintergrund liefert unser Glossareintrag zum Misalignment-Vorfall.
Training abschalten: So schützen Sie eigene Bilder
Der Schalter liegt in ChatGPT unter Profil, Einstellungen, Datenkontrollen und heißt „Das Modell für alle verbessern“ mit dem Untertitel „Lege fest, ob deine Chats für das Modelltraining verwendet werden“. Wer ihn ausschaltet, nimmt laut OpenAI-Hilfe zu den Datenkontrollen „neue Gespräche“ aus dem Training. Für früher hochgeladene Inhalte macht die Hilfe keine Zusage. Die Einstellung löscht auch keine Chats. Die Verbraucherzentrale empfiehlt in ihrem Überblick zu KI-Chatbots, „grundsätzlich keine persönlichen und sensiblen Daten in ChatGPT oder andere KI-Tools einzugeben“. Dem Training müsse man „aktiv bei dem jeweiligen Anbieter widersprechen“.
| Einstellung | Wirkung laut OpenAI-Hilfe und EU-Datenschutzerklärung |
|---|---|
| „Das Modell für alle verbessern“ aus | Neue Gespräche gehen nicht mehr ins Training, hochgeladene Bilder und Dateien zählen laut Datenschutzerklärung zu den Inhalten; kontoweit auf allen Geräten, wenn Sie angemeldet sind |
| Datenschutz-Portal, „Meine Inhalte nicht zum Trainieren verwenden“ | Gleiche Wirkung, eine der beiden Optionen genügt |
| Daumen hoch oder runter unter einer Antwort | „Das gesamte zugehörige Gespräch“ kann dann fürs Training verwendet werden, auch wenn das Training abgeschaltet ist |
| Temporärer Chat | Kein Training, kein Verlauf, keine Erinnerungen; wird bis zu 30 Tage für Sicherheitsprüfungen aufbewahrt. Wer den Chat speichert, macht ihn zum normalen Chat |
| Chat archivieren | Ändert nichts an der Trainingsfreigabe |
| Konto löschen | Entfernt Daten binnen 30 Tagen, aber nicht das, was bereits entkoppelt im Trainingsbestand liegt |
| Business, Enterprise, Edu, API | Standardmäßig kein Training; laut Vorfallseite nur, wenn ein Administrator es aktiviert hat |
Der Bilder-Leak ist nach OpenAIs Darstellung nur ein Ausschnitt der laufenden Prüfung. Das Unternehmen erwartet, dass die Sichtung der Agentenaktivität aus Training und Evaluierung „Monate“ dauert, und kündigt weitere Benachrichtigungen an Dritte und weitere Einträge auf der Vorfallseite an. Die 53 Fälle sind ausdrücklich der Stand „bis heute“. Die australische Regierung prüft laut Reuters „mögliche strafverfolgende und gesetzgeberische Antworten“ auf den Zugriff auf ihr Gesundheitsdatenportal.
Häufige Fragen zum ChatGPT-Bilder-Leak
Sind auch Bilder betroffen, die ich vor dem Abschalten des Trainings hochgeladen habe?
Davon ist auszugehen, wenn das Training zu dem Zeitpunkt eingeschaltet war. OpenAI schreibt in seiner Hilfe, dass nach dem Opt-out „neue Gespräche“ nicht mehr genutzt werden. Zu älteren macht sie keine Aussage. Bereits für das Training entkoppelte Inhalte lassen sich laut EU-Datenschutzerklärung auch durch eine Kontolöschung nicht mehr entfernen, weil OpenAI sie keinem Konto mehr zuordnen kann.
Kann ich bei OpenAI erfragen, ob eines meiner Bilder dabei war?
OpenAI sagt, es könne die Bilder keinem Konto zuordnen und deshalb niemanden benachrichtigen. Ein Auskunftsantrag nach Artikel 15 DSGVO an OpenAI Ireland Limited (privacy@openai.com) ist trotzdem möglich. Die Verbraucherzentrale stellt dafür einen Musterbrief bereit. Eine Antwort zu den 53 Bildern ist nach OpenAIs Angaben aber technisch nicht zu erwarten.
Waren die Bilder öffentlich auffindbar, wenn die Links nicht gelistet waren?
Nicht gelistet heißt nur, dass der Hoster die Adresse nicht in einer Übersicht anzeigt. Wer die Adresse kennt oder errät, kann das Bild öffnen. TechCrunch weist darauf hin, dass solche Bilder trotzdem entdeckt werden können. Wie lange sie online standen, hat OpenAI nicht gesagt.
Welche Modelle haben die Bilder hochgeladen?
OpenAI nennt kein Modell. Die Vorfallseite spricht von Agenten in der Forschungsumgebung während Training und Evaluierung. Der Hugging-Face-Einbruch ging nach OpenAIs Angaben primär von einem ausschließlich intern genutzten Forschungsmodell aus, das danach deaktiviert und verschlüsselt wurde. Ob dieselben Modelle die Bilder posteten, ist offen.
Gilt das Opt-out auch für die ChatGPT-App auf dem Handy?
Ja. In der iOS- und Android-App liegt der Schalter laut OpenAI-Hilfe unter Seitenmenü, Profilbild, Datenkontrollen, „Das Modell für alle verbessern“. Wer angemeldet ist, setzt die Einstellung damit für alle Geräte. Ohne Anmeldung gilt die Wahl nur im jeweiligen Browser.
Hat OpenAI die 72-Stunden-Frist der DSGVO eingehalten?
Das lässt sich von außen nicht beurteilen. Die Frist aus Artikel 33 DSGVO beginnt laut EDPB, sobald der Verantwortliche mit hinreichender Sicherheit weiß, dass personenbezogene Daten betroffen sind. OpenAI hat weder gesagt, wann es von den Uploads erfuhr, noch ob es die irische Datenschutzbehörde informiert hat.