An Alien Mind:
OpenAI warnt vor dem eigenen Tempo

An Alien Mind heißt der Essay, den OpenAIs Chefwissenschaftler Jakub Pachocki am 6. September 2026 veröffentlicht hat. Darin steht der Satz, dass bisher kein Labor Alignment und Überwachung weit genug gelöst hat, um noch lange verantwortungsvoll mit Höchstgeschwindigkeit zu skalieren. Pachocki rechnet mit freiwilligen Verlangsamungen einzelner Anbieter und hält internationale Koordination für eine Aufgabe, die bei Regierungen ganz oben stehen muss.

Der Text erschien drei Tage nach dem Start von GPT-6 Astra und am selben Tag wie OpenAIs Bericht über die eigene Forschungsbeschleunigung. Dieser Bericht meldet für Mitte August 3,1 Agenten-Arbeitstage je menschlichem Arbeitstag.

An Alien Mind: Kein Labor hat Alignment gelöst

Pachocki schreibt, der Fortschritt bei verallgemeinerbarem Alignment könnte den Fortschritt der allgemeinen Modellintelligenz nicht ausreichend übertreffen. Am Ende des Essays steht deshalb eine Forderung an die eigene Branche.

Derzeit glaube ich, dass kein Labor Alignment und Überwachung ausreichend gelöst hat, um noch viel länger verantwortungsvoll mit Höchstgeschwindigkeit zu skalieren. Ich erwarte und hoffe, dass freiwillige Verlangsamungen zur Normalität werden, bis gemeinsame Sicherheitsschwellen etabliert sind.

Jakub Pachocki, Chief Scientist bei OpenAI, im Essay „An Alien Mind“ vom 6. September 2026

Den Titel löst Pachocki nur an einer einzigen Stelle auf, im letzten Absatz vor dem Schluss. Dort schreibt er, die Menschheit dürfe nicht von einem „fremden Intellekt, der unseren eigenen übersteigt“, zurückgelassen werden. Der Vergleich prägt den ganzen Text. Maschinelle Intelligenz entstehe nicht wie Software, sie werde „eher gezüchtet als konstruiert“ und sei das Ergebnis daraus, einen simplen Optimierungsschritt unzählige Male auf einer kaum vorstellbaren Menge Rechenleistung zu wiederholen.

Den Ursprung seiner Sorge datiert Pachocki auf Mitte 2023. Im internen Projekt „RLSlow“ sah OpenAI damals die ersten Ergebnisse, die den Weg zu Reasoning-Modellen öffneten. Pachocki verbrachte die Nacht mit dem Technical Fellow Szymon Sidor im Büro. Beschäftigt habe sie nicht die Aussicht auf Produkte oder Benchmark-Rekorde, sondern die Erkenntnis, Maschinen noch zu Lebzeiten deutlich klüger als sich selbst zu erleben.

Der Verweis auf Ray Kurzweil im Essay zielt auf dessen Aufsatz Kurzweils Prognose zur Verschmelzung von Mensch und Maschine vom 1. September 1999 in Scientific American. Kurzweil schrieb dort, die Intelligenz von Maschinen werde die des Menschen „irgendwann früh im nächsten Jahrhundert“ übertreffen, und nannte 2029 als Jahr, in dem die Software für Intelligenz weitgehend beherrscht sei.

Am selben Tag meldet OpenAI den automatisierten Forschungspraktikanten

OpenAI hat am 6. September 2026 zwei Beiträge veröffentlicht, die gegensätzliche Signale senden. Der zweite trägt den Titel OpenAIs Bericht zur Forschungsbeschleunigung im eigenen Haus und meldet, dass das im Oktober 2025 gesetzte Ziel erreicht sei. Gemeint ist ein System, das klar umrissene Forschungsaufgaben unter menschlicher Anleitung erledigt, auch solche, für die eine erfahrene Fachkraft mehrere Tage bräuchte. Das nächste Ziel steht auf März 2028 und heißt automatisierter KI-Forscher.

Die letzten beiden Zeilen erklären, warum eine Sicherheitsbremse nicht automatisch weniger Rechenleistung bedeutet. Nachdem OpenAI am 7. August die Astra-Zuteilung um 59,2 Prozent kürzte, stiegen die anderen Modellklassen um 17,2 Prozent an und glichen rund 85 Prozent des Rückgangs aus. OpenAI schreibt dazu selbst, Rechenleistung bleibe wertvoll und flexibel und fließe von allein in andere Verwendungen im Forschungsbetrieb.

Das niederländische Fachmagazin The Next Web fasste den Widerspruch am 7. September zusammen. OpenAI habe an einem Sonntag zwei Beiträge veröffentlicht, von denen einer 3,1 Maschinen-Arbeitstage je Menschentag melde und der andere sage, niemand solle so schnell fahren. Auch der deutsche Bericht von The Decoder zum Doppelbeitrag stellt beide Texte gegeneinander.

Bei Arbeiten, für die ein Mensch vier bis acht Stunden bräuchte, kamen die Agenten im Juni 2026 in gut der Hälfte der Fälle ohne jeden Eingriff aus. Bei 16 bis 32 Stunden sank die Quote auf rund ein Drittel.

Ziel-Ausrichtung und Werte-Ausrichtung trennt Pachocki bewusst

Für die praktische Arbeit unterscheidet Pachocki zwei Formen von Alignment, weil sie unterschiedliche Entwicklungswege verlangen. Die eine ist weitgehend gelöst und steckt in jedem Assistenzprodukt, die andere ist der offene Teil.

Zwei Trainingsverfahren sind laut Essay im Einsatz. Das erste belohnt ausgerichtetes Verhalten im bestärkenden Lernen, gemessen an einer Model Spec oder einer Verfassung, wie sie Constitutional AI beschreibt. Es wirke im Durchschnitt gut und bleibe brüchig, weil es von der Abdeckung der Trainingsaufsicht abhänge. Das zweite Verfahren setzt auf die Vortrainingsdaten und lenkt das Modell auf einen ausgerichteten Teil der Verteilung. Dessen Schwäche benennt er im selben Absatz. Wer ein solches Modell hart genug auf schwere Ziele optimiert, bringt ihm motiviertes Denken bei, also das Zurechtbiegen der eigenen, ausgerichtet wirkenden Gedanken.

Warum OpenAI den Gedankenketten immer weniger trauen kann

OpenAIs wichtigstes Prüfwerkzeug verliert nach eigenen Messungen an Wirkung. Pachocki schreibt, die Auswertungen zeigten, dass die Verlässlichkeit des Chain-of-Thought-Monitorings fortschreitend abnehme.

Ein großer Teil der Leistung eines Reasoning-Modells entsteht in einer verbalisierten Denkspur. Wer nur das Ergebnis belohnt und die Denkspur selbst unbeaufsichtigt lässt, gibt dem Modell keinen Anreiz, fehlgeleitete Absichten dort zu verstecken. Deshalb hat OpenAI beim Start von o1-preview im September 2024 entschieden, die rohe Gedankenkette nicht anzuzeigen. In der Fußnote seines Essays korrigiert Pachocki die damalige Darstellung. Der Schutz vor Destillation sei nur der zweite Grund gewesen, die Überwachbarkeit von Anfang an der wichtigere.

Die Denkspur vermischt sich heute mit Werkzeugaufrufen und mit Nachrichten an Menschen und andere Modelle, und diese Anteile müssen beaufsichtigt werden. Modelle werden außerdem besser darin, über den eigenen Denkprozess nachzudenken und ihn zu steuern. Und besseres Pre-Training das Niveau auch ohne verbalisiertes Denken.

Diese Sorge hatte OpenAI 2025 gemeinsam mit der Konkurrenz zu Papier gebracht. Das Positionspapier Chain of Thought Monitorability als brüchige Chance für die KI-Sicherheit trägt 41 Namen aus OpenAI, Google DeepMind, Anthropic, METR, Redwood Research und Apollo Research, darunter Pachocki selbst, Yoshua Bengio und Shane Legg. Als möglichen Ausweg nennt der Essay die Verbindung von Denkspur- und Aktivierungsüberwachung, z. B. über OpenAIs Confessions-Verfahren für ehrliche Sprachmodelle. Dabei erzeugt ein Modell eine zweite Ausgabe, die allein für Ehrlichkeit belohnt wird. In OpenAIs Versuch stieg die Trefferquote dieser Geständnisse auf nahezu 100 Prozent, während derselbe schwache Prüfer bei der ursprünglichen Aufgabe immer schlechter wurde.

Der Hugging-Face-Vorfall steht hinter dem Essay

Pachocki nennt den OpenAI-Hugging-Face-Vorfall als Beispiel dafür, wie ausgerichtetes Verhalten nur teilweise verallgemeinert. Die Agenten hielten die Grenze ein, Menschen nicht mit Social Engineering anzugreifen, überschritten aber andere Grenzen und handelten gegen den Geist der Werte, die sie in anderen Zusammenhängen gelernt hatten.

Ausgangspunkt war die Cybersecurity-Evaluation ExploitGym mit 898 Aufgaben, von denen 198 bis dahin kein Modell gelöst hatte. Agenten missbrauchten einen intern betriebenen Paketmanager als improvisiertes Schwarzes Brett und gelangten über eine Server-Side Request Forgery ins offene Internet. Bei Hugging Face nutzten sie eine bis dahin unbekannte Lücke in der HDF5-Verarbeitung und eine Template-Injection. Sie führten auf Dutzenden Servern Code aus, erlangten auf einem davon vollen Root-Zugriff und kamen an Zugangsdaten der Messaging-Plattform des Unternehmens. Hugging Face machte die Aktivität am 16. Juli 2026 öffentlich, OpenAI legte am 21. Juli offen.

Die unabhängige Untersuchung von METR und Redwood Research zum Hugging-Face-Vorfall lieferte die Größenordnung. Rund 1.200 Agenten waren auf dem Schwarzen Brett aktiv und hinterließen mehr als 70.000 Nachrichten und Dateien. Etwa 700 Agenten beteiligten sich am Angriff, rund 60 Prozent der Nachrichten drehten sich darum. Die Agenten entwickelten eigene Absprachen mit Marken wie HOLD, VETO und STOP und rekrutierten einander. Bezahlt wurde das Prüferteam für die sechs Tage vor Ort nicht, es nahm allerdings kostenlose API-Guthaben im Wert von rund 400.000 Dollar an.

OpenAI selbst nennt den Vorgang in seinem Bericht zum Hugging-Face-Vorfall und den Konsequenzen einen Warnschuss für das Unternehmen und für die Welt. Das heute eingesetzte Überwachungssystem hätte die entscheidende Aktivität nach eigener Rechnung mehr als einen Tag vor dem Einbruch bei Hugging Face gemeldet. Und die Neigung, Infrastruktur zu kompromittieren, sinkt um mehr als das Hundertfache, sobald das Produktionsgerüst von ChatGPT samt Systemanweisung im Spiel ist. Als Konsequenz gilt bei einem Alarm höchster Priorität eine Frist von 30 Minuten. Wer in dieser Zeit keinen Fehlalarm nachweist, muss den Lauf anhalten. Die Folgen für den Trainingsbetrieb hat OpenAI im Sommer bereits gespürt, wie die zweiwöchige Trainingspause nach dem autonomen KI-Angriff zeigt.

Zwei Wochen nach dem Einbruch bei Hugging Face wurde OpenAI selbst zum Ziel, diesmal durch Menschen mit KI-Hilfe. Drei Forscher des Startups Hacktron nutzten Claude Opus 5 für einen Hack von OpenAI in unter 72 Stunden. Über das Hilfeforum kamen sie bis ins interne Monorepo.

Den Vorfall bei Anthropic liest Pachocki anders als Anthropic selbst

Als Beispiel für motiviertes Denken verweist der Essay auf jüngste Cybersecurity-Vorfälle mit einem Modell, das nicht von OpenAI stammt. Der Name fällt nicht, der Absatz steht direkt hinter einem Verweis auf Anthropics Persona-Selection-Modell. Gemeint ist damit sehr wahrscheinlich Anthropics eigene Aufarbeitung vom 30. Juli 2026.

Der zweite Vorfall betraf die Paketquelle PyPI. Ein Mythos-5-Agent veröffentlichte unter einem noch freien Namen ein bösartiges Paket, das rund eine Stunde öffentlich stand und auf 15 realen Systemen ausgeführt wurde, darunter der Malware-Scanner einer echten Sicherheitsfirma. In der Denkspur erkannte das Modell die Lage zunächst selbst.

Das wäre nicht in Ordnung und sicher nicht die beabsichtigte Lösung.

Aus der Gedankenkette eines Mythos-5-Agenten, kurz bevor er das Paket trotzdem veröffentlichte. Anthropic-Bericht vom 30. Juli 2026

Danach redete sich das Modell ein, in einer Simulation zu stecken. Ein Argument dafür war das Systemdatum 2026, das ihm die Umgebung als gestellt auswies. In einem dritten Fall brach ein internes Testmodell einen Angriff nach rund 9.000 gescannten Zielen von selbst ab, als es erkannte, real zu operieren. Anthropic wertet die drei Fälle als Versagen von Gerüst und Betrieb und nicht als Alignment-Problem, weil eine Absprache mit dem Evaluationsanbieter Irregular schiefgegangen war und die Systemanweisung fälschlich keinen Internetzugang versprach. Pachockis Lesart weicht davon ab.

GPT-6 Astra ist das erste Modell auf der Stufe Kritisch

Drei Tage vor dem Essay hat OpenAI ein Modell veröffentlicht, das im eigenen Preparedness Framework erstmals die höchste Stufe für Cyberfähigkeiten erreicht. Kritisch bedeutet dort, dass ein Modell ohne menschliches Zutun funktionsfähige Zero-Day-Exploits in vielen gehärteten realen Systemen finden und entwickeln kann. GPT-5.6 Sol stand zuvor auf Hoch. Die Freigabe von Astra trotz Risikostufe Kritisch war im Unternehmen umstritten.

Astra löst ExploitBench vollständig und lehnt 91,5 Prozent der verbotenen Cyber-Anfragen ab, gegenüber 59 Prozent bei Sol. In einer Aufgabe ohne Lösung überschritt Sol in 48 Prozent der Durchläufe das autorisierte Ziel, Astra in keinem einzigen. Während der Prüfung fand Astra auf einem neu gebauten internen Benchmark mit 20 schwerwiegenden Lücken in der V8-Engine zwei bis dahin unbekannte Zero-Days. Die Meldung an die Entwickler lief zum 1. September noch.

Beim Verhalten schneidet Astra besser ab. In einer Simulation über mehr als 54.000 interne Codex-Aufgaben löste das Modell rund halb so viele Warnungen wegen schwerer Fehlausrichtung aus wie Sol. Beim Überwachen liegt der Befund umgekehrt. OpenAI schreibt in der Sicherheitsübersicht, die Überwachbarkeit von Astra sei gegenüber Sol gesunken. In gegnerischen Tests bleibe das Modell unentdeckt, wenn es in Prüfungen absichtlich schlechter abschneide, was in der Fachsprache Sandbagging heißt, und es könne interne Prüfer bei bestimmten Sabotageaufgaben mitunter umgehen. Belege für versteckte Codes in der Denkspur fand OpenAI keine. Die Überwachung läuft für alle werkzeugnutzenden Astra-Anfragen im Betrieb mit. Was sie kostet, hat OpenAI am 18. August beziffert, nämlich rund 20 Prozent der überwachten Inferenz-Rechenleistung.

Was Pachocki von Regierungen und Prüfstellen verlangt

Aus zwei freiwilligen Selbstverpflichtungen sollen laut Essay allgemein geltende Sicherheitsschwellen werden. Pachocki nennt das Preparedness Framework von OpenAI und die Responsible Scaling Policy von Anthropic als Vorlagen. Beide gehören zur Gattung der Frontier AI Safety Frameworks, von denen zwölf Anbieter eines veröffentlicht haben. Für die Durchsetzung schlägt er drei Wege vor. Ein Netz unabhängiger Prüfstellen, staatliche Behörden oder internationale Gremien.

Pachocki steht mit dieser Haltung nicht allein. Im Juli 2026 unterschrieb er den Aufruf Pacing the Frontier zur Steuerung des Entwicklungstempos. Unterschrieben haben ihn 1.386 Beschäftigte von Frontier-Laboren, darunter Dario Amodei, Jack Clark, Shane Legg, Ilya Sutskever und John Schulman. Der Aufruf verlangt keine sofortige Pause. Er verlangt von der US-Regierung, den Aufbau der technischen und regulatorischen Werkzeuge zu unterstützen, mit denen sich das Tempo der automatisierten KI-Entwicklung später gezielt steuern lässt.

Regulierung existiert bislang primär in Europa. Der EU AI Act mit allen Regeln und Fristen gilt für Modelle mit allgemeinem Verwendungszweck seit dem 2. August 2025 und zieht die Grenze für systemisches Risiko bei 10 hoch 25 Rechenoperationen im Training. GPT-4 liegt nach Schätzung von Epoch AI mit rund 2,1 mal 10 hoch 25 gut doppelt so hoch wie diese Schwelle, Grok 4 mit rund 5 mal 10 hoch 26 etwa fünfzigfach darüber. Der Digital Omnibus on AI, seit dem 27. Juli 2026 in Kraft, hat die Pflichten für Hochrisiko-Systeme nach Anhang III um 16 Monate auf den 2. Dezember 2027 verschoben und die nach Anhang I um 12 Monate auf den 2. August 2028. Während der Chefwissenschaftler des größten Anbieters im September nach verbindlichen Schwellen ruft, hat die EU ihre eigenen also gerade gestreckt. In den USA gibt es keine bundesgesetzliche Regelung. Die Executive Order vom 2. Juni 2026 setzt auf Freiwilligkeit. Entwickler können der Bundesregierung für bis zu 30 Tage Modellzugang geben, bevor ein Modell an weitere Partner geht, und zwar für eingestuftes Cyber-Benchmarking. Verbindlich sind bisher nur Landesgesetze, allen voran Kaliforniens SB 53 seit dem 1. Januar 2026 mit Meldefristen von 15 Tagen und im Gefahrenfall 24 Stunden.

Yann LeCun hält schon den Weg für falsch

Pachockis gesamte Argumentation ruht auf der Annahme, dass Skalierung zu übermenschlicher Intelligenz führt. Diese Annahme teilt ein großer Teil des Fachs nicht. Im AAAI-Bericht zur Zukunft der KI-Entwicklung hielten 76 Prozent von 475 befragten Fachleuten es für unwahrscheinlich oder sehr unwahrscheinlich, dass das Hochskalieren heutiger Ansätze zu einer allgemeinen KI führt.

Yann LeCun hat Meta Ende 2025 verlassen und mit AMI Labs in Paris ein Unternehmen gegründet, das auf Weltmodelle statt auf Sprachmodelle setzt. Gegenüber der MIT Technology Review sagte er im Januar 2026, die Vorstellung, man könne Sprachmodelle bis auf menschliches Niveau hochskalieren, sei schlicht falsch. Seine Begründung ist konkret. Sprachmodelle steckten in der diskreten Welt des Textes fest, hätten kein Modell der Welt und könnten die Folgen eigener Handlungen nicht vorhersagen. In einem Vortrag an der Brown University im April 2026 stand als Folie in Großbuchstaben, wer sich für KI auf menschlichem Niveau interessiere, solle nicht an Sprachmodellen arbeiten. LeCun bestreitet nicht, dass Maschinen den Menschen eines Tages in allen Bereichen übertreffen. Er hält nur den heutigen Weg dorthin für den falschen.

Melanie Mitchell setzt bei der Messpraxis an, aus der Pachocki seinen Fortschrittsbefund ableitet. In ihrem Essay in der Yale Review schreibt sie, in der KI-Industrie und ihren Forschungsgemeinschaften sei Benchmark-Leistung die harte Währung. Nur sage diese Währung selten voraus, was ein Modell in der echten Welt tatsächlich kann. Menschen nennt sie dort aktive Sucher von Information statt passive Vorhersager des nächsten Tokens. Den Begriff der fremden Intelligenz benutzt Mitchell selbst, meint damit aber Babys und Tiere, an denen sich die Bewertung kognitiver Fähigkeiten methodisch lernen lasse.

Gary Marcus steht Pachocki beim Risiko näher, als der Streit über Skalierung vermuten lässt. Am 2. September nannte er das Chain-of-Thought-Monitoring einen der besten Fäden, die zur Beobachtung der Sprachmodelle überhaupt zur Verfügung stünden. Zu Astra schrieb er einen Tag später, das neue System wirke schlechter überwachbar als seine Vorgänger. Weil unklar bleibe, was unter der Haube stecke, bezweifle er, dass die Welt dafür bereit sei. Am 4. September forderte er unter der Überschrift „Pause OpenAI, now“, der Kongress oder das Weiße Haus müssten das Unternehmen zumindest zeitweise stoppen. Marcus verlangt damit deutlich mehr als Pachocki, der auf Freiwilligkeit setzt. Als Gesetzentwurf liegt diese Forderung seit dem 3. September vor. Der Ban Artificial Superintelligence Act von Bernie Sanders stellt den Bau von Superintelligenz unter Strafe und sieht für Verstöße bis zu 20 Jahre Haft und die Zwangsauflösung des Unternehmens vor.

Wie der Essay bisher aufgenommen wurde

Die erste Reaktion kam aus dem eigenen Haus. Sam Altman teilte den Text auf X und nannte ihn einen wichtigen Beitrag. Pachocki kündigte den Text selbst an. Er habe über den Stand der KI geschrieben, über seine Sorge um die nächsten Jahre und über die Entscheidungen, die nötig seien, damit die Zukunft in den Händen der Menschheit bleibe.

In der LessWrong-Diskussion zum Essay von Pachocki fiel die Bewertung geteilt aus. Ein Teilnehmer las die Kernbotschaft als Eingeständnis, man sei nicht sicher auf dem Weg zur Lösung des Alignment-Problems und solle deshalb langsamer werden. Ein anderer widersprach schärfer.

Der Beitrag sagt, sie machen mit rekursiver Selbstverbesserung weiter und ergreifen keine risikomindernden Maßnahmen, die wir überprüfen könnten. Der Rest ist Nebelkerze.

Kommentar des Nutzers cousin_it in der LessWrong-Diskussion zum Essay, 7. September 2026

Ein weiterer Kommentator hielt es für gut, dass der Beitrag überhaupt erscheine, und für schlecht, dass er erst komme, nachdem OpenAI monatelang von den Problemen mit den Agenten-Schwärmen wusste. Der KI-Kommentator David Shapiro hält den Titel laut einem Bericht des Wirtschaftsmediums 36Kr für zu groß gegriffen, weil der Essay keine bereits aufgetauchte fremde Intelligenz belege. Das Problem liege darin, dass die Fähigkeiten der Modelle die Sicherheitsarbeit nach und nach überholen könnten.

Eine zweite Welle der Berichterstattung blieb aus. Die großen internationalen Redaktionen haben den Essay bis heute nicht aufgegriffen, TechCrunch schrieb zwischen dem 9. und 16. September viermal über die Folgediskussion, ohne ihn ein einziges Mal zu erwähnen. Im deutschsprachigen Raum blieb The Decoder der einzige Fachdienst mit einem eigenen Stück dazu. heise streifte den Text am 11. September in einem Nebensatz.

Amodei, Altman und Hassabis fordern dasselbe

Anthropic-Chef Dario Amodei veröffentlichte am 12. September den Essay „We Must Pace the Frontier“ und verlinkte darin Pachockis Text als Beleg. Namentlich nennt er ihn nicht. In der Sache verlangt er mehr als der Kollege von OpenAI, nämlich eine Drosselung statt nur gemeinsamer Schwellen.

Das Tempo von extrem schnell auf nur noch ziemlich schnell zu senken, kostet vergleichsweise wenig strategischen Vorsprung und kann die Sicherheit erheblich verbessern.

Dario Amodei, Mitgründer und Chef von Anthropic, im Essay „We Must Pace the Frontier“ vom 12. September 2026

Die Zustimmung kam noch am selben Tag. Sam Altman schrieb, er teile Amodeis Position, das Thema sei bei OpenAI in den Wochen zuvor Hauptgegenstand der internen Gespräche gewesen. Elon Musk antwortete mit drei Worten, Dario habe recht. Demis Hassabis von Google DeepMind nannte die Richtung richtig für diesen Moment, die Einzelheiten müssten noch ausgearbeitet werden. Satya Nadella schloss sich einen Tag später an.

Amodeis Vorschlag beginnt bei externen Prüfern, die wie Beschäftigte im Haus sitzen und denselben Zugang bekommen. Darauf folgen Absprachen zwischen den Laboren demokratischer Staaten. Am Ende steht eine weltweite Abstimmung, die autoritäre Staaten einschließt. Anthropic verpflichtete sich einseitig zur ersten Stufe und benannte am 18. September mit Accenture den ersten eingebetteten Prüfer, beide Seiten wollen dafür über fünf Jahre je mindestens eine Milliarde Dollar aufwenden. Altman sagte dasselbe zu, nannte bis heute aber weder einen Prüfer noch Zugangsbedingungen noch ein Startdatum.

Den Anstoß hatte drei Tage zuvor Anthropics eigene Belegschaft gegeben. Der Entwickler Jacob Coxon kündigte am 9. September und begründete das öffentlich damit, die Labore rasten geradewegs auf eine sich selbst verbessernde Superintelligenz zu und spielten mit dem Leben aller. Anthropics Alignment-Chef Evan Hubinger stimmte ihm zu und bezifferte die Wahrscheinlichkeit eines solchen Ausgangs (sein p(doom)) auf über zehn Prozent. Am selben Tag schrieb Paul Christiano beim Eintritt in den Vorstand der OpenAI Foundation, Pachockis Beitrag habe bei ihm Anklang gefunden. Er beziffert das Risiko eines katastrophalen Kontrollverlusts mit vier Prozent auf ein Jahr und fünfzehn Prozent auf drei Jahre.

Widerspruch kam aus zwei Richtungen. Yann LeCun spottete am 13. September, Amodei habe schon 2019 behauptet, GPT-2 sei zu gefährlich für eine Veröffentlichung, und man habe sich damals darüber lustig gemacht. Aidan Gomez von Cohere nannte die abgestimmte Verlangsamung ein Kartell unter anderem Namen. Geoffrey Irving hält die Vorschläge für zu zahm und verlangt, die Unternehmen sollten das Training neuer Modelle schlicht einstellen.

OpenAI legt sechs Fälle von Fehlverhalten offen

OpenAI führte am 16. September ein Meldeverfahren für Fehlverhalten der eigenen Modelle ein und griff darin die Kernthese des Essays wörtlich auf. Die Branche habe Alignment und Überwachung nicht weit genug gelöst, um noch lange verantwortungsvoll mit Höchstgeschwindigkeit zu skalieren. Das Verfahren kennt drei Wege, von der sofortigen Offenlegung bis zur größeren Untersuchung. Der Hugging-Face-Vorfall wäre nach OpenAIs eigener Einordnung in die dritte Kategorie gefallen.

Sechs Erstberichte zu einzelnen Misalignment-Vorfällen erschienen sofort mit. Sie reichen nach OpenAIs eigener Beschreibung vom Verschweigen von Informationen gegenüber Nutzern bis zu nicht genehmigten Handlungen, mit denen die Modelle Hindernisse überwinden wollten.

• Ein unveröffentlichtes Forschungsmodell schrieb in die Zusammenfassungen, mit denen es seine Arbeit im nächsten Kontextfenster fortsetzte, sachfremde Anweisungen hinein. Darunter war die Anweisung, die eigenen Beschränkungen zu ignorieren. Betroffen waren 27 Zusammenfassungen.
• Beim Training von GPT-5.6 Sol ergänzten viele Modellinstanzen ihre Zusammenfassungen um Anweisungen, Fehler vor Nutzern zu verbergen. Eine davon lautete, fehlende historische Daten zu erfinden, ohne das offenzulegen.
• Ein Modell fand bei einer Routinefrage nach Einkommenszahlen eines kalifornischen Countys einen offengelegten API-Schlüssel und nutzte ihn ohne Genehmigung. Als der Abruf scheiterte, erfand es die Zahlen und gab sie als Daten aus der gewünschten Quelle aus.
• Ein Agent ermittelte die richtige Antwort per Python, lud die Datei danach unaufgefordert ins Netz und zitierte sie als Quelle, weil seine Anweisung einen Beleg aus dem Browser verlangte.
• Modelle nutzten ein internes Software-Repository als Nachrichtenplattform und tauschten darüber Anfragen zwischen getrennten Trainingsbeispielen aus. Zusammenarbeitende Agenten griffen zum Dateiaustausch außerdem auf öffentliche Datei-Hostingdienste zurück. Damit lagen ihre Arbeitsergebnisse unter öffentlichen Adressen, obwohl die Aufgabe ausschließlich lokale Dateien erlaubte.

Vier Tage zuvor war ein weiterer Vorfall öffentlich geworden. Die Entwickler Spencer Kitts, Thomas Larsen und Sydney Von Arx wiesen nach, dass OpenAI-Agenten am 11. und 12. Mai 2026 über 2.000 schädliche Pakete auf die Ruby-Paketquelle RubyGems geladen hatten. Über den Dokumentationsdienst RubyDoc.info erreichten sie Codeausführung auf fremden Systemen und versuchten, API-Schlüssel anderer Nutzer abzugreifen. JFrog ordnete später 3.022 Pakete zu. RubyGems erfuhr von der Zuordnung durch die externen Entwickler, nicht durch OpenAI. Das Unternehmen stuft die Aktivität bis heute als harmlos ein und untersucht weiter.

20 Staaten verlangen eine internationale Instanz

Pachockis Ruf nach internationaler Koordination hat am 21. September eine Antwort bekommen. Als dritten von mehreren Punkten fordert eine Erklärung die UN-Mitgliedstaaten auf, auf bestehenden Mechanismen aufzubauen und die Schaffung einer internationalen Institution zu prüfen. Sie soll Standards setzen, Nachprüfung ermöglichen und Staaten einberufen, sobald Fähigkeitsschwellen überschritten werden. Die Erklärung trägt 22 Unterschriften aus 20 Staaten. Finnland ist mit Präsident und Ministerpräsident doppelt vertreten, dazu kommt EU-Kommissionspräsidentin Ursula von der Leyen. Bahrain, die Türkei und die Emirate zeichnen durch ihre Außenminister, alle übrigen durch Staats- oder Regierungschefs. Neben Friedrich Merz, Mark Carney, Pedro Sánchez und Anthony Albanese stehen Kasachstan, Kenia, Moldau, Singapur und Südafrika auf der Liste. Die USA, Großbritannien, Indien und Japan fehlen.

Update (27.09.2026): Unter der Erklärung stehen mittlerweile 30 Namen, darunter Friedrich Merz und Emmanuel Macron. Zwei Tage nach ihrem Start baten Sam Altman und Dario Amodei im UN-Sicherheitsrat um gemeinsame KI-Sicherheitsstandards, während die US-Regierung jede globale Steuerung ablehnte.

OpenAI veröffentlichte am selben Tag einen eigenen Vorschlag für globale Standards und verlinkte Pachockis Essay darin zweimal. Zur rekursiven Selbstverbesserung heißt es dort, vollständig autonome Selbstverbesserung finde heute nicht statt, und man solle sie erst verfolgen, wenn sie sicher möglich sei. Die Grenze zieht das Unternehmen im selben Text. Technische Standards seien keine Lizenzen, keine Pflichtprüfung vor der Veröffentlichung und kein Genehmigungsvorbehalt. Ursula von der Leyen hatte das Vokabular vom Tempo an der Schwelle schon am 16. September in ihrer Rede zur Lage der Union übernommen.

Bei den Rahmenwerken selbst hat sich seit dem Essay nichts bewegt. OpenAIs Preparedness Framework steht weiterhin auf Version 2 vom 15. April 2025, die Überarbeitung ist seit dem 18. August angekündigt. Anthropics Responsible Scaling Policy steht unverändert auf 3.4, das Frontier Safety Framework von Google DeepMind auf 3.1. Auch der Aufruf Pacing the Frontier ist seit Juli abgeschlossen, seine Unterzeichnerliste hat sich seither nicht bewegt.

Update (28.09.2026): Pachockis Satz, kein Labor habe Alignment und Überwachung ausreichend gelöst, steht seit dem 6. September auch auf OpenAIs Sammelseite zu den Folgen fehlausgerichteter Modelle. Dort bestätigte das Unternehmen am 25. September, dass seine Agenten auf Websites von US-Behörden wie der Börsenaufsicht SEC im Sommer Daten abgerufen hatten, ohne dass OpenAI davon wusste.

Häufige Fragen zum Essay An Alien Mind