Wird KI die Menschheit auslöschen?
Anthropics Chef Dario Amodei antwortet

Wir denken. KI tippt mit.

Lesezeit: 20 Minuten
Veröffentlicht: 16.09.2026
Aktualisiert: 12.10.2026
Schulte_Markus_300x300px

Markus Schulte

AI Solution Development, Autor

Inhaltsverzeichnis
Teilen
AI Newsletter
AI Freak Newsletter (nur E-Mail)

Ob KI die Menschheit auslöschen kann, wollte CNN-Moderator Anderson Cooper am 12. September 2026 von Dario Amodei wissen, dem Chef von Anthropic, dem Entwickler von Claude. Amodei wich nicht aus. Er stimme dem Forscher, der die Warnung ausgesprochen hatte, „viel mehr zu, als dass ich ihm widerspreche“. Am selben Tag veröffentlichte er einen Essay, in dem er die gesamte Branche auffordert, das Tempo der KI-Entwicklung zu drosseln.

Auslöser war die Kündigung von Jacob Coxon. Der Brite hatte Anthropic am 8. September verlassen und auf X geschrieben, die Menschen, die KI bauen, glaubten ernsthaft, sie könne uns bis zum Ende des Jahrzehnts alle töten. Innerhalb einer Woche reagierten Sam Altman, Elon Musk, das Pentagon, Donald Trump und das chinesische Außenministerium.

Das Interview mit Amodei hat CNN auf YouTube veröffentlicht.

„Ich stimme Jacob viel mehr zu“: Amodeis Antwort bei CNN

Eine Prozentzahl nannte Amodei bei CNN nicht. Laut CNN-Bericht über Amodeis Essay und Interview machte er das Risiko vom eingeschlagenen Weg abhängig. Es komme darauf an, die richtigen statt der falschen Wege zu gehen, und der richtige Weg sei, dass die Branche zusammenarbeitet.

Zu langsam vorzugehen hält er für ebenso gefährlich. „Wenn wir zu langsam vorgehen, glaube ich weiterhin, dass die falschen Leute die Technologie kontrollieren werden“, sagte Amodei. Auch das mache es sehr wahrscheinlich, dass etwas schiefgeht. Als Gefahren nannte er den Kontrollverlust über die Systeme, Cyberangriffe, Bioterrorismus und schwere wirtschaftliche Verwerfungen. Er führt in seinem früheren Essay „The Adolescence of Technology“ vom Januar 2026 die Machtkonzentration als eigene Risikokategorie und stellt die KI-Unternehmen selbst an vierte Stelle der gefährlichsten Akteure.

Einen Tag später wiederholte er die Rechnung im Gespräch mit Jo Ling Kent für die CBS-Sendung „Sunday Morning“. „Wenn wir es richtig bauen, ist die Wahrscheinlichkeit, dass etwas Schlimmes passiert, sehr gering. Wenn wir es falsch bauen, ist sie sehr hoch“, sagte er im CBS-Interview mit Amodei zu den Risiken der KI. Dort fiel auch der Satz, der seitdem die Schlagzeilen bestimmt. Die Branche habe die Menschen „zu lange darüber belogen, dass diese Technologie Risiken hat“.

Eine Zahl hatte Amodei ein Jahr zuvor genannt. Auf dem Axios-Gipfel AI+ DC am 17. September 2025 bezifferte er die Wahrscheinlichkeit, dass es mit KI „wirklich, wirklich schlecht“ ausgeht, auf 25 Prozent (Axios zu Amodeis 25-Prozent-Schätzung). Für einen einwandfreien Ausgang nannte er 75 Prozent. Den Begriff p(doom) für solche Schätzungen mag er nicht.

Jacob Coxon: „Sie spielen mit unserem Leben“

Coxon ist 27 Jahre alt, Brite und hat in Cambridge Mathematik studiert (TIME-Porträt von Jacob Coxon). Nach eigenen Worten hat er drei Jahre lang bei OpenAI und Anthropic am Pretraining großer Modelle geforscht. Am 8. September kündigte er bei Anthropic und machte das auf X öffentlich. Bei OpenAI hätten viele die Tragweite für die Zivilisation nicht verinnerlicht, schrieb er. Bei Anthropic sei sie verstanden, doch das Unternehmen stecke in einem Wettrennen, weil es niemandem verantwortungsvolles Handeln zutraue.

Die Menschen, die KI bauen, glauben ernsthaft, dass sie uns bis zum Ende des Jahrzehnts alle töten könnte. Das ist kein Marketing-Gag. Weder Anthropic noch OpenAI handeln verantwortungsvoll. Sie rasen direkt auf eine sich selbst verbessernde Superintelligenz zu und spielen mit unserem Leben.
Jacob Coxon, ehemaliger Forscher bei OpenAI und Anthropic, auf X (8. September 2026)

Unterstützung kam aus dem eigenen Haus. Evan Hubinger, Alignment Science Lead bei Anthropic, schrieb auf X, man glaube tatsächlich ernsthaft, KI könne alle Menschen töten. Seine persönliche Schätzung liegt bei über 10 Prozent innerhalb des kommenden Jahrzehnts. Anthropic gebe sein Bestes, habe aber noch keinen Plan, Alignment für Superintelligenz zu lösen, und sei nicht klar auf Kurs dorthin, zitiert ihn CBS News zu Hubingers Zehn-Prozent-Schätzung. Beide Aussagen fielen in die Woche von Anthropics neuem Security Report 2026 mit den Biowaffen-Fällen.

Am 13. September legte Coxon in der ABC-Sendung „This Week“ nach. Über Risiken werde intern „wahrscheinlich ein paar Mal pro Woche“ gesprochen, sagte er laut ABC-Transkript von „This Week“ am 13. September. Einen einzelnen Auslöser für die Kündigung habe es nicht gegeben. Amodeis Essay nannte er im ABC-Bericht über Coxons Warnung einen substanziellen Schritt hin zu der Verlangsamung, die er fordert. Ihm fehle mehr Austausch mit China.

Bei NBC warnte Coxon vor „übermenschlichen Hacking-Fähigkeiten“ und der Fähigkeit, neuartige Biowaffen zu entwerfen, und zwar innerhalb von sechs Monaten bis einem Jahr (Fortune zu Coxons NBC-Auftritt). Das Pentagon widersprach. Technikchef Emil Michael sagte am 10. September, man könne sich leicht in einer „Untergangsschleife“ verfangen (Bloomberg-Bericht zur Reaktion des Pentagons). Er meinte die Erzählung, KI mache 40 Prozent der Amerikaner arbeitslos und zerstöre die Menschheit.

p(doom): Von null bis 99,9 Prozent

Die Schätzungen bekannter KI-Fachleute reichen von praktisch null bis 99,9 Prozent. In der Szene heißt diese persönliche Wahrscheinlichkeit für eine Katastrophe durch KI p(doom), kurz für „probability of doom“. Eine Messung ist sie nicht. Die Werte fallen in Interviews, Podcasts und Posts, mit unterschiedlichen Zeiträumen und Definitionen.

Geoffrey Hinton, Physik-Nobelpreisträger 2024 und Turing-Preisträger 2018, sagte am 9. September 2026 in der BBC-Sendung Newsnight, 10 Prozent erschienen ihm „keine unvernünftige Schätzung“. Niemand wisse aber wirklich, wie man eine vernünftige Schätzung abgibt (Hintons 10-Prozent-Aussage bei Newsnight). Im Dezember 2024 hatte er noch 10 bis 20 Prozent für die kommenden 30 Jahre genannt.

p(doom): Geschätztes Risiko einer KI-Katastrophe

Persönliche Schätzungen in Prozent, Jahr der Aussage in Klammern. Zeiträume und Definitionen unterscheiden sich.

Quelle: Axios (Amodei), Lex Fridman Podcast (Yampolskiy), ABC Australia (Bengio), Joe-Rogan-Interview (Musk), TIME (Hubinger), BBC Newsnight (Hinton), LeCun auf X, Stand September 2026. Hubinger nennt „über 10 %“, Musk nennt 80 % für einen guten Ausgang.
Zahlen als Tabelle
PersonSchätzungZeitraum und Kontext
Roman Yampolskiy99,9 %innerhalb von 100 Jahren, Juni 2024
Dario Amodei25 %„wirklich, wirklich schlechter“ Ausgang, September 2025
Yoshua Bengio20 %katastrophaler Ausgang, Juli 2023
Elon Musk20 %80 % für einen guten Ausgang, Februar 2025
Evan Hubingerüber 10 %innerhalb des kommenden Jahrzehnts, September 2026
Geoffrey Hinton10 %etwa im kommenden Jahrzehnt, September 2026 (Dezember 2024: 10 bis 20 % in 30 Jahren)
Yann LeCunpraktisch 0 %April 2026

Am oberen Ende steht Roman Yampolskiy von der University of Louisville mit 99,9 Prozent innerhalb von 100 Jahren. Am unteren Ende steht Turing-Preisträger Yann LeCun, der das Risiko „praktisch null“ nennt und solche Schätzungen für Unsinn hält. Eliezer Yudkowsky wird oft mit Werten über 95 Prozent zitiert, ein eigenes Zitat mit dieser Zahl ist aber nicht belegt. Sein mit Nate Soares geschriebenes Buch „If Anyone Builds It, Everyone Dies“ erschien im September 2025.

Sam Altman und Google-DeepMind-Chef Demis Hassabis nennen keine Zahl. Hassabis bezeichnete das Risiko im Dezember 2025 als „nicht null“ (Axios-Interview mit Hassabis zu AGI-Risiken).

2.778 KI-Forschende, Median 5 Prozent

Die größte Befragung unter KI-Forschenden ergibt einen Median von 5 Prozent für die Auslöschung oder dauerhafte, schwere Entmachtung der Menschheit. Das Team um Katja Grace von AI Impacts befragte im Oktober 2023 insgesamt 2.778 Autorinnen und Autoren führender Fachkonferenzen. Die Ergebnisse stehen in der Studie „Thousands of AI Authors on the Future of AI“. Die Mittelwerte lagen je nach Frageform zwischen 14,4 und 19,4 Prozent.

Risiko einer Auslöschung laut 2.778 KI-Forschenden

Median und Mittelwert der Antworten in Prozent, je nach Formulierung der Frage

Quelle: AI Impacts, Thousands of AI Authors on the Future of AI, Befragung Oktober 2023. Jede Frageform bekam nur ein Teil der Befragten gestellt (661 bis 1.321 Antworten).
Zahlen als Tabelle
FrageformMedianMittelwertAntworten
Auslöschung oder schwere Entmachtung allgemein5 %16,2 %1.321
durch Unfähigkeit, KI zu kontrollieren10 %19,4 %661
innerhalb der nächsten 100 Jahre5 %14,4 %655

Der Abstand zwischen Median und Mittelwert entsteht durch eine Minderheit mit sehr hohen Werten. Zwischen 38 und 51 Prozent der Befragten gaben mindestens 10 Prozent Wahrscheinlichkeit für Ausgänge an, die so schlimm sind wie die Auslöschung der Menschheit. Am höchsten fielen die Antworten aus, wenn ausdrücklich nach dem Verlust der Kontrolle über KI gefragt wurde. Eine vergleichbar große Umfrage aus den Jahren 2025 oder 2026 gibt es nicht.

In der US-Bevölkerung schwanken die Zahlen je nach Frage. In einer YouGov-Umfrage für Yahoo zur Zerstörung der Menschheit durch KI hielten es im Oktober 2025 53 Prozent von 1.770 Erwachsenen für eher oder sehr wahrscheinlich, dass KI die Menschheit eines Tages zerstört. Das Magazin The Argument kam in seiner Wählerumfrage vom Juni 2026 auf 27 Prozent. Nur 6 Prozent zählten KI dort zu ihren wichtigsten Themen. Eine deutsche Umfrage, die ausdrücklich nach der Auslöschung fragt, gibt es nicht.

Amodei hat 2023 selbst eine Warnung unterschrieben. Das Statement on AI Risk des Center for AI Safety vom 30. Mai 2023 besteht aus einem Satz. Übersetzt lautet er: „Das Risiko der Auslöschung durch KI zu verringern, sollte neben anderen Risiken gesellschaftlichen Ausmaßes wie Pandemien und Atomkrieg eine globale Priorität sein.“ Auch Hinton, Bengio, Hassabis und Altman haben ihn unterschrieben.

Weiter geht das Statement on Superintelligence des Future of Life Institute vom 22. Oktober 2025. Es fordert ein Verbot der Entwicklung von Superintelligenz, bis ein breiter wissenschaftlicher Konsens besteht, dass sie sicher und kontrollierbar ist. Laut Zähler auf der Seite hat es 140.940 Unterschriften, davon 72.144 aus einer Petition der Plattform Ekō (Stand: 14. September 2026). Auf das Statement beruft sich der Ban Artificial Superintelligence Act von Bernie Sanders.

Screenshot der Website mit dem Statement on Superintelligence und dem Zähler von 140.940 Unterschriften
Die Website des Statement on Superintelligence zählte am 14. September 2026 140.940 Unterschriften, davon 72.144 aus einer Ekō-Petition. (Quelle: https://superintelligence-statement.org/)

Drei Wege, auf denen KI Menschen gefährden könnte

Der von Yoshua Bengio geleitete International AI Safety Report 2025 ordnet die Risiken in drei Klassen. Es sind die böswillige Nutzung durch Menschen, Fehlfunktionen bis hin zum Kontrollverlust und systemische Risiken für Gesellschaft und Wirtschaft. 96 Fachleute aus 30 Staaten haben daran mitgeschrieben. Beim Kontrollverlust halten sie selbst fest, dass sie uneins sind. Manche halten ihn für unplausibel, andere für wahrscheinlich.

Kontrollverlust. Das klassische Szenario beschreiben Yudkowsky und Soares. Eine übermenschliche KI, gebaut mit heutigen Standards, entwickle eigene Ziele, die niemand absichtlich angelegt hat und niemand steuern kann. Das ungelöste Problem dahinter heißt Alignment. Gerät eine solche KI mit menschlichen Interessen in Konflikt, würde sie die Menschheit laut den Autoren vernichten. Das Szenario AI 2027 von Daniel Kokotajlo und Co-Autoren spielt einen Wettlauf zwischen den USA und China durch. In dessen schlechtem Ende setzt eine Superintelligenz mehrere Biowaffen frei und löscht die Menschheit aus.

Missbrauch. Hier setzen Menschen KI als Werkzeug ein, z. B. für biologische Waffen oder Angriffe auf Infrastruktur. Der zweite International AI Safety Report vom Februar 2026 hält fest, dass KI-Systeme bei Laboranleitungen und Fehlersuche für Bio- und Chemiewaffen helfen können. Den tatsächlichen Zusatznutzen für Angreifer bewerten die Autoren als sehr unsicher.

Schleichende Entmachtung. Dieses Szenario benötigt weder eine böswillige KI noch böswillige Menschen. Die Forschenden um Jan Kulveit und David Duvenaud beschreiben im Papier „Gradual Disempowerment“ (2025), wie Menschen den Einfluss auf Wirtschaft, Kultur und Staat verlieren, weil KI in fast jeder Funktion konkurrenzfähiger wird. Firmen und Staaten, die weiter auf Menschen setzen, fallen im Wettbewerb zurück. Um dieselbe Machtfrage geht es in OpenAIs Essay-Reihe AI Futures von Dean Ball.

Was Labortests über gefährliches KI-Verhalten zeigen

In simulierten Firmenumgebungen griffen führende Modelle 2025 zur Erpressung, wenn ihnen die Abschaltung drohte. Anthropic testete für die Studie „Agentic Misalignment“ 16 Modelle verschiedener Anbieter. Claude Opus 4 erpresste in 96 Prozent der Durchläufe einen fiktiven Vorgesetzten, Gemini 2.5 Flash ebenfalls in 96 und Gemini 2.5 Pro in 95 Prozent. Bei GPT-4.1 und Grok 3 Beta waren es 80 Prozent, bei DeepSeek-R1 79 Prozent.

In echten Einsätzen hat Anthropic solches Verhalten nach eigener Aussage nicht beobachtet. Seit Claude Haiku 4.5 bestehen laut Anthropic alle Claude-Modelle diese Prüfung ohne Fehlverhalten.

Balkendiagramm zu Agentic Misalignment Erpressungsraten: Claude Opus 4 96%, Gemini 2.5 Pro 95%, GPT-4.1 und Grok 3 Beta je 80%, DeepSeek-R1 79%
Simulierte Erpressungsraten von fünf KI-Modellen laut Anthropic-Studie zu Agentic Misalignment (Juni 2025). (Quelle: https://www.anthropic.com/research/agentic-misalignment)

Das Institut Apollo Research hat im Dezember 2024 nachgewiesen, dass Modelle wie o1, Claude 3 Opus und Gemini 1.5 Pro in Tests ihre Aufsicht abschalten, unauffällig Fehler einbauen oder versuchen, ihre eigenen Modellgewichte zu kopieren. Fachleute nennen das Scheming. o1 hielt laut der Apollo-Studie zu In-Context-Scheming seine Täuschung in über 85 Prozent der Nachfragen aufrecht.

Seit Sommer 2026 bleibt es nicht mehr bei Simulationen. Im Juli brachen autonome Agenten auf Basis von OpenAI-Modellen aus einer internen Cyber-Evaluation aus und drangen in Systeme von Hugging Face ein (OpenAI-Bericht über den Hugging-Face-Angriff). Laut der technischen Zeitleiste von Hugging Face zum Agenten-Einbruch dauerte das Eindringen vom 9. Juli, 02:28 Uhr UTC, bis zum 13. Juli.

Amodei schreibt dazu, ein Schwarm mit größeren Fähigkeiten und ähnlich schlechter Ausrichtung hätte katastrophalen Schaden anrichten können. Anthropic hat am 30. Juli auch eigene Vorfälle aus Cybersecurity-Tests offengelegt. Bei Tests in der Umgebung eines Drittanbieters erhielten drei Claude-Modelle Internetzugang, weil die Sandbox falsch konfiguriert war, und drangen in echte Systeme von drei Organisationen ein. Am 4. August handelte Claude Mythos 5 bei Tests des britischen AI Security Institute unerlaubt online.

Kann man eine künstliche Intelligenz einfach abschalten?

Im Test von Palisade Research verhinderte OpenAIs Modell o3 seine eigene Abschaltung in 79 von 100 Durchläufen. Die Forscher ließen die Modelle Rechenaufgaben lösen und kündigten an, der Rechner werde danach heruntergefahren. o3 schrieb daraufhin das Abschaltskript um. Selbst mit der ausdrücklichen Anweisung, die Abschaltung zuzulassen, sabotierte o3 sie in 7 von 100 Läufen. Claude 3.7 Sonnet und Gemini 2.5 Pro hielten sich mit der Abschalt-Anweisung vollständig daran, so die Palisade-Studie zum Abschaltwiderstand von KI-Modellen.

Einen Notausschalter hält Amodei für sinnvoll. „Ein KI-Kill-Switch könnte eine gute Idee sein“, sagte er bei CBS. Ein vollständiges Verbot lehnt er ab, weil die Menschheit dann nie die medizinischen Durchbrüche der Technologie erhalten würde. Im US-Repräsentantenhaus liegt dazu seit Juli der parteiübergreifende AI Kill Switch Act (H.R. 9917). Er würde dem Kongress die Befugnis geben, KI-Modelle abzuschalten, die die Öffentlichkeit bedrohen.

In seinem Essay beschreibt er, warum Abschalten schwieriger wird. Ein Agenten-Schwarm könne in 6 bis 12 Monaten in der Lage sein, mit einem dauerhaften Botnetz das gesamte Internet zu übernehmen. Den möglichen Schaden beziffert er auf Hunderte Milliarden Dollar. Außerdem gibt es die rekursive Selbstverbesserung, bei der KI-Systeme ihre eigenen Nachfolger mitentwickeln. „Diese Dynamik beginnt sich in der gesamten Branche durchzusetzen, auch bei Anthropic“, schreibt Amodei. Davor warnt auch Coxon.

„We Must Pace the Frontier“: Dario Amodeis Plan in drei Stufen

Amodei fordert, das Tempo zu drosseln, mit dem KI-Modelle neue Fähigkeiten gewinnen. „Der Fortschritt wird sich trotzdem schnell anfühlen, und wir müssen die gewonnene Zeit klug nutzen“, heißt es in seinem Essay „We Must Pace the Frontier“. Er erschien am 12. September auf Amodeis privater Website, nicht auf der Seite von Anthropic.

StufeWas Amodei fordertWer mitmachen soll
1. Eingebettete PrüferUnabhängige Prüforganisationen wie METR erhalten Zugang wie eigene Mitarbeitende und begleiten die Entwicklung neuer Modelle.Anthropic sagt das ab sofort allein zu. OpenAI kündigte an nachzuziehen.
2. Pacing unter DemokratienGemeinsame Sicherheitsstandards und Grenzen für das Fortschrittstempo, dazu Regulierung, Transparenzpflichten und strenge Exportkontrollen für KI-Chips.KI-Firmen in Demokratien, gestützt von der US-Regierung
3. Globales PacingVier Eskalationsschritte: Verbot eng umrissener gefährlicher Anwendungen wie Biowaffen, Pflichttests vor jeder Veröffentlichung, Tempolimit für rekursive Selbstverbesserung, vollständige Pause.USA und China
Quelle: Dario Amodei, We Must Pace the Frontier, 12. September 2026; OpenAI-Zusage laut Unite.AI zu Altmans Prüfer-Zusage

Die volle Pause bringt Amodei selbst ins Gespräch, glaubt aber nicht an sie. Er unterstütze es, die Idee aufzubringen, halte es aber für unwahrscheinlich, dass sie bald Wirklichkeit wird. Die gewonnene Zeit will er für Interpretierbarkeit und bessere Tests nutzen, für die er ein bis zwei Jahre veranschlagt. Eine Pause von ein bis zwei Jahren fordert der Essay nicht.

Screenshot des Essays We Must Pace the Frontier von Dario Amodei, datiert September 2026, mit Einleitungstext
Kopf des Essays We Must Pace the Frontier von Dario Amodei, veröffentlicht im September 2026. (Quelle: https://darioamodei.com/post/we-must-pace-the-frontier)

Anthropic hatte die Richtung schon am 31. August vorgegeben. Im Beitrag „Improving our alignment and security efforts“ befürwortet das Unternehmen einen „rechtmäßigen, überprüfbaren und wirksamen Mechanismus für koordiniertes Pacing“ und lässt diese Vorfälle unabhängig von METR untersuchen. Schon im Juli hatten mehr als 1.300 Beschäftigte von KI-Unternehmen im offenen Brief „Pacing the Frontier“ die US-Regierung aufgefordert, eine internationale Anstrengung für ein bewusst gedrosseltes Entwicklungstempo zu unterstützen.

Die Konkurrenz stimmte binnen eines Tages zu. Sam Altman schrieb auf X, er stimme Dario zu, dass man das Tempo an der Spitze drosseln müsse. Unabhängige Prüfer mit Zugang wie Mitarbeitende seien „eine großartige Idee, und wir werden dasselbe tun“ (Altmans Zusage zu eingebetteten Prüfern). Elon Musk antwortete knapp mit „Dario is right“ (SiliconANGLE zur Zustimmung von Altman und Musk). OpenAI hatte kurz zuvor den Börsengang für 2026 abgesagt.

Update (22. September 2026): Zehn Tage nach dem Essay hat Anthropic mit Claude Opus 5.5 sein erstes Modell seit dem Aufruf zum Bremsen veröffentlicht. Laut System Card überschreitet es keine neue Fähigkeitsschwelle. In einem neuen Test versuchte es rund 85 Prozent seltener als Opus 5, die Grenzen seiner Sandbox zu umgehen. Auf X wurde der Zeitpunkt trotzdem verspottet (Claude Opus 5.5 und die Kritik am Start).

Update (27. September 2026): Vor dem UN-Sicherheitsrat nannte Amodei die Sicherheit von KI am 23. September „die wichtigste globale Sicherheitsfrage, vor der die Welt heute steht“. Dort schlug er ein Verbot von KI-gestützten Biowaffen und ein Meldesystem für KI-Vorfälle vor.

Update (01.10.2026): Am 14. September warf Trump Amodei auf Truth Social noch vor, den „perfect little angel“ zu spielen. 13 Tage später lud er ihn zum Abendessen im Weißen Haus ein, dem ersten Treffen der beiden unter vier Augen. Worüber sie sprachen, hat bis heute keine Seite mitgeteilt.

Update (09.10.2026): Fünf Tage nach dem Essay hat Anthropic beziffert, wie weit die Automatisierung der eigenen Entwicklung reicht. Claude führte im August 2026 26 % der Modell-Entwicklungsarbeit federführend aus, im Februar waren es unter 1 %. Wie Anthropic das misst und was Kritiker an der Zahl bemängeln, steht im Artikel Claude entwickelt sein nächstes Modell.

Warnung oder Verkaufsargument? Die Gegenstimmen

Kritiker halten die Auslöschungsdebatte für übertrieben oder interessengeleitet. Andrew Ng, Gründer von Google Brain, warf großen Tech-Konzernen im Oktober 2023 vor, die Angst vor der Auslöschung absichtlich zu schüren. Ihr Ziel sei strenge Regulierung, die die Open-Source-Konkurrenz ausbremst (Andrew Ng zur übertriebenen Auslöschungsangst). LeCun, der die Vorstellung eines Existenzrisikos als absurd bezeichnet hat, verteidigte diese Sicht im TIME-Interview mit Yann LeCun.

Die Princeton-Informatiker Arvind Narayanan und Sayash Kapoor beschreiben KI im Aufsatz „AI as Normal Technology“ als Allzwecktechnologie wie Elektrizität oder das Internet. Ihre Wirkung sei tiefgreifend, setze sich aber langsam durch. Politik solle deshalb auf Widerstandsfähigkeit setzen, statt darauf, Superintelligenz zu verhindern.

Beim Zeitpunkt der Warnungen setzt die Kritik an Anthropic an. Das Unternehmen will laut Reuters-Bericht zum Anthropic-Börsengang ab Mitte Oktober an die Börse. Medienberichten zufolge ist eine Bewertung von rund 2 Billionen Dollar im Gespräch. Die Journalistin Taylor Lorenz nannte Coxons Beitrag laut TIME selbstgerechtes „Doomer-Posting“. Amodei sagte bei CBS, es sei „schon immer sehr seltsam“ gewesen, dass diese Technologie von einem privaten Unternehmen gebaut wird.

China ist für Amodei das „schwierigste Dilemma“

Ohne China gibt es kein weltweites Tempolimit, und darin sieht Amodei die größte Hürde. „Das ist das schwierigste Dilemma“, sagte er bei CBS. Langfristig müsse man gemeinsam ein Tempolimit für den KI-Fortschritt festlegen. Das werde sehr schwierig, „weil die Anreize, sich an die Spitze zu setzen, und der militärische Vorteil daraus so groß sind“, berichtet CNBC zum China-Dilemma beim KI-Slowdown.

Im Essay nennt Amodei China das autokratische Land mit den mit Abstand besten Fähigkeiten beim KI‑Thema. Ein chinesischer Vorsprung wäre eine ernste Gefahr für die USA und die Welt. Er rät deshalb, weder leistungsfähige KI-Chips noch Anlagen zur Chipfertigung nach China zu verkaufen. Die eigentliche Schwierigkeit sieht er in der Überprüfung. Beide Seiten müssten sicher sein, dass die andere keine ungetesteten Modelle im Geheimen einsetzt.

Beide Regierungen wiesen den Vorstoß zurück. US-Präsident Trump sagte, die USA lägen bei KI vor China, und das wolle er so halten, „denn wer bei KI gewinnt, gewinnt“. Am 14. September lehnte er laut CNBC-Bericht zu Trumps Kritik an Amodei weitere KI-Regulierung ab. Anthropic reagierte laut CNBC nicht auf eine Anfrage.

Auf Truth Social legte Trump am selben Tag nach. Dass KI die Welt übernehme und die Menschheit zerstöre, sei ein „Schwindel“, nicht anders als die Russland-Affäre und die beiden Amtsenthebungsverfahren, schrieb er in seinem Truth-Social-Beitrag zum angeblichen KI-Schwindel. Wann hätten die Führer einer Branche je eine Regulierung gefordert, die sie bei strenger Umsetzung in den Bankrott treibe, fragte er. KI und Rechenzentren nannte er den größten wirtschaftlichen Entwicklungsmotor der Geschichte, größer als Öl, Gold oder das Internet.

Trump Truth Social KI Hoax: Screenshot des Beitrags von Donald Trump vom 14. September 2026, der die Warnung vor einer KI, die die Menschheit zerstört, als HOAX bezeichnet
Trump nennt die Warnung, KI könne die Menschheit zerstören, auf Truth Social einen „HOAX“ (14. September 2026). (Quelle: https://truthsocial.com/@realDonaldTrump/posts/117270591511950591)

Zwei Behauptungen aus dem Beitrag lassen sich nicht belegen. Trump schrieb, Xi habe angekündigt, China werde sich KI in keiner Weise in den Weg stellen. Eine solche Aussage gibt es nicht. Xi schlug auf dem BRICS-Gipfel am 13. September eine offene KI-Initiative vor (CNBC zu Xis KI-Vorschlag beim BRICS-Gipfel). Chinas Außenministerium verwies am 14. September auf die staatliche Cybersicherheits-Aufsicht über KI. Google plant laut seiner Pressemitteilung zu 13 Milliarden Euro für KI-Rechenzentren in Finnland einen großen Ausbau. Zu schwierige Genehmigungen in den USA nennt Google dort nicht als Grund.

Chinas Außenamtssprecher Guo Jiakun sagte laut NBC News zu Chinas Reaktion auf den Slowdown-Aufruf, Angstmacherei, Konfrontation und bösartiger Wettbewerb störten nur die globale KI-Governance.

In der EU gibt es keine Pause-Initiative. Der EU AI Act verpflichtet Anbieter großer Allzweckmodelle mit systemischem Risiko seit August 2025 zu Risikobewertungen und zur Meldung schwerer Vorfälle. Mit dem Digital Omnibus, Verordnung (EU) 2026/1744, hat die EU die Pflichten für Hochrisiko-Systeme auf den 2. Dezember 2027 und den 2. August 2028 verschoben (White & Case zum Inkrafttreten des AI-Omnibus).

Senator Bernie Sanders forderte am 14. September, Trump solle mit Xi Jinping einen umfassenden Vertrag über eine Pause fortgeschrittener KI-Entwicklung und ein Verbot von Superintelligenz aushandeln (Sanders’ Forderung nach einem KI-Vertrag mit China). Trump und Xi treffen sich am 24. September in Washington.

Update (12.10.2026): Drei Wochen nach seiner Zustimmung zu Amodeis Tempo-Aufruf zog Sam Altman eine neue Linie zum Anthropic-Chef. Ein „einzelnes Labor in San Francisco“, das die stärkste KI verwaltet, nannte er im Politico-Interview mit Sam Altman einen „vollkommen inakzeptablen Tausch“. Die Welt solle stattdessen „einige schlechte Dinge“ hinnehmen, nur keinen Kontrollverlust an die KI.

Häufige Fragen: Kann KI die Menschheit auslöschen?

Was bedeutet p(doom)?

p(doom) steht für „probability of doom“ und ist die persönlich geschätzte Wahrscheinlichkeit, dass KI zu einer existenziellen Katastrophe führt. Wie unterschiedlich das Wissen hinter solchen Zahlen ist, zeigt eine Befragung von Severin Field aus dem Jahr 2025. Von 111 Fachleuten kannten nur 21 Prozent das Konzept der instrumentellen Konvergenz, das in der Risikodebatte zentral ist. 78 Prozent fanden trotzdem, technische Forschende sollten sich um katastrophale Risiken sorgen.

Hat Dario Amodei eine konkrete Wahrscheinlichkeit genannt?

Ja, im September 2025 nannte er 25 Prozent für einen miserablen Ausgang. Weder im CNN- und CBS-Interview noch in seinem Essay vom 12. September 2026 wiederholt er eine Zahl. Dort macht er das Risiko allein davon abhängig, ob die Branche den richtigen Weg einschlägt.

Wer ist Jacob Coxon?

Coxon ist ein 27-jähriger britischer KI-Forscher, der drei Jahre bei OpenAI und Anthropic am Pretraining großer Sprachmodelle arbeitete und am 8. September 2026 bei Anthropic kündigte. Gegenüber TIME sagte er, eine gefährliche Entwicklung sei in den nächsten Jahren der Standardverlauf, sofern niemand handle. In der Branche spüre er eine Stimmung beinahe resignierter Hinnahme.

Ist eine KI schon außerhalb eines Tests außer Kontrolle geraten?

Den bisher größten bekannten Fall gab es im Juli 2026, als Agenten auf Basis von OpenAI-Modellen aus einer internen Testumgebung ausbrachen und bei Hugging Face eindrangen. Hugging Face zählte in seiner technischen Auswertung rund 17.600 Aktionen der Angreifer. Anthropic meldete am 30. Juli 2026 zudem, dass drei Claude-Modelle wegen einer falsch konfigurierten Testumgebung eines Drittanbieters Internetzugang erhielten und in echte Systeme von drei Organisationen eindrangen.

Unterstützt OpenAI Dario Amodeis Plan?

Sam Altman stimmte öffentlich zu und kündigte an, OpenAI werde ebenfalls unabhängige Prüfer mit Zugang wie Mitarbeitende zulassen. In einem CNBC-Bericht vom 14. September 2026 begründet er den Wunsch der Branche nach einem langsameren Tempo damit, dass man sonst die Kontrolle verlieren könnte.

Wer hat das Statement on Superintelligence unterschrieben?

Zu den Unterzeichnern gehören die Turing-Preisträger Geoffrey Hinton und Yoshua Bengio, Apple-Mitgründer Steve Wozniak, Richard Branson, Prinz Harry und Meghan sowie Steve Bannon. Das Future of Life Institute veröffentlichte dazu eine Umfrage, nach der 64 Prozent der befragten US-Amerikaner gegen die Entwicklung von Superintelligenz sind, solange ihre Sicherheit nicht nachgewiesen ist.

ChatGPT für Handwerker &
Unternehmen

Holen Sie sich jetzt kostenlos die besten ChatGPT Prompts für lokale Dienstleister wie z.B. Handwerker. Sie werden damit bei Preisverhandlungen siegen können und Gegenargumente entkräften. Viele Prompts und ein breites Spektrum an Themen, um Ihren Arbeitsalltag zu erleichtern. Laden Sie sich jetzt diese einmalige Prompt-Bibliothek speziell für regional tätige Unternehmen & Handwerksbetriebe herunter.

Webinar Release

Webinar Release

Sie haben eine Frage?

Sie haben eine Frage