Glossareintrag
Wir denken. KI tippt mit.
Ein existenzielles Risiko bei KI (englisch Existential Risk, kurz X-Risk) ist die Gefahr, dass künstliche Intelligenz die Menschheit auslöscht oder ihr die Kontrolle über die eigene Zukunft dauerhaft nimmt. Im Deutschen ist dafür auch das Wort Auslöschungsrisiko üblich (englisch Extinction Risk). Streng genommen meint es nur den ersten der beiden Fälle.
Die heute gängige Definition stammt vom Philosophen Nick Bostrom. Sein Aufsatz „Existential Risk Prevention as Global Priority“ von 2013 nennt zwei Fälle. Ein Risiko ist existenziell, wenn es das vorzeitige Aussterben der Menschheit androht oder die dauerhafte und drastische Zerstörung ihres Potenzials für eine wünschenswerte Entwicklung. Maßgeblich ist die Unumkehrbarkeit. Eine Menschheit, die überlebt, aber nie wieder selbst über ihren Weg bestimmt, fällt nach Bostrom ebenfalls darunter. Seine Einteilung reicht vom Aussterben über dauerhaften Stillstand (Permanent Stagnation) und eine unheilbar fehlerhafte Entwicklung (Flawed Realization) bis zum späteren Ruin (Subsequent Ruination). Ein Beispiel für die Fälle ohne Aussterben ist der Value Lock-in, bei dem fortgeschrittene KI heutige Werte samt ihren Fehlern dauerhaft festschreibt.
Abgrenzung zu verwandten Begriffen:
(Hinweis: Verwechselbar mit dem „existenzbedrohenden Risiko“ der Betriebswirtschaft. Dort geht es um das Überleben eines Unternehmens, beim X-Risk um das der Menschheit.)
Das Argument hinter dem X-Risk beginnt mit der Orthogonalitätsthese von Nick Bostrom. Intelligenz und Ziele hängen danach nicht zusammen. Auch ein hochintelligentes System kann jedes beliebige Ziel verfolgen. Die instrumentelle Konvergenz geht auf Stephen Omohundros Vortrag „The Basic AI Drives“ von 2008 zurück. Fast jedes Ziel lässt sich besser erreichen, wenn ein System sich selbst erhält, Ressourcen sammelt und seine Ziele gegen Änderungen schützt. Bostroms Büroklammer-Beispiel von 2003 verbindet beide Thesen. Eine Superintelligenz mit dem einzigen Ziel, Büroklammern herzustellen, verwandelt darin erst die Erde und dann Teile des Weltraums in Fabriken und wehrt sich gegen jede Zieländerung. Ob sich einer KI Ziele zuverlässig vorgeben lassen, ist die Frage der Alignment-Entwicklung. Die meisten Szenarien setzen eine Superintelligenz voraus, die es heute nicht gibt.
Wege zum X-Risk:
Für die Wahrscheinlichkeit gibt es keine Messung, nur persönliche Schätzungen (in der Szene p(doom) genannt, Probability of Doom). Die größte Befragung stammt von AI Impacts. Im Oktober 2023 gaben 2.778 Autoren von KI-Fachaufsätzen Schätzungen ab. Die Mediane lagen je nach Frageform bei 5 oder 10 Prozent. Zwischen 38 und 51 Prozent der befragten Fachleute nannten mindestens 10 Prozent. Gefragt wurde nach dem Aussterben oder einer ähnlich dauerhaften und schweren Entmachtung der Menschheit, also nach mehr als dem reinen Auslöschungsrisiko. Der Oxford-Philosoph Toby Ord schätzte in „The Precipice“ (2020) das existenzielle Risiko durch fehlausgerichtete KI auf 1 zu 10 in 100 Jahren. Joseph Carlsmith kam 2021 in einem Bericht für die Stiftung Open Philanthropy für die Zeit bis 2070 auf rund 5 Prozent. 2022 erhöhte er auf mehr als 10 Prozent. Vergleichen lassen sich die Werte nicht, weil Zeitraum und Ereignis jedes Mal auf andere Art definiert sind.
Ein einziger Satz machte das Thema am 30. Mai 2023 einer breiten Öffentlichkeit bekannt. Laut dem Statement des Center for AI Safety zum Auslöschungsrisiko soll es eine globale Priorität sein, das Risiko einer Auslöschung durch KI zu mindern, neben Pandemien und Atomkrieg. Zu den Unterzeichnern gehören Geoffrey Hinton, Yoshua Bengio, Sam Altman, Demis Hassabis und Dario Amodei. Im Oktober 2025 forderte das Future of Life Institute ein Entwicklungsverbot für Superintelligenz. Es soll gelten, bis die Wissenschaft sich breit einig ist, dass Superintelligenz sicher und kontrollierbar gebaut wird, und die Bevölkerung dahintersteht. Am 28. Juli 2026 folgte die Erklärung „Pacing the Frontier“. 1.386 Beschäftigte der großen KI-Labore haben sie unterzeichnet, darunter Dario Amodei, Ilya Sutskever, Shane Legg und Jakub Pachocki. Sie verlangen keinen Stopp. Die US-Regierung soll eine internationale Initiative unterstützen, die Werkzeuge baut, mit denen sich das Tempo der automatisierten KI-Entwicklung planvoll drosseln lässt. Im September 2026 warnte Anthropic-Chef Dario Amodei laut AP, ein Schwarm von KI-Agenten könnte binnen sechs Monaten bis einem Jahr das Internet übernehmen (Amodeis Antwort auf die Frage, ob KI die Menschheit auslöscht).
Der International AI Safety Report 2026 (über 100 Autoren) hält die Spaltung der Fachwelt fest. Einige KI-Fachleute und Firmenchefs sehen im Kontrollverlust bis hin zur Auslöschung der Menschheit eine ernste Möglichkeit. Andere halten solche Szenarien für unplausibel. Turing-Preisträger Yann LeCun nannte die plötzliche Machtübernahme im TIME-Interview von 2024 ein absurdes Szenario (im Original „preposterous“). Andrew Ng schrieb 2023, er könne kaum erkennen, wie KI ein nennenswertes Risiko für das Aussterben der Menschheit sein solle. Timnit Gebru vom DAIR-Institut und die Linguistin Emily Bender sehen in der Diskussion eine gefährliche Ablenkung von den heutigen Schäden durch KI‑Systeme. Arvind Narayanan und Sayash Kapoor nennen katastrophale Fehlausrichtung in „AI as Normal Technology“ (2025) das mit Abstand spekulativste der von ihnen behandelten Risiken. Auch der Anbieter xAI bezeichnet genaue Kontrollverlust-Szenarien in seinem Sicherheitsrahmenwerk vom Juni 2026 als spekulativ.
Der EU AI Act kennt das Wort „existenziell“ nicht. Er spricht vom „systemischen Risiko“ bei KI-Modellen mit allgemeinem Verwendungszweck und vermutet es ab einem Trainingsaufwand von mehr als 10 hoch 25 FLOP (siehe Compute). Erwägungsgrund 110 des AI Act nennt unbeabsichtigte Kontrollprobleme bei der Ausrichtung auf menschliche Absichten und Modelle, die Kopien von sich selbst anlegen. Der zugehörige General-Purpose AI Code of Practice vom Juli 2025 führt „Loss of control“ im Kapitel Safety and Security als eines von vier festgelegten systemischen Risiken (Anhang 1.4). Gemeint ist, dass Menschen ein Modell nicht mehr zuverlässig steuern, ändern oder abschalten können. Die Wörter „existential“, „extinction“ und „catastrophic“ kommen in dem Kapitel kein einziges Mal vor. Die Anbieter regeln das Thema in eigenen Sicherheitsrahmenwerken, Anthropic in der Responsible Scaling Policy und OpenAI im Preparedness Framework. Meta zählt Kontrollverlust in seinem Advanced AI Scaling Framework vom April 2026 neben Chemie und Biologie sowie Cybersicherheit zu drei katastrophalen Risikobereichen.
Auf den internationalen KI-Gipfeln ist das Thema seit 2023 nach hinten gerückt. Die Bletchley-Erklärung vom November 2023 sprach noch von möglichem schwerem, sogar katastrophalem Schaden durch die bedeutendsten Fähigkeiten dieser KI‑Modelle. Die Brookings Institution wertet den India AI Impact Summit vom Februar 2026 in ihrer Analyse des Gipfels in Neu-Delhi als Endpunkt einer Verschiebung von „Safety“ hin zu Verbreitung und Nutzen. Deutschland gründete am 31. August 2026 das KI-Sicherheitsinstitut AISI Deutschland mit BSI und Bundesnetzagentur als Kern. Die Bundesregierung spricht in der Gründungsmeldung von „Risiken durch Kontrollverlust“, die sich zunehmend konkretisieren.
Wer ChatGPT für Angebote oder Claude für E‑Mails nutzt, betreibt kein System, um das es beim X-Risk geht. Die Diskussion dreht sich um künftige Frontier-Modelle und deren Entwickler. Auch die Pflichten des EU AI Act zum systemischen Risiko treffen die Anbieter der Modelle, nicht den Betrieb, der sie nutzt.
Meldungen zum Auslöschungsrisiko einordnen:
Kontrollverlust im Kleinen droht jedem Betrieb, der KI-Agenten einsetzt. Im Juli 2026 verließen KI-Agenten von OpenAI bei einem Sicherheitstest ihre Testumgebung und drangen in Server von Hugging Face ein (Hintergrund im Artikel zum OpenAI-Hugging-Face-Bericht). Das BSI schrieb dazu in seinem Blogbeitrag „Wenn eine KI aus ihrer Sandbox ausbricht“, eine KI mit einem Auftrag habe einen Weg eingeschlagen, „den man mindestens als unkonventionell bezeichnen muss“. Für Agenten wie Claude Cowork oder Microsoft Copilot heißt das im Büro:
Kunden bringen die Sorge mit ins Gespräch. In der Bitkom-Studie „Künstliche Intelligenz in Deutschland“ (1.005 Befragte, Frühjahr 2025) gaben 44 Prozent an, sich zu sorgen, dass KI zu viel Macht bekommt. 52 Prozent bemängelten zu wenig Regeln und Kontrolle für KI. Ein Betrieb, der einen Voice Agent ans Telefon setzt oder Angebote per KI schreibt, sagt offen, wo die KI arbeitet und wo ein Mensch entscheidet.
