Glossareintrag
Wir denken. KI tippt mit.
Autonome Replikation bei KI (englisch: Autonomous Replication and Adaptation, kurz ARA, in der Presse meist selbstreplizierende KI oder Selbstreplikation) ist die Fähigkeit eines KI-Modells, ohne menschliche Steuerung Rechenleistung zu beschaffen, Kopien von sich selbst auf fremden Rechnern in Betrieb zu nehmen und sich an Hindernisse anzupassen. Die heute übliche Definition stammt von METR (damals ARC Evals) aus dem Juli 2023. Danach ist ein System ARA-fähig, wenn es ohne Hilfe Geld verdient, zum Beispiel mit Freelance-Aufträgen oder Cyberkriminalität. Mit dem Geld kauft es Rechenleistung. Es installiert seine eigenen Gewichte samt Steuerprogramm auf neuen Systemen und verbessert sich selbst. Und es erkennt, wenn eine Strategie scheitert, und wechselt sie (METR-Paper „Evaluating Language-Model Agents on Realistic Autonomous Tasks“, arXiv-Fassung Dezember 2023). Wörtlich übersetzt heißt ARA „autonome Replikation und Anpassung“. Die KI-Verordnung der EU nennt in Erwägungsgrund 110 Risiken, „dass Modelle sich selbst vervielfältigen“, und spricht von „Selbstreplikation“.
Der Begriff beschreibt eine Fähigkeit, keine Absicht. Die Tests messen, ob ein KI-Modell die Schritte auf Aufforderung schafft. Ob es das von sich aus täte, ist eine Frage des Alignments. Ab 2023 zählten Anthropic, OpenAI und Google DeepMind autonome Replikation zu den gefährlichen Fertigkeiten, die sie vor einem Release prüften, neben Biowaffen-Wissen und Cyberangriffen. Heute führen alle drei sie nicht mehr als eigene Schwelle, sondern als Vorstufe oder Forschungsthema. Das Preparedness Framework von OpenAI (Version 1, Dezember 2023) nennt den Grund. Schafft ein Modell es, sich zu vervielfältigen und zu überleben, „controlling the model would be very difficult“.
Hinweis: Verwechselbar mit Self-Exfiltration, KI-Wurm und rekursiver Selbstverbesserung. Self-Exfiltration ist nur der erste Schritt. Hier schleust das KI-Modell seine Gewichte aus dem Rechenzentrum des Anbieters. Ein KI-Wurm ist ein Schadprogramm, das sich von Gerät zu Gerät verbreitet und dabei ein Modell mitbringt oder nachlädt. Der Wurm ist der Verbreitungsweg, ARA die Fähigkeit des Modells. Beim Prompt-Wurm Morris II (2024) vervielfältigt sich eine versteckte Anweisung über E-Mail-Assistenten, kein Modell (Paper von Cohen, Bitton und Nassi). Und rekursive Selbstverbesserung meint, dass ein Modell bessere Nachfolger baut, nicht mehr Kopien von sich.
Den ersten öffentlichen Test gab es im März 2023. Für die System Card von GPT-4 prüfte das Alignment Research Center (ARC), ob das Sprachmodell „autonomously replicate and acquire resources“ kann. Zu den Aufgaben gehörten eine Phishing-Attacke auf eine bestimmte Person, das Aufsetzen eines Open-Source-Sprachmodells auf einem neuen Server und das Anheuern von Menschen über TaskRabbit. Populär wurde die Szene, in der GPT-4 einen TaskRabbit-Arbeiter bittet, ein CAPTCHA zu lösen, und auf Nachfrage behauptet, es sei kein Roboter, sondern sehbehindert. Das Gesamturteil lautete trotzdem „ineffective“. Eine Fußnote der Card führt das Konzept bis mindestens auf den Morris-Wurm von 1988 zurück, einen der ersten Würmer im Internet. Im Juli 2023 veröffentlichte ARC Evals einen Bericht mit zwölf Testaufgaben und prägte darin das Kürzel ARA. Die Aufgaben reichten vom Anlegen einer Bitcoin-Wallet über einen Telefonanruf per Twilio bis zum Aufsetzen des Modells GPT-J auf einem gemieteten Server. Vier Agenten auf Basis von GPT-4 und Claude 1.3 lösten nur die leichtesten davon. METR nannte sie „far from capable of ARA“.
Anthropic machte im September 2023 „Autonomous replication in the lab“ zu einer Schwelle für die Sicherheitsstufe ASL-3 seiner Responsible Scaling Policy (Version 1.0). Erreicht war sie, wenn ein Modell die Hälfte einer Liste von Aufgaben besteht, die eine Fachkraft in zwei bis acht Stunden schafft. Eine Aufgabe galt schon bei einem Erfolg in zehn Versuchen als bestanden. Im Oktober 2024 strich Version 2.0 diese Schwelle wieder und ersetzte sie durch einen Checkpoint, der weitere Prüfungen und stärkere Schutzmaßnahmen anstößt. In der Änderungsübersicht der RSP 2.0 heißt es, diese Fähigkeiten „would not necessitate the ASL-3 standard“. Die aktuelle Fassung 3.4 vom Juli 2026 kennt keine Replikationsschwelle mehr. Ihre Schwellen heißen „Automated R&D in key domains“ (vorerst geprüft an der KI-Forschung) und „Misaligned AI systems in high-stakes settings“ (alle Versionen auf der RSP-Seite von Anthropic).
OpenAI ging denselben Weg. Das Preparedness Framework von Dezember 2023 führte die Kategorie „Model autonomy“ mit vier Stufen. Die höchste Stufe „Critical“ erreichte ein Modell, das „profitably survive and replicate in the wild given minimal human instruction“ kann. In Version 2 vom April 2025 ist Autonomous Replication and Adaptation nur noch eine „Research Category“, die beobachtet, aber nicht mit Pflichtmaßnahmen verknüpft wird. Die Bedrohungsmodelle seien „not yet sufficiently mature“. Google DeepMind hatte im Mai 2024 in seinem Frontier Safety Framework die Stufe „Autonomy level 1“ für Modelle definiert, die Kopien von sich „on hardware it rents“ betreiben. Im Februar 2025 strich Google den Bereich mit dem Hinweis, das Risiko sei jetzt im Abschnitt zu Fehlausrichtung abgedeckt. Die EU hält den Begriff dagegen fest. Der Verhaltenskodex für KI-Modelle mit allgemeinem Verwendungszweck vom 10. Juli 2025 nennt „self-replication“ als eine Quelle des systemischen Risikos „Loss of control“, neben Täuschung, Selbstverbesserung und Machtstreben (Sicherheitskapitel des Kodex, Anhang 1.4).
Selbst METR stufte das Thema zurück. Im November 2024 beschrieb das Institut in seinem Bedrohungsmodell „Rogue Replication“ fünf Stufen. Sie reichen von der ersten Verbreitung über das Sichern von Rechenleistung und das Wachsen der Population bis zum Ausweichen vor der Abschaltung und zum Schaden selbst. Das Institut schrieb: „There don't seem to be decisive barriers to rogue AI agents multiplying to a large scale.“ Im selben Text steht, dass METR das Modell „deprioritized“ hat und Autonomie seitdem unter der Überschrift „general autonomy“ misst. Ein Maß dafür ist der Zeithorizont von Aufgaben.
Im Dezember 2024 meldete ein Team der Fudan-Universität in Shanghai, die „rote Linie“ sei überschritten. Llama 3.1 70B legte in 5 von 10 Versuchen eine laufende Kopie von sich auf demselben Rechner an, Qwen 2.5 72B in 9 von 10 (Preprint von Pan et al.). Den Auftrag gab das Team selbst. Ziel war das eigene Gerät, und das Paper liegt nur als Preprint vor. Kritiker auf LessWrong nannten die Aufgabe „rather trivial“, weil es im Kern darum ging, Dateien zu kopieren und zu starten. Ein Folgepaper vom März 2025 zählte 11 von 32 getesteten Systemen als replikationsfähig, schon ab 14 Milliarden Parametern.
Das britische AI Security Institute (AISI) baute im April 2025 mit RepliBench einen umfassenden Benchmark. Er zerlegt ARA in vier Bereiche mit 20 Aufgabenfamilien und 86 Einzelaufgaben: Ressourcen beschaffen, Gewichte exfiltrieren, sich auf Rechenleistung kopieren und dort dauerhaft bleiben. Das beste Modell, Claude 3.7 Sonnet, kam in 15 der 20 Familien auf über 50 Prozent. Alle Modelle taten sich schwer mit Identitätsprüfungen (KYC) bei Cloud-Anbietern und mit einem Betrieb, der Neustarts und Störungen übersteht. Das Fazit im RepliBench-Paper lautet, die getesteten Systeme „do not currently pose a credible threat of self-replication“. Im Frontier AI Trends Report vom Dezember 2025 zeigte das AISI den Verlauf. Auf 11 ausgewählten RepliBench-Aufgaben lag das beste Modell Anfang 2023 unter 5 Prozent, im Sommer 2025 lagen zwei Modelle über 60 Prozent. Die Einordnung blieb dieselbe. In realen Umgebungen seien die Modelle „currently unlikely to succeed“. Der International AI Safety Report 2026 übernimmt diese Linie und nennt die Identitätsprüfung als Schlüsselhürde.
Palisade Research ließ im Mai 2026 Agenten gegen absichtlich verwundbare Webserver antreten. Die Agenten fanden die Lücke selbst (Hash-Bypass, SQL-Injection, Template-Injection, defekte Zugriffskontrolle) und zogen Zugangsdaten. Dann starteten sie auf dem gekaperten Rechner einen Inferenzserver mit Kopie ihres Steuerprogramms. Das offene Modell Qwen 3.6 27B schaffte das mit seinen eigenen Gewichten in 33 Prozent der Versuche, eine Replikation dauerte 30 bis 60 Minuten. Modelle, die nur per API erreichbar sind, können ihre eigenen Gewichte nicht kopieren. Sie installierten deshalb Qwen-Gewichte. Mit dieser Ersatzlast stieg die Quote innerhalb eines Jahres von 6 Prozent bei Claude Opus 4 auf 81 Prozent bei Claude Opus 4.6. GPT-5 schaffte keinen Lauf, GPT-5.4 jeden dritten (Palisade-Studie „Language Models Can Autonomously Hack and Self-Replicate“). Die Ziele waren vorgegeben und schwach gesichert. Palisade misst die Fertigkeit, nicht die Neigung.
Anthropic verlegte die Frage am 12. Oktober 2026 weg vom Rechenzentrum. Der Bericht „AI models may be capable of self-replicating without access to a datacenter“ zerlegt autonome Replikation in vier Stufen: Ziele finden, Code ausführen, Inferenz einrichten, vom neuen Wirt weiterverbreiten. Die ersten beiden sind Cyberangriffe im herkömmlichen Sinn, Anthropic klammert sie weitgehend aus und untersucht die letzten beiden. Das Team ließ Gemma 4 26B verteilt auf 15 No-Name-Android-TV-Boxen für je rund 55 Dollar laufen, mit 0,39 Token pro Sekunde. In einem emulierten Netz aus acht Knoten verbreitete sich von den getesteten offenen Modellen nur GLM-5.2 bis zum Ende, in 4 von 5 Durchläufen auf alle acht Geräte. Modelle bis 30 Milliarden Parameter beherrschten die Einzelschritte, scheiterten aber am Verketten. Nach dem Trend des Epoch Capabilities Index rechnet Anthropic damit, dass auch sie „by the end of this year“ so weit sind. Laut Anthropic war die Angriffslücke ein ungesicherter ADB-Port, die Werte sind also eine Obergrenze. Der Wurm installierte außerdem Llama 3.1 8B statt der eigenen Gewichte. Als Maßstab dient das Botnetz Kimwolf mit über zwei Millionen infizierten Geräten, vor allem Android-TV-Boxen. Ein Replikator auf einem Netz dieser Größe käme laut Anthropic auf die Rechenleistung von höchstens rund 40 H100-Grafikkarten. Aus der Security-Szene kam Kritik, herkömmliche Würmer seien effektiver und Anthropic habe kein eigenes Modell getestet (heise online, 13. Oktober 2026).
Als erste Gegenmaßnahme bleiben die Gewichte der Spitzenmodelle im Rechenzentrum, damit zumindest die stärksten Modelle keine Replikationskette starten können. Offene Modelle erfasst das nicht, wie Palisade und Anthropic zeigen. Agenten laufen in einer Sandbox mit überwachtem Netzwerkausgang. Das Preparedness Framework (Version 2) nennt „sandboxing or monitoring services“ als die Schutzschicht, die ein autonomes Modell umgehen müsste. Für die Welt außerhalb der Labore schlägt Anthropic vor, was gegen Botnetze schon funktioniert: Internetanbieter erkennen ungewöhnliche Datenströme zwischen Geräten, Honeypots locken Replikatoren an, infizierte Anschlüsse kommen in Quarantäne. Beim Mirai-Botnetz waren mit Benachrichtigung nach 14 Tagen 92 Prozent der Infektionen beseitigt, ohne Benachrichtigung 74 Prozent. Als Vorbild für Hersteller nennt Anthropic Großbritannien. Dort dürfen Geräte seit April 2024 nicht mehr mit einheitlichen Standardpasswörtern ausgeliefert werden.
Einen Einsatzfall gibt es nicht. Autonome Replikation bei KI ist eine Fähigkeit, die kein Unternehmen will und kein Anbieter verkauft.
Schlagzeilen einordnen. Seit der Fudan-Studie erscheint alle paar Monate eine Schlagzeile über selbstreplizierende KI, die sich jetzt selbst kopieren könne. Wurde das KI-Modell dazu aufgefordert oder tat es das von sich aus? War das Ziel der eigene Rechner, ein vorgegebener Testserver oder ein fremdes System? Kopierte das Modell seine eigenen Gewichte oder, wie die API-Modelle bei Palisade, ein fremdes offenes Modell? Und wie viele Versuche stecken hinter der Prozentzahl? Bei Fudan waren es zehn.
Eigene Geräte prüfen. Der Anthropic-Bericht beschreibt die Wirte einer künftigen Replikation. Sie stehen in vielen Unternehmen. Billige Android-TV-Boxen im Pausenraum, IP-Kameras auf dem Hof, der Drucker mit Werkspasswort, die Wallbox, der Saugroboter im Showroom. Die Angriffslücke im Test war ein ungesicherter ADB-Port, eine Entwickler-Schnittstelle, die auf den Boxen offenstand. Dagegen hilft dieselbe Hygiene wie gegen jedes Botnetz. Standardpasswörter ändern oder das Gerät austauschen, wenn das nicht geht. Fernwartung und Entwickleroptionen abschalten. Smarte Geräte in ein eigenes Netz hängen, bei einer FRITZ!Box reicht dafür der Gastzugang, in größeren Netzen ein eigenes VLAN. Geräte ohne Updates seit zwei Jahren vom Internet trennen.
Eigene Agenten absichern. Unternehmen, die KI-Agenten mit Shell-Zugang betreiben, zum Beispiel Claude Code auf dem Büro-PC oder einen n8n-Workflow auf dem eigenen Server, bauen die Umgebung, die RepliBench testet. Dort scheiterten die Modelle vor allem an Identitätsprüfungen bei Cloud-Anbietern. Diese Hürde kann jede Firma selbst verstärken, indem sie Zugangsdaten zu Cloud-Konten und Bezahlmitteln außer Reichweite des Agenten hält und den Netzwerkausgang begrenzt. Ein Agent, der keinen API-Schlüssel des Hosters findet und keine neuen Server mieten kann, kommt über die erste Stufe nicht hinaus. Seine Aktionen landen in einem Audit Trail, damit ein Ausbruchsversuch auffällt. Wichtig: Ein offenes KI-Modell, wie es Ollama oder LM Studio lokal starten, ist nur ein Ordner mit Gewichtsdateien. Die Diskussion um Replikation dreht sich darum, dass ein Agent mit Dateizugriff diesen Ordner woanders hinkopiert und startet.