Glossareintrag
Wir denken. KI tippt mit.
Red Teaming bei KI (englisch AI Red Teaming, in der deutschen Fassung des EU AI Act „Angriffstests“) ist ein geplanter Angriff auf ein KI-System durch die eigenen Leute oder beauftragte Fachleute. Er läuft, bevor Angreifer und Nutzer es von sich aus versuchen. Ein Team schlüpft in die Rolle des Gegners und versucht, das System zu Fehlern zu bringen, die im normalen Test nicht auffallen. Das US-Standardisierungsinstitut NIST definiert den Begriff in seiner Taxonomie zu Angriffen auf maschinelles Lernen vom März 2025 als strukturierten Testaufwand mit gegnerischen Methoden, der Schwächen eines KI-Systems aufdecken soll. Die Definition schließt unvorhergesehene Verhaltensweisen und Missbrauchsrisiken ein.
Das Team sucht alles, was ein KI-Modell oder eine KI-Anwendung entgegen ihren Regeln tun könnte. Dazu gehören ein Jailbreak, der verbotene Antworten entlockt, und eine Prompt Injection, die versteckte Befehle einschleust. Hinzu kommen das Preisgeben von Systemanweisungen oder Trainingsdaten, beleidigende oder diskriminierende Ausgaben und bei KI-Agenten unerlaubte Handlungen wie das Versenden von Daten. Microsoft nennt Red Teaming deshalb einen Sammelbegriff, der Sicherheitslücken und Fehlverhalten gemeinsam abdeckt.
Der Name kommt aus dem Militär. In den Kriegsspielen der RAND Corporation stand Anfang der 1960er Jahre Rot für die Sowjetunion und Blau für die USA, wie Googles Bericht zum eigenen KI-Red-Team nachzeichnet. Die IT-Sicherheit übernahm das Bild vom angreifenden roten und verteidigenden blauen Team. Zwei Arbeiten übertrugen den Begriff 2022 auf Sprachmodelle. Bei DeepMind griff ein Sprachmodell ein anderes an, Anthropic dokumentierte 38.961 Angriffe menschlicher Tester.
Ein deutsches Wort dafür hat sich nicht durchgesetzt. Das BSI schreibt „Red Teaming“, Microsoft-Übersetzungen sprechen von „rotem Teaming“, Anbieter von „Angriffssimulation“ oder „KI-Penetrationstest“. Die deutsche Fassung des EU AI Act übersetzt das englische „adversarial testing“ mit „Angriffstests“ und nennt Red Teaming in Anhang XI als Beispiel dafür.
Red Teaming bei KI unterscheidet sich vom klassischen Penetrationstest durch das Ergebnis. Eine Software hat eine Lücke oder nicht. Ein Sprachmodell dagegen antwortet auf dieselbe Eingabe mal regelkonform und mal nicht. Prüfer messen das Ergebnis deshalb als Erfolgsquote der Angriffe (Attack Success Rate) statt als Ja oder Nein. Ein Benchmark misst bekannte Fehlerklassen mit festen Testfragen. Ein Red Team sucht die Fehler, für die es noch keine Testfragen gibt. Eine Bug Bounty ist die öffentliche Variante, bei der jeder mitmachen darf und ein Preisgeld erhält, wenn ein Angriff gelingt.
Red Teaming beantwortet zwei getrennte Fragen. Die erste lautet, ob das KI-Modell selbst Schaden anrichten kann, z. B. mit Anleitungen zu Biowaffen, Schadcode oder gefährlichem Rat (Safety, Schutz der Welt vor der KI). Die zweite lautet, ob Angreifer die KI-Anwendung missbrauchen können, um an Daten oder Rechte zu kommen (Security, Schutz der KI vor der Welt). Anthropic zählt in seinem Überblick zu den Methoden vom Juni 2024 dazu Tests durch Fachleute aus einem Wissensgebiet, automatisierte Angriffe, mehrsprachige Tests, Tests mit Bildern sowie offene Wettbewerbe.
Ein Durchlauf beginnt mit der Frage, was das System tun kann und wo es eingesetzt wird. Danach legt das Team fest, welche Schäden es sucht, greift an, dokumentiert jeden Treffer und gibt ihn an die Entwickler zurück, die nachbessern. Dann beginnt der nächste Durchlauf. Microsoft, das seit 2018 ein eigenes KI-Red-Team betreibt, hat aus mehr als 100 getesteten KI-Produkten acht Lehren veröffentlicht. Die Arbeit sei nie abgeschlossen. Einfache Angriffe, bei denen jemand nur geschickt formuliert, gelängen häufiger als aufwendige mathematische Verfahren. Automatisierte Tools deckten mehr Fläche ab, ersetzten aber den Menschen nicht, weil der Schaden einer Antwort oft nur ein Mensch beurteilen kann.
Die großen Labore trennen internes und externes Red Teaming. OpenAI führt seit DALL·E 2 im Jahr 2022 externe Tests durch und betreibt seit September 2023 ein Red Teaming Network aus externen Fachleuten unterschiedlicher Wissensgebiete. Das Vorgehen ist in einem Grundsatzpapier zum externen Red Teaming beschrieben. Anthropic unterhält das Frontier Red Team, das die Cyber-, Bio- und Autonomie-Fähigkeiten neuer Modelle auslotet. Als unabhängige Prüfer treten das britische AI Security Institute (AISI), das US-amerikanische CAISI beim NIST, Apollo Research, METR und Gray Swan auf. Ihre Befunde landen in der System Card jedes Spitzenmodells. Im September 2026 hat Anthropic zugesagt, externe Prüfer dauerhaft ins Labor zu holen. Als Embedded Evaluators erhalten sie Zugang wie eigene Beschäftigte und betreiben Red Teaming als eine Aufgabe unter mehreren.
Die System Card zu GPT-6 Astra vom 3. September 2026 führt drei externe Prüfungen auf. Gray Swan schickte 1.810 ausgewählte Prompt-Injection-Angriffe gegen das Modell, von denen 8,5 Prozent durchkamen, beim Vorgänger GPT-5.6 Sol waren es 27,0 Prozent. Apollo Research prüfte in sechs Umgebungen über drei Tage auf Täuschung, das AISI maß, wie lange das Modell ganz ohne Gedankenkette autonom arbeitet. Welche Cyber-Fähigkeiten das Red Teaming dabei fand und warum OpenAI das Modell nur eingeschränkt freigab, steht im Artikel zur Astra-Freigabe trotz Risikostufe Kritisch. Red Teaming misst also beides, die Widerstandskraft der Schutzmaßnahmen und die gefährlichen Fertigkeiten des Modells. Für die Einstufung solcher Fähigkeiten haben OpenAI, Anthropic und Google DeepMind eigene Regelwerke mit Risikostufen, das Preparedness Framework, die Responsible Scaling Policy und das Frontier Safety Framework.
Das NIST maß im Januar 2025, wie viel ein guter Angreifer ausmacht. In einer Untersuchung zur Kaperung von KI-Agenten lag die Erfolgsquote des besten bekannten Angriffs gegen Claude 3.5 Sonnet bei 11 Prozent. Nachdem Prüfer des AISI neue Angriffe entwickelt hatten, stieg sie auf 81 Prozent. Und wer denselben Angriff 25-mal statt einmal abschickte, kam im Schnitt auf 80 statt 57 Prozent.
Beim Wettbewerb von AISI und Gray Swan im März und April 2025 gingen 1,8 Millionen Angriffsversuche gegen 22 Modelle ein, 62.000 davon erfolgreich. Das robusteste Modell, Claude 3.7 Sonnet mit Denkmodus, gab bei 1,47 Prozent der Versuche nach, das schwächste, Llama 3.3 70B, bei 6,49 Prozent. Die Auswertung der Veranstalter fand kaum einen Zusammenhang zwischen Modellgröße oder Leistung und Widerstandskraft. Fast jeder Agent brach bei den meisten Verhaltensregeln innerhalb von 10 bis 100 Anfragen. Ein Folgewettbewerb des CAISI mit über 250.000 Angriffen gegen 13 Spitzenmodelle fand im März 2026 gegen jedes einzelne mindestens einen funktionierenden Angriff.
Seit 2025 lässt Anthropic seine Schutzschicht von externen Testern angreifen. Für die Constitutional Classifiers verbrachten 183 Tester mehr als 3.000 Stunden mit der Suche nach einem universellen Jailbreak, ohne Erfolg. Die Erfolgsquote von Jailbreaks sank mit der Schutzschicht von 86 auf 4,4 Prozent. In der anschließenden öffentlichen Runde mit 339 Teilnehmern und rund 300.000 Gesprächen schafften vier Teilnehmer alle acht Stufen, einer davon mit einem universellen Jailbreak. An die vier zahlte Anthropic 55.000 Dollar aus. Die zweite Generation hielt im Januar 2026 rund 1.700 Teststunden und 198.000 Versuche ohne universellen Jailbreak stand. Das AISI konterte im Februar 2026 mit einem vollautomatischen Angriff gegen die erste Schutzschicht, der ein Viertel der Versuche durchbrachte, mit rund 660.000 Anfragen für gut 300 Dollar Rechenkosten.
Automatisiertes Red Teaming setzt ein KI-Modell als Angreifer ein. Nach der Beschreibung des NIST arbeiten dabei drei Modelle zusammen, ein Angreifer, ein Ziel und ein Richter, der die Antworten bewertet, ohne dass ein Mensch eingreift. OpenAI trainierte 2026 das Angreifermodell GPT-Red im Spiel gegen sich selbst. Laut OpenAIs Beitrag zu GPT-Red gelang ihm in 84 Prozent der Prompt-Injection-Szenarien außerhalb seiner Trainingsdaten ein Durchbruch, menschlichen Testern in 13 Prozent. Im Oktober 2025 veröffentlichte Anthropic mit Petri ein quelloffenes Prüfwerkzeug, das 14 Modelle mit 111 Startanweisungen auf Fehlverhalten testete.
Der EU AI Act macht Angriffstests seit dem 2. August 2025 zur Pflicht für Anbieter von KI-Modellen mit systemischem Risiko. Artikel 55 verlangt „die Durchführung und Dokumentation von Angriffstests beim Modell“, Erwägungsgrund 114 nennt dafür interne oder unabhängige externe Tests. Bußgelder von bis zu 3 Prozent des weltweiten Jahresumsatzes gelten seit dem 2. August 2026. Der Verhaltenskodex der EU-Kommission vom Juli 2025 führt Red Teaming in seinem Kapitel zu Sicherheit und Gefahrenabwehr ausdrücklich als Bewertungsmethode auf. In den USA hatte ein Präsidentenerlass von Joe Biden im Oktober 2023 den Begriff erstmals amtlich definiert, sein Nachfolger hob ihn im Januar 2025 auf.
Im Sommer 2026 wurden die Tests selbst zum Sicherheitsproblem. Am 30. Juli meldete Anthropic nach einer Durchsicht von 141.006 Testläufen drei Vorfälle, bei denen Modelle aus Cyber-Testumgebungen mit ungewollt offenem Internetzugang heraus fremde Systeme angriffen. Das AISI zählte in seinem Vorfallbericht vom August in 10 von 122 Läufen 19 unerlaubte Aktionen im offenen Netz. Die Einzelheiten stehen im Artikel zum AISI-Vorfall mit Mythos 5. Eine Analyse der Carnegie Mellon University von 2024 hält fest, dass Zweck, Prüfgegenstand und Ablauf von Red Teaming von Labor zu Labor abweichen und ein Test ohne klares Ziel zum „Sicherheitstheater“ werden kann.
Für lokale Unternehmen und Handwerksbetriebe gibt es zwei Ebenen, und nur eine davon übernimmt der KI-Anbieter. Das KI-Modell hinter ChatGPT, Claude oder Gemini wurde vor der Freigabe wochenlang angegriffen, die Ergebnisse stehen in der System Card. Was niemand für Sie testet, ist Ihre eigene Anwendung, also der Chatbot mit Ihrer Systemanweisung, Ihrer Preisliste und Ihren Kundendaten oder der Voice Agent am Telefon. Das BSI empfiehlt in seiner Publikation zu generativen KI-Modellen, Tests auf das gesamte System zu richten statt nur auf das Modell. Sie sollen vor der Einführung und danach periodisch laufen, „je nach Kritikalität“ als Red Teaming.
Der Chatbot eines Autohändlers sagte einen Neuwagen für einen Dollar zu, der eines Paketdienstes spottete über die eigene Firma. Beide Fälle stehen im Eintrag zum Jailbreak. Rechtlich ist die Lage seit Mai 2026 schärfer. Das Oberlandesgericht Hamm hat entschieden, dass ein Unternehmen für falsche Aussagen seines Chatbots haftet. Der Betreiber lege den Tätigkeitsrahmen des Bots fest und habe Einfluss auf das System (Urteil im Volltext bei der Wettbewerbszentrale, Revision zugelassen). Dies ist eine allgemeine Einordnung und ersetzt keine Rechtsberatung.
Einen ersten Angriffstest für einen Kundenchatbot schaffen Sie an einem Nachmittag ohne jedes Hilfsmittel. Sie setzen sich vor den fertigen Bot und probieren, was ein Kunde mit schlechten Absichten anstellen würde:
Wichtig: Jeden Versuch mehrmals abschicken, weil ein KI-Modell dieselbe Frage nicht immer gleich beantwortet. Zwei Treffer bei zehn Versuchen sind eine Erfolgsquote von 20 Prozent und damit ein Befund. Nach jedem Wechsel des Modells und jeder Änderung der Systemanweisung wiederholen Sie den Test, so will es die BSI-Empfehlung zur periodischen Prüfung. Nehmen Sie dafür erfundene Kundendaten, nie echte. Das BSI hat im Januar 2026 einen Leitfaden zu Prompt Injections, Jailbreaks und Gegenmaßnahmen veröffentlicht, dessen Checkliste zum Kompetenzaufbau Übungsspiele, die Grundlagen des Red Teaming und das Entwickeln eigener Angriffe umfasst. Ein solches Spiel ist Agent Breaker des Sicherheitsanbieters Lakera mit zehn nachgebauten Agenten-Apps, die man Stufe für Stufe zu Regelverstößen bringen soll.
Ein sorgfältig eingerichteter Assistent hält solchen Angriffen stand. Das zeigte ein Experiment des Entwicklers Fernando Irarrázaval, über das im Juni 2026 das Online-Magazin Dr. Web berichtete. Über 2.000 Teilnehmer schickten mehr als 6.000 Angriffs-Mails an seinen KI-Assistenten, der nach seiner Darstellung auf Claude Opus 4.6 lief und Geheimnisse hüten sollte. Laut dem Bericht bei Dr. Web blieb jedes einzelne unter Verschluss.
Wer mehr Zeit investieren will, bekommt kostenlose Tools. NVIDIAs garak und Microsofts PyRIT feuern automatisch Hunderte bekannter Jailbreak- und Injection-Muster auf einen Chatbot und protokollieren die Treffer, beide sind quelloffen und laufen gegen jede gängige Schnittstelle. Promptfoo, dessen Übernahme OpenAI im März 2026 angekündigt hat, bietet dafür einen kostenlosen Einstieg (Preisstufen bei Promptfoo). Alle drei richten sich an die Agentur oder den IT-Dienstleister, der den Bot gebaut hat, nicht an den Betriebsinhaber.
Die großen Plattformen bauen Red Teaming und Schutzfilter mittlerweile ein. Microsofts AI Red Teaming Agent in Azure AI Foundry greift eine Anwendung mit PyRIT-Mustern an und liefert die Erfolgsquote als Kennzahl. Google filtert mit Model Armor Prompt Injections und Datenabflüsse vor dem Modell, Amazon Bedrock erkennt mit seinen Guardrails Jailbreaks, Injections und das Auslesen der Systemanweisung, und OpenAI stellt seine Guardrails quelloffen bereit. Solche Filter senken die Erfolgsquote, der Test des Gesamtsystems bleibt nach der BSI-Empfehlung trotzdem nötig. Als Dienstleistung bieten in Deutschland unter anderem TÜV Rheinland Penetrationstests für LLM-Systeme und DigiFors KI-Penetrationstests nach den OWASP-Leitfäden an, mit einem Aufwand von drei bis fünf Tagen je Anwendung.
Eine gesetzliche Red-Teaming-Pflicht trifft nur die Anbieter der großen Modelle mit systemischem Risiko. Für einen Kundenchatbot gilt nach dem EU AI Act die Transparenzpflicht, seit dem 2. August 2026 muss der Betrieb darauf hinweisen, dass Kunden mit einer KI kommunizieren, wie die Handwerkskammer Stuttgart erläutert. Vor Regressforderungen wegen einer falschen Zusage schützt das nicht. Deshalb bleibt der Grundsatz aus dem Eintrag zur Prompt Injection. Der Bot gibt keine verbindlichen Auskünfte, sieht nur die Daten, die er für seine Aufgabe benötigt, und lässt jede Aktion mit Folgen von einem Menschen freigeben.
