Glossareintrag
Wir denken. KI tippt mit.
Guardrails bei KI (deutsch Leitplanken, seltener Schutzfilter oder Sicherheitsfilter) sind eine eigene Prüfschicht um ein Sprachmodell herum. Sie liest jede Eingabe und jede Antwort mit und darf beides durchlassen, blockieren, verändern oder an einen Menschen übergeben. Nach NVIDIAs Beschreibung soll der quelloffene Werkzeugkasten NeMo Guardrails unsichere, themenfremde, bösartige oder regelwidrige Nutzereingaben und Modellantworten blockieren, ändern oder prüfen. Amazon nennt seine Bedrock Guardrails einstellbare Schutzvorkehrungen für generative KI-Anwendungen.
Der Begriff ist ein Wort der Branche, keine amtliche Definition. Die KI-Verordnung der EU arbeitet mit anderen Wörtern. Sie verlangt in Artikel 55 von den Anbietern großer Modelle mit systemischem Risiko, eben diese Risiken zu bewerten und zu mindern und Angriffstests zu dokumentieren. Für den Betreiber eines Kundenchatbots gilt der Artikel nicht. Breit gebräuchlich wurde das Wort erst mit NeMo Guardrails, das NVIDIA im April 2023 veröffentlichte. Ein Übersichtspapier definiert einen Guardrail als Verfahren, das eine Ein- oder Ausgabe prüft und daraus ableitet, ob und wie eingegriffen wird (Building Guardrails for Large Language Models, Februar 2024).
Alignment und RLHF formen das Verhalten im Modell selbst, während des Trainings. Die Systemanweisung ist Text im Kontextfenster, den das Modell befolgen soll, aber nicht befolgen muss. Ein Guardrail dagegen ist ein eigenes Stück Software vor und hinter dem Modell. Es entscheidet unabhängig davon, was das Modell gerade für richtig hält.
Anthropic beschreibt seine Sicherheitsarbeit als mehrere Schichten und führt die Echtzeitprüfung getrennt vom Training auf. Sie läuft über eigene Klassifikatoren, also darauf spezialisierte Claude-Modelle, die Regelverstöße im laufenden Betrieb erkennen sollen (Anthropic zum Aufbau seiner Schutzmechanismen, August 2025). Wer eine KI-Anwendung baut, kann eine solche Schicht ein- und ausschalten, protokollieren und messen. Am Training des Modells kann er nichts ändern.
NVIDIA unterscheidet in NeMo Guardrails, an welcher Stelle eine Leitplanke ansetzt:
Bei einem KI-Agenten entsteht der Schaden erst, wenn er handelt. Im Agents SDK von OpenAI laufen Werkzeug-Guardrails deshalb bei jedem abgesicherten Funktionsaufruf. Schlägt einer an, löst er eine Reißleine aus und bricht den Lauf ab. Blockiert die Prüfung schon die Eingabe, spart das laut derselben Doku Tokens und verhindert Nebenwirkungen der Werkzeuge.
Die einfachste Bauart sind Wortlisten und reguläre Ausdrücke. Sie arbeiten mit exakten Treffern, z. B. um Konkurrenznamen zu sperren. Daneben stehen eigens trainierte Prüfmodelle wie Metas Llama Guard 4, das mit 12 Milliarden Parametern Text und Bilder gemeinsam bewertet und in vierzehn Gefahrenklassen einsortiert. Andere Guardrails lassen ein Sprachmodell das andere prüfen. Wieder andere kümmern sich um die Form statt um den Sinn und erzwingen ein gültiges Antwortformat. Das quelloffene Guardrails AI nennt solche Bausteine Validatoren und kennt für den Fehlerfall acht mögliche Reaktionen, darunter Abbruch, Korrektur, Filtern und erneutes Nachfragen.
Einen Sonderweg geht Amazon mit den Automated Reasoning checks. Statt Muster abzugleichen, beweisen sie mit formaler Logik, ob eine Antwort den hinterlegten Regeln widerspricht. Laut derselben Doku meldet die Prüfung nur und blockiert nicht. Sie erkennt weder Prompt Injection noch themenfremde Antworten, und sie arbeitet bislang ausschließlich auf Englisch. AWS empfiehlt deshalb ausdrücklich die Kombination mit den übrigen Filtern.
Fast jeder große Anbieter hat mittlerweile ein eigenes Produkt dafür:
Wie gut das wirkt, kann gemessen werden. Anthropic senkte mit der ersten Generation seiner Klassifikatoren die Erfolgsquote von Jailbreak-Versuchen von 86 auf 4,4 Prozent und fand in rund 3.000 Stunden Red Teaming keinen universellen Angriff. Die zweite Generation vom Januar 2026 hielt 198.000 Angriffsversuche aus, ohne dass ein durchgängiger Jailbreak gelang. Schwerwiegende Funde blieben bei 0,005 je 1.000 Anfragen übrig.
Unabhängige Messungen kommen auf ähnliche Werte. In der IPI Arena von Gray Swan schickten 464 Angreifer über 272.000 Versuche gegen dreizehn Spitzenmodelle, ausgewertet gemeinsam mit dem britischen KI-Sicherheitsinstitut und dem US-Zentrum für KI-Standards. Claude Opus 4.5 fiel in 0,5 Prozent der Fälle herein, Gemini 2.5 Pro in 8,5 Prozent. Eine einzige Angriffsvorlage funktionierte mit kleinen Anpassungen in 21 von 41 Szenarien und bei neun verschiedenen Modellen.
Das US-Institut NIST hat 2025 eine Agenten-Anwendung gezielt nachgetestet. Dabei kam der stärkste Standardangriff auf 11 Prozent, ein eigens entwickelter dagegen auf 81. Wer jeden Angriff 25 Mal wiederholte, hob den Durchschnitt von gut der Hälfte auf vier Fünftel (NIST zur Bewertung von Agenten-Übernahmen). Ein veröffentlichter Wert gilt immer nur gegen die Angriffe, die getestet wurden.
Filter schließen Prompt Injection nach übereinstimmender Einschätzung der Fachstellen nicht. Die OWASP-Liste der zehn größten LLM-Risiken führt Prompt Injection auf Platz eins und hält in der Fassung 2026 fest, dass es bis heute keinen zuverlässigen Schutzmechanismus dagegen gibt. Das britische National Cyber Security Centre schrieb im Dezember 2025, solche Angriffe ließen sich möglicherweise nie so vollständig beheben wie eine SQL-Injection. Auch OpenAI selbst hält eine vollständige Lösung für unwahrscheinlich und vergleicht das Problem mit Betrug im Web. Das BSI stuft indirekte Prompt Injections schon in seiner Cyber-Sicherheitswarnung von 2023 als intrinsische Schwachstelle ein, als Schwäche also, die in der Technologie selbst angelegt ist.
Die im Juni 2025 veröffentlichte Lücke EchoLeak in Microsoft 365 Copilot hat die CVE-Nummer CVE-2025-32711 und den Schweregrad 9,3. Eine einzige präparierte E-Mail reichte, um Firmendaten abfließen zu lassen, ganz ohne Klick des Empfängers. Der Angriff umging vier Schutzschichten nacheinander, nämlich Microsofts Klassifikator gegen eingeschleuste Anweisungen, das Unkenntlichmachen von Links, die Sperre für automatisch geladene Bilder und die Regeln für erlaubte Zieladressen (technische Analyse von EchoLeak). Microsoft schloss die Lücke serverseitig und meldete keine Ausnutzung im Feld.
Wiederkehrende Schwachstellen laut Studien:
Filter irren auch in die andere Richtung. Ein zu strenger Filter blockiert harmlose Anfragen und macht den Assistenten unbrauchbar. Der Prüfsatz XSTest enthält dafür 250 vollkommen harmlose Fragen, die gefährlich klingen. Llama 2 in der 70-Milliarden-Variante verweigerte davon 38 Prozent rundheraus. Die Ursache benennen die Autoren als Überanpassung an einzelne Wörter. Das Modell achtet also auf Vokabeln statt auf den Zusammenhang. Ein Vergleich von zwanzig Prüfmodellen vom Juni 2026 zeigt denselben Zielkonflikt durchgängig. Wer mehr Schädliches erkennt, blockiert auch mehr Harmloses.
Anthropics erste Klassifikator-Generation kostete 23,7 Prozent zusätzlichen Rechenaufwand, die zweite noch rund ein Prozent. Bei Amazon lässt sich für Antworten im Fließtext zwischen zwei Betriebsarten wählen. Synchron prüft jeden Textabschnitt vor der Anzeige und erhöht die Antwortzeit. Asynchron zeigt sofort an und blockiert erst, sobald der Filter anschlägt (AWS zu Guardrails bei Streaming). Google rät in seinen Empfehlungen zu Model Armor, nur die benötigten Prüfungen einzuschalten, weil jede weitere Zeit kostet. Preise stehen auf den Seiten von Amazon Bedrock und Azure AI Content Safety.
Guardrails bei KI wirken für lokale Unternehmen und Handwerksbetriebe auf zwei Ebenen. Die eine liegt beim Anbieter. Wer ChatGPT, Claude oder Gemini nutzt, bekommt deren Klassifikatoren mitgeliefert, ohne etwas einstellen zu können. Die andere Ebene ist die eigene Anwendung, also der Chatbot auf der Firmenwebsite oder der Voice Agent am Telefon. Dort entscheidet allein der Betrieb, welche KI-Leitplanken stehen.
Einen Schalter „antworte nur aus meinen Dokumenten“ hat für den Kundenchat kein einziger der gängigen Anbieter. Und ein Feld „nenne keine Preise“ gibt es nirgends. Beides läuft über die Anweisung an den Bot, und die ist im Sinne dieses Eintrags kein Guardrail, sondern eine Bitte. Eigene Schalter gibt es dagegen für anderes:
Unter den geprüften Sprachanbietern hat nur ElevenLabs fertige Leitplanken im Reiter „Security“, laut Doku allerdings noch im Alpha-Stadium. Der Focus Guardrail hält den Agenten beim Thema, der Manipulation Guardrail erkennt eingeschleuste Befehle, der Content Guardrail prüft die Antwort, und ein eigener Guardrail lässt sich in normalem Deutsch formulieren. Bei einem Verstoß wählt man zwischen erneutem Versuch und Gesprächsende (Guardrails-Doku von ElevenLabs). Bei Vapi läuft die inhaltliche Begrenzung dagegen über die Anweisung. Dessen Vorlage für Sprachagenten verbietet ausdrücklich, Werte wie Preise, Termine, Richtlinien oder Rabatte zu erfinden.
Die Regeln schreibt der Betrieb also selbst. In jede Anweisung gehören diese:
Anschließend testet der Betrieb, ob die Regeln halten. Wie ein solcher Angriffstest abläuft, steht im Eintrag zum Red Teaming. Wichtig: Der zweite Test läuft in die andere Richtung. Zwanzig normale Kundenfragen durchspielen und zählen, wie oft der Bot ausweicht, obwohl er antworten dürfte. Ein Filter, der harmlose Fragen blockiert, kostet Aufträge, und dieser Fehler fällt im Alltag niemandem auf, weil der Kunde einfach weggeht.
Eine Leitplanke kommt ganz ohne Technik aus. Jede Handlung mit Folgen bekommt eine menschliche Freigabe, und für alles, was der Bot nicht kann, gibt es einen dokumentierten Weg zum Menschen. Chatbase nennt das Escalate to Human und legt als Auslöser unter anderem fest, dass der Bot übergibt, sobald er die Antwort nicht kennt. Tidio hinterlegt für die Übergabe vorformulierte Texte, getrennt danach, ob gerade Mitarbeiter online sind. Wer den Bot außerhalb der Sprechzeiten laufen lässt, sollte diese Texte einmal selbst lesen, bevor Kunden sie lesen.
Im Firmenkonto liegen die Leitplanken woanders, nämlich beim Datenzugriff. Bei ChatGPT Business und Enterprise gilt laut OpenAIs Datenschutzseite für Unternehmen, dass Geschäftsdaten standardmäßig nicht zum Training verwendet werden. Microsoft formuliert für Copilot in der deutschen Doku ebenso, dass Prompts, Antworten und Daten aus Microsoft Graph nicht ins Training fließen. Bei Google gilt die Zusage laut Privacy Hub ohne vorherige Erlaubnis des Kunden, ist also etwas enger formuliert.
Ein Assistent im Firmenkonto liest alles, worauf der angemeldete Mitarbeiter Zugriff hat, und das ist in gewachsenen Ablagen oft mehr als gedacht. Zum Eingrenzen bietet Microsoft im SharePoint-Verwaltungsbereich die Einstellung Inhalt von Microsoft Copilot einschränken an (Eingeschränkte Inhaltsermittlung), die die Vorgängerfunktion Eingeschränkte SharePoint-Suche ablöst. Deren Neuaktivierung ist laut dieser Seite seit dem 31. Juli 2026 gesperrt. Google bündelt die Ablageorte unter Speicherorte für Daten, und die smarten Funktionen sind für Domains im Europäischen Wirtschaftsraum ab Werk abgeschaltet.
Das Oberlandesgericht Hamm hat im Mai 2026 entschieden, dass ein Unternehmen für die Aussagen seines Chatbots haftet. Seit dem 2. August 2026 gilt außerdem die Informationspflicht aus Artikel 50 Absatz 1 der KI-Verordnung. Nutzer müssen erkennen können, dass sie mit einer KI sprechen, es sei denn, das ist offensichtlich. Die Pflicht richtet sich dem Wortlaut nach an die Anbieter der Systeme. Ein Betrieb mit eingekauftem Chatbot ist dagegen Betreiber. Ihn trifft seit Februar 2025 primär Artikel 4, der von Anbietern und Betreibern gleichermaßen Maßnahmen zur KI-Kompetenz des eigenen Personals verlangt. Zuständige Aufsicht in Deutschland ist seit dem 29. Juli 2026 die Bundesnetzagentur, die dafür einen KI-Service-Desk für kleine Unternehmen eingerichtet hat. Dies ist eine allgemeine Einordnung und ersetzt keine Rechtsberatung.
Leitplanken senken die Trefferquote von Angriffen, sie machen den Bot nicht sicher. Selbst bei den Spitzenmodellen der großen Labore bleiben in unabhängigen Messungen Erfolgsquoten im niedrigen einstelligen Bereich übrig, und ein Kundenchatbot aus dem Baukasten ist nicht besser geschützt als die getesteten Systeme. Deshalb gilt der Grundsatz aus dem Eintrag zur Prompt Injection unverändert. Der Bot sieht nur, was er für seine Aufgabe benötigt, sagt nichts Verbindliches, und alles mit Folgen geht über einen Menschen.
