Was bedeutet
LLM-Gateway bei KI/AI (AI Gateway, KI-Gateway)?

Cloudflare kündigte am 27. September 2023 die Beta seines AI Gateway an. Sie brachte Zwischenspeicher, Nutzungslimits, Auswertungen und automatisches Ausweichen auf ein anderes Modell mit. Für den Einbau genügte laut Cloudflare der Tausch einer einzigen URL (Cloudflare-Ankündigung des AI-Gateway). Kong stellte sein AI‑Gateway am 15. Februar 2024 als Open Source vor (Ankündigung des Kong AI Gateway). 2026 wurde die Kategorie zum Übernahmeziel. Palo Alto Networks schloss am 29. Mai 2026 den Kauf von Portkey ab und machte es zum Gateway seiner Sicherheitsplattform Prisma AIRS (Pressemitteilung von Palo Alto Networks zur Portkey-Übernahme). Stripe vereinbarte am 19. August 2026 die Übernahme von OpenRouter, laut Stripe mit über 400 Modellen von mehr als 80 Anbietern (Stripe-Mitteilung zur OpenRouter-Übernahme). Knapp drei Monate zuvor hatte OpenRouter laut TechCrunch 113 Millionen US-Dollar bei einer Bewertung von 1,3 Milliarden eingesammelt und rund 25 Billionen Token pro Woche verarbeitet (TechCrunch zur OpenRouter-Finanzierung). Anthropic liefert seit Ende Juni 2026 ein eigenes, selbst gehostetes Gateway für Claude Code mit (Anthropic-Ankündigung des Claude apps gateway). Es leitet Anfragen wahlweise an die Claude-API, Amazon Bedrock oder Google Cloud.

Typische Funktionen:

• Eine Schnittstelle für alle Modelle. Als gemeinsame Sprache dient meist das Chat-Completions-Format von OpenAI. OpenRouter bezeichnet sich als „drop-in replacement“ für OpenAI. Jedes SDK mit OpenAI-Unterstützung funktioniert dort ohne Änderung (OpenRouter-FAQ). Cloudflare nimmt Modelle im Schema „anbieter/modell“ entgegen (Cloudflare-Doku zur Unified API). Anthropic und Google bieten selbst OpenAI-kompatible Endpunkte an. Anthropic stuft seine Kompatibilitätsschicht ausdrücklich nicht als produktionsreif ein. Die Schicht übergeht nicht unterstützte Felder ohne Fehlermeldung, das Prompt-Caching fällt weg (Anthropic-Doku zur OpenAI-SDK-Kompatibilität, Google-Doku zur OpenAI-Kompatibilität von Gemini).
• Schlüsselverwaltung. Der API-Key des Anbieters bleibt im Gateway. Anwendungen und Mitarbeiter bekommen eigene Gateway-Schlüssel. LiteLLM nennt sie Virtual Keys. Verlässt jemand das Unternehmen, sperrt der Admin nur dessen Gateway-Zugang. Der Anbieterzugang bleibt unberührt (LiteLLM-Doku zu Budgets und Virtual Keys).
• Budgets und Token-Limits. Vercel setzt Budgets je Team, Projekt, Schlüssel und Mitglied, die sich täglich, wöchentlich oder monatlich erneuern. Bei Überschreitung antwortet das Gateway mit dem Fehlercode 402 (Vercel-Doku zu Budgets). Azure API Management begrenzt Token pro Minute und Kontingente bis zum Jahreswert je Abonnementschlüssel oder IP‑Adresse. Auf Wunsch schätzt es die Eingabe-Token vor dem Weiterleiten, damit eine zu lange Anfrage den Anbieter gar nicht erst erreicht. So teilen sich mehrere Anwendungen das Nutzungslimit des Anbieters.
• Routing und Ausweichmodell. Das Gateway hält eine Reihenfolge von Ersatzmodellen bereit und schaltet bei Fehlern, Überlastung oder erschöpftem Limit weiter, siehe Failover. Der Lastenausgleich von Microsoft kennt Round-Robin, Gewichtung, Priorität und Sitzungsbindung. Über die Gewichtung bekommt ein neues Modell im Canary-Release zunächst nur einen kleinen Teil der Anfragen. Ein Sicherungsautomat übernimmt die Sperrzeit aus dem Header „Retry-After“ des Anbieters.
• Zwischenspeicher. Gleiche Anfragen bekommen die gespeicherte Antwort. Beim semantischen Caching wandelt das Gateway den Prompt in einen Vektor um und vergleicht ihn mit früheren Anfragen. Liegt eine ähnliche Anfrage nah genug, kommt deren Antwort ohne Modellaufruf zurück. Azure setzt dafür Azure Managed Redis ein. Die Autoren des Open-Source-Projekts GPTCache haben bei Treffern eine zwei- bis zehnfach schnellere Antwort gemessen (GPTCache-Paper in der ACL Anthology). Eine Studie von 2024 hat in Tests bis zu 68,8 Prozent weniger API-Aufrufe erreicht (Paper „GPT Semantic Cache“ auf arXiv). Der Preis ist die Fehlerquote. Zwei Fragen können sich ähneln und trotzdem eine andere Zahl, ein anderes Datum oder eine Verneinung enthalten. Der Schwellenwert für die Ähnlichkeit ist der einzige Schutz.
• Protokoll und Kostenzuordnung. Das Gateway hält zu jeder Anfrage Modell, Token, Kosten, Dauer und Nutzer fest. Microsoft gibt Token-Metriken je Verbraucher an Application Insights weiter. Die Zeitschrift iX verglich im Mai 2026 Helicone, Kong, LiteLLM und Portkey als Tools gegen die Überraschung bei der ersten KI-Monatsrechnung (iX-Vergleich von KI-Gateways zur Kostenkontrolle).
• Schutzfilter. Das Gateway prüft Prompts und Antworten, bevor sie weitergehen. Cloudflare bietet dafür Guardrails an, die Inhalte markieren oder blockieren (Cloudflare-Doku zu Guardrails). Azure moderiert Prompts mit Azure-KI-Inhaltssicherheit, Google mit Model Armor, das auch Prompt Injection und personenbezogene Daten erkennt (Google-Doku zu Model Armor). In der OWASP-Liste der zehn größten Risiken für LLM-Anwendungen betrifft das die Punkte Prompt Injection, Offenlegung sensibler Informationen und unbegrenzter Verbrauch (OWASP Top 10 für LLM-Anwendungen).

Ein Gateway ist ein zusätzliches Glied in der Kette und bringt eigene Risiken mit. Zuerst der Ausfall des Gateways selbst. OpenRouter meldete für den 17. Februar 2026 einen Zeitraum von 25 Minuten, in dem 80 bis 90 Prozent aller Anfragen scheiterten. Am 19. Februar fiel der Dienst 29 Minuten lang fast vollständig aus. Ursache war eine ausgefallene Cache-Abhängigkeit (OpenRouter-Bericht zu den Ausfällen im Februar 2026). Wer alle Anbieter über ein Gateway anspricht, hat in solchen Minuten keinen einzigen. Beim KI-Ausfall vom 3. September 2026 waren ChatGPT, Claude und Grok innerhalb weniger Stunden gestört. Ein Gateway hilft dann nur, wenn in seiner Ersatzliste ein Anbieter steht, der nicht mitbetroffen ist. Dann die Latenz. LiteLLM misst für seinen Proxy einen Eigenanteil von 8 Millisekunden im 95. Perzentil bei 1.000 Anfragen pro Sekunde (LiteLLM-Benchmarks). Neben Antwortzeiten von mehreren Sekunden fällt das kaum auf. Sprachassistenten am Telefon spüren jede Verzögerung. Risiko drei ist der stille Funktionsverlust. Ein Gateway, das alle Anbieter auf das OpenAI-Format bringt, reicht anbietereigene Funktionen wie Prompt-Caching oder die strenge Schemaprüfung beim Function Calling nicht immer durch. Die Anfrage läuft trotzdem, nur ohne Fehlermeldung und ohne den Cache-Rabatt.

Der Datenschutz ist das vierte Risiko. Ein Gateway sieht jeden Prompt und jede Antwort im Klartext und protokolliert sie je nach Anbieter von sich aus. Bei Cloudflare sind Logs mit Anfrage- und Antwortinhalt für jedes Gateway standardmäßig eingeschaltet und lassen sich im Dashboard oder per Header abschalten (Cloudflare-Doku zum Logging). OpenRouter speichert Prompts und Antworten nach eigener Angabe standardmäßig nicht und gewährt für das freiwillige Einschalten 1 Prozent Rabatt (OpenRouter-FAQ zum Logging). Die Verarbeitung innerhalb der EU bekommen nur Firmenkunden auf Anfrage (OpenRouter-Doku zu Datenschutz und Logging). Vercel leitet Anfragen auf Wunsch nur an Anbieter, die keine Prompt-Daten aufbewahren (teamweit gegen Aufpreis, Vercel-Doku zu Zero Data Retention). Ein fremd betriebenes Gateway verarbeitet die Daten in der Regel im Auftrag. Es benötigt denselben Vertrag zur Auftragsverarbeitung und dieselbe Datenresidenz wie der Modellanbieter. Die Datenschutzkonferenz verlangt in ihrer Orientierungshilfe zu KI und Datenschutz, die datenschutzrechtliche Rolle jedes Beteiligten vor dem Einsatz zu klären (Orientierungshilfe der DSK zu KI und Datenschutz). Eine Aussage speziell zu KI-Gateways gibt es von DSK oder BSI bisher nicht. Wer den Datenweg selbst kontrollieren will, betreibt ein Open-Source-Gateway wie LiteLLM, Kong oder agentgateway auf eigenem Server.

OpenRouter und Vercel reichen die Token-Preise der Anbieter ohne Aufschlag weiter. Gebühren entstehen an anderer Stelle. OpenRouter berechnet beim Aufladen von Guthaben 5,5 Prozent, Cloudflare bei seiner Sammelabrechnung 5 Prozent auf das gekaufte Guthaben (OpenRouter-FAQ zu Gebühren, Preisseite des Cloudflare AI Gateway). Vercel verlangt weder Aufschlag noch Plattformgebühr, berechnet aber Zusatzfunktionen wie Berichte oder Zero Data Retention einzeln (Preisseite des Vercel AI Gateway). Portkey und Helicone rechnen pauschal nach der Zahl der protokollierten Anfragen ab (Preisseite von Portkey, Preisseite von Helicone). LiteLLM ist beim Selbstbetrieb kostenlos, die Zusatzfunktionen für Firmen sind lizenzpflichtig (Preisseite von LiteLLM). Wer nur eine Anwendung an einen Anbieter anschließt, benötigt kein Gateway. Microsoft schreibt für diesen Fall, dass ein Token-Limit direkt an der Modellbereitstellung reicht. Die SDKs der Anbieter wiederholen gescheiterte Anfragen von sich aus. Ein Gateway lohnt sich, sobald mehrere Anwendungen, mehrere Teams oder mehrere Anbieter an derselben Rechnung hängen. Menlo Ventures befragte im November 2025 rund 500 US‑Entscheider. 40 Prozent der Unternehmensnutzung über API entfielen auf Anthropic, 27 Prozent auf OpenAI und 21 Prozent auf Google. 2023 hatte OpenAI noch die Hälfte gehalten (Menlo-Ventures-Studie zu generativer KI in Unternehmen 2025). Wer den Anbieter nach Preis und Leistung wechselt, ändert im Gateway eine Zeile statt in jeder Anwendung den Code.