Glossareintrag
Wir denken. KI tippt mit.
Inferenz (englisch Inference) ist die Nutzungsphase eines fertig trainierten AI-/KI-Modells. Das Modell erhält eine neue Eingabe, etwa eine Frage oder ein Foto, und berechnet daraus eine Antwort oder Vorhersage. Jede einzelne Antwort von ChatGPT, Claude oder Gemini ist technisch gesehen eine Inferenz.
Der Begriff grenzt den laufenden Betrieb vom Training ab. Beim Training lernt das Modell aus riesigen Mengen an Trainingsdaten und stellt dabei seine inneren Parameter ein. Das geschieht einmalig pro Modellversion und kostet die Hersteller Millionen. Die Inferenz läuft danach dauerhaft, bei jeder Nutzung aufs Neue. Ein Vergleich aus dem Berufsleben macht es greifbar. Das Training ist die Ausbildung, die Inferenz ist der Arbeitsalltag danach.
Das Wort stammt vom englischen inference, auf Deutsch Schlussfolgerung. Gemeint ist, dass ein trainiertes KI-Modell aus neuen, nie gesehenen Daten Schlüsse zieht. Mit der logischen Inferenz aus der Philosophie oder der statistischen Inferenz, also dem Schließen von einer Stichprobe auf die Gesamtheit, ist der KI-Begriff nur entfernt verwandt. Wer in einem KI-Text auf „Inferenz" stößt, kann fast immer davon ausgehen, dass schlicht der Betrieb des Modells gemeint ist.
Bei Sprachmodellen läuft jede Inferenz in zwei Schritten ab. Zuerst liest das Modell den kompletten Prompt in einem Rutsch ein, diese Phase heißt Prefill. Danach erzeugt es die Antwort Token für Token, also Wortbaustein für Wortbaustein, wobei jedes neue Token auf allen vorherigen aufbaut. Deshalb erscheint die Antwort eines Chatbots sichtbar „tippend" auf dem Bildschirm. Das ist keine Show-Animation, sondern die Inferenz in Echtzeit. Weil dabei Milliarden Rechenoperationen parallel anfallen, laufen große Sprachmodelle auf spezialisierten Grafikchips (GPUs) in Rechenzentren. Gewöhnliche Büro-Prozessoren wären dafür viel zu langsam.
Inferenz ist der eigentliche Kostentreiber im KI-Geschäft. Das Training ist eine einmalige Investition pro Modellversion, die Inferenz fällt dagegen bei jeder Nutzung erneut an. Nach einer Erklärung des IBM-Forschungsblogs zur AI Inference verbringt ein KI-Modell bis zu 90 Prozent seiner Lebenszeit in dieser Betriebsphase, deren Gesamtkosten die Trainingskosten deutlich übersteigen.
Genau deshalb rechnen die Hersteller ihre Programmierschnittstellen (APIs) pro Million verarbeiteter Token ab. Bei OpenAI kostet das Mittelklasse-Modell GPT-5.6 Terra 2 US-Dollar pro Million Eingabe-Token und 12 US-Dollar pro Million Ausgabe-Token, Anthropics Sparmodell Claude Haiku 4.5 liegt bei 1 und 5 US-Dollar. Offene Modelle über spezialisierte Inference-Anbieter wie Together AI oder DeepInfra gibt es bereits für wenige Cent pro Million Token. Wer nicht sofort eine Antwort braucht, zahlt noch weniger, denn für Sammelverarbeitung über Nacht (Batch) gewähren OpenAI, Anthropic und Google 50 Prozent Rabatt. Die Preise fallen insgesamt rasant. Laut dem Stanford AI Index sanken die Inferenzkosten auf dem Leistungsniveau von GPT-3.5 zwischen Ende 2022 und Ende 2024 von 20 US-Dollar auf rund 7 US-Cent pro Million Token.
Auch der Ressourcenverbrauch einer einzelnen Inferenz lässt sich mittlerweile beziffern. Google veröffentlichte im August 2025 als erster großer Anbieter Messwerte, wonach eine mittlere Textanfrage an Gemini 0,24 Wattstunden Strom benötigt, so viel wie rund neun Sekunden Fernsehen, dazu etwa 0,26 Milliliter Wasser für die Kühlung der Rechenzentren.
Inferenz läuft dabei längst nicht mehr nur in der Cloud der Modellhersteller. Vier Betriebsorte haben sich etabliert:
Wirtschaftlich gilt Inferenz als das nächste große Rennen der KI-Branche. Marktforscher von Grand View Research erwarten ein Wachstum des weltweiten Inference-Markts von rund 97 Milliarden US-Dollar im Jahr 2024 auf etwa 254 Milliarden US-Dollar bis 2030. Nvidia-Chef Jensen Huang erklärte auf der Hausmesse GTC im März 2026, der Wendepunkt der Inferenz sei erreicht. Das Geldverdienen mit KI verlagert sich damit vom Trainieren der Modelle zu ihrem Betrieb.
Sie nutzen Inferenz bereits jeden Tag, meist ohne den Begriff zu kennen. Jede Antwort von ChatGPT, Claude oder Gemini ist eine Inferenz, ebenso jede auf dem iPhone diktierte Nachricht (die Spracherkennung läuft dort bei den meisten Sprachen lokal auf dem Gerät) und jede aussortierte Werbemail. Googles Spamfilter blockiert nach eigenen Angaben über 99,9 Prozent aller Spam- und Phishing-Mails per maschinellem Lernen.
Richtig wichtig wird der Begriff, sobald ein Betrieb KI-Funktionen über eine Schnittstelle einkauft, etwa für die automatische Beantwortung von Kundenanfragen oder die Angebotserstellung. Die monatliche KI-Rechnung ist dann eine reine Inferenz-Rechnung, abgerechnet nach verbrauchten Token. Wer das versteht, kann gezielt sparen. Für einfache Daueraufgaben wie das Vorsortieren von E-Mail-Anfragen oder kurze Textentwürfe reicht oft ein kleines, günstiges Modell, das nur einen Bruchteil des Spitzenmodells kostet. Konkrete Zahlen dazu stehen im Preisvergleich Claude vs. ChatGPT 2026.
Für Betriebe mit sensiblen Kundendaten ist der Betriebsort der Inferenz ein Datenschutz-Hebel. Mit dem kostenlosen Programm Ollama laufen offene Modelle direkt auf einem gut ausgestatteten Büro-PC, sodass kein Kundendatum das Gebäude verlässt. Das eignet sich etwa für das Zusammenfassen interner Dokumente oder Textentwürfe mit echten Kundennamen.
Wer Inferenz einmal bewusst erleben möchte, kann sie im kostenlosen KI-Playground Google AI Studio ausprobieren. Dort lässt sich live beobachten, wie die Antwort Token für Token entsteht, und nebenbei anzeigen, wie viele Token eine Anfrage verbraucht. Ein Google-Konto genügt, eine Kreditkarte ist nicht nötig.
