Glossareintrag
Wir denken. KI tippt mit.
Latenz bei KI (englisch Latency) ist die Wartezeit zwischen dem Absenden einer Anfrage und dem Eintreffen der Antwort eines KI-Modells. Bei Sprachmodellen wie ChatGPT, Claude oder Gemini zerfällt diese Antwortzeit in zwei Messgrößen. Die Time to First Token (TTFT) ist die Zeit bis zum ersten Token der Antwort, also bis auf dem Bildschirm das erste Wortstück erscheint. Danach zählt die Ausgabegeschwindigkeit in Tokens pro Sekunde, mit der der Rest der Antwort nachläuft.
Der Chiphersteller NVIDIA zählt in seiner Einführung in die Inferenz-Messung zur TTFT alles, was zwischen Klick und erstem Token liegt. Dazu gehören die Warteschlange beim Anbieter, die Verarbeitung des Prompts und die Laufzeit im Netz. Die Netzwerk-Latenz, die beim Online-Spielen oder in Videokonferenzen als Ping gemessen wird, ist damit nur ein Teil der KI-Latenz. Der größere Teil entsteht meist im Rechenzentrum während der Inferenz.
Bei Reasoning-Modellen kommt vor dem ersten sichtbaren Token eine Denkphase hinzu, die je nach Einstellung Sekunden bis Minuten dauert. Der unabhängige Vergleichsdienst Artificial Analysis misst für solche Modelle die Time to First Answer Token. Laut seiner Messmethodik beginnt diese Messung erst nach der Denkphase. (Hinweis: Das Kürzel TTFT ist verwechselbar mit Test-Time Fine-Tuning, einem Verfahren, das ein Modell zur Laufzeit nachjustiert.)
Das erste Token einer Antwort benötigt am längsten, weil ein Sprachmodell in zwei Phasen arbeitet. In der Prefill-Phase liest es den kompletten Prompt samt Anhängen und bisherigem Gesprächsverlauf auf einmal ein und berechnet daraus einen Zwischenspeicher, den KV-Cache. Dieser Schritt ist rechenintensiv und wächst mit der Länge der Eingabe. Ein 100-seitiges PDF im Kontextfenster verlängert die TTFT spürbar. Laut NVIDIAs Doku zu Latenz-Metriken verlängern längere Prompts die TTFT, während längere Antworten den Rechenaufwand für jedes weitere Token wachsen lassen.
In der Decode-Phase entsteht die Antwort Token für Token. Für jedes einzelne Token muss der Chip alle Parameter des Modells erneut aus dem Speicher laden. Das Tempo begrenzt hier die Speicherbandbreite, nicht die Rechenleistung. Google beschreibt im Rückblick auf Speculative Decoding ein Missverhältnis. KI-Hardware schafft hunderte Billionen Rechenoperationen pro Sekunde, der Speicher liefert aber nur Billionen Bytes pro Sekunde, der Chip wartet die meiste Zeit auf Daten. Cerebras baut aus diesem Grund seine Wafer Scale Engine mit dem Speicher direkt auf dem Chip. Groq gibt für den On-Chip-Speicher seiner LPU-Prozessoren über 80 Terabyte pro Sekunde an, rund zehnmal so viel wie der externe Speicher einer GPU.
Aus beiden Phasen folgt die Faustformel, die Databricks im Leitfaden zur Inferenz-Leistung aufstellt. Gesamtzeit = Time to First Token + Anzahl der Antwort-Tokens × Zeit pro Token. Ein Modell mit 0,5 Sekunden TTFT und 50 Tokens pro Sekunde liefert eine Antwort von 500 Tokens nach 10,5 Sekunden. Daraus leitet OpenAI im Leitfaden zur Latenz-Optimierung ab, dass eine halb so lange Antwort rund die Hälfte der Zeit spart, ein halb so langer Prompt dagegen nur 1 bis 5 Prozent. Für das Lesen zählt ein weiterer Wert. Eine Studie der University of Michigan zum Text-Streaming kam zu dem Ergebnis, dass Nutzer eine kurze TTFT und ein gleichmäßiges Token-Tempo nahe ihrer Lesegeschwindigkeit als gute Qualität empfinden, nicht den maximalen Durchsatz.
Bei Reasoning-Modellen verschiebt sich das Bild. Sie erzeugen vor der Antwort Denk-Tokens, die Anthropic laut der Doku zum Thinking als Ausgabe abrechnet und deren Menge über eine Aufwandsstufe (Effort) gesteuert wird. Dieselbe Stellschraube heißt bei OpenAI reasoning effort mit der Stufe „none“ für zeitkritische Aufgaben (bei Modellen, die diese Stufe unterstützen) und bei Google thinkingLevel mit „low“ als Einstellung für minimale Latenz. In der Modell-Rangliste von Artificial Analysis benötigte GPT-6 Astra am 5. September 2026 bis zum ersten Antwort-Token auf der Stufe „medium“ 8 Sekunden, auf „high“ 33 Sekunden und auf „max“ 250 Sekunden. Die Ausgabegeschwindigkeit blieb auf allen Stufen nahezu gleich bei rund 60 Tokens pro Sekunde. Ein Modell ohne Denkphase wie Gemini 2.5 Flash-Lite in der Non-Reasoning-Variante lag am selben Tag laut seiner Modellseite bei Artificial Analysis bei 0,31 Sekunden. Die Denkphase ist damit eine Einstellung, die Sekunden gegen Gründlichkeit tauscht.
Techniken gegen die Wartezeit:
Die Netzlaufzeit sinkt nur durch räumliche Nähe. Edge-KI rechnet direkt auf dem Gerät und spart den Weg ins Rechenzentrum komplett. Apple gab 2024 für sein On-Device-Modell auf dem iPhone 15 Pro eine TTFT von 0,6 Millisekunden pro Prompt-Token und 30 Tokens pro Sekunde an. Googles Gemini Nano auf Android-Geräten arbeitet ebenfalls ohne Netzverbindung.
Am Telefon entscheidet die Latenz, ob Anrufer eine KI als Gesprächspartner akzeptieren. Menschen antworten im Gespräch am häufigsten nach einer Pause von 0 bis 200 Millisekunden, wie die Studie von Stivers und Kollegen über zehn Sprachen gemessen hat. Die Telefonnorm ITU-T G.114 stuft eine Verzögerung von 150 Millisekunden als unauffällig ein und setzt bei 400 Millisekunden die Grenze für die Netzplanung. Eine EEG-Studie aus dem Max-Planck-Institut für Psycholinguistik hat gemessen, dass Hörer eine Pause von einer Sekunde vor der Antwort bereits als Zögern lesen und eine Absage erwarten (Studie „Never Say No“). Laut einer Studie zu Gesprächsverzögerungen von 2014 schreiben Anrufer die Verzögerung dem Gegenüber zu, nicht der Technik. Der Gesprächspartner gilt ihnen dann als weniger aufmerksam. Ein Voice Agent, der zwei Sekunden schweigt, lässt das Unternehmen unaufmerksam wirken, nicht die Software.
Eine Telefon-KI in Kaskaden-Bauweise addiert vier Laufzeiten, Spracherkennung, Sprachmodell, Sprachausgabe und Telefonnetz. ElevenLabs schlüsselt in seinem Beitrag zur Latenz von Sprachagenten die Erkennung mit rund 150 Millisekunden und die Sprachausgabe mit rund 75 Millisekunden auf, den größten Posten stellt die TTFT des Sprachmodells. Anbieter werben mit Werten um 600 Millisekunden. Die unabhängige Messung von Openbenchmarks über 2.078 Gesprächsschritte realer Telefonate kam 2026 auf Mediane zwischen 1,3 Sekunden (Telnyx) und 1,7 Sekunden (Retell) bis zum ersten hörbaren Ton. Das österreichische Unternehmen fonio.ai nannte im Mai 2025 für seine deutschsprachige Telefon-KI 0,9 Sekunden im Schnitt. Speech-to-Speech-Modelle wie OpenAIs Realtime API und Googles Live API verarbeiten Audio direkt und lassen die Umwege über Text weg, OpenAI begründet damit die niedrigere Latenz für Sprachschnittstellen.
Wer einen KI-Telefonassistenten prüft, misst am besten selbst nach. Erst ein Testanruf mit Stoppuhr, gemessen vom eigenen Verstummen bis zum ersten Wort der KI, mehrmals und zu unterschiedlichen Tageszeiten. Dann die Frage an den Anbieter nach dem Median und dem 95-Prozent-Wert seiner Antwortzeit, denn ein Median von 0,8 Sekunden hilft wenig, wenn jeder zwanzigste Anrufer drei Sekunden wartet. Der Anbieter Parloa empfiehlt in seiner Analyse zur Sprachlatenz, solche Perzentile in den Vertrag zu schreiben.
Beim Chatbot auf der Website gelten die drei Grenzen, die Jakob Nielsen 1993 für Software beschrieben hat und die die Nielsen Norman Group bis heute anführt. Bis 0,1 Sekunden wirkt eine Reaktion unmittelbar, bis 1 Sekunde bleibt der Gedankenfluss erhalten, nach 10 Sekunden wandert die Aufmerksamkeit ab. Ein Chatbot, der die Antwort streamt, unterschreitet die Sekundengrenze mit dem ersten Wort und hält den Besucher auf der Seite, auch wenn die komplette Antwort acht Sekunden dauert. Ein Bot, der acht Sekunden lang nur drei Punkte anzeigt, verliert ihn.
Im Büroalltag ist die Latenz eine Frage der Modellwahl. Googles deutsche Hilfe zu den Gemini-Modellen beschreibt Flash-Lite als auf Schnelligkeit ausgelegt und warnt beim Pro-Modell vor längeren Antwortzeiten, beim Modus Deep Think kann die Antwort einige Minuten dauern. Anthropic führt Claude Haiku 4.5 in seiner Modellübersicht als schnellstes Modell, und höhere Aufwandsstufen beim Denken verlängern laut Hilfeseite zu Modell- und Denk-Einstellungen die Antwortzeit. Für die Kundenmail, die Rechtschreibprüfung im Angebot oder die Zusammenfassung eines Lieferanten-Newsletters reicht das schnelle Modell ohne Denkmodus, die Antwort steht nach wenigen Sekunden. Wer dagegen ein Aufmaß mit 40 Positionen gegen das Angebot prüfen lässt, wählt eine höhere Denkstufe und nimmt eine Minute Wartezeit in Kauf, weil das Modell in dieser Zeit rechnet statt zu raten.
Wer KI in eigene Abläufe einbaut, z. B. per Make, Zapier oder direkt über die API, kann an mehreren Stellen ansetzen. Die Ausgabe kurz halten, weil jedes gesparte Token die Antwort direkt verkürzt. Streaming einschalten, wo ein Mensch zuschaut. Wiederkehrende Anleitungen und Vorlagen per Prompt Caching hinterlegen. Und ein Modell mit „Flash“, „mini“ oder „Haiku“ im Namen wählen, wenn die Aufgabe kein Denkmodell verlangt. OpenAI ergänzt im Latenz-Leitfaden einen weiteren Punkt. Wo eine klassische Berechnung genügt, gehört gar kein Sprachmodell hin. Rechnungen nach Betrag zu sortieren erledigt ein Stück gewöhnlicher Programmcode in Millisekunden.
