Glossareintrag
Wir denken. KI tippt mit.
Compute bei KI (englisch compute, deutsch Rechenleistung oder Rechenaufwand) ist die Menge an Rechenarbeit, die in das Training oder den Betrieb eines KI-Modells fließt. Ihre Maßeinheit ist FLOP (Floating Point Operations, deutsch Gleitkommaoperationen). Eine Gleitkommaoperation ist ein einzelner Rechenschritt mit Dezimalzahlen. Die Rechnung 2,5 × 4,1 + 0,3 besteht aus zwei davon. Das Training eines großen LLMs summiert sich auf Werte wie 1025 FLOP, eine 1 mit 25 Nullen.
Compute ist eine Menge, keine Geschwindigkeit. (Hinweis: Verwechselbar mit FLOPS oder FLOP/s, der Zahl der Gleitkommaoperationen pro Sekunde, mit der Chips und Supercomputer ihr Tempo angeben.) Ein schnellerer Chip liefert dieselbe Trainings-Compute in kürzerer Zeit. An der Gesamtmenge ändert er nichts. Deutsche Behörden und Medien schreiben meist „Rechenleistung“, die Fachwelt sagt „Compute“. In der Modell-Datenbank des Forschungsinstituts Epoch AI heißt die Größe „Training compute“.
Seit 2023 ist Compute auch ein Rechtsbegriff. Die KI-Verordnung der EU nimmt bei einem KI-Modell mit allgemeinem Verwendungszweck (GPAI, General Purpose AI) „Fähigkeiten mit hohem Wirkungsgrad“ an. Voraussetzung ist, dass „die kumulierte Menge der für sein Training verwendeten Berechnungen, gemessen in Gleitkommaoperationen, mehr als 1025 beträgt“ (Artikel 51 Absatz 2 im Amtsblatt). Die Verordnung stuft ein solches KI-Modell damit als Modell mit „systemischem Risiko“ ein. Kalifornien, New York, Illinois und Südkorea setzen ihre FLOP-Schwelle bei 1026, dem Zehnfachen. Alle diese Gesetze zählen nur die Trainings-Compute (Training Compute), nicht die Rechenleistung im laufenden Betrieb, der Inferenz.
Eine einzelne GPU vom Typ Nvidia H100 schafft im Format BF16 rund 989 Billionen Gleitkommaoperationen pro Sekunde. Das Datenblatt der H100 nennt 1.979 TFLOPS mit Sparsity (der Chip überspringt Nullwerte in den Gewichten), ohne Sparsity gilt die Hälfte. Für 1025 FLOP müsste eine H100 rund 320 Jahre ohne Pause rechnen. Anbieter verteilen die Arbeit auf zehntausende Chips. 100.000 H100 bei 40 Prozent Auslastung erreichen 1026 FLOP in etwa 29 Tagen. Laut Epoch AI war Grok 3 von xAI im Februar 2025 das erste KI-Modell über dieser Marke. Nach der Epoch-Schätzung zu Grok 3 lief das Training auf 80.000 H100 über rund drei Monate.
Die Trainings-Compute lässt sich vorab schätzen, ohne dass jemand ins Rechenzentrum schaut. Für dichte Transformer-Modelle, bei denen jeder Parameter an jedem Token mitrechnet, gilt die Faustregel C ≈ 6 × N × D. Gemeint sind sechs Gleitkommaoperationen je Parameter (N) und je Trainings-Token (D). Die Formel geht auf das Scaling-Laws-Paper von OpenAI (2020) zurück. Das Chinchilla-Paper von DeepMind (2022) übernahm sie als „common approximation“, die EU-Kommission führt sie in ihren Leitlinien zu GPAI-Modellen. Beispiel Llama 3 405B: 405 Milliarden Parameter mal 15,6 Billionen Tokens mal 6 ergibt 3,8 × 1025 FLOP. Meta nennt im Llama-3-Paper für das Vortraining exakt diesen Wert, das KI-Modell liegt damit über der EU-Schwelle. Bei Mixture-of-Experts-Modellen zählen nur die je Token aktiven Parameter. DeepSeek-V3 hat 671 Milliarden Parameter, davon sind 37 Milliarden aktiv. Der Technical Report zu DeepSeek-V3 nennt 2,788 Millionen H800-GPU-Stunden für das gesamte Training, Epoch AI rechnet das auf rund 3,3 × 1024 FLOP um. Ein KI-Modell der Spitzengruppe von Anfang 2025 blieb damit unter der EU-Schwelle.
Die Verordnung regelt im Erwägungsgrund 111, was in die Summe gehört. Sie nennt „Vortraining, Generierung synthetischer Daten und Feinabstimmung“, also auch das Fine-Tuning. Die Leitlinien der Kommission vom Juli 2025 lassen eine Fehlertoleranz von 30 Prozent zu und zählen jede Rechenoperation gleich, egal in welcher Präzision. Außerdem klammern sie die Rechenleistung des Lehrer-Modells bei einer Destillation ausdrücklich aus. Dieselben Leitlinien nennen 1023 FLOP als Richtwert, ab dem ein KI-Modell mit Sprach-, Bild- oder Videoausgabe überhaupt als GPAI-Modell gilt. Laut Kommission entspricht das grob einem Modell mit einer Milliarde Parametern, trainiert auf großen Datenmengen.
Compute-Schwellen, Stand September 2026:
China, Japan und das Vereinigte Königreich arbeiten ohne Compute-Schwelle. Chinas Vorschriften für generative KI knüpfen an die Fähigkeit zur öffentlichen Meinungsbildung an. Japans KI-Gesetz von 2025 enthält weder Schwellen noch Strafen.
Lennart Heim und Leonie Koessler vom Centre for the Governance of AI haben in „Training Compute Thresholds“ (2024) zusammengetragen, was für die Rechenleistung als Auslöser spricht. Die Trainings-Compute korreliert mit den Fähigkeiten, ist einfach messbar, vor dem Training bekannt, von außen prüfbar, schwer zu umgehen und wächst mit den Kosten mit. Wer weniger Rechenleistung einsetzt, bekommt in der Regel ein schwächeres Modell. Die Autoren nennen die Schwelle dennoch einen „very crude proxy for risk“, also einen sehr groben Stellvertreter für das Risiko. Sie sei nur ein Vorfilter.
Die Rechenleistung, die für ein festes Leistungsniveau nötig ist, sinkt laut einer Analyse von Epoch AI zum algorithmischen Fortschritt (2024) etwa alle acht Monate um die Hälfte. Eine feste Zahl rutscht damit Jahr für Jahr tiefer ins Mittelfeld. Reasoning-Modelle verlagern außerdem Rechenarbeit vom Training in die Antwort. OpenAI schrieb zum Start von o1 im September 2024, die Leistung steige „with more reinforcement learning (train-time compute) and with more time spent thinking (test-time compute)“. Mit dem ersten Teil ist das Training per Reinforcement Learning gemeint, in dem o1 das lange Nachdenken lernt. Der Oxford-Philosoph Toby Ord hat in „Inference Scaling Reshapes AI Governance“ (2025) vorgerechnet, dass ein mit 1024 FLOP trainiertes KI-Modell mit hochgefahrener Inferenz wie ein 1027-Modell auftreten könnte. Das drohe „this entire approach of training-compute thresholds“ zu brechen. Epoch AI hat im September 2025 mit einem Co-Autor von Google DeepMind eine Untersuchung zu Compute-Schwellen veröffentlicht. Demnach wächst die Trainings-Compute für Reasoning rund alle drei bis fünf Monate um das Zehnfache.
Bei der Destillation übernimmt ein kleines Modell die Fähigkeiten eines großen. New York hatte destillierte Modelle im RAISE Act zunächst eigens erfasst, das Änderungsgesetz vom März 2026 strich die Klausel wieder. Sara Hooker, damals Forschungschefin bei Cohere, schreibt in „On the Limitations of Compute Thresholds“ (2024), FLOP seien kein verlässlicher Anhaltspunkt für die Leistung in konkreten Aufgaben. Für die Wahl von 1025 oder 1026 statt einer anderen Zahl fehle in jedem Regelwerk die Begründung. In Deutschland hielt die DIHK schon im November 2023 in einem Impulspapier zum AI Act fest, für viele Unternehmen sei „die geplante Unterscheidung von Basismodellen aufgrund der Rechenkapazitäten (FLOPs) ein unzureichendes Kriterium, das Innovationen verhindert“.
Ob ein aktuelles Frontier-Modell über den Schwellen liegt, wissen nur Anbieter und Aufsicht. Epoch AI zählte bis Juni 2025 mehr als 30 öffentlich angekündigte Modelle über 1025 FLOP von zwölf Entwicklern. Den Anfang machte GPT-4 im März 2023. Über 1026 liegen nach Epoch-Schätzung Grok 3, GPT-4.5 und Grok 4. Für die Spitzenmodelle seit Mitte 2025, darunter die Gemini-3-Familie, die Claude-5-Familie und GPT-5.x, führt Epoch keine Schätzung mehr. Die Anbieter nennen weder Parameterzahl noch Tokenmenge noch Hardware, aus denen sich der Wert ableiten ließe.
Compute ist auch der größte Kostenblock der Entwicklung künstlicher Intelligenzen. Die Kosten der größten Trainingsläufe wachsen laut Epoch AI seit 2016 um das 2,4-Fache pro Jahr. GPT-4 lag nach der Epoch-Kostenübersicht bei rund 40 Millionen US-Dollar für Hardware und Strom, Grok 4 im Sommer 2025 bei rund 500 Millionen. Cloud-Anbieter rechnen Rechenzeit in GPU-Stunden ab. DeepSeek setzte für V3 zwei US-Dollar je H800-Stunde an und kam so auf die oft zitierten 5,6 Millionen US-Dollar. Die Summe gilt laut Report nur für den finalen Lauf ohne Vorversuche. Der Strombedarf der größten Trainingsläufe verdoppelt sich laut Epoch jährlich und überschritt Mitte 2025 100 Megawatt je Lauf.
Anthropic, OpenAI und xAI nutzten Ende 2025 laut Epoch AI zusammen weniger als vier Millionen H100-Äquivalente, also Rechenleistung umgerechnet in H100-Chips. Das sind etwa 20 bis 30 Prozent des weltweiten KI-Compute, der Rest läuft bei Hyperscalern und anderen Betreibern. Deutschlands schnellster Rechner JUPITER in Jülich erreicht laut TOP500-Liste vom Juni 2026 eine Trillion Gleitkommaoperationen pro Sekunde in doppelter Genauigkeit (1 ExaFLOPS, Platz 5 weltweit). Bei dieser Rate wären 1025 FLOP nach knapp vier Monaten Dauerbetrieb erreicht. Als öffentlicher Forschungsrechner verteilt JUPITER seine Rechenzeit allerdings auf viele Projekte. Die Deutsche Telekom startete Anfang 2026 mit Nvidia die Industrial AI Cloud in München mit bis zu 10.000 Blackwell-GPUs. Nach Telekom-Angabe wächst die KI-Rechenleistung in Deutschland damit um rund 50 Prozent.
Die FLOP-Schwellen treffen keinen Handwerksbetrieb und keine Agentur. Sie richten sich an die Anbieter der KI-Modelle. Nur gut ein Dutzend KI-Entwickler weltweit haben bisher ein Training über 1025 FLOP gestemmt. Wer ChatGPT, Claude oder Gemini per Abo oder API beruflich nutzt, ist im Sinne der KI‑Verordnung Betreiber, nicht Anbieter. Die Pflichten für Modelle mit systemischem Risiko bleiben beim Anbieter. Artikel 4 verpflichtet den eigenen Betrieb, die KI-Kompetenz seiner Mitarbeiter zu fördern (mehr im Überblick zum EU AI Act mit allen Fristen).
Im Alltag taucht Compute als Rechnungsposten auf. Jede Antwort einer KI kostet Rechenleistung. Die Anbieter geben die Kosten über Token-Preise, Abo-Stufen und Nutzungslimits weiter. Die Modellwahl entscheidet über den Preis je Token. Kleine Modelle wie Claude Haiku, Gemini Flash oder die Mini-Varianten von GPT-5 erledigen Kundenmails, Rechtschreibkorrektur und Terminbestätigungen zu einem Bruchteil der Kosten des Spitzenmodells. Auch die Denkzeit kostet. Eine höhere Denkstufe in ChatGPT oder ein höherer „Aufwand“ in Claude bedeutet mehr Test-Time-Compute, also mehr Rechenzeit beim Antworten. Die Antwort wird gründlicher, dauert länger und verbraucht mehr vom Kontingent. Sinnvoll beim Prüfen eines 40-seitigen Leistungsverzeichnisses, überflüssig bei einer Terminabsage. Außerdem zählt die Kontextlänge, denn das KI-Modell verarbeitet jedes angehängte Dokument bei jeder Folgefrage erneut.
Wer Kundendaten nicht in die US-Cloud geben will, mietet Rechenleistung stundenweise oder betreibt kleine Modelle selbst. Ein Open-Weights-Modell läuft per Ollama oder LM Studio auf einem Büro-PC mit Grafikkarte. Für Zusammenfassungen und Angebotsentwürfe reicht diese Form der Edge-KI. Mehr Leistung bieten GPU-Server deutscher Anbieter, z. B. Hetzner mit Standorten in Deutschland und Finnland oder STACKIT von der Schwarz-Gruppe. Hetzner vermietet seine GPU-Server als dedizierte Maschinen (Bare Metal), STACKIT stellt die Grafikkarten in virtuellen Maschinen bereit.
Wer eine eigene KI-Anwendung entwickelt, bekommt Rechenzeit auch aus öffentlicher Hand. Die EU betreibt 19 AI Factories, in Deutschland die JUPITER AI Factory in Jülich und HammerHAI in Stuttgart. Kleine und mittlere Unternehmen sowie Start-ups erhalten dort nach Angabe von EuroHPC kostenlos Rechenleistung und individuelle Unterstützung. Bis spätestens 2028 sollen bis zu sieben AI Gigafactories dazukommen. Auch dort ist die Rechenzeit der EU für Innovationsvorhaben kleiner und mittlerer Unternehmen kostenlos.
