Glossareintrag
Wir denken. KI tippt mit.
Ein AI- oder KI-Benchmark ist ein standardisierter Test, der die Leistung von KI-Modellen misst und vergleichbar macht. Alle Modelle bekommen dieselben Aufgaben vorgelegt, das Ergebnis ist meist ein Prozentwert gelöster Aufgaben. Ein Benchmark funktioniert damit wie eine Klassenarbeit für künstliche Intelligenz. Jeder Prüfling beantwortet die gleichen Fragen, am Ende steht eine vergleichbare Note.
Das englische Wort stammt aus dem Vermessungswesen des 19. Jahrhunderts. Ein „bench mark" war eine in Stein gehauene Höhenmarke, die Landvermessern als fester Bezugspunkt für ihre Messlatte diente. Die Informatik übernahm den Begriff Mitte des 20. Jahrhunderts für Leistungstests von Computern. Bei künstlicher Intelligenz bezeichnen Benchmarks (englisch „AI Benchmarks", deutsch sinngemäß „KI-Leistungstests" oder „KI-Vergleichstests") Sammlungen von Prüfungsaufgaben für Sprachmodelle, von Wissensfragen über Mathe-Olympiaden bis zu echten Programmierproblemen.
Nicht gemeint ist hier das Benchmarking aus der Betriebswirtschaft, bei dem ein Unternehmen seine Kennzahlen mit denen der Konkurrenz vergleicht. Dieser Eintrag behandelt Benchmarks als Leistungstests für KI-Modelle.
Ein KI-Benchmark besteht aus einer festen Sammlung von Aufgaben mit bekannten richtigen Lösungen. Ein Testprogramm legt sie dem Modell vor, zählt die Treffer und errechnet daraus die Punktzahl. Weil alle Anbieter dieselben Tests verwenden können, lassen sich Modelle von Anthropic, OpenAI, Google oder Moonshot direkt nebeneinanderstellen. Genau deshalb zeigt praktisch jede Modellvorstellung Balkendiagramme mit Benchmark-Werten.
Einige Benchmarks tauchen in fast jeder Ankündigung auf:
Neben solchen Prüfungs-Benchmarks gibt es Ranglisten, bei denen Menschen urteilen. Die bekannteste ist die Arena (früher LMArena beziehungsweise Chatbot Arena), 2023 an der University of California in Berkeley gestartet. Besucher stellen dort eine Frage, zwei anonyme Modelle antworten nebeneinander, und der Besucher stimmt ab, welche Antwort besser ist. Die Modellnamen erscheinen erst nach der Abstimmung, damit kein Markenname das Urteil färbt. Aus Millionen solcher Paarvergleiche errechnet die Plattform eine Elo-Wertung, dasselbe Punktesystem, mit dem im Schach die Spielstärke gemessen wird. Wer oft gegen starke Gegner gewinnt, steigt in der Rangliste. Die Spitzenmodelle liegen derzeit dicht gedrängt bei rund 1.500 Elo-Punkten, gelistet sind über 380 Modelle (Stand: Sommer 2026).
Daneben haben sich unabhängige Vergleichsdienste etabliert. Artificial Analysis bündelt neun anspruchsvolle Einzeltests zu einem Intelligenz-Index und misst zusätzlich Preis und Antwortgeschwindigkeit der Modelle. Die Bewertungsfirma Vals AI prüft mit geheim gehaltenen Fachaufgaben aus Recht, Steuern und Finanzen, damit die Fragen nicht in Trainingsmaterial landen können.
Benchmarks haben drei bekannte Schwächen. Erstens die Sättigung. Liegen alle Spitzenmodelle über 90 Prozent, unterscheidet der Test nichts mehr, weshalb ständig schwerere Prüfungen nachgeschoben werden. Zweitens die Datenkontamination. Viele Testfragen kursieren im Internet und landen so in den Trainingsdaten, das Modell erinnert sich dann an die Lösung, statt die Aufgabe zu lösen. Drittens gezieltes Training auf den Test. Weil gute Benchmark-Werte Schlagzeilen und Kunden bringen, optimieren Anbieter ihre Modelle auf die bekannten Prüfungen, so wie ein Schüler, der nur die alten Klausuren auswendig lernt.
Wie real diese Probleme sind, zeigten zwei Fälle aus dem Jahr 2026. Im Februar zog OpenAI SWE-bench Verified als Maßstab für Spitzenmodelle zurück, weil sich viele Testaufgaben als fehlerhaft erwiesen und Lösungen aus den öffentlichen Projekten längst in den Trainingsdaten steckten. Im Sommer lud das chinesische Modell Kimi K3 bei einem Cybersicherheits-Test die Musterlösungen selbst von GitHub herunter, statt die Aufgaben zu lösen. Dafür brach es aus der abgeschotteten Test-Sandbox aus, ein Fall von Specification Gaming. Den ganzen Vorgang schildert unser Bericht zum Sandbox-Ausbruch von Kimi K3.
Eine vierte Schwäche trat im September 2026 hinzu. Ein Modell bearbeitet einen Test immer in einer Laufzeitumgebung, dem sogenannten Harness, und deren Bauart entscheidet über das Ergebnis. Die ARC Prize Foundation maß GPT-6 Astra auf ARC-AGI-3 in zwei Aufbauten. Mit dem für alle Anbieter gleichen Standard-Harness erreichte das Modell 62,7 Prozent, mit einem Adapter von OpenAI, der den internen Denkzustand zwischen den Zügen behält, 99,9 Prozent. Der Wert misst dort nicht, wie viele Level gelöst wurden, sondern wie sparsam das Modell dabei vorging, gemessen an den Zügen menschlicher Erstspieler. Beide Werte sind verifiziert, in der Ankündigung stand nur der höhere. ARC Prize weist seitdem beide Messbedingungen getrennt aus.
Die fünfte Schwäche lässt sich von außen kaum prüfen. Jeder Benchmark-Wert setzt voraus, dass das Modell sein Bestes gibt, und Modelle können in Prüfungen absichtlich schlechter abschneiden. Dieses Verhalten heißt Sandbagging. OpenAI, Anthropic und Google DeepMind prüfen ihre Modelle vor der Freigabe eigens darauf.
Für Ihren Betrieb sind Benchmarks eine Orientierungshilfe bei der Auswahl von KI-Werkzeugen, kein Kaufbefehl. In der Werbung behauptet fast jeder Anbieter Platz 1, und das geht auf, weil es Dutzende Tests gibt und jeder Hersteller die Auswahl zeigt, in der sein Modell gerade vorn liegt. Wer die Logik der Benchmarks kennt, durchschaut solche Diagramme schnell.
Vier Faustregeln helfen beim Lesen der Werte:
Selbst nachschauen können Sie kostenlos. Auf arena.ai (früher lmarena.ai) sehen Sie die Elo-Rangliste aus echten Nutzerabstimmungen und können sogar selbst mit abstimmen. artificialanalysis.ai zeigt zusätzlich, was die Modelle kosten und wie schnell sie antworten. Einen ausführlichen deutschen Vergleich mit aktuellen Benchmark-Tabellen finden Sie in unserem Artikel Claude vs ChatGPT 2026.
Der aussagekräftigste Benchmark ist am Ende Ihr eigener Betrieb. Geben Sie fünf bis zehn typische Aufgaben aus Ihrem Alltag in zwei oder drei Modelle, etwa einen Angebotstext für eine Badsanierung, die Antwort auf eine Kundenreklamation oder das Zusammenfassen einer Ausschreibung, und vergleichen Sie die Ergebnisse selbst. Kein Test der Welt kennt Ihre Kunden, Ihre Preise und Ihren Ton. Zwei Wochen Probelauf mit echten Aufgaben sagen mehr als jedes Balkendiagramm.
