Glossareintrag
Wir denken. KI tippt mit.
Der MMLU-Pro Benchmark (Kurzform für Massive Multitask Language Understanding Pro) ist ein KI-Benchmark, der Fachwissen und Denkvermögen großer Sprachmodelle (LLMs) mit 12.032 Multiple-Choice-Fragen aus 14 Wissensgebieten misst. Die Spannweite reicht von Mathematik und Physik über Jura und Ingenieurwesen bis Wirtschaft. Jede Frage bietet bis zu zehn Antwortmöglichkeiten statt der sonst üblichen vier. Die Chance, allein durch Raten richtig zu liegen, sinkt damit von 25 auf 10 Prozent.
Entwickelt hat den Test das akademische Forschungsteam TIGER-Lab um den KI-Forscher Wenhu Chen. Vorgestellt wurde er im Juni 2024 im Fachaufsatz „MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark“ und auf der Fachkonferenz NeurIPS 2024 angenommen. MMLU-Pro ist der verschärfte Nachfolger des MMLU-Tests von 2020, auf dem sich die Spitzenmodelle mit Werten von 86 bis 87 Prozent kaum noch unterscheiden ließen.
Rund 57 Prozent der Fragen stammen aus dem alten MMLU und haben eine Qualitätsprüfung überstanden, die übrigen 5.222 Fragen sind neu. Sie kommen aus Aufgabensammlungen wie TheoremQA und SciBench sowie von naturwissenschaftlichen Lernplattformen; ein Team aus mehr als zehn Fachexperten hat die Fragen geprüft. Die größten Blöcke stellen Mathematik (1.351 Fragen), Physik (1.299) und Chemie (1.132), dazu kommen u. a. Jura, Ingenieurwesen, Wirtschaft, Gesundheit und Psychologie. Der komplette Datensatz steht unter MIT-Lizenz frei auf Hugging Face, den Auswertungscode veröffentlicht das Team auf GitHub.
Der Neubau war nötig, weil das Original zwei Schwächen hatte. Die Ergebnisse der Topmodelle lagen so dicht beieinander, dass der Test nichts mehr unterschied. Und der Datensatz selbst enthielt Fehler. Die Prüfstudie „Are We Done with MMLU?“ fand in einer Stichprobe rund 6,5 Prozent fehlerhafte Fragen, im Teilgebiet Virologie galten sogar 57 Prozent als problematisch.
MMLU-Pro verschärft die Prüfung messbar. Dieselben Modelle verlieren gegenüber MMLU laut dem Fachaufsatz 16 bis 33 Prozentpunkte. Schwankungen durch unterschiedlich formulierte Prompts sinken von 4 bis 5 auf rund 2 Prozent. Außerdem belohnt der Test schrittweises Denken. Modelle, die ihre Antwort erst Schritt für Schritt herleiten, schneiden deutlich besser ab; beim alten MMLU brachte diese Technik kaum Vorteile.
Eine Beispielfrage aus dem Wirtschaftsteil verlangt den Fachbegriff für eine Preisstrategie, bei der der Preis unter dem der Konkurrenz angesetzt wird, um Marktanteile zu gewinnen. Zur Auswahl stehen zehn Begriffe von der Abschöpfungs- bis zur Premium-Preisstrategie, richtig ist die Penetrationsstrategie (Penetration Pricing). In Mathematik und Physik verlangen viele Aufgaben mehrstufige Berechnungen statt reiner Wissensabfrage.
Im Sommer 2026 liegen die Spitzenmodelle auf dem unabhängigen Vergleichsportal Artificial Analysis bei knapp 90 Prozent, darunter die Vorschau-Version von Gemini 3 Pro mit 89,8 und Claude Opus 4.5 mit 89,5 Prozent. Die Spitzengruppe trennen dort nur noch wenige Zehntelpunkte, womit sich MMLU-Pro dem Zustand nähert, den er einst beheben sollte. In den Ankündigungen neuer Spitzenmodelle stehen heute härtere Prüfungen wie GPQA oder Humanity's Last Exam im Vordergrund, MMLU-Pro-Werte führen vor allem unabhängige Ranglisten weiter.
Kritik richtet sich vor allem gegen das Multiple-Choice-Format, das Modelle über Formatmuster ausnutzen können, und gegen Fehler im Datensatz. Das TIGER-Lab hat seit 2024 mehrfach Fragen korrigiert, zuletzt im Januar 2026 Formatierungsfehler in den naturwissenschaftlichen Teilen.
Im Betriebsalltag setzen Sie MMLU-Pro nicht selbst ein; sein Nutzen liegt in der Modellauswahl. Der Wert hilft, wenn Sie vor einer Tool-Entscheidung KI-Modelle vergleichen, z. B. für Angebotstexte, Kalkulationen oder das Beantworten von Kundenanfragen.
Für den Vergleich reichen zwei Faustregeln. Werte über 85 Prozent markieren das aktuelle Spitzenfeld, und Abstände von ein bis zwei Punkten können Sie ignorieren. Wichtiger ist, was der Test nicht misst. Er prüft englische Ankreuzfragen, aber weder deutsche Texte noch Telefonate oder selbstständiges Arbeiten als KI-Agent. Ein Modell mit Spitzenwert kann im Alltag trotzdem halluzinieren.
Für spezielle Fähigkeiten gibt es eigene Tests. Werkzeug- und API-Nutzung misst das BFCL, Mathematik auf Wettbewerbsniveau der AIME-Benchmark. Ein aktueller MMLU-Pro-Wert taugt deshalb als erster Filter. Die endgültige Wahl entscheidet der Test mit den eigenen Aufgaben, z. B. einem echten Angebotstext oder einer typischen Kundenanfrage aus Ihrem Betrieb.
