Glossareintrag
GPQA (Graduate-Level Google-Proof Q&A Benchmark, sinngemäß „googlesicherer Wissenstest auf Doktoranden-Niveau") ist ein Prüfungs-Datensatz aus 448 Multiple-Choice-Fragen der Fächer Biologie, Physik und Chemie, mit dem die Fachkompetenz großer Sprachmodelle gemessen wird. Alle Fragen stammen von Wissenschaftlern mit Doktortitel oder im Promotionsstudium und sind so schwer, dass selbst promovierte Fachleute im Schnitt nur rund 65 Prozent richtig beantworten. Vorgestellt wurde der Benchmark im November 2023 von einem Team um David Rein an der New York University, gemeinsam mit Forschern von Cohere und Anthropic.
Der Namensbestandteil „Google-Proof" beschreibt die Kernidee. Fachfremde Testpersonen mit unbegrenztem Internetzugang und mehr als 30 Minuten Zeit pro Frage erreichten nur 34 Prozent richtige Antworten, nicht viel mehr als die Ratewahrscheinlichkeit von 25 Prozent bei vier Antwortmöglichkeiten. Wer GPQA besteht, muss den Stoff wirklich durchdringen, Nachschlagen im Internet genügt nicht.
GPQA existiert in drei Varianten, von denen heute fast nur noch die kleinste eine Rolle spielt. Das Extended Set umfasst alle 546 erstellten Fragen, das Main Set die 448 Fragen mit bestätigter Qualität. KI-Labore und Ranglisten berichten inzwischen fast ausschließlich GPQA Diamond, eine Auslese von 198 Fragen, bei denen beide prüfenden Fachexperten richtig lagen, die Mehrheit der fachfremden Tester aber scheiterte. Diamond vereint also genau die Fragen, die eindeutig lösbar und zugleich am schwersten sind.
Hinter dem Datensatz steckt ein aufwendiges Prüfverfahren. Jede Frage wurde von einer Person mit Doktortitel oder im Promotionsstudium geschrieben, anschließend von zwei weiteren Experten desselben Fachs kontrolliert und zusätzlich von drei hochqualifizierten, aber fachfremden Personen mit Internetzugang getestet. Inhaltlich dominieren schwere Aufgaben aus der organischen Chemie, der Physik (etwa Quantenmechanik) und der Molekularbiologie. Ursprünglich diente GPQA der Forschung an skalierbarer Aufsicht, also der Frage, wie Menschen KI-Modelle kontrollieren können, die ihnen fachlich überlegen sind. Alle Details stehen im frei zugänglichen GPQA-Original-Paper auf arXiv.
Die Ergebnisgeschichte zeigt im Zeitraffer, wie schnell sich Sprachmodelle entwickelt haben:
Genau dieser Erfolg ist inzwischen das größte Problem des Tests. Wenn alle Spitzenmodelle über 90 Prozent erreichen, lassen sich kaum noch Unterschiede messen, Fachleute sprechen von einem gesättigten Benchmark. Anthropic etwa erklärte den Test laut Branchenberichten bei der Vorstellung seiner 2026er-Modelle für ausgereizt und will die Werte künftig nicht mehr ausweisen. Die Forschungsorganisation Epoch AI schätzt außerdem grob, dass bis zu 8 Prozent der Diamond-Fragen fehlerhaft oder mehrdeutig sein könnten, ein Teil der verbleibenden Fehlerquote ginge demnach auf den Test selbst zurück und nicht auf die Modelle.
Ein zweiter Kritikpunkt ist die mögliche Kontamination. Der komplette Fragenkatalog liegt öffentlich im Netz und kann in die Trainingsdaten neuer Modelle rutschen, spezielle Erkennungszeichen (Canary-Strings) sollen solche Fälle erkennbar machen, bieten aber keine Garantie. Als härtere Nachfolger für die Spitzenmodelle gelten deshalb Prüfungen wie Humanity's Last Exam und FrontierMath. Verwandte Wissenstests aus derselben Benchmark-Familie erklären unsere Glossareinträge zu MMLU-Pro und AIME.
Einen direkten Einsatz im Betriebsalltag hat GPQA nicht, sein praktischer Nutzen liegt bei der Auswahl des richtigen KI-Modells. Wenn OpenAI, Google oder Anthropic ein neues Modell vorstellen, taucht der GPQA-Diamond-Wert fast immer in der Ankündigung auf. Er verrät, wie zuverlässig ein Modell bei fachlich anspruchsvollen Aufgaben argumentiert, zum Beispiel wenn Sie es Normen, technische Datenblätter oder Sicherheitsdatenblätter auswerten lassen.
Für die Einordnung solcher Zahlen reichen drei Faustregeln:
Wie sich Benchmark-Werte in eine konkrete Kaufentscheidung für den Betrieb übersetzen, zeigt unser ausführlicher Vergleich Claude vs ChatGPT 2026 mit Preisen, API-Kosten und Benchmarks.
