Glossareintrag
Wir denken. KI tippt mit.
GRPO bei KI (englisch: Group Relative Policy Optimization, deutsch etwa: gruppenrelative Policy-Optimierung) ist ein Lernverfahren für Sprachmodelle. Das KI-Modell erzeugt zu einer Aufgabe mehrere Antworten auf einmal, und jede Antwort wird daran gemessen, ob sie besser oder schlechter ausfällt als der Durchschnitt dieser Gruppe. Antworten über dem Durchschnitt werden im Modell wahrscheinlicher, Antworten darunter unwahrscheinlicher. GRPO ist eine Spielart des Reinforcement Learning und eine Abwandlung von PPO (Proximal Policy Optimization), dem bis dahin üblichen Verfahren beim RLHF. PPO benötigt neben dem Sprachmodell ein zweites, meist gleich großes Modell, den Kritiker (Critic oder Value Model). Der Kritiker sagt für jede Antwort voraus, wie gut sie wahrscheinlich ausfällt, und der Lernschritt richtet sich nach dem Abstand zu dieser Vorhersage. GRPO streicht den Kritiker und nimmt stattdessen den Durchschnitt der Gruppe als Vergleichswert. Anders als DPO, das aus fertigen Antwortpaaren lernt, erzeugt GRPO seine Antworten während des Trainings selbst.
DeepSeek stellte GRPO im Februar 2024 im Paper DeepSeekMath vor, als Verfahren für ein Mathe-Modell mit 7 Milliarden Parametern. Populär wurde es im Januar 2025 mit DeepSeek-R1, einem offenen Reasoning-Modell, das bei Mathe- und Logikaufgaben laut Paper mit OpenAI o1 gleichzog. Seitdem steht GRPO oder eine seiner Varianten im Trainingsrezept vieler offener Denkmodelle, darunter Qwen3 von Alibaba, Magistral von Mistral und Phi-4-reasoning-plus von Microsoft.
Das Wort Policy steht im Reinforcement Learning für die Strategie, nach der ein Modell handelt, bei einem Sprachmodell also für die Regel, nach der es das nächste Wort wählt. Eine feste deutsche Übersetzung gibt es nicht. Erklärseiten schreiben „gruppenrelative Policy-Optimierung“, „gruppenrelative Strategieoptimierung“ oder lassen den Begriff englisch. Maschinelle Übersetzungen wie „Optimierung der relativen Gruppenpolitik“ führen in die Irre. Mit Politik hat das Verfahren nichts zu tun. (Hinweis: Verwechselbar mit RLOO, dem REINFORCE Leave-One-Out von Kool u. a. aus dem Jahr 2019, das Cohere zwei Wochen nach DeepSeekMath für das Training von Sprachmodellen wiederbelebte. RLOO nimmt als Vergleichswert den Durchschnitt der übrigen Antworten der Gruppe, teilt nicht durch die Streuung und verzichtet auf die Begrenzung der Lernschritte, die GRPO von PPO übernimmt.)
Gruppenrelativ heißt, dass GRPO jede Antwort nur mit den anderen Antworten auf dieselbe Aufgabe vergleicht. Im Beispiel bekommt ein KI-Modell eine Textaufgabe und erzeugt vier Lösungswege. Ein Prüfprogramm vergleicht jede Endantwort mit der hinterlegten Lösung und vergibt 1 Punkt für richtig, 0 für falsch. Das Ergebnis lautet 1, 0, 0, 1. Der Gruppendurchschnitt liegt bei 0,5. Die beiden richtigen Lösungswege liegen 0,5 darüber, die beiden falschen 0,5 darunter. Dieser Abstand wird noch durch die Streuung der Gruppe (Standardabweichung) geteilt, damit die Werte unabhängig von der Punkteskala vergleichbar sind. Heraus kommt pro Antwort ein Vorteilswert (Advantage), hier positiv für die richtigen und gleich groß negativ für die falschen Antworten. Jedes Wort einer Antwort erhält denselben Vorteilswert. Der Lernschritt erhöht die Wahrscheinlichkeit der Wörter mit positivem Wert und senkt die mit negativem. Haben alle vier Antworten dieselbe Punktzahl, ist der Abstand zum Durchschnitt überall null und die Aufgabe liefert in dieser Runde kein Lernsignal.
GRPO übernimmt von PPO die Begrenzung des Lernschritts (Clipping). Sie verhindert, dass eine einzelne Antwort das KI-Modell zu weit verschiebt. Außerdem hält ein Strafterm für die KL-Divergenz das Modell in der Nähe eines eingefrorenen Referenzmodells, damit es beim Lernen nicht verlernt, flüssig zu formulieren. Bei PPO wird diese Strafe pro Wort von der Belohnung abgezogen, bei GRPO steht sie als eigener Term in der Verlustfunktion. Im DeepSeekMath-Paper ist der Faktor dafür 0,04. Pro Aufgabe zog DeepSeek dort 64 Antworten, für DeepSeek-R1-Zero laut Nature-Fassung 16, Microsoft für Phi-4-reasoning-plus 8.
DeepSeek begründet den Verzicht auf den Kritiker mit den Kosten. Der Kritiker bei PPO sei „typically another model of comparable size as the policy model“ und bringe „a substantial memory and computational burden“. Auch inhaltlich passt er schlecht zur Aufgabe. Ein Belohnungsmodell bewertet meist nur das letzte Wort einer Antwort. Ein Kritiker soll aber an jedem Wort eine gute Vorhersage liefern, das macht ihn schwer trainierbar. In der Nature-Fassung zu DeepSeek-R1 heißt es, GRPO sei „a simplified yet effective alternative to traditional actor-critic methods such as PPO“. DeepSeek nennt keine offizielle Zahl zur Ersparnis. Eine Messung aus einem Paper vom Mai 2026 mit einem Qwen2.5-7B-Modell auf 16 H20-Grafikkarten kam auf 46,2 Gigabyte Spitzenspeicher je Karte für GRPO gegenüber 72,4 Gigabyte für PPO mit Kritiker. Der Durchsatz war mehr als doppelt so hoch. Das ist ein einzelner Aufbau, keine Herstellerangabe. Für die im Netz verbreitete Faustregel „rund 50 Prozent weniger Speicher“ gibt es keine belegte Messung.
Im DeepSeekMath-Paper stieg die Trefferquote des 7B-Modells durch GRPO auf dem Grundschul-Rechentest GSM8K von 82,9 auf 88,2 Prozent. Auf dem Wettbewerbs-Datensatz MATH ging es von 46,8 auf 51,7 Prozent, jeweils ohne Werkzeuge und ohne Mehrheitsentscheid. Das Paper testet GRPO mit Outcome-Supervision, bei der nur das Endergebnis zählt, und mit Process-Supervision. Dort bewertet ein Prozess-Belohnungsmodell jeden Rechenschritt, und ein Wort bekommt die Summe der Bewertungen aller folgenden Schritte als Vorteilswert. Im Versuch mit einem 1,3B-Modell schnitt die Schritt-Bewertung besser ab. Die Autoren halten außerdem fest, dass RL die Mehrheitsantwort aus vielen Versuchen verbessert (Maj@K), aber nicht die Frage, ob unter vielen Versuchen überhaupt eine richtige ist (Pass@K). Das Verfahren macht die Ausgabe des Modells demnach treffsicherer. Neue Lösungswege scheint es ihm nicht beizubringen.
DeepSeek-R1-Zero ist der bekannteste GRPO‑Einsatz. Das Modell startete laut R1-Paper vom Januar 2025 direkt vom Basismodell DeepSeek-V3-Base, ohne die sonst übliche überwachte Feinabstimmung vorab. DeepSeek wählte GRPO, „in order to save the training costs of RL“. Als Belohnung diente ein Programm, das Endantwort und Format prüft, statt eines gelernten Reward-Modells (RLVR). DeepSeek lehnte ein neuronales Belohnungsmodell ab, weil es „may suffer from reward hacking in the large-scale reinforcement learning process“. Auf den Aufgaben der Mathe-Olympiade-Qualifikation AIME 2024 stieg die Trefferquote laut Nature-Fassung von 15,6 auf 77,9 Prozent. Das Modell begann von selbst, länger nachzudenken. Bei Schritt 8.200 von 10.400 hob DeepSeek die erlaubte Antwortlänge von 32.768 auf 65.536 Tokens an, danach sprangen Antwortlänge und Leistung gemeinsam nach oben. Das Paper beschreibt einen „aha moment“, erkennbar an einer plötzlichen Häufung des Wortes „wait“ in den Überlegungen. Dafür waren die Gedankenketten schlecht lesbar und wechselten innerhalb einer Antwort zwischen Englisch und Chinesisch. Für das fertige DeepSeek-R1 kam deshalb eine Belohnung für Sprachtreue dazu. Sie kostete laut Paper etwas Leistung. Außerdem lernte R1 vor dem RL an einigen Tausend handgeprüften Beispielen.
Laut den Zusatzinformationen zur Nature-Veröffentlichung kosteten R1-Zero und R1 samt den Daten für die Feinabstimmung 147.000 GPU-Stunden auf H800-Karten. Bei angenommenen 2 US-Dollar je Stunde sind das 294.000 US‑Dollar. Das Vortraining des Basismodells ist darin nicht enthalten. DeepSeek hat dort auch PPO direkt mit GRPO verglichen, mit dem Modell DeepSeek-Coder-V2-Lite auf dem MATH‑Datensatz. Der Parameter Lambda legt fest, wie stark PPO spätere Belohnungen in den Vorteilswert einrechnet. Mit dem Standardwert 0,95 schnitt PPO deutlich schlechter ab als GRPO, mit 1,0 fast gleich gut. Die wortweise KL-Strafe von PPO bestrafe laut DeepSeek „implicitly“ die Antwortlänge und könne so verhindern, dass ein Modell längere Überlegungen lernt. Die Nature-Veröffentlichung vom 17. September 2025 ging durch ein Gutachterverfahren mit acht Gutachterstellen, darunter Lewis Tunstall und Edward Beeching von Hugging Face. Alle Gutachten sind öffentlich. Laut dem Nature-Nachrichtenartikel dazu gilt R1 als „the first major LLM to undergo the peer-review process“.
Modelle mit GRPO oder einer Variante laut technischem Bericht:
Belegte Schwächen des Original-Verfahrens und die Varianten dazu:
Ein Team der University of Washington zeigte im Juni 2025 mit Spurious Rewards, dass Qwen2.5-Math-7B unter GRPO auch mit zufällig verteilten Belohnungen auf MATH-500 um 21,4 Punkte zulegte, mit echten Belohnungen um 29,1. Bei Llama- und OLMo-Modellen blieb der Effekt aus. Ein Teil des Fortschritts kam demnach nicht vom Belohnungssignal, sondern davon, dass der Lernschritt Verhaltensweisen aus dem Vortraining verstärkte.
GRPO wird auch außerhalb von Sprachmodellen eingesetzt. Flow-GRPO überträgt das Verfahren auf Bildgeneratoren. Damit stieg die Trefferquote von Stable Diffusion 3.5 Medium auf dem Prüfdatensatz GenEval von 63 auf 95 Prozent. ByteDance wendet es mit DanceGRPO auf Bild- und Video-Modelle an, SimpleVLA-RL auf Robotersteuerungen, weitere Arbeiten auf Sprachsynthese und Audio-Verständnis. Die Dokumentation des GRPO-Trainers in TRL, die Bibliothek verl von ByteDance und Nvidias NeMo RL bieten das Verfahren fertig an. Die Belohnung ist dort eine selbstgeschriebene Funktion.
Kein Handwerksbetrieb trainiert ein Modell mit GRPO. Das Verfahren erklärt aber, warum Reasoning-Modelle 2025 plötzlich günstig und offen verfügbar wurden. Das Training von DeepSeek-R1-Zero und R1 kostete laut Nature-Zusatzinformationen zusammen 294.000 US-Dollar. R1 erschien unter der freien MIT-Lizenz mit offenen Gewichten, und DeepSeek lieferte sechs destillierte Ableger von 1,5 bis 70 Milliarden Parametern mit. Solche Modelle laufen in Ollama oder LM Studio auf einem Büro-PC mit guter Grafikkarte, ohne dass Kundendaten das Haus verlassen. Ein Steuerberater, der Belege eines Dachdeckers vorsortieren lässt, oder ein Planungsbüro, das Ausschreibungstexte auf Widersprüche prüft, nutzt damit ein Ergebnis von GRPO. Die DeepSeek-Website listet die aktuellen Modelle, die API-Preisseite die Preise.
Das Prinzip hinter GRPO lässt sich im Betrieb anwenden, ohne selbst zu trainieren. GRPO lernt aus dem Vergleich mehrerer Antworten auf dieselbe Frage, und dieser Vergleich funktioniert auch bei der Nutzung. Bitten Sie ChatGPT, Claude oder Gemini um vier Varianten einer Angebotsmail und fragen Sie danach, welche Variante die Kundenfrage am genauesten beantwortet und warum. So sehen Sie die Unterschiede und bekommen die Begründung gleich mit. Noch näher am Verfahren ist eine Prüfung, die das KI-Modell selbst ausführen kann. Ein Elektrobetrieb, der sich eine Stückliste aus einem Aufmaß berechnen lässt, gibt die Soll-Summe des letzten vergleichbaren Auftrags mit. Weicht das Ergebnis ab, zählt die Antwort als falsch, egal wie überzeugend sie klingt. Das ist die Logik der Belohnungsfunktion, nur von Hand.
Wichtig: Die Stärke eines GRPO-trainierten Modells liegt dort, wo seine Belohnung herkam. DeepSeek, Alibaba und Mistral trainierten mit Mathe- und Programmieraufgaben, bei denen ein Programm richtig von falsch unterscheidet. Ein Fliesenleger, der sich ein Skript für die Verschnittberechnung schreiben lässt, bekommt deshalb ein geprüftes Ergebnis. Für die Kundenmail im passenden Ton gab es im Training keine Prüffunktion, die richtig von falsch sicher unterscheidet, nur das Geschmacksurteil eines gelernten Reward-Modells. Dort bringt der Denkmodus nach unserer Erfahrung wenig, kostet aber Zeit und bei API-Nutzung Geld, weil die Denkzeit als Ausgabe-Tokens abgerechnet wird. Für Mails, Texte und Beratungsgespräche reicht ein normales Modell ohne Denkmodus.
Wer ein eigenes kleines KI-Modell mit GRPO nachtrainieren will, benötigt einen Entwickler, aber keine Serverfarm mehr. Die Anleitung von Unsloth gibt 5 Gigabyte Grafikspeicher für Modelle bis 1,5 Milliarden Parameter an. Die Belohnung ist eine Python-Funktion, die der Entwickler selbst schreibt. Ein Softwarehaus für Handwerkersoftware, das Angebotspositionen aus Freitext in ein festes Datenformat bringen will, prüft in dieser Funktion, ob das Format stimmt und alle Pflichtfelder gefüllt sind, und lässt ein kleines Modell daran lernen. Für die meisten Unternehmen ist der bessere Weg ein guter Systemprompt mit Beispielen plus die Anbindung der eigenen Daten per RAG. Die großen Anbieter verkaufen das Nachtrainieren mit prüfbaren Belohnungen als Reinforcement Fine-Tuning, eine Form von Fine-Tuning.