Glossareintrag

Was bedeutet
GRPO bei KI/AI (Group Relative Policy Optimization, DeepSeek)?

Wir denken. KI tippt mit.

Lesezeit: 12 Minuten
Veröffentlicht: 03.11.2026

GRPO bei KI/AI (Group Relative Policy Optimization, DeepSeek)

Definition:

GRPO bei KI (englisch: Group Relative Policy Optimization, deutsch etwa: gruppenrelative Policy-Optimierung) ist ein Lernverfahren für Sprachmodelle. Das KI-Modell erzeugt zu einer Aufgabe mehrere Antworten auf einmal, und jede Antwort wird daran gemessen, ob sie besser oder schlechter ausfällt als der Durchschnitt dieser Gruppe. Antworten über dem Durchschnitt werden im Modell wahrscheinlicher, Antworten darunter unwahrscheinlicher. GRPO ist eine Spielart des Reinforcement Learning und eine Abwandlung von PPO (Proximal Policy Optimization), dem bis dahin üblichen Verfahren beim RLHF. PPO benötigt neben dem Sprachmodell ein zweites, meist gleich großes Modell, den Kritiker (Critic oder Value Model). Der Kritiker sagt für jede Antwort voraus, wie gut sie wahrscheinlich ausfällt, und der Lernschritt richtet sich nach dem Abstand zu dieser Vorhersage. GRPO streicht den Kritiker und nimmt stattdessen den Durchschnitt der Gruppe als Vergleichswert. Anders als DPO, das aus fertigen Antwortpaaren lernt, erzeugt GRPO seine Antworten während des Trainings selbst.

DeepSeek stellte GRPO im Februar 2024 im Paper DeepSeekMath vor, als Verfahren für ein Mathe-Modell mit 7 Milliarden Parametern. Populär wurde es im Januar 2025 mit DeepSeek-R1, einem offenen Reasoning-Modell, das bei Mathe- und Logikaufgaben laut Paper mit OpenAI o1 gleichzog. Seitdem steht GRPO oder eine seiner Varianten im Trainingsrezept vieler offener Denkmodelle, darunter Qwen3 von Alibaba, Magistral von Mistral und Phi-4-reasoning-plus von Microsoft.

Das Wort Policy steht im Reinforcement Learning für die Strategie, nach der ein Modell handelt, bei einem Sprachmodell also für die Regel, nach der es das nächste Wort wählt. Eine feste deutsche Übersetzung gibt es nicht. Erklärseiten schreiben „gruppenrelative Policy-Optimierung“, „gruppenrelative Strategieoptimierung“ oder lassen den Begriff englisch. Maschinelle Übersetzungen wie „Optimierung der relativen Gruppenpolitik“ führen in die Irre. Mit Politik hat das Verfahren nichts zu tun. (Hinweis: Verwechselbar mit RLOO, dem REINFORCE Leave-One-Out von Kool u. a. aus dem Jahr 2019, das Cohere zwei Wochen nach DeepSeekMath für das Training von Sprachmodellen wiederbelebte. RLOO nimmt als Vergleichswert den Durchschnitt der übrigen Antworten der Gruppe, teilt nicht durch die Streuung und verzichtet auf die Begrenzung der Lernschritte, die GRPO von PPO übernimmt.)

Beschreibung:

Gruppenrelativ heißt, dass GRPO jede Antwort nur mit den anderen Antworten auf dieselbe Aufgabe vergleicht. Im Beispiel bekommt ein KI-Modell eine Textaufgabe und erzeugt vier Lösungswege. Ein Prüfprogramm vergleicht jede Endantwort mit der hinterlegten Lösung und vergibt 1 Punkt für richtig, 0 für falsch. Das Ergebnis lautet 1, 0, 0, 1. Der Gruppendurchschnitt liegt bei 0,5. Die beiden richtigen Lösungswege liegen 0,5 darüber, die beiden falschen 0,5 darunter. Dieser Abstand wird noch durch die Streuung der Gruppe (Standardabweichung) geteilt, damit die Werte unabhängig von der Punkteskala vergleichbar sind. Heraus kommt pro Antwort ein Vorteilswert (Advantage), hier positiv für die richtigen und gleich groß negativ für die falschen Antworten. Jedes Wort einer Antwort erhält denselben Vorteilswert. Der Lernschritt erhöht die Wahrscheinlichkeit der Wörter mit positivem Wert und senkt die mit negativem. Haben alle vier Antworten dieselbe Punktzahl, ist der Abstand zum Durchschnitt überall null und die Aufgabe liefert in dieser Runde kein Lernsignal.

GRPO übernimmt von PPO die Begrenzung des Lernschritts (Clipping). Sie verhindert, dass eine einzelne Antwort das KI-Modell zu weit verschiebt. Außerdem hält ein Strafterm für die KL-Divergenz das Modell in der Nähe eines eingefrorenen Referenzmodells, damit es beim Lernen nicht verlernt, flüssig zu formulieren. Bei PPO wird diese Strafe pro Wort von der Belohnung abgezogen, bei GRPO steht sie als eigener Term in der Verlustfunktion. Im DeepSeekMath-Paper ist der Faktor dafür 0,04. Pro Aufgabe zog DeepSeek dort 64 Antworten, für DeepSeek-R1-Zero laut Nature-Fassung 16, Microsoft für Phi-4-reasoning-plus 8.

DeepSeek begründet den Verzicht auf den Kritiker mit den Kosten. Der Kritiker bei PPO sei „typically another model of comparable size as the policy model“ und bringe „a substantial memory and computational burden“. Auch inhaltlich passt er schlecht zur Aufgabe. Ein Belohnungsmodell bewertet meist nur das letzte Wort einer Antwort. Ein Kritiker soll aber an jedem Wort eine gute Vorhersage liefern, das macht ihn schwer trainierbar. In der Nature-Fassung zu DeepSeek-R1 heißt es, GRPO sei „a simplified yet effective alternative to traditional actor-critic methods such as PPO“. DeepSeek nennt keine offizielle Zahl zur Ersparnis. Eine Messung aus einem Paper vom Mai 2026 mit einem Qwen2.5-7B-Modell auf 16 H20-Grafikkarten kam auf 46,2 Gigabyte Spitzenspeicher je Karte für GRPO gegenüber 72,4 Gigabyte für PPO mit Kritiker. Der Durchsatz war mehr als doppelt so hoch. Das ist ein einzelner Aufbau, keine Herstellerangabe. Für die im Netz verbreitete Faustregel „rund 50 Prozent weniger Speicher“ gibt es keine belegte Messung.

Im DeepSeekMath-Paper stieg die Trefferquote des 7B-Modells durch GRPO auf dem Grundschul-Rechentest GSM8K von 82,9 auf 88,2 Prozent. Auf dem Wettbewerbs-Datensatz MATH ging es von 46,8 auf 51,7 Prozent, jeweils ohne Werkzeuge und ohne Mehrheitsentscheid. Das Paper testet GRPO mit Outcome-Supervision, bei der nur das Endergebnis zählt, und mit Process-Supervision. Dort bewertet ein Prozess-Belohnungsmodell jeden Rechenschritt, und ein Wort bekommt die Summe der Bewertungen aller folgenden Schritte als Vorteilswert. Im Versuch mit einem 1,3B-Modell schnitt die Schritt-Bewertung besser ab. Die Autoren halten außerdem fest, dass RL die Mehrheitsantwort aus vielen Versuchen verbessert (Maj@K), aber nicht die Frage, ob unter vielen Versuchen überhaupt eine richtige ist (Pass@K). Das Verfahren macht die Ausgabe des Modells demnach treffsicherer. Neue Lösungswege scheint es ihm nicht beizubringen.

DeepSeek-R1-Zero ist der bekannteste GRPO‑Einsatz. Das Modell startete laut R1-Paper vom Januar 2025 direkt vom Basismodell DeepSeek-V3-Base, ohne die sonst übliche überwachte Feinabstimmung vorab. DeepSeek wählte GRPO, „in order to save the training costs of RL“. Als Belohnung diente ein Programm, das Endantwort und Format prüft, statt eines gelernten Reward-Modells (RLVR). DeepSeek lehnte ein neuronales Belohnungsmodell ab, weil es „may suffer from reward hacking in the large-scale reinforcement learning process“. Auf den Aufgaben der Mathe-Olympiade-Qualifikation AIME 2024 stieg die Trefferquote laut Nature-Fassung von 15,6 auf 77,9 Prozent. Das Modell begann von selbst, länger nachzudenken. Bei Schritt 8.200 von 10.400 hob DeepSeek die erlaubte Antwortlänge von 32.768 auf 65.536 Tokens an, danach sprangen Antwortlänge und Leistung gemeinsam nach oben. Das Paper beschreibt einen „aha moment“, erkennbar an einer plötzlichen Häufung des Wortes „wait“ in den Überlegungen. Dafür waren die Gedankenketten schlecht lesbar und wechselten innerhalb einer Antwort zwischen Englisch und Chinesisch. Für das fertige DeepSeek-R1 kam deshalb eine Belohnung für Sprachtreue dazu. Sie kostete laut Paper etwas Leistung. Außerdem lernte R1 vor dem RL an einigen Tausend handgeprüften Beispielen.

Laut den Zusatzinformationen zur Nature-Veröffentlichung kosteten R1-Zero und R1 samt den Daten für die Feinabstimmung 147.000 GPU-Stunden auf H800-Karten. Bei angenommenen 2 US-Dollar je Stunde sind das 294.000 US‑Dollar. Das Vortraining des Basismodells ist darin nicht enthalten. DeepSeek hat dort auch PPO direkt mit GRPO verglichen, mit dem Modell DeepSeek-Coder-V2-Lite auf dem MATH‑Datensatz. Der Parameter Lambda legt fest, wie stark PPO spätere Belohnungen in den Vorteilswert einrechnet. Mit dem Standardwert 0,95 schnitt PPO deutlich schlechter ab als GRPO, mit 1,0 fast gleich gut. Die wortweise KL-Strafe von PPO bestrafe laut DeepSeek „implicitly“ die Antwortlänge und könne so verhindern, dass ein Modell längere Überlegungen lernt. Die Nature-Veröffentlichung vom 17. September 2025 ging durch ein Gutachterverfahren mit acht Gutachterstellen, darunter Lewis Tunstall und Edward Beeching von Hugging Face. Alle Gutachten sind öffentlich. Laut dem Nature-Nachrichtenartikel dazu gilt R1 als „the first major LLM to undergo the peer-review process“.

Modelle mit GRPO oder einer Variante laut technischem Bericht:

  • DeepSeek: Der Bericht zu DeepSeek-V3.2 vom Dezember 2025 schreibt „we still adopt Group Relative Policy Optimization“ und nennt vier Anpassungen, die das RL-Training im großen Maßstab stabil halten. Dazu gehören ein korrigierter KL-Schätzer, das Ausblenden unterdurchschnittlicher Antworten, die weit vom aktuellen Modell abweichen, und das Festhalten der Expertenauswahl beim Mixture-of-Experts-Modell. Das RL-Budget lag über 10 Prozent der Vortrainingskosten. Für DeepSeek-V4 (2026) trainiert DeepSeek zunächst getrennte Fachmodelle je Gebiet mit überwachter Feinabstimmung und GRPO und führt sie danach per On-Policy-Destillation zu einem Modell zusammen.
  • Alibaba (Qwen): Der Qwen3-Bericht nennt GRPO für die Reasoning-Stufe mit 3.995 Aufgabe-Prüfer-Paaren. In 170 Trainingsschritten stieg Qwen3-235B-A22B auf AIME 2024 von 70,1 auf 85,1 Prozent. Für neuere Modelle wie Qwen3-Next nutzt das Team seine eigene Weiterentwicklung GSPO.
  • Allen Institute for AI: Die Modellkarte zu Tülu 3.1 vermerkt „We switched from PPO to GRPO (no reward model)“. Das im November 2025 veröffentlichte Olmo 3 baut seine RL-Stufe ebenfalls auf GRPO auf.
  • Mistral (Magistral): Das Magistral-Paper nutzt GRPO, streicht aber den KL-Strafterm ganz, sortiert Gruppen ohne Lernsignal aus und erlaubt größere Schritte nach oben.
  • Microsoft: Phi-4-reasoning-plus entstand mit 90 GRPO-Schritten auf rund 6.000 Aufgaben.
  • Nvidia: Der Bericht zu Nemotron 3 nennt GRPO mit maskiertem Importance Sampling.
  • Moonshot (Kimi): Das Kimi-K2-Paper nutzt kein GRPO, sondern ein eigenes Verfahren aus Kimi K1.5, das ebenfalls mit einem Gruppenmittel arbeitet. Meta nennt für Llama 4 nur „continuous online RL“ ohne Verfahren. OpenAI, Google und Anthropic legen die RL-Verfahren ihrer Spitzenmodelle nicht offen.
Vergleichstafel GRPO bei KI und seine drei wichtigsten Varianten: GRPO von DeepSeek als Original (Durchschnitt der Antwortgruppe statt Kritiker), Dr. GRPO (streicht Teilen durch Antwortlänge und Streuung gegen Längen- und Schwierigkeits-Bias), DAPO (Dynamic Sampling, Clip-Higher, Token-Level-Loss gegen verschwendete Gruppen und Entropie-Kollaps) und GSPO (Gewichtung pro ganzer Antwort gegen Modellkollaps), jeweils mit Problem, Änderung, Beleg und Nutzern.
GRPO ersetzt bei PPO den Kritiker durch den Durchschnitt einer Antwortgruppe, und Dr. GRPO, DAPO und GSPO beheben je eine Schwäche des Originals (DeepSeek, „DeepSeekMath“, arXiv 2402.03300, Februar 2024; DeepSeek, „DeepSeek-R1“, Nature, 17.09.2025; Sea AI Lab, „Understanding R1-Zero-Like Training“, arXiv 2503.20783, März 2025; ByteDance Seed, „DAPO“, arXiv 2503.14476, März 2025; Qwen-Team, „GSPO“, arXiv 2507.18071, Juli 2025; Hugging Face, TRL-Dokumentation GRPO Trainer; Stand 3. November 2026. Grafik: ai-handwerk.de, Weiterverwendung mit Quellenangabe erlaubt.)

Belegte Schwächen des Original-Verfahrens und die Varianten dazu:

  • Längen- und Schwierigkeits-Bias: Das Sea AI Lab zeigte im März 2025 mit Dr. GRPO, dass zwei Teiler in der Formel das Training verzerren. Das Teilen durch die Antwortlänge bestraft lange falsche Antworten schwächer als kurze. Bei Fehlern wird das KI-Modell immer länger. Das Teilen durch die Streuung gewichtet sehr leichte und sehr schwere Aufgaben über. Dr. GRPO streicht beide Teiler.
  • Verschwendete Gruppen und Entropie-Kollaps: DAPO von ByteDance Seed und der Tsinghua-Universität sortiert Aufgaben aus, bei denen alle Antworten richtig oder alle falsch sind. Es erlaubt größere Lernschritte nach oben, damit die Antwortvielfalt nicht früh erstarrt, und rechnet den Verlust pro Wort statt pro Antwort. Mit einem Qwen2.5-32B-Modell erreichte DAPO 50 Punkte auf AIME 2024 gegenüber 47 bei DeepSeeks eigenem Vergleichsmodell, mit der Hälfte der Trainingsschritte. In der Trainingsbibliothek TRL von Hugging Face ist die DAPO-Verlustfunktion heute die Voreinstellung des GRPO-Trainers.
  • Instabilität bei langen Antworten und Experten-Modellen: Das Qwen-Team beschreibt in GSPO (Group Sequence Policy Optimization, Juli 2025), dass die wortweise Gewichtung von GRPO beim Training sehr großer Modelle bis zum „catastrophic and irreversible model collapse“ führen kann. Bei Mixture-of-Experts-Modellen benötigt GRPO außerdem einen Trick namens Routing Replay, der die Expertenauswahl festhält. GSPO gewichtet und begrenzt auf Ebene der ganzen Antwort und kommt ohne diesen Trick aus.

Ein Team der University of Washington zeigte im Juni 2025 mit Spurious Rewards, dass Qwen2.5-Math-7B unter GRPO auch mit zufällig verteilten Belohnungen auf MATH-500 um 21,4 Punkte zulegte, mit echten Belohnungen um 29,1. Bei Llama- und OLMo-Modellen blieb der Effekt aus. Ein Teil des Fortschritts kam demnach nicht vom Belohnungssignal, sondern davon, dass der Lernschritt Verhaltensweisen aus dem Vortraining verstärkte.

GRPO wird auch außerhalb von Sprachmodellen eingesetzt. Flow-GRPO überträgt das Verfahren auf Bildgeneratoren. Damit stieg die Trefferquote von Stable Diffusion 3.5 Medium auf dem Prüfdatensatz GenEval von 63 auf 95 Prozent. ByteDance wendet es mit DanceGRPO auf Bild- und Video-Modelle an, SimpleVLA-RL auf Robotersteuerungen, weitere Arbeiten auf Sprachsynthese und Audio-Verständnis. Die Dokumentation des GRPO-Trainers in TRL, die Bibliothek verl von ByteDance und Nvidias NeMo RL bieten das Verfahren fertig an. Die Belohnung ist dort eine selbstgeschriebene Funktion.

GRPO bei KI/AI (Group Relative Policy Optimization, DeepSeek) für Unternehmen und Handwerker:

Kein Handwerksbetrieb trainiert ein Modell mit GRPO. Das Verfahren erklärt aber, warum Reasoning-Modelle 2025 plötzlich günstig und offen verfügbar wurden. Das Training von DeepSeek-R1-Zero und R1 kostete laut Nature-Zusatzinformationen zusammen 294.000 US-Dollar. R1 erschien unter der freien MIT-Lizenz mit offenen Gewichten, und DeepSeek lieferte sechs destillierte Ableger von 1,5 bis 70 Milliarden Parametern mit. Solche Modelle laufen in Ollama oder LM Studio auf einem Büro-PC mit guter Grafikkarte, ohne dass Kundendaten das Haus verlassen. Ein Steuerberater, der Belege eines Dachdeckers vorsortieren lässt, oder ein Planungsbüro, das Ausschreibungstexte auf Widersprüche prüft, nutzt damit ein Ergebnis von GRPO. Die DeepSeek-Website listet die aktuellen Modelle, die API-Preisseite die Preise.

Das Prinzip hinter GRPO lässt sich im Betrieb anwenden, ohne selbst zu trainieren. GRPO lernt aus dem Vergleich mehrerer Antworten auf dieselbe Frage, und dieser Vergleich funktioniert auch bei der Nutzung. Bitten Sie ChatGPT, Claude oder Gemini um vier Varianten einer Angebotsmail und fragen Sie danach, welche Variante die Kundenfrage am genauesten beantwortet und warum. So sehen Sie die Unterschiede und bekommen die Begründung gleich mit. Noch näher am Verfahren ist eine Prüfung, die das KI-Modell selbst ausführen kann. Ein Elektrobetrieb, der sich eine Stückliste aus einem Aufmaß berechnen lässt, gibt die Soll-Summe des letzten vergleichbaren Auftrags mit. Weicht das Ergebnis ab, zählt die Antwort als falsch, egal wie überzeugend sie klingt. Das ist die Logik der Belohnungsfunktion, nur von Hand.

Wichtig: Die Stärke eines GRPO-trainierten Modells liegt dort, wo seine Belohnung herkam. DeepSeek, Alibaba und Mistral trainierten mit Mathe- und Programmieraufgaben, bei denen ein Programm richtig von falsch unterscheidet. Ein Fliesenleger, der sich ein Skript für die Verschnittberechnung schreiben lässt, bekommt deshalb ein geprüftes Ergebnis. Für die Kundenmail im passenden Ton gab es im Training keine Prüffunktion, die richtig von falsch sicher unterscheidet, nur das Geschmacksurteil eines gelernten Reward-Modells. Dort bringt der Denkmodus nach unserer Erfahrung wenig, kostet aber Zeit und bei API-Nutzung Geld, weil die Denkzeit als Ausgabe-Tokens abgerechnet wird. Für Mails, Texte und Beratungsgespräche reicht ein normales Modell ohne Denkmodus.

Wer ein eigenes kleines KI-Modell mit GRPO nachtrainieren will, benötigt einen Entwickler, aber keine Serverfarm mehr. Die Anleitung von Unsloth gibt 5 Gigabyte Grafikspeicher für Modelle bis 1,5 Milliarden Parameter an. Die Belohnung ist eine Python-Funktion, die der Entwickler selbst schreibt. Ein Softwarehaus für Handwerkersoftware, das Angebotspositionen aus Freitext in ein festes Datenformat bringen will, prüft in dieser Funktion, ob das Format stimmt und alle Pflichtfelder gefüllt sind, und lässt ein kleines Modell daran lernen. Für die meisten Unternehmen ist der bessere Weg ein guter Systemprompt mit Beispielen plus die Anbindung der eigenen Daten per RAG. Die großen Anbieter verkaufen das Nachtrainieren mit prüfbaren Belohnungen als Reinforcement Fine-Tuning, eine Form von Fine-Tuning.

Automation Intelligence im Handwerk - Glossareintrag
Lexikon für künstliche Intelligenz und Automation - Glossar für Handwerker und Handwerksbetriebe
Handwerk transformieren durch Artificial Intelligence und Automation Intelligence

Webinar Release

Webinar Release

Sie haben eine Frage?

Sie haben eine Frage