Glossareintrag

Was bedeutet
DPO bei KI/AI (Direct Preference Optimization)?

Wir denken. KI tippt mit.

Lesezeit: 9 Minuten
Veröffentlicht: 02.11.2026
Aktualisiert: 03.11.2026

DPO bei KI/AI (Direct Preference Optimization)

Definition:

DPO bei KI steht für Direct Preference Optimization (direkte Präferenzoptimierung), ein Trainingsverfahren, mit dem ein Sprachmodell aus Antwortpaaren lernt, welche Antwort Menschen bevorzugen. Jedes Paar besteht aus einer Frage, einer bevorzugten und einer abgelehnten Antwort. Das Modell verschiebt seine Wahrscheinlichkeiten in Richtung der bevorzugten Antwort. Ein eigenes Reward-Modell und die Reinforcement-Learning-Schleife des klassischen RLHF entfallen. Ein Team der Stanford University um Rafael Rafailov stellte das Verfahren im Mai 2023 in der Studie „Direct Preference Optimization: Your Language Model is Secretly a Reward Model“ vor. Auf der Konferenz NeurIPS 2023 bekam die Arbeit die Auszeichnung Outstanding Main Track Runner-Up.

Die Anbieter nennen das Verfahren unterschiedlich. OpenAI führte es im Dezember 2024 als Preference Fine-Tuning ein. Google nennt es in der deutschen Oberfläche von Vertex AI Präferenzabstimmung (Preference Tuning), Microsoft Foundry bleibt bei Direct Preference Optimization. In Fachtexten heißen die Trainingspaare Präferenzpaare (Preference Pairs), die beiden Antworten chosen und rejected. (Hinweis: Verwechselbar mit DPO als Data Protection Officer, dem Datenschutzbeauftragten nach DSGVO.)

Beschreibung:

DPO löst ein Kostenproblem von RLHF. Beim klassischen Verfahren bewerten Menschen zunächst Antwortpaare, daraus entsteht ein Reward-Modell, und erst dieses Modell steuert dann per Reinforcement Learning das Sprachmodell selbst. Die Stanford-Studie beschreibt RLHF als „complex and often unstable procedure“ und streicht die mittlere Stufe. Das Sprachmodell wird direkt an den Paaren trainiert, mit einem einfachen Klassifikations-Ziel (Binary Cross-Entropy). Es muss während des Trainings keine Antworten erzeugen und braucht kaum Hyperparameter-Suche. Die Autoren haben gezeigt, dass jedes so trainierte Sprachmodell bereits ein verstecktes Reward-Modell enthält. Daher der Titel „Your Language Model is Secretly a Reward Model“.

Ein Präferenzpaar aus dem Handwerk. Frage: „Können Sie morgen kommen, bei mir tropft der Wasserhahn?“ Bevorzugte Antwort: „Morgen ist ausgebucht, am Donnerstag zwischen 8 und 10 Uhr könnte ich vorbeikommen. Soll ich den Termin eintragen?“ Abgelehnte Antwort: „Leider ist das kurzfristig nicht möglich. Bitte rufen Sie zu den Geschäftszeiten an.“ Beide Antworten sind korrekt. Das Paar lehrt das Modell den Stil, den der Betrieb will. Dafür ist DPO gedacht. Neues Wissen bringt es dem KI-Modell nicht bei. Das Referenzmodell ist eine eingefrorene Kopie des Ausgangsmodells, meist der Stand nach dem Fine-Tuning mit Beispielantworten (SFT). Der Parameter Beta legt fest, wie weit sich das Modell vom Referenzmodell entfernen darf. In der Trainingsbibliothek TRL von Hugging Face ist 0,1 der Standardwert, bei OpenAI liegt der Bereich zwischen 0 und 2. Ein höherer Wert hält das Modell näher am Ausgangsstand. OpenAI und Google empfehlen dieselbe Reihenfolge. Erst SFT auf den bevorzugten Antworten, dann DPO auf den Paaren.

Über das Ergebnis bestimmt, woher die Paare stammen. Üblich sind diese Quellen:

  • Menschliche Bewerter: Der Datensatz HH-RLHF von Anthropic enthält von Menschen bewertete Dialogpaare und diente schon der Stanford-Studie als Testmaterial.
  • KI-Bewerter: Der Datensatz UltraFeedback umfasst über eine Million GPT-4-Urteile zu 250.000 Konversationen. Hugging Face trainierte sein Modell Zephyr-7B darauf per DPO, laut dem Zephyr-Paper ohne eine einzige menschliche Bewertung. Dieses Prinzip heißt RLAIF und steckt auch in Anthropics Constitutional AI.
  • Eigene Fehlantworten des Modells: Microsoft nutzte bei Phi-3 unerwünschte Ausgaben des Modells selbst als abgelehnte Antworten. Für Phi-4 erzeugte Microsoft rund 850.000 Paare, bewertet von GPT-4o als Richter.

Eine Studie von Pan und Kollegen (August 2025) hat gezeigt, dass die Qualität der bevorzugten Antworten den Ausschlag gibt, nicht die der abgelehnten. Sind die chosen-Antworten schwach, lernt das Modell schwache Antworten als Ziel. Außerdem übertragen die Bewerter, ob Mensch oder KI, ihre eigenen Vorlieben. Dass Modelle Zustimmung über Richtigkeit stellen (Sycophancy), geht zum Teil auf solche Präferenzdaten zurück.

Die Stanford-Studie testete DPO an Modellen mit bis zu sechs Milliarden Parametern. Beim Zusammenfassen von Reddit-Beiträgen gewann DPO in etwa 61 Prozent der Vergleiche gegen menschliche Referenztexte, das RLHF-Verfahren PPO in etwa 57 Prozent (bewertet von GPT-4). Die Autoren hielten den Sprung auf sehr große Modelle noch für offen. Den lieferte Meta. Im Llama-3-Paper heißt es, DPO habe bei großen Modellen weniger Rechenleistung gebraucht und besser abgeschnitten als PPO. Jede Nachtrainingsrunde bestand aus SFT und DPO. Nach Angaben der Hersteller durchliefen auch Mixtral 8x7B Instruct, Qwen2 und Qwen2.5 sowie Phi-3 und Phi-4 von Microsoft ein DPO-Training. Gleiches gilt für Tülu 2 und Tülu 3 von AI2, Nemotron-4 von Nvidia und das im November 2025 veröffentlichte Olmo 3. Bei vielen offenen Modellen (Open Weights) der Jahre 2024 und 2025 gehörte DPO zum Nachtraining. Googles Gemma, DeepSeek-V3 und Qwen3 gehören nicht dazu, ihre Berichte nennen das Verfahren nicht.

Seit 2025 spielt DPO bei neuen Spitzenmodellen eine Nebenrolle. Reasoning-Modelle wie DeepSeek-R1 und Qwen3 nutzen stattdessen GRPO, eine Abwandlung von PPO. DPO ist ein Offline-Verfahren. Es lernt aus fertigen Paaren, die vor dem Training feststehen. PPO und GRPO sind Online-Verfahren. Hier erzeugt das KI-Modell während des Trainings selbst Antworten, und ein Prüfprogramm oder Reward-Modell bewertet sie sofort. Bei Mathematik und Code lässt sich das Ergebnis automatisch prüfen. Dort hat Online-Training den Vorteil, dass das Modell aus eigenen Versuchen lernt. DeepSeek verzichtete bei R1 absichtlich auf ein neuronales Reward-Modell, weil es Reward Hacking begünstige. Meta setzt DPO bei Llama 4 laut Ankündigung vom April 2025 nur noch als leichte Schlussstufe nach dem Online-RL ein. Ganz verschwunden ist es nicht. Tülu 3 und Olmo 3 kombinieren SFT, DPO und Training mit prüfbaren Belohnungen, und das im Juli 2026 veröffentlichte Modell Instella-MoE von AMD führt DPO weiter als Stufe seiner Pipeline.

Ablaufvergleich von RLHF (Menschen bewerten, Reward-Modell lernt, RL mit PPO), DPO (feste Präferenzpaare, ohne Reward-Modell und RL-Schleife direkt trainiert, offline) und GRPO (Modell erzeugt eine Gruppe von Antworten, Prüfprogramm bewertet sofort, nächste Runde), mit Beispielmodellen wie InstructGPT, Llama 3, Phi-4, Olmo 3, DeepSeek-R1 und Qwen3.
DPO lernt offline aus fertigen Antwortpaaren und kommt ohne Reward-Modell aus, GRPO lässt das Modell online selbst antworten und bewertet sofort (Quellen: Rafailov u. a., arXiv 2305.18290, Mai 2023; Ouyang u. a., InstructGPT, 2022; Shao u. a., GRPO, 2024; DeepSeek-R1, Januar 2025; Technikberichte zu Zephyr, Mixtral, Llama 3, Phi-3, Phi-4, Qwen2, Qwen2.5; AI2, Olmo 3, November 2025; Meta, Llama 4, April 2025; AMD, Instella-MoE, 2026; Stand 2. November 2026). Grafik: ai-handwerk.de, Weiterverwendung mit Quellenangabe erlaubt.

Jede dokumentierte Schwäche hat eine eigene Variante hervorgebracht.

  • Überanpassung: Bei eindeutigen Präferenzen wird die Bindung ans Referenzmodell schwach. Das Modell passt sich den Trainingspaaren zu stark an (Overfitting). Google DeepMind hat das Problem in der Studie zu IPO (Identity Preference Optimization) beschrieben. Die Variante ändert die Verlustfunktion.
  • Likelihood Displacement: Eine Studie aus Princeton (ICLR 2025) zeigt, dass die Wahrscheinlichkeit der bevorzugten Antworten während des Trainings oft sinkt. DPO drückt in erster Linie die abgelehnten Antworten nach unten. Die frei werdende Wahrscheinlichkeit kann bei Antworten mit gegenteiligem Sinn landen.
  • Längen-Bias: DPO-Modelle werden gern länger, weil Bewerter längere Antworten bevorzugen (Park und Kollegen, 2024). SimPO normiert auf die Antwortlänge und kommt ohne Referenzmodell aus.
  • Speicherbedarf: Das Referenzmodell muss während des Trainings mitlaufen und belegt zusätzlichen Grafikspeicher. ORPO verzichtet darauf und verbindet SFT und Präferenztraining in einem Schritt. KTO braucht nicht einmal Paare. Ihm reicht pro Antwort ein Daumen hoch oder runter.

Beim Online-DPO erzeugt das Modell in jeder Runde neue Antwortpaare. Ein Bewerter wählt jeweils die bessere Antwort, trainiert wird mit den frischen Paaren. Alibaba trainierte Qwen2 so. Die Bibliothek TRL bietet im DPO-Trainer heute mehr als ein Dutzend Verlustfunktionen an, darunter die Originalvariante (sigmoid), IPO, die Längennormierung von SimPO und eine robuste Variante für fehlerhafte Bewertungen. Für Bildgeneratoren gibt es eine Übertragung namens Diffusion-DPO, mit der Stable Diffusion XL auf Nutzerpräferenzen trainiert wurde.

DPO bei KI/AI (Direct Preference Optimization) für Unternehmen und Handwerker:

Kein Handwerksbetrieb trainiert selbst per DPO. Der Begriff hilft trotzdem weiter. Erstens beim Verstehen, warum ein Chatbot so antwortet, wie er antwortet. Offene Modelle wie Llama, Mixtral oder Phi, die in einem lokalen Werkzeug wie LM Studio oder Ollama laufen, haben ihren Tonfall, ihre Höflichkeit und ihre Neigung zu langen Antworten aus Präferenzpaaren gelernt. Wenn ChatGPT zwei Antworten nebeneinander zeigt und fragt, welche besser gefällt, entsteht so ein Paar (Side-by-Side-Bewertung). Zweitens beim Einkauf. Wer eine Agentur oder einen Softwareanbieter mit einem Kundenservice-Bot beauftragt, der „in unserem Ton“ schreiben soll, stößt auf Preference Fine-Tuning als Angebot. Dann lohnt sich die Frage, ob das wirklich nötig ist.

Die Anbieter selbst nennen die Reihenfolge. Laut OpenAIs Leitfaden zur Modelloptimierung reicht Prompt-Engineering für manchen Anwendungsfall bereits aus. Ein guter Systemprompt legt Anrede, Länge und Tonfall fest. Fehlendes Wissen (Preise, Öffnungszeiten, Leistungen) gehört per RAG angebunden, nicht antrainiert. Fine-Tuning mit Beispielantworten (SFT) passt für feste Formate und Klassifikation. DPO kommt laut OpenAI für Zusammenfassungen mit dem richtigen Fokus und für Chat-Antworten im richtigen Ton und Stil infrage. Microsofts Foundry-Übersicht empfiehlt DPO, wenn die Qualität von Vorlieben wie Ton oder Vollständigkeit abhängt und nicht von einer einzigen richtigen Antwort. Eine klinische Studie im Journal of Medical Internet Research (2025) bestätigt die Grenze. DPO brauchte mindestens das Doppelte an GPU-Zeit gegenüber SFT. Bei einfacher Klassifikation brachte es nichts zusätzlich. Beim klinischen Schlussfolgern stieg die Trefferquote von Llama-3-8B dagegen von 28 Prozent nach SFT auf 36 Prozent nach DPO.

Entscheidungsleiter mit fünf Wegen zur Anpassung eines Sprachmodells, Prompt und RAG ohne Training sowie SFT, DPO und RFT mit Training, jeweils mit Eingabedaten, Eignung und Grenze laut OpenAI und Microsoft. DPO passt für Ton, Stil und Vorlieben, nicht für neues Wissen oder neue Aufgaben.
Prompt und RAG zuerst, DPO nur, wenn die Qualität von Vorlieben wie Ton und Stil abhängt (Quellen: OpenAI, „Model optimization“ und „Deprecations“, abgerufen 02.11.2026; OpenAI Cookbook, „Fine-Tuning Techniques: Choosing Between SFT, DPO, and RFT“, 18.06.2025; Microsoft Learn, „Fine-tuning overview“, 06.10.2026; Google Cloud, „Präferenzabstimmung“; JMIR 2025; Stand 2. November 2026). Grafik: ai-handwerk.de, Weiterverwendung mit Quellenangabe erlaubt.

Ein solches Projekt zeigt das OpenAI-Cookbook an einem fiktiven Kundenservice. 500 Antwortpaare, freundlich gegen kurz angebunden, 80 Prozent zum Training. Auf einer Ton-Skala von 0 bis 4, bewertet von einem Sprachmodell als Richter, lag das Ausgangsmodell bei 2,5, das DPO-Modell im Mittel 0,45 Punkte höher. Als ungeeignet nennt das Cookbook das Erlernen völlig neuer Aufgaben. Als Datenmenge empfiehlt es Tausende bis Zehntausende Paare. Jedes Paar muss jemand schreiben oder bewerten. Diese Handarbeit kostet mehr als jede Rechenzeit.

Wo Unternehmen DPO buchen können, hat sich 2026 verschoben. OpenAI baut seine Fine-Tuning-Plattform ab. Laut Abkündigungsseite können Organisationen ohne bisherige Fine-Tuning-Nutzung seit dem 7. Mai 2026 keine Trainingsläufe mehr starten, aktive Bestandskunden ab dem 6. Januar 2027 nicht mehr. Die DPO-Doku von OpenAI bleibt als Referenz nützlich, sie zeigt das Datenformat mit input, preferred_output und non_preferred_output. Offen stehen diese Wege:

  • Microsoft Foundry: DPO für GPT-4o und die GPT-4.1-Familie (Anleitung). Microsoft trainiert in US-Regionen oder in Sweden Central. Eine deutsche Region mit fester Datenhaltung gibt es dafür nicht. Die neueren Reasoning-Modelle gibt es dort nur mit Reinforcement Fine-Tuning.
  • Google Vertex AI: Präferenzabstimmung für Gemini 2.5 Flash und Flash-Lite, nur Text. Im Text der Doku fällt das Wort DPO nicht, der Parameter heißt laut Anleitung aber auch hier Beta.
  • Offene Modelle: Wer ein Llama- oder Qwen-Modell auf eigener Hardware anpasst, nutzt den DPO-Trainer aus Hugging Face TRL oder die Bibliothek Unsloth, die eine deutsche Anleitung für DPO, ORPO und KTO anbietet. Mit einem LoRA-Aufsatz läuft das auf einer einzelnen Grafikkarte. Amazon bietet DPO für seine Nova-Modelle über SageMaker an, Mistral und Anthropic bieten kein DPO an.

Für die meisten Unternehmen lautet die Antwort auf das Angebot „Preference Fine-Tuning“ trotzdem Nein. Ein Systemprompt mit fünf Beispielantworten im eigenen Ton kostet eine Stunde und lässt sich jederzeit ändern. Ein DPO-Modell benötigt Tausende Paare und hängt an einem bestimmten Basismodell. Beim nächsten Modellwechsel steht ein neues Training an. Sinnvoll wird es dort, wo ein Bot täglich Hunderte Anfragen beantwortet und der Ton messbar über Abschlüsse entscheidet, etwa bei einem Sanitärbetrieb mit Notdienst-Chat, der nachts Termine vorsortiert.

Automation Intelligence im Handwerk - Glossareintrag
Lexikon für künstliche Intelligenz und Automation - Glossar für Handwerker und Handwerksbetriebe
Handwerk transformieren durch Artificial Intelligence und Automation Intelligence

Webinar Release

Webinar Release

Sie haben eine Frage?

Sie haben eine Frage