Glossareintrag
Wir denken. KI tippt mit.
Pre-Training, auf Deutsch Vortraining, ist die erste und mit Abstand aufwendigste Trainingsphase eines Large Language Models. Das Modell verarbeitet dabei Billionen Wörter aus dem Internet, aus Büchern und aus Programmcode und übt eine einzige Aufgabe in endlosen Varianten, nämlich das jeweils nächste Token eines Textes vorherzusagen. Niemand beschriftet diese Daten von Hand, das Modell kontrolliert sich anhand des Originaltextes selbst. Fachleute nennen das selbstüberwachtes Lernen (Self-supervised Learning).
Das Ergebnis ist ein Basismodell (Base Model), das Sprache, Fakten und Zusammenhänge beherrscht, aber noch kein hilfreicher Assistent ist. Erst das anschließende Post-Training mit Feinabstimmung (Fine-Tuning) und menschlichem Feedback macht daraus einen Chatbot wie ChatGPT, der das Vortraining sogar im Namen trägt. Das P in GPT steht für „pre-trained", also vortrainiert. Kurz gesagt lernt das Modell im Pre-Training, was Sprache und Wissen sind, und erst im Post-Training, wie es sich als Assistent verhalten soll.
Im Pre-Training bekommt das Modell unvollständige Textstücke vorgelegt und rät die Fortsetzung. Steht dort „Der Fliesenleger verlegt die neuen …", vergleicht das System seine Vorhersage mit dem echten nächsten Wort und korrigiert seine internen Parameter bei jedem Fehler ein winziges Stück. Dieser simple Vorgang wiederholt sich billionenfach. Dabei entsteht als Nebenprodukt genau das, was Sprachmodelle so nützlich macht. Wer zuverlässig vorhersagen will, wie ein Satz über Fliesenkleber, Steuerrecht oder Programmcode weitergeht, muss Grammatik, Fachwissen und logische Zusammenhänge verinnerlicht haben.
Die Größenordnungen sind gewaltig. Meta trainierte sein größtes offenes Modell Llama 3.1 405B nach eigenen Angaben auf über 15 Billionen Tokens an Trainingsdaten, überschlagen rund 11 Billionen Wörter oder etwa 140 Millionen Bücher. Mehr als 16.000 Nvidia-Grafikprozessoren rechneten dafür wochenlang, zusammen über 30 Millionen GPU-Stunden. Sam Altman bezifferte die Kosten des GPT-4-Trainings schon 2023 auf mehr als 100 Millionen US-Dollar. Das Forschungsinstitut Epoch AI beobachtet, dass die Rechenleistung der Spitzenmodelle pro Jahr etwa um das Vier- bis Fünffache wächst; um 2027 dürfte ein einzelner Trainingslauf erstmals die Milliarde Dollar überschreiten. Es geht allerdings auch deutlich günstiger. Das chinesische Labor DeepSeek gab für den reinen Trainingslauf seines Modells V3 nur rund 5,6 Millionen Dollar Miet-Rechenkosten an, wobei Personal, Forschung und Fehlversuche in dieser Zahl fehlen.
Woher all der Text kommt, ist zur zentralen Streitfrage der Branche geworden. Basis fast aller Trainingskorpora ist Common Crawl, ein gemeinnütziges Web-Archiv mit über 300 Milliarden gespeicherten Seiten. Dazu kaufen die Anbieter Inhalte ein, OpenAI zahlt etwa dem Medienkonzern News Corp Berichten zufolge mehr als 250 Millionen Dollar über fünf Jahre. Gleichzeitig laufen Urheberrechtsverfahren. Anthropic verglich sich im September 2025 mit US-Buchautoren auf 1,5 Milliarden Dollar, weil Trainingsbücher aus Piraterie-Quellen stammten. Das Landgericht München I entschied im November 2025 im Verfahren der GEMA gegen OpenAI, dass die unlizenzierte Nutzung deutscher Songtexte für Training und Betrieb von ChatGPT Urheberrechte verletzt (nicht rechtskräftig, OpenAI hat Berufung eingelegt). Der EU AI Act verpflichtet Anbieter großer Modelle seit August 2025 außerdem, eine öffentliche Zusammenfassung ihrer Trainingsdaten vorzulegen.
Lange galt das Rezept „mehr Daten plus mehr Rechenleistung gleich besseres Modell" als sicherste Wette der KI-Entwicklung. Fachleute nennen dieses Prinzip Scaling Laws. Ende 2024 erklärte OpenAI-Mitgründer Ilya Sutskever dann öffentlich, das Pre-Training in seiner bekannten Form nähere sich dem Ende, weil der Vorrat an menschlich geschriebenem Text endlich sei. Er verglich die Daten mit dem fossilen Brennstoff der KI. Tatsächlich verlagerte die Branche ihren Ehrgeiz 2025 auf Reasoning-Modelle und aufwendigeres Post-Training. Totgesagt war das Vortraining damit nicht. 2026 berichten Branchendienste, OpenAI bereite den größten Pre-Training-Lauf seiner Firmengeschichte vor, offiziell bestätigt ist das bislang nicht.
Wer den kompletten Ablauf einmal von Grund auf sehen möchte, findet im dreieinhalbstündigen Erklärvideo „Deep Dive into LLMs" von Andrej Karpathy die verständlichste Darstellung. Dort stammt auch eine überraschende Anschauung. Ein kompletter Pre-Training-Datensatz von 15 Billionen Tokens belegt komprimiert nur rund 44 Terabyte und passt damit auf wenige handelsübliche Festplatten.
Pre-Training ist nichts, was ein Betrieb selbst durchführt oder einkauft. Der Begriff erklärt aber drei Alltagsphänomene, über die Nutzer von ChatGPT, Claude oder Gemini regelmäßig stolpern.
Nützlich ist das Wissen außerdem bei der Tool-Auswahl. Wirbt ein Anbieter damit, sein Modell sei „auf 30 Billionen Tokens trainiert", beschreibt das allein die Rohmasse des Vortrainings und sagt wenig über die Qualität im Betriebsalltag. Aussagekräftiger ist, wie gut das fertige Modell in unabhängigen Tests abschneidet und ob es aktuelle Informationen per Websuche oder Dokumenten-Upload einbeziehen kann.
