Glossareintrag
Wir denken. KI tippt mit.
Epoche bei KI (englisch Epoch, auch Trainings-Epoche oder Trainingsdurchlauf) ist ein vollständiger Durchlauf durch den gesamten Trainingsdatensatz beim Training eines KI‑Modells. Nach einer Epoche hat das Modell jedes Trainingsbeispiel ein einziges Mal verarbeitet. Google definiert den Begriff in der deutschen Fassung seines Machine-Learning-Glossars gleich. Dort ist die Epoche ein „vollständiger Trainingsdurchlauf über den gesamten Trainingsdatensatz, bei dem jedes Beispiel einmal verarbeitet wurde“. Wie viele Epochen ein Training bekommt, legt der Entwickler vor dem Start fest. Die Zahl gehört damit zu den Hyperparametern, den Stellschrauben des Trainings, die das Modell nicht selbst lernt.
Eine Epoche besteht aus vielen kleinen Schritten. Das Modell verarbeitet die Trainingsdaten in Paketen (Batches) und passt nach jedem Paket seine Parameter an. Ein solcher Schritt heißt Iteration oder Step. Die Zahl der Schritte je Epoche ergibt sich aus der Größe des Datensatzes geteilt durch die Batchgröße. Bei 1.000 Trainingsbeispielen und einer Batchgröße von 50 hat eine Epoche laut Google-Glossar 20 Schritte. Mit Paketen von je 100 Beispielen sinkt die Zahl auf 10 Schritte je Epoche. Über 20 Epochen aktualisiert das Training die Parameter laut Machine Learning Crash Course von Google dann 200 Mal.
(Hinweis: Verwechselbar mit „Epoche“ als Zeitalter, z. B. in der Formulierung „eine neue Epoche der KI“. Ebenso mit der gemeinnützigen Forschungsorganisation Epoch AI, die Rechenleistung, Kosten und Datenvorräte der KI-Branche vermisst. Auch Blockchain-Netzwerke wie Ethereum zählen ihre Zeitabschnitte in Epochen. Alle drei Bedeutungen haben mit dem Trainingsdurchlauf nichts zu tun.)
Der Begriff stammt aus der Frühzeit der neuronalen Netze. Im Nature-Aufsatz von Rumelhart, Hinton und Williams aus dem Jahr 1986, der das Backpropagation-Verfahren bekannt machte, heißt ein Durchlauf durch alle Beispiele noch „sweep“. Ein technischer Bericht von Plaut, Nowlan und Hinton aus demselben Jahr verwendet für den Durchlauf durch „the whole set of input-output cases“ bereits das Wort „epoch“. Der Bericht zeigt Diagramme der Fehlerfläche für die ersten zehn Epochen. Das Lehrbuch „Deep Learning“ von Goodfellow, Bengio und Courville hält fest, dass mehrere Durchläufe durch den Trainingsdatensatz in der Regel am besten sind, „unless the training set is extremely large“. Dieser Ausnahmefall ist bei heutigen Sprachmodellen der Normalfall.
Mehrere Epochen sind nötig, weil ein Modell seine Parameter in jedem Schritt nur ein kleines Stück in die richtige Richtung verschiebt (Gradientenabstieg). Ein einzelner Durchlauf reicht bei kleinen und mittleren Datensätzen nicht aus. Der Crash Course von Google schreibt dazu, für das Training seien „in der Regel viele Epochen erforderlich“. Vor jedem neuen Durchlauf mischen die Trainingsprogramme die Daten neu. Der DataLoader von PyTorch mischt bei eingeschalteter Option „shuffle“ die Daten „at every epoch“, Keras mischt „before each epoch“. Dadurch sieht das Modell die Beispiele in jeder Epoche in anderer Reihenfolge und anderer Paketzusammensetzung. Keras rechnet ohne weitere Angabe mit einer Batchgröße von 32, der Trainer von Hugging Face Transformers trainiert standardmäßig drei Epochen.
Zu viele Epochen lassen das Modell die Trainingsbeispiele auswendig lernen, statt das Muster dahinter zu verstehen (Overfitting, deutsch Überanpassung). Goodfellow, Bengio und Courville beschreiben, dass jede weitere Epoche den Fehler auf den Trainingsdaten senkt, aber den Abstand zum Fehler auf neuen Daten vergrößert. Zeitweilig überwiegt laut den Autoren der Nutzen, danach der Schaden. Das Gegenmittel heißt Early Stopping (bei Google auf Deutsch „vorzeitiges Beenden“). Ein Teil der Daten bleibt als Validierungsdaten vom Training ausgeschlossen. Steigt der Fehler auf diesen Daten nach einer Epoche wieder an, endet das Training. Der EarlyStopping-Baustein von Keras prüft das am Ende jeder Epoche. Sein Parameter „patience“ legt fest, wie viele Epochen ohne Verbesserung das Training noch weiterlaufen darf. Im Kapitel zur Regularisierung nennen die drei Autoren Early Stopping „probably the most commonly used form of regularization in deep learning“. Lernraten-Pläne senken die Schrittweite des Trainings von Epoche zu Epoche. In Keras holt sich der LearningRateScheduler „at the beginning of every epoch“ den neuen Wert. Trainingsprogramme sichern außerdem am Ende jeder Epoche einen Checkpoint. Bei Keras ist „epoch“ die Voreinstellung des ModelCheckpoint-Bausteins, bei Hugging Face schaltet die Option „save_strategy“ vom Speichern alle 500 Schritte auf das Speichern je Epoche um. Aus den gespeicherten Ständen wählt der Entwickler nachträglich die beste Epoche aus.
Große LLMs brechen mit der Lehrbuchregel. Im Pre-Training sehen sie ihre Daten meist weniger als einmal. Das GPT-3-Paper von OpenAI aus dem Jahr 2020 weist die Epochen je Datenquelle einzeln aus. Beim Training über 300 Milliarden Tokens lief der gefilterte Common-Crawl-Anteil nur 0,44 Mal durch, die Wikipedia dagegen 3,4 Mal. OpenAI begründet die Gewichtung mit der Datenqualität und nimmt dafür „a small amount of overfitting“ in Kauf. DeepMind (heute Google DeepMind) trainierte für das Chinchilla-Paper (2022) ein 70-Milliarden-Modell auf 1,4 Billionen Tokens und hält fest, dass alle untersuchten Trainingsläufe „less than an epoch of data“ gesehen haben. Die Wikipedia lief dort 3,4 Mal durch, der Web-Anteil MassiveWeb 1,24 Mal, alle anderen Quellen weniger als einmal. Meta nennt für Llama 3 im Llama-3-Paper 15,6 Billionen Tokens für das größte Modell und beschreibt statt einer Epochenzahl das Hochgewichten einzelner Quellen (Upsampling), z. B. von Mathematik-Daten. Der Grund liegt in den Scaling Laws. Wer ein festes Rechenbudget hat, erreicht mit frischen Trainingsdaten mehr als mit Wiederholungen derselben Daten.
Wie viel Wiederholung ein Sprachmodell verträgt, hat die Studie „Scaling Data-Constrained Language Models“ (Muennighoff et al., 2023) an mehr als 400 Modellen gemessen. Bei festem Rechenbudget verändern bis zu vier Epochen über wiederholte Daten den Verlust laut der Studie nur unwesentlich gegenüber frischen Daten. Ein Modell mit 8,7 Milliarden Parametern lag nach vier Epochen nur 0,5 Prozent über dem Wert des Ein-Epochen-Modells. Ab rund 16 Epochen fällt der Nutzen weiterer Wiederholungen laut den Autoren „extremely fast“ ab. Eine zweite Studie (Xue et al., 2023) spricht von „multi-epoch degradation“ und hat unter den üblichen Gegenmitteln nur Dropout als wirksam ermittelt. Aus diesen Grenzen leitet Epoch AI, die eingangs erwähnte Forschungsorganisation, in der Studie „Will we run out of data?“ (Villalobos et al., Fassung vom Juni 2024) ab, wie lange der Vorrat an menschlichem Text reicht. Die Autoren schätzen den effektiv nutzbaren Bestand an öffentlichem Text auf rund 400 Billionen Tokens. Die Zahl rechnet Qualitätsfilter und mehrfache Wiederholung der Daten bereits ein. Halten die aktuellen Trends an, trainieren die Labore ihre Sprachmodelle laut der Studie zwischen 2026 und 2032 auf Datensätzen dieser Größe. Der Median liegt bei 2028. Sie rechnen mit „between 1 and 4 epochs“ als typischem Wert und nennen synthetische Trainingsdaten als einen Ausweg.
Handwerksbetriebe und lokale Unternehmen begegnen der Epoche an zwei Stellen. Die erste ist das Fine-Tuning über die Schnittstellen der Anbieter, z. B. wenn ein Betrieb ein Modell auf die eigenen Angebotstexte oder E-Mail-Antworten abstimmt. Bei OpenAI heißt der Parameter laut API-Referenz „n_epochs“. Lässt man den Wert weg oder setzt ihn auf „auto“, wählt OpenAI die Zahl selbst nach der Größe des Datensatzes. Die Empfehlungen zum Fine-Tuning raten, den ersten Lauf ohne eigene Vorgabe zu starten. Folgt das Modell den Trainingsbeispielen danach zu wenig, empfiehlt OpenAI ein bis zwei Epochen mehr. Antwortet es zu einförmig, ein bis zwei weniger. Am Ende jeder Epoche legt OpenAI laut seiner Anleitung zum überwachten Fine-Tuning einen vollständigen Checkpoint an und bewahrt die der letzten drei Epochen auf. Google nennt den Wert in der deutschen Dokumentation zur Gemini-Abstimmung „Epochen“ und beschreibt ihn als „Anzahl der vollständigen Durchläufe des gesamten Trainings-Datasets durch das Modell“. Auch dort passt sich der Standardwert automatisch an die Datenmenge an. Amazon Bedrock führt den Parameter „epochCount“ für die meisten Textmodelle mit Mindest-, Höchst- und Standardwert. Für die hauseigenen Modelle Nova Lite, Micro und Pro steht er laut Bedrock-Dokumentation auf 2 bei höchstens 5. Für Claude 3 Haiku, das sich bis zum Frühjahr 2026 ausschließlich über Bedrock nachtrainieren ließ, galten 2 und höchstens 10. Ein Nachfolger für Claude fehlt, auch das im Oktober 2026 erschienene Claude Haiku 5.5 listet AWS in der Modellkarte ohne Fine-Tuning. Laut Amazon verarbeitet jede Epoche den gesamten Datensatz einmal. Jede weitere erhöht damit die abgerechnete Token-Menge. Größere Datensätze benötigen laut Amazon in der Regel weniger Epochen, kleinere mehr.
Ein Malerbetrieb, der bei Bedrock 300 eigene Angebotstexte einspielt, zahlt bei drei Epochen also für die dreifache Token-Menge seiner Beispiele. Ob das Ergebnis besser ist als nach zwei Epochen, zeigt erst der Vergleich der gespeicherten Checkpoints an Texten, die nicht im Training waren. Wer nur Firmenwissen abfragen will, z. B. Preislisten oder Montageanleitungen, benötigt kein Training. Dafür reicht RAG, das die Dokumente zur Laufzeit mitliest.
Die zweite Stelle ist das Training eines LoRA für die Bild-KI, z. B. für Produktbilder im eigenen Stil auf Basis eines Diffusionsmodells. Hier rechnet die Szene in Epochen, Wiederholungen und Schritten. Das LoRA-Glossar von Civitai rechnet vor, dass 20 Trainingsbilder mit 10 Wiederholungen 200 Schritte je Epoche ergeben. Die Gesamtzahl der Schritte ist Bilder mal Wiederholungen mal Epochen, geteilt durch die Batchgröße (Standard 1). Der Trainer auf der Civitai-Website stellt bis zu 20 Epochen zum Herunterladen bereit. Der Nutzer testet die Stände und veröffentlicht die Epoche mit den besten Bildern. Mehr Epochen und Wiederholungen kosten dort mehr von der Plattformwährung Buzz. Ein zu lange trainiertes LoRA heißt im Civitai-Glossar „overcooked“. Die Trainingsskripte von kohya-ss, auf denen viele dieser Trainer aufsetzen, kennen die Optionen „max_train_epochs“ und „save_every_n_epochs“. Sind Epochen und Schritte beide angegeben, haben laut Dokumentation die Epochen Vorrang.
Wer ChatGPT, Claude oder Gemini als fertigen Dienst nutzt, bekommt von Epochen nichts mit. Das Vortraining ist abgeschlossen, bevor der Anbieter das Modell freischaltet. Der Begriff zählt erst, wenn ein Unternehmen ein Modell selbst nachtrainiert oder einen Dienstleister damit beauftragt. Dann bestimmt die Epochenzahl mit, wie viele Tokens der Anbieter abrechnet und ob das Modell die Beispiele nur auswendig lernt.