Glossareintrag
Wir denken. KI tippt mit.
In-Context-Learning bei KI/AI (englisch In-Context Learning, kurz ICL, deutsch Lernen im Kontext) ist die Fertigkeit großer Sprachmodelle, eine neue Aufgabe allein aus dem Text zu lernen, den sie gerade verarbeiten. Anweisungen und Beispiele im Prompt genügen. Das KI-Modell erkennt darin das Muster und wendet es auf den neuen Fall an. Es muss nicht extra trainiert oder verändert werden.
Beim Training und beim Fine-Tuning ändern sich die Parameter eines KI-Modells dauerhaft. Beim In-Context-Learning bleiben sie unangetastet. Was das Modell aus den Beispielen übernimmt, wirkt nur für die laufende Anfrage. Sobald der Chat endet oder die Beispiele aus dem Kontextfenster fallen, ist es vergessen.
Populär wurde der Begriff 2020 durch die OpenAI-Arbeit „Language Models are Few-Shot Learners“. Hier wurde das Sprachmodell GPT-3 vorgestellt. GPT-3 löste viele Aufgaben, wenn sie ihm nur beschrieben oder mit wenigen Beispielen vorgemacht wurden. Ganz ohne Anpassung der Modellgewichte. Aus dieser Beobachtung stammen auch die Begriffe Zero-Shot-, One-Shot- und Few-Shot-Prompting. Je nachdem, ob null, ein oder mehrere Beispiele im Prompt stehen. Alle drei sind Spielarten desselben Mechanismus, des In-Context-Learnings.
Warum ein Sprachmodell im Kontext lernen kann, ist bislang nur partiell erklärt. Anthropic beschrieb 2022 in einer Arbeit zu Induction Heads Bausteine im Inneren des Modells, die im bisherigen Text nach ähnlichen Stellen suchen und deren Fortsetzung übernehmen. Die Autoren vermuten, dass diese Muster-Kopierer einen Großteil des In-Context-Learnings tragen. Belegen konnten sie das bislang primär für kleine Modelle. Eine vollständige Erklärung des Mechanismus steht noch aus.
Mit den Kontextfenstern aktueller Modelle von rund einer Million Tokens wächst die Zahl möglicher Beispiele von einer Handvoll auf Hunderte bis Tausende. Google DeepMind hat diesen Effekt 2024 in der Studie „Many-Shot In-Context Learning“ nachgewiesen. Bei einer Planungsaufgabe stieg die Erfolgsquote des Modells Gemini mit vielen Beispielen von 42 auf 62 Prozent. Bei der Übersetzung in die sambische Sprache Bemba verbesserten knapp 1.000 mitgelieferte Beispielsätze das Ergebnis um rund 15 Prozent. Laut der Google-Dokumentation zu langen Kontexten erreicht das Many-Shot-Verfahren ähnliche Ergebnisse wie Modelle, die eigens für die Aufgabe per Fine-Tuning angepasst wurden.
Mehr Beispiele sind nicht automatisch besser. In derselben DeepMind-Studie fiel die Leistung bei einigen Aufgaben wieder ab, sobald zu viele Beispiele im Prompt standen. Die Firma Chroma dokumentierte 2025 unter dem Namen „Context Rot“ zusätzlich, dass die Genauigkeit vieler Modelle bei sehr langen Eingaben sinkt, selbst bei einfachen Aufgaben. Dieser Kontext-Verfall setzt lange ein, bevor das Fenster rechnerisch voll ist. Anthropic übernimmt den Begriff in der Dokumentation zum Kontextfenster von Claude und betont dort, dass die Auswahl des Kontexts genauso wichtig ist wie seine Größe. Außerdem belegen alle mitgeschickten Beispiele Platz im Kontextfenster und werden bei jedem Aufruf als Tokens mitberechnet.
Wer ChatGPT, Claude oder Gemini alte Mails oder gelungene Beispieltexte in den Prompt kopiert, nutzt bereits In-Context-Learning. Die passende Prompt-Technik dazu heißt Few-Shot-Prompting.
Für Unternehmen ist der Begriff eine Entscheidungshilfe, um zu verstehen, auf welchem Weg eine KI Firmenwissen bekommt:
Das Gelernte verschwindet mit dem Ende des Chats. Wer dieselben Beispiele immer wieder benötigt, hinterlegt sie dauerhaft. Das können Claude-Projekte, Custom GPTs von ChatGPT oder Gems von Gemini sein. Von dort wandern sie automatisch in den Kontext jedes neuen Gesprächs. Das Prinzip dahinter bleibt In-Context-Learning.
Wichtig: Beim Zusammenstellen der Beispiele gelangt der komplette Prompt an den Anbieter. Echte Kundennamen und andere personenbezogene Daten haben in Musterbeispielen nichts verloren. Anonymisierte Fassungen funktionieren genauso gut.
