Glossareintrag
Wir denken. KI tippt mit.
Harness bei KI (englisch Harness, wörtlich Geschirr oder Gespann, in der Softwaretechnik der Name für einen Testrahmen) ist die Software-Umgebung, in der ein KI-Modell arbeitet oder geprüft wird. Sie nimmt die Aufgabe an, reicht sie an das Sprachmodell weiter, führt die vom Modell angeforderten Werkzeuge aus, verwaltet den Gesprächsverlauf und entscheidet, wann die Arbeit beendet ist. Das Modell selbst liefert nur Text. Alles, was daraus eine Handlung am Computer macht, ist das Harness.
Der Begriff tritt in zwei Rollen auf. Ein Agent Harness (auch Scaffold, deutsch Gerüst) macht aus einem Sprachmodell einen KI-Agenten, der Dateien liest, Programme startet und Webseiten bedient. Beispiele sind Claude Code von Anthropic, Codex von OpenAI und der Editor Cursor. Anthropic formuliert es in seinem Glossar zu Claude Code so: „Claude Code is the harness; Claude is the model inside it.“ Ein Benchmark-Harness (auch Evaluation Harness) ist die Prüfumgebung, die einem Modell die Aufgaben eines Benchmarks vorlegt, die Antworten bewertet und die Punktzahl errechnet. Bekannte Beispiele sind das lm-evaluation-harness von EleutherAI, Inspect des britischen AI Security Institute und das Standard-Harness der ARC Prize Foundation.
Dasselbe Modell liefert je nach Harness unterschiedliche Ergebnisse. Deshalb steht das Wort seit 2026 in den Fußnoten der Modellvorstellungen von OpenAI und Anthropic. Im September 2026 erreichte GPT-6 Astra im Standard-Harness von ARC Prize 62,7 Prozent auf dem Benchmark ARC-AGI-3, mit einem von OpenAI mitgebrachten Harness 99,9 Prozent (Analyse der ARC Prize Foundation). Maßstab ist dort nicht die Zahl gelöster Level, sondern der Effizienz-Score RHAE, der die Spielzüge des Modells mit denen menschlicher Erstspieler vergleicht. (Hinweis: Verwechselbar mit Harness, dem Namen eines US-Softwareherstellers für Auslieferungs-Werkzeuge (CI/CD), der mit dem hier erklärten Begriff nichts zu tun hat.)
Das Wort stammt aus dem Altfranzösischen (harnois) und bezeichnete zunächst Rüstung und Ausrüstung, bald darauf das Geschirr, mit dem ein Pferd vor den Wagen gespannt wird. Die Technik übernahm es für Dinge, die Kraft bündeln und lenken. Elektriker kennen den Kabelbaum als Wiring Harness, Bergsteiger den Klettergurt als Climbing Harness. In der Softwareentwicklung heißt die Sammlung aus Treibern und Platzhaltern, die ein Programmteil automatisch durchprüft, Test Harness. Von dort wanderte der Begriff in die KI. Das erste Release des lm-evaluation-harness der Forschergruppe EleutherAI stammt vom September 2021. Das Werkzeug legt Sprachmodellen mehr als 60 Benchmarks vor und war das Rechenwerk hinter dem Open LLM Leaderboard von Hugging Face, das bis zu seiner Einstellung im März 2025 mehr als 13.000 Modelle bewertete. Als die Prüfstelle METR 2023 begann, Modelle als selbstständige Agenten zu testen, nannte sie den Programmrahmen um das Modell noch Scaffolding, Baugerüst. Der HashiCorp-Gründer Mitchell Hashimoto machte am 5. Februar 2026 mit einem Erfahrungsbericht über KI-Agenten den Ausdruck Harness Engineering bekannt. Gemeint ist die Arbeitsweise, jeden Fehler eines Agenten so in der Umgebung abzustellen, dass er nicht wieder vorkommt. Deutsche Fachmedien lassen das Wort unübersetzt. heise online widmet dem Begriff seit Juni 2026 einen eigenen Hintergrundtext zum Agent Harness (heise+).
Ein Agent Harness besteht aus fünf Bausteinen. Die Arbeitsschleife ruft das Modell auf, liest aus der Antwort den gewünschten Werkzeugaufruf heraus, führt ihn aus und gibt das Ergebnis an das Modell zurück, so lange, bis die Aufgabe erledigt ist. Die Werkzeuge (Tools) sind Dateizugriff, Kommandozeile, Browser, Websuche und über das Model Context Protocol angebundene Dienste. Das Modell fordert sie per Function Calling an. Die Kontextverwaltung wählt aus, was das Modell beim nächsten Schritt zu sehen bekommt. Sie verdichtet lange Verläufe (Kompaktierung), lädt Merkdateien und hält Zwischenstände fest, damit das Kontextfenster nicht überläuft. Die Berechtigungen legen fest, welche Aktionen der Agent allein ausführen darf und wo er den Menschen fragen muss, meist ergänzt um eine Sandbox. Das Protokoll zeichnet jeden Schritt auf, damit sich Fehler nachvollziehen lassen. Anthropic beschreibt sein Claude Agent SDK als dieselben Werkzeuge, dieselbe Agentenschleife und dieselbe Kontextverwaltung, die auch Claude Code antreiben. OpenAI zählt in seinem Entwicklerbeitrag zu Codex als Plattform dieselben Aufgaben auf, dazu das Anzeigen des Fortschritts, den Umgang mit Fehlern und die Rückfrage beim Menschen, wo nötig. Auch ein Chat-Fenster ist ein Harness, nur ein schmales. Die ChatGPT-App, Claude Cowork und Microsoft Copilot sind jeweils Harnesses um ein Modell, das der Anbieter auch ohne Oberfläche über seine Schnittstelle verkauft.
OpenAI berichtete im Juli 2026 in einem Beitrag über zwei Einstellungen im ARC-AGI-3-Harness, dass sein Modell GPT-5.6 Sol im offiziellen Harness einen Wert von 13,3 Prozent erreichte. Nachdem das Harness den Denkzustand des Reasoning-Modells zwischen den Spielzügen behielt und den Verlauf verdichtete statt abzuschneiden, waren es 38,3 Prozent bei rund sechsmal weniger Ausgabe-Tokens. Das Standard-Harness hatte die Überlegungen des Modells nach jedem Zug verworfen, das Modell leitete die Spielregeln deshalb immer wieder neu ab. Dasselbe Muster zeigte sich im September 2026 bei GPT-6 Astra mit 62,7 gegenüber 99,9 Prozent, und der Effekt beschränkt sich nicht auf Rätsel-Benchmarks. Beim Kommandozeilen-Test Terminal-Bench 2.1 erreichte Claude Opus 4.6 mit Claude Code als Harness 70,1 Prozent, mit dem neutralen Referenz-Agenten Terminus 2 dagegen 63,8 Prozent. Gemini 3.1 Pro schnitt umgekehrt im neutralen Agenten besser ab als in Googles eigener Gemini CLI (Auswertung zu Terminal-Bench 2.1). Anthropic maß in der System Card zu Claude Opus 4.6 das Konkurrenzmodell GPT-5.2-Codex einmal mit 57,5 Prozent im neutralen Harness und einmal mit 64,7 Prozent in OpenAIs Codex CLI. Das Unternehmen LangChain hob den Wert von GPT-5.2-Codex auf Terminal-Bench von 52,8 auf 66,5 Prozent, ohne das Modell anzufassen, nur durch Änderungen an System-Prompt, Werkzeugen und Zwischenschichten. Das Forschungsinstitut Epoch AI tauschte im Dezember 2025 auf SWE-bench Verified nur das Scaffold. Der Unterschied betrug bis zu 11 Prozent für GPT-5 und bis zu 15 Prozent für Kimi K2 Thinking (Analyse „Why benchmarking is hard“). Eine Studie der Universität Peking ließ im Mai 2026 für Harness-Bench denselben Satz von acht Modellen durch sechs Harnesses laufen; je nach Harness lag der mittlere Wert zwischen 52,4 und 76,2 Punkten. Die Autoren schlagen vor, Fähigkeiten künftig als Kombination aus Modell und Harness anzugeben statt dem Modell allein.
Das Modell wiegt trotzdem schwerer als das Harness. Die Betreiber des Benchmarks Agents’ Last Exam hielten im Juni 2026 das Harness fest und tauschten die Modelle, die Spanne betrug 18 Prozentpunkte. Hielten sie das Modell fest und tauschten das Harness, lag die Spanne bei 6 Punkten (Auswertung „Does the Harness Matter?“). Das Harness entscheidet also, wie viel vom Können eines Modells in der Praxis ankommt, und ein Harness, das für ein Modell gebaut wurde, hilft einem anderen nicht automatisch. OpenAI beschreibt seine Codex-Modelle in der Modellübersicht als für Programmieraufgaben in Codex und ähnlichen Umgebungen optimiert. Anthropic misst seine Modelle in den Ankündigungen mit Claude Code als Harness und weist das in den Fußnoten aus (Ankündigung zu Claude Fable 5.1).
Benchmark-Betreiber trennen deshalb zwei Messungen. Ein Standard-Harness gibt allen Modellen dieselbe schmale Schnittstelle und misst, was ein Modell ohne Hilfe kann. ARC Prize lässt in seinem Standard-Harness nur die Notizen weiterreichen, die das Modell selbst anlegt. SWE-bench führt seine „bash only“-Rangliste mit dem Mini-Agenten mini-SWE-agent, der außer einer Kommandozeile kein einziges Werkzeug bereitstellt. Ein Anbieter-Harness (bei ARC Prize Provider Adapter genannt) nutzt die Funktionen, die der Hersteller für sein Modell gebaut hat, und misst damit das Produkt, das Kunden tatsächlich bedienen. Die Rangliste von Terminal-Bench führt deshalb Modell und Agent als getrennte Spalten. Epoch AI empfiehlt für den Modellvergleich ein standardisiertes Scaffold und für die Frage nach der Leistungsgrenze die fertigen Produkte wie Claude Code. ARC Prize führt beide Astra-Werte in seiner Rangliste getrennt auf und nennt zu jedem den Aufbau, in dem er entstand.
Die Begriffe rund um das Harness sind nicht scharf getrennt. Anthropic verwendet in seinem Leitfaden zu Agenten-Evaluationen Harness und Scaffold gleichbedeutend. Andere trennen das Scaffold als Verhaltensschicht (System-Prompt, Werkzeugbeschreibungen, Gedächtnis) vom Harness als Ausführungsschicht (Modellaufruf, Werkzeugausführung, Abbruch). Ein Framework wie LangGraph, das OpenAI Agents SDK oder Googles ADK ist der Baukasten, aus dem Entwickler ein Harness zusammensetzen. Microsoft nennt in Copilot Studio drei wählbare Harnesses und schreibt dazu, die Wahl bestimme Abrechnung, Funktionen und Fähigkeiten des gebauten Agenten. Steuert ein Modell mehrere Harnesses parallel, entsteht ein Multiagenten-System, in dem ein Agent Teilaufgaben an weitere vergibt.
Wer im Betrieb ein KI-Tool auswählt, wählt in erster Linie ein Harness, nicht ein Modell. Die App von ChatGPT, Claude Cowork und Microsoft Copilot setzen jeweils ihr eigenes Harness um ein Modell, das der Hersteller auch anderen Software-Anbietern verkauft. Dasselbe Modell arbeitet deshalb in einem Buchhaltungsprogramm anders als im Chat-Fenster, weil das Harness bestimmt, welche Dateien es sieht, welche Programme es starten darf und wann es nachfragt. Claude Cowork nutzt laut der Einführung von Anthropic dieselbe Agenten-Architektur wie das Entwicklerwerkzeug Claude Code, nur ohne Kommandozeile. Ein Elektrobetrieb, der Cowork den Ordner mit Lieferantenrechnungen sortieren lässt, bekommt damit den Dateizugriff und die Arbeitsschleife von Claude Code, verpackt in ein Fenster mit Ordnerauswahl. Ein Probelauf mit den eigenen Aufgaben sagt deshalb mehr aus als der Modellname im Prospekt.
Lesen Sie Benchmark-Werte in Werbung und Vergleichsartikeln mit Blick auf die Fußnote. Welches Harness stand im Test, das des Anbieters oder ein für alle gleiches? Liefen die Konkurrenzmodelle im selben Harness? Wie viele Durchläufe stecken hinter dem Wert? OpenAI nannte in der Ankündigung von GPT-6 Astra nur den Wert von 99,9 Prozent und verwies auf das eigene Harness in einer Fußnote, ARC Prize weist beide Messungen aus. Ein Wert aus dem Standard-Harness vergleicht Modelle, ein Wert aus dem Anbieter-Harness vergleicht Produkte. Für ein Unternehmen, das ein fertiges Tool kauft, ist der zweite Wert der interessantere, aber nur, wenn die Fußnote ihn als solchen ausweist.
Wie viel Schaden ein Agent anrichten kann, regelt das Harness. Claude Code fragt laut seiner Doku zu den Berechtigungsmodi im manuellen Modus vor fast jeder Aktion nach, die Dateien ändert, Befehle ausführt oder ins Netz geht. Im Auto-Modus, der in den Bezahl-Abos voreingestellt ist, prüft ein zweites Modell die Aktionen statt des Menschen. Den Modus ohne jede Prüfung empfiehlt Anthropic nur in abgeschotteten Containern oder virtuellen Maschinen. Cowork bietet die Stufen Manual, Auto und Skip (Rückfrage, automatische Prüfung, keine Prüfung) und holt vor dem Löschen von Dateien eine ausdrückliche Zustimmung ein. OpenAIs Codex läuft laut Sandbox-Doku standardmäßig mit Schreibrecht nur im Arbeitsordner und fragt vor jedem Internetzugriff nach. Diese Schalter sitzen im Harness. Wer sie lockert, damit der Agent schneller arbeitet, macht ihn anfällig für Prompt Injection, also versteckte Befehle in einer E-Mail oder auf einer Webseite, die der Agent beim Lesen ausführt. Für einen Betrieb mit Kundendaten auf dem Rechner ist die Voreinstellung mit Rückfrage der richtige Start, das Lockern kommt aufgabenweise später.
Sie bezahlen im Abo ebenfalls das Harness. Claude Code und Claude Cowork stecken im Pro-Abo von Anthropic (Preisseite von Anthropic), Codex ist in den ChatGPT-Plänen enthalten (Preisseite zu Codex). Bei Microsoft Copilot Studio hängt die Abrechnung laut Doku davon ab, welches der drei Harnesses ein Unternehmen wählt. Wer die Grenzen fertiger Produkte erreicht, lässt sich von einer Agentur oder einem IT-Dienstleister ein eigenes Harness bauen. Die Baukästen dafür heißen Claude Agent SDK, OpenAI Agents SDK und LangGraph, und auch die KI-Agenten-Module von Make und n8n sind kleine Harnesses, die ein Modell mit den Werkzeugen des Betriebs verbinden. Der Aufwand lohnt sich für wiederkehrende Abläufe mit vielen Schritten, z. B. wenn ein Agent Anfragen aus dem Kontaktformular liest, Kundendaten im Handwerkerprogramm nachschlägt und einen Terminvorschlag vorbereitet, den ein Mitarbeiter nur noch freigibt.
