Glossareintrag
Wir denken. KI tippt mit.
Terminal-Bench (auch Terminal Bench oder kurz TB geschrieben, aktuelle Fassung Terminal-Bench 4.0) ist ein KI-Benchmark, der misst, ob ein KI-Agent schwere, mehrstufige Aufgaben allein in einem Terminal löst. Das Terminal ist die textbasierte Kommandozeile eines Computers, ohne Maus und ohne grafische Oberfläche. Jede Aufgabe läuft in einem eigenen Docker-Container mit vorbereiteten Dateien und Programmen. Der Agent bekommt eine Anweisung in Textform, tippt Befehle, liest die Ausgaben und arbeitet, bis er das Ergebnis für fertig hält. Danach prüfen automatische Tests den Endzustand des Containers. Gezählt wird nur, ob das Ergebnis stimmt, nicht der Weg dorthin. Die Kennzahl ist der Anteil gelöster Aufgaben in Prozent (Resolution Rate).
Wissenschaftler der Stanford University und des Laude Institute um Mike Merrill, Alex Shaw und Andy Konwinski haben den Agenten-Benchmark entwickelt. Version 1.0 erschien am 19. Mai 2025 (Ankündigung auf tbench.ai). Das Paper Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces mit 85 Autoren aus 44 Institutionen nahm die Konferenz ICLR 2026 an. Anders als SWE-bench, der in seiner Grundform Fehler in Python-Projekten beheben lässt, reicht Terminal-Bench von Programmieraufgaben über Datenanalyse und Server-Einrichtung bis zu Fachaufgaben aus Medizin, Außenhandelsstatistik und Musiktranskription. Seit Version 2.0 läuft der Test im eigenen Prüfrahmen Harbor, der jeden Agenten, der sich in einem Container installieren lässt, mit jedem Modell in einer Sandbox starten kann.
Jeder Wert gilt für das Gespann aus Modell und Harness, also dem Agenten-Programm, das die Befehle ausführt (Claude Code, Codex, Grok Build). Die offizielle Rangliste führt beides getrennt auf, dazu die Denk-Aufwandsstufe (Effort), die Kosten und den Token-Verbrauch des Durchlaufs. Weil jede neue Version Aufgaben austauscht und repariert, lassen sich Werte aus Terminal-Bench 2.1, 3.0 und 4.0 nicht miteinander vergleichen.
Das Terminal ist die älteste Schnittstelle zum Computer und bis heute das Werkzeug von Entwicklern und Administratoren. Wer dort arbeitet, kann Programme installieren, Dateien umbauen, Server einrichten, Daten auswerten und fremden Code kompilieren, alles über getippte Befehle. Ein Agent, der das beherrscht, braucht keine Spezialschnittstelle zu jedem Programm. Die Betreiber bauten mit Terminus einen einfachen Referenz-Agenten. Er besitzt ein einziges Werkzeug, eine Terminal-Sitzung, und läuft mit jedem Sprachmodell. Mit ihm lassen sich Modelle ohne Einfluss eines fremden Harness vergleichen. Nach Angaben des Teams nutzte bis November 2025 „virtually every frontier lab“ den Benchmark. Förderzusagen von OpenAI, Anthropic, Z.ai, SpaceX AI und dem Laude Institute bezahlen die Durchläufe für die Rangliste.
Die Aufgaben stammen von Freiwilligen aus Forschung und Industrie und sollen Arbeit abbilden, die ein Fachmann am Rechner erledigt. In Version 1.0 musste ein Agent einen Linux-Kernel bauen und in der Emulation QEMU starten oder Messdaten einer Raman-Spektroskopie anpassen. Weitere Aufgaben der ersten Fassung waren, das Passwort eines 7z-Archivs zu knacken und ein beschädigtes Git-Repository zu reparieren. Version 2.0 brachte Aufgaben wie ein COBOL-Programm nach Python zu übertragen, Windows 3.11 in einem Emulator zu installieren oder das Spiel Doom für einen MIPS-Prozessor zu kompilieren. Die Aufgabenliste von Terminal-Bench 4.0 auf GitHub enthält unter anderem eine Intrastat-Meldung für den Außenhandel, die Garantieprüfung einer Wärmepumpe, die Abrechnung medizinischer Leistungen, die Übertragung eines VBA-Formulars und die Transkription eines vierstimmigen Chorals aus einer Audiodatei in eine Partitur. Das Prüfinstitut Vals AI hat die 66 Aufgaben der Version 4.0 nach Fachgebiet gezählt. 18 entfallen auf Software-Entwicklung, 14 auf Wissenschaft, 11 auf maschinelles Lernen, 9 auf IT-Betrieb, je 5 auf Hardware und Sicherheit und 4 auf Medien. Den Aufwand eines menschlichen Experten schätzt Vals AI im Median auf vier Stunden pro Aufgabe.
Jede eingereichte Aufgabe muss drei Bedingungen erfüllen, die das Paper als Spezifität, Lösbarkeit und Integrität bezeichnet. Die Tests dürfen nur bestehen, wenn der Container im gewünschten Endzustand ist. Eine von Hand geschriebene Referenzlösung (Oracle Solution) muss alle Tests bestehen. Und es darf keine Abkürzung geben, mit der ein Agent die Tests besteht, ohne die Arbeit zu erledigen. Laut Paper kostete jede Aufgabe rund drei Stunden Prüfzeit mehrerer Gutachter. Seit Version 3.0 durchläuft jeder Vorschlag eine feste Kette aus KI-Vorprüfung, zwei menschlichen Gutachtern, automatischen Tests und Probeläufen mit einem Spitzenmodell, der Referenzlösung und einem absichtlich schummelnden Agenten. Alle Aufgaben liegen offen auf GitHub und damit in Reichweite der Trainingsdaten künftiger Modelle. Ein eingebauter Warntext (Canary String) soll es Modellherstellern erleichtern, die Aufgaben aus ihren Trainingsdaten herauszufiltern. Das Paper selbst nennt ihn „largely a symbolic safeguard“. Agenten erhalten die Anweisung, nicht online nach Lösungen zu suchen.
Die Versionen, deren Werte sich nicht untereinander vergleichen lassen (Daten laut Versionsübersicht auf tbench.ai und den jeweiligen Ankündigungen):
Die offizielle Rangliste auf tbench.ai lässt jedes Gespann fünfmal über alle 66 Aufgaben laufen (330 Versuche) und zeigt zu jedem Wert ein 95-Prozent-Konfidenzintervall. Stand 23. Oktober 2026 führt Claude Opus 5.5 mit Claude Code bei 64,8 Prozent (± 3,1) vor Claude Sonnet 5.5 mit Claude Code bei 61,8 Prozent (± 2,9). GPT-6 Astra und GPT-6.1 Sol mit Codex teilen sich Platz 3 mit je 58,2 Prozent, Claude Fable 5.1 folgt mit 57,9 Prozent. Die Plätze 3 bis 8 liegen innerhalb der Fehlerbalken. Eine einzelne Aufgabe entspricht rund 1,5 Prozentpunkten. Der Durchlauf von Opus 5.5 kostete rund 4.700 Dollar bei 8 Milliarden Tokens, der von Sonnet 5.5 rund 7.300 Dollar bei 19,4 Milliarden Tokens, der von GPT-6.1 Sol 634 Dollar. Bestes Modell mit offenen Gewichten auf der offiziellen Liste ist GLM-5.3 von Z.ai mit 41,8 Prozent. Claude Sonnet 5 brauchte 21,6 Milliarden Tokens für 12,4 Prozent. Es lief laut den Betreibern zeitweise in Zeitlimits und in die Obergrenze für Ausgabe-Tokens.
Für dasselbe Modell kursieren mehrere Werte, weil jede Stelle anders misst. Anthropic nennt in der Ankündigung von Claude Opus 5.5 66,4 Prozent bei einem Standardfehler von ± 2,6 Punkten. Das Unternehmen hat auf der Effort-Stufe „xhigh“ gemessen, die laut Fußnote den besten Wert des Modells liefert. Die offizielle Rangliste misst 64,8 Prozent mit Claude Code auf der Stufe „max“. Vals AI kommt im Mittel aus drei Durchläufen auf 65,15 Prozent (Stand 29. Oktober 2026). Das Institut nutzt den minimalen Agenten mini-SWE-agent, der allen Modellen nur eine Bash-Kommandozeile gibt. Artificial Analysis setzt denselben Agenten mit höchstens 500 Schritten ein und kommt für Claude Opus 5.5 auf 59,6 Prozent. Für Claude Sonnet 5.5 stehen 70,6 Prozent in Anthropics Ankündigung und 61,8 Prozent in der Rangliste. Bei Claude Fable 5.1 ist es umgekehrt. Anthropic meldet 55,8 Prozent, die Rangliste 57,9. Google übernahm in der Auswertung zu Gemini 4 Argon für Opus 5.5 den Anthropic-Wert von 66,4 Prozent, obwohl Google im Methodikteil angibt, Fremdwerte aus der öffentlichen Rangliste zu übernehmen. Schon im Paper zu Version 2.0 erreichte Gemini 2.5 Pro mit Terminus 2 32,6 Prozent, mit dem Agenten OpenHands nur 15,7 Prozent. Anthropic hat im Februar 2026 gemessen, dass allein die Rechenressourcen des Containers den Wert auf Terminal-Bench 2.0 um sechs Prozentpunkte verschieben. Das Unternehmen rät zu Skepsis bei Abständen unter drei Punkten. Hersteller nennen in ihren Fußnoten außerdem unterschiedliche Versionen. xAI verglich Grok 4.6 im August 2026 noch auf Version 3.0. Anthropic zog mit Opus 4.8 im Mai 2026 Werte auf Version 2.1 heran, dort stand GPT-5.5 mit dem Codex-Harness bei 83,4 Prozent.
Die Rangliste war mehrfach Ziel von Manipulationen. Im September 2025 fiel auf, dass der Anbieter OpenBlock für seinen Agenten OB-1 das Zeitlimit jeder Aufgabe auf 30 Minuten gesetzt hatte statt der vorgegebenen meist fünf Minuten. Der Eintrag flog bis zur Neueinreichung von der Liste. Im April 2026 nannten die Betreiber drei weitere Fälle. Der Agent OB-1 trug verschlüsselte Lösungen in seiner Programmdatei. Pilot von QuantFlow lud den Test-Ordner hoch, ForgeCode holte die Lösung per curl aus dem Internet. Seitdem muss jeder bestandene Versuch sein vollständiges Protokoll liefern, und ein KI-Prüfer liest alle erfolgreichen Läufe gegen. Reward-Hacking bringt null Punkte. Solche Abkürzungen fallen unter Specification Gaming. Die Studie BenchJack der University of California, Berkeley, zeigte im Mai 2026, dass ein manipulierter Befehl im Container die Prüfdatei des Verifiers direkt beschreiben und so jede Aufgabe als gelöst melden konnte.
Aus dem Benchmark sind Ableger entstanden. Terminal-Bench-Science 0.1 erschien am 27. August 2026 unter Leitung von Wissenschaftlern der Stanford University mit 70 Aufgaben aus Natur-, Geo-, Ingenieurwissenschaften und Mathematik, ausgewählt aus 920 Vorschlägen von 376 Beitragenden aus 22 Ländern. Bestwert dort war Claude Opus 5 mit Claude Code bei 30,0 Prozent. Artificial Analysis nimmt den Ableger seit Version 5.0 seines Intelligence Index vom Oktober 2026 mit 15 Prozent in die Wertung, Terminal-Bench 4.0 selbst mit zehn Prozent. Version 2.1 führt das Institut nur noch als Altbestand. Die Terminal-Bench Challenges vom Juni 2026 bestehen aus drei Einzelaufgaben wie der Beschleunigung eines Rust-Compilers, die pro Durchlauf mehr als 1.000 Dollar kosten. Der Harbor Index fasst 82 schwere Aufgaben aus 29 Benchmarks zusammen, die über Harbor laufen. Kein Gespann löste bei seinem Start im Juni 2026 mehr als 30 Prozent.
Ein Handwerksbetrieb oder ein lokales Unternehmen trifft auf Terminal-Bench in den Modellvorstellungen von Anthropic, OpenAI und Google seit 2026, in Vergleichstests und in der Werbung von KI-Tools zum Programmieren. Der Wert sagt, wie viele von 100 schweren Computeraufgaben ein Agent allein zu Ende bringt, wenn er nur eine Kommandozeile hat. Mehrere Aufgaben der Version 4.0 stammen aus der Büroarbeit. Eine Intrastat-Meldung aufbereiten, eine Garantieprüfung für eine Wärmepumpe durchrechnen, medizinische Abrechnungen verarbeiten, ein altes Excel-Formular in eine neue Umgebung übertragen. Solche Aufträge bekommen Agenten wie Claude Code, Codex oder Claude Cowork im Betrieb, wenn sie Angebote aus PDF-Dateien auslesen, eine Kundenliste bereinigen oder eine Website umziehen sollen. Das beste Gespann löst auf der offiziellen Rangliste knapp zwei von drei Aufgaben. Jede dritte scheitert, bricht ab oder läuft in das Zeitlimit. Ein Mensch muss das Ergebnis deshalb prüfen, bevor es an den Kunden geht.
Vier Prüffragen zu jeder Werbezahl. Welche Version? Spitzenwerte auf Terminal-Bench 2.1 liegen über 80 Prozent, auf Version 4.0 bei gut 60 Prozent, und beide Fassungen enthalten andere Aufgaben. Wer hat gemessen und mit welchem Harness? Herstellerangaben nennen den besten Wert über alle Effort-Stufen, die offizielle Rangliste und unabhängige Prüfer wie Vals AI geben allen Modellen dieselbe Umgebung. Wie groß ist der Abstand? Unter drei Prozentpunkten rät Anthropic selbst zur Skepsis. Die Plätze 3 bis 8 der Rangliste sind statistisch nicht zu unterscheiden. Was kostet der Agent pro Aufgabe? Vals AI weist die Kosten je Aufgabe aus. Kimi K3.1 Pro von Moonshot AI liegt dort bei 4,57 Dollar, Claude Opus 5.5 bei 13,20 Dollar, der Abstand beträgt 1,5 Punkte. GPT-6.1 Sol kommt mit 1,72 Dollar aus, liegt aber gut zehn Punkte hinter Opus 5.5 (Stand 29. Oktober 2026). Für ein Unternehmen, das einen Agenten nach Token bezahlt, zählt diese Spalte mehr als der Platz.
Wichtig: Der Benchmark prüft Aufgaben, die ein Fachmann in Stunden erledigt, in einem abgeschotteten Container. Er sagt nichts darüber, wie ein Agent mit dem eigenen WordPress-Zugang, der Handwerker-Software oder einem Mail-Postfach umgeht. Für die Kaufentscheidung zwischen zwei Tools sagt ein Probelauf mit einer echten Aufgabe aus dem Betrieb mehr als jeder Prozentwert. Claude Opus 5.5 vom September 2026 liegt auf Version 4.0 bei gleicher Effort-Stufe 13 Punkte vor dem zwei Monate älteren Claude Opus 5 (64,8 gegen 51,8 Prozent). Welche Modelle und Werkzeuge daraus für den Alltag folgen, steht in unserem Vergleich Beste KI zum Programmieren 2026 und im Artikel zu Claude Opus 5.5, dem führenden Modell der offiziellen Rangliste (Stand 23. Oktober 2026).