Glossareintrag
Wir denken. KI tippt mit.
OSWorld (auch OSWorld-Benchmark, seit Juli 2025 in der korrigierten Fassung OSWorld-Verified, seit Juni 2026 als Nachfolger OSWorld 2.0) ist ein KI-Benchmark, der misst, ob ein KI-Modell einen Computer selbst bedienen kann. Es erhält eine Aufgabe in Alltagssprache, sieht den Bildschirm als Bildschirmfoto und steuert Maus und Tastatur. Nach dem Lauf liest ein Prüfskript den Zustand des Rechners aus. Liegt die Datei am richtigen Ort, stimmt die Formel in der Tabelle, ist die Einstellung gesetzt, zählt die Aufgabe als gelöst. Das Ergebnis ist die Erfolgsquote in Prozent.
OSWorld läuft auf einem echten Betriebssystem in einer virtuellen Maschine, nicht in einem vereinfachten Nachbau. Der Hauptsatz umfasst 369 Aufgaben unter Ubuntu. Sie laufen in gewöhnlichen Programmen, darunter LibreOffice Calc, Writer und Impress, der Browser Chrome, das E-Mail-Programm Thunderbird, die Entwicklungsumgebung VS Code, das Bildprogramm GIMP, der Videoplayer VLC sowie Terminal und Dateimanager. 101 dieser Aufgaben laufen über mehrere Programme hinweg. Windows unterstützt die Umgebung ebenfalls, dafür gibt es 43 zusätzliche Aufgaben. macOS bleibt außen vor. Eine Installation auf fremder Hardware wäre nicht zulässig, deshalb haben die Autoren darauf verzichtet.
OSWorld entstand an der University of Hong Kong zusammen mit der Carnegie Mellon University, Salesforce Research und der University of Waterloo. Das XLANG Lab der Universität in Hongkong pflegt den Benchmark. Das Paper OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments um Erstautor Tianbao Xie erschien im April 2024 und lief auf der Konferenz NeurIPS 2024 im Datensatz- und Benchmark-Track. Aufgaben, Prüfskripte und Anleitung stehen im OSWorld-Repository auf GitHub offen.
Für Computer Use ist OSWorld der übliche Maßstab. Anthropic, OpenAI und Google nennen den Computer-Use-Benchmark in ihren Modellvorstellungen, und die Fachpresse übernimmt die Zahl. Die drei Fassungen tragen denselben Namen, messen aber Unterschiedliches. Werte aus OSWorld, OSWorld-Verified und OSWorld 2.0 lassen sich nicht miteinander vergleichen. Der Wert selbst ist immer ein Anteil gelöster Aufgaben in Prozent, auch wenn ihn Meldungen gelegentlich als Punktzahl schreiben.
Jede Aufgabe startet in einem vorbereiteten Zustand. Ein Setup-Skript fährt die virtuelle Maschine hoch, lädt einen Schnappschuss, legt die benötigten Dateien ab und öffnet die Programme. Der Agent bekommt den kompletten Bildschirm als Bild in Full-HD, dazu wahlweise den Accessibility-Baum, also die Liste der Bedienelemente, die auch Screenreader auslesen. Seine Antwort ist ausführbarer Python-Code für die Automatisierungs-Bibliothek pyautogui, z. B. ein Mausklick auf eine Koordinate oder eine Tastenkombination. Zusätzlich gibt es die Sonderbefehle WAIT, FAIL und DONE. Im Originalpaper endet ein Lauf spätestens nach 15 Schritten.
Der Benchmark bewertet ausschließlich das Ergebnis. Nach dem Lauf holen Abrufroutinen den Endzustand aus der Maschine, also die erzeugte Datei, den Zellinhalt, die Programmeinstellung. 134 verschiedene Prüffunktionen vergleichen diesen Zustand mit der Vorgabe und geben einen Wert zwischen 0 und 1 zurück, bei einer Teillösung auch einen Zwischenwert. Dieses Prinzip heißt ausführungsbasierte Bewertung (execution-based evaluation). Der Weg zum Ziel bleibt dem Agenten überlassen, jeder funktionierende Lösungsweg zählt. Anders als bei Wissenstests mit vorgegebenen Antwortmöglichkeiten wie MMLU-Pro gibt es hier nichts zu raten. Ein Agent, der seine Arbeit überzeugend beschreibt, ohne etwas bewirkt zu haben, fällt durch. Dafür benötigt jede einzelne Aufgabe ein eigenes Setup- und Prüfskript.
Die Aufgaben stammen aus echten Hilfegesuchen in Foren, Anleitungen und Tutorials, unter anderem von Reddit, Superuser, StackOverflow, WikiHow und YouTube. Beispiele aus dem offenen Aufgabenkatalog:
30 Aufgaben sind absichtlich unlösbar. Hier muss der Agent abbrechen und melden, dass es nicht geht, statt zu halluzinieren.
Die Autoren erhoben den menschlichen Vergleichswert mit Informatikstudierenden. Sie lösten 72,36 Prozent der Aufgaben, im Median in 111,94 Sekunden pro Aufgabe. Die Modelle des Jahres 2024 kamen auf 12,24 Prozent. Reine Bildschirmfotos ohne Accessibility-Baum drückten den Wert auf 5,26 Prozent. Als Hauptschwächen benennt das Paper das GUI-Grounding, also das Treffen der richtigen Stelle auf dem Bildschirm, und fehlendes Bedienwissen über die Programme.
Ein OSWorld-Wert ohne Angabe des Schrittbudgets sagt wenig. Die Bestenliste hält die Einträge deshalb nach erlaubten Schritten auseinander, von 15 bis 150. Claude Sonnet 4.5 steht dort bei 62,9 Prozent mit 100 Schritten, bei 58,1 Prozent mit 50 Schritten und bei 42,9 Prozent mit 15 Schritten. Dieselbe Modellversion, derselbe Benchmark, 20 Prozentpunkte Unterschied. Wie stark die Software-Umgebung um das Modell herum (das Harness) das Ergebnis mitbestimmt, zeigt auch SWE-bench im Programmierbereich.
Im Juli 2025 legte das XLANG Lab OSWorld-Verified nach. Nach eigenen Angaben sammelte, prüfte und behob das Team in gut zwei Monaten über 300 gemeldete Mängel, mit Rückmeldungen unter anderem von OpenAI, Anthropic, ByteDance und Moonshot AI. Der Aufgabensatz blieb derselbe, korrigiert wurden vor allem die Prüfungen. Typische Fälle: Webseiten hatten ihren Aufbau geändert oder sperrten Zugriffe per CAPTCHA, Setup-Skripte tippten los, bevor LibreOffice geladen war, Aufgabenstellungen waren mehrdeutig, und zu enge Musterlösungen werteten gleichwertige Tabellenformeln als falsch. Gleichzeitig zog der Betrieb auf AWS um, mit bis zu 50 parallelen Umgebungen. Ein kompletter Lauf dauert seitdem Minuten statt über zehn Stunden. Acht Aufgaben hängen an Google Drive und bereiten Probleme. Deshalb ist auch eine Wertung über 361 Aufgaben zulässig. Wer eigene Läufe vergleicht, soll das laut Betreibern nur noch gegen die neue Fassung tun.
Auf der offiziellen Bestenliste von OSWorld-Verified führen im September 2026 Claude Fable 5 mit 86,0 Prozent und Claude Opus 5 mit 83,4 Prozent das Feld der einzelnen Modelle an, jeweils bei 100 erlaubten Schritten. Darüber stehen eigens gebaute Agenten-Systeme, die zusätzlich eigenen Code ausführen dürfen, an der Spitze der Intelligence-Indeed Agent mit 90,2 Prozent. Alle liegen über dem menschlichen Vergleichswert von 72,36 Prozent aus der Originalstudie. Übermenschliche Computerbedienung bedeutet das nicht. Laut der Analyse der Aussagekraft von OSWorld des Forschungsinstituts Epoch AI haben rund 10 Prozent der Aufgaben schwere Fehler und sind dadurch ungültig, teils durch falsche Musterlösungen, teils durch Prüfungen, die Unbrauchbares durchwinken. Rund 15 Prozent lassen sich allein im Terminal erledigen, bei weiteren rund 30 Prozent ersetzen Terminal und Python-Skripte einen großen Teil der Klickarbeit. Gemessen wird dort also auch Programmierfähigkeit. Rund 10 Prozent hängen an Live-Daten aus dem Internet und kippen, wenn sich eine Website ändert. Und nur rund 12 Prozent der Aufgaben benötigen mehr als 20 Schritte, gerade einmal 5 Prozent mehr als 50. Damit hält der Test starke Systeme kaum noch auseinander.
An dieser Lücke setzt OSWorld 2.0 an, vorgestellt im Juni 2026 (Paper, Projektseite mit Bestenliste). Die neue Fassung stellt 108 lange Arbeitsabläufe über 31 selbst betriebene Webseiten und sieben Berufsfelder. Ein geübter Mensch benötigt dafür im Median rund 1,6 Stunden, etwa das 48-Fache der gut zwei Minuten aus der ersten Fassung. 69,6 Prozent der Abläufe dauern länger als eine Stunde. Claude Opus 4.7 brauchte im Schnitt 318 Werkzeugaufrufe pro Ablauf, in OSWorld 1.0 waren es rund 30. Statt nur am Ende prüft die neue Fassung an durchschnittlich 27,25 gewichteten Prüfpunkten im Verlauf.
Daraus entstehen zwei Zahlen pro Modell, die in Modellvorstellungen regelmäßig durcheinandergeraten. Die binäre Quote zählt nur Abläufe, bei denen jeder Prüfpunkt bestanden ist. Der Teilpunktwert (partial reward) zählt die bestandenen Prüfpunkte einzeln. Claude Opus 5 führt die Bestenliste am 3. September 2026 in der höchsten Denkstufe mit 31,43 Prozent binär und 68,31 Prozent Teilpunkten an, GPT-5.6 Sol folgt mit 27,34 Prozent binär und 62,72 Prozent Teilpunkten. In seiner Ankündigung zu GPT-5.6 nennt OpenAI „OSWorld 2.0 mit 62,6 %“ als neuen Bestwert, ohne die Metrik dazuzuschreiben. Gemeint ist der Teilpunktwert. Googles Model Card zu Gemini 3.8 Flash führt dieselbe Zahl für GPT-5.6 Sol ausdrücklich in der Zeile „Partial score“. Vollständig abgeschlossen hat das Modell gut ein Viertel der Abläufe. Laut offizieller Auswertung fällt die binäre Quote bei jedem getesteten Modell auf null, sobald ein Mensch für die Aufgabe mehr als 163 Minuten benötigt.
Alle drei großen Anbieter melden eigene OSWorld-Werte, an unterschiedlichen Stellen. Anthropic führt OSWorld-Verified als eigene Zeile in den Vergleichstabellen seiner Modellvorstellungen, aus eigener Messung, z. B. mit 83,4 Prozent für Claude Opus 4.8. Eine Fußnote derselben Seite hebt den Wert des Vorgängermodells nachträglich von 78,0 auf 82,3 Prozent an, weil das Unternehmen die Messung umgestellt hat. Die Tabelle daneben nennt für dasselbe Modell 82,8 Prozent. OpenAI berichtet OSWorld seit dem Computer-Using-Agent von Januar 2025, damals mit 38,1 Prozent auf der Originalfassung. Google trägt die Zeile „OSWorld-Verified“ in die Model Cards seiner Flash-Modelle ein, für Gemini 3.6 Flash mit 83,0 Prozent. In der Model Card zu Gemini 3.1 Pro taucht der Benchmark dagegen nicht auf.
Für einen Handwerksbetrieb ist OSWorld die wichtigste unabhängige Zahl zu der Frage, ob ein Computer-Use-Agent die eigene Bürosoftware bedienen kann. Wer prüft, ob ein Agent Angebote aus dem Großhandelsportal zieht oder Belege in die Vorerfassung tippt, findet in keiner Produktbroschüre einen belastbaren Wert. Der Benchmark liefert ihn. Er misst allerdings eine andere Welt als die des Betriebs. Der Aufgabenkatalog läuft unter Ubuntu mit LibreOffice, Thunderbird und GIMP, und darin stecken auffällig viele Terminal- und Entwickleraufgaben. Windows mit Outlook, DATEV-Anbindung und einer Branchensoftware für Aufmaß und Rechnung kommen darin nicht vor.
Microsoft beziffert den Abstand zwischen Benchmark und Büroalltag in der eigenen Dokumentation zu Computer Use in Copilot Studio. Dort steht eine Erfolgsquote von rund 80 Prozent bei Aufgaben im Browser und rund 35 Prozent bei Desktop-Programmen. Dieselbe Seite nennt schwankende Ergebnisse bei gleicher Aufgabe und Agenten, die sich festfahren, wenn der Bildschirm nicht zu ihrer Erwartung passt. Für Finanztransaktionen ist das Werkzeug laut derselben Seite nicht vorgesehen. In der Doku zur menschlichen Aufsicht steht der Satz, man solle die Rückfrage des Agenten nicht als Sicherheitsnetz betrachten. Wann er nachfragt, entscheidet das Modell selbst, und in Lagen, in denen ein Mensch anhalten würde, kann die Rückfrage ausbleiben.
Aus einer Erfolgsquote pro Aufgabe wird im Betrieb schnell eine viel kleinere Zahl, weil Abläufe aus mehreren Aufgaben bestehen. Rechenbeispiel mit 85 Prozent je Teilschritt, also etwa dem heutigen Spitzenwert auf OSWorld-Verified: Ein Ablauf aus fünf Schritten, bei dem jeder Schritt auf dem Ergebnis des vorherigen aufsetzt, läuft rechnerisch in 44 Prozent der Fälle sauber durch. Bei zwanzig Durchläufen am Tag enden elf mit einem Fehler.
Laut der Auswertung von OSWorld 2.0 lassen Agenten genannte Nebenbedingungen fallen, übersehen Informationen, die mitten in der Aufgabe dazukommen, raten statt nachzufragen, und sie sparen sich die Schlusskontrolle. Weniger als 7 Prozent ihrer Handlungen entfallen darauf, eigene Fehler zu finden und zu beheben. Eine Beispielaufgabe der neuen Fassung ist eine komplette Spesenabrechnung mit Anleitung als PDF, einem alten Abrechnungsportal, unsauber eingescannten Belegen und einer E-Mail, die mitten im Ablauf die Lage ändert. Belege lesen, Beträge übertragen und gegenprüfen gehört auch im Handwerksbüro zum Alltag. Über alle 108 Abläufe hinweg schafft das beste Modell rund 31 Prozent vollständig, und ausgerechnet die Spesenaufgabe führt das Paper unter den Fehlerfällen. Das Modell trug alle Belege zusammen und reichte die Abrechnung nie ein.
Praktisch nützt die Zahl deshalb vorrangig beim Gegenlesen von Anbieter-Versprechen. Diese Fragen klären, was eine genannte Prozentzahl wert ist:
Die aktuellen Werte stehen frei zugänglich auf den Bestenlisten von OSWorld-Verified und OSWorld 2.0, beide mit Filter für das Schrittbudget. Ein guter Wert dort sagt, dass die Bedienung technisch funktioniert. Ob ein KI-Agent an die Kundendatenbank darf, beantwortet er nicht. Die Regeln für den ersten Einsatz im Betrieb, von der Freigabe vor Bestellungen bis zum eigenen Browser-Profil ohne Bankzugang, stehen im Eintrag zu Computer Use.
