Glossareintrag
Wir denken. KI tippt mit.
Computer Use bei KI/AI (auch Computer-Use-Agent, bei OpenAI Computer-Using Agent, kurz CUA, in der Forschung GUI Agent) ist die Fertigkeit eines KI-Modells, einen Rechner so zu bedienen wie ein Mensch. Das KI-Modell sieht den Bildschirm als Bildschirmfoto. Die KI steuert Maus und Tastatur, klickt auf Schaltflächen, tippt Text in Felder und scrollt durch Seiten. Sie benötigt dafür keine Schnittstelle zum Programm und benutzt dieselbe Oberfläche wie der Nutzer.
Anthropic beschreibt die Funktion in der Entwickler-Dokumentation zum Computer-Use-Tool als Werkzeug mit „screenshot capabilities and mouse/keyboard control for autonomous desktop interaction“. Der Ablauf ist eine Schleife. Das Modell erhält ein Bildschirmfoto und entscheidet über den nächsten Schritt. Das Programm des Anbieters führt den Klick oder die Eingabe aus. Ein neues Bildschirmfoto zeigt das Ergebnis, und die Runde beginnt von vorn. Diese Wiederholung heißt in der Doku „agent loop“, in der deutschen Fassung „Agentenschleife“.
Computer Use ist eines von mehreren Werkzeugen eines KI-Agenten, laut Anthropics Claude-Code-Dokumentation das breiteste und langsamste. Hat ein Dienst eine Programmierschnittstelle, ist Function Calling oder ein MCP-Server der direktere Weg. Computer Use übernimmt die Fälle ohne Schnittstelle, z. B. alte Branchensoftware, Behördenportale und Webseiten ohne Anbindung. (Hinweis: Verwechselbar mit RPA, der klassischen Prozessautomatisierung, die feste Klickpfade abspielt.)
Eine einheitliche deutsche Bezeichnung gibt es nicht. Anthropic schreibt in seiner deutschen Hilfe „Computernutzung“, Microsoft in seiner deutschen Dokumentation ebenfalls, Google nennt seine Chrome-Funktion „automatisches Browsen“, und heise titelte im August 2026 „Wenn KI Maus und Tastatur übernimmt“.
Anthropic prägte den Begriff am 22. Oktober 2024. Mit Claude 3.5 Sonnet stellte das Unternehmen laut Ankündigung „the first frontier AI model to offer computer use in public beta“ vor. Claude schaut demnach auf einen Bildschirm, bewegt einen Cursor, klickt Schaltflächen und tippt Text. Im OSWorld-Benchmark erreichte das Modell damals 14,9 Prozent, das nächstbeste System 7,8 Prozent. Anthropic nannte die Funktion selbst experimentell, zeitweise umständlich und fehleranfällig. In einem Werkstattbericht zur Entwicklung von Computer Use erklärt das Unternehmen den Ansatz so. Bisher hätten Entwickler die Werkzeuge an das Modell angepasst, jetzt passe sich das Modell an die Werkzeuge an. Der Kern des Trainings war das Zählen von Pixeln. Ohne diese Fertigkeit fand das KI-Modell keine Mausziele. Fachleute nennen diese Teilaufgabe GUI-Grounding. Anthropic trainierte das Modell nur an wenigen einfachen Programmen wie einem Taschenrechner und einem Texteditor. In den Demos klickte Claude versehentlich eine laufende Bildschirmaufnahme weg und sah sich mitten in einer Programmieraufgabe Fotos vom Yellowstone-Nationalpark an.
Technisch besteht Computer Use aus einem Satz von Aktionen und einem Bild. Das aktuelle Anthropic-Toolset umfasst 17 Befehle, darunter Bildschirmfoto, Linksklick, Doppelklick, Ziehen, Scrollen, Tippen, Tastenkürzel und Warten. Alle Koordinaten beziehen sich auf die Pixel des zurückgelieferten Bildschirmfotos, mit dem Ursprung oben links. Jedes Bildschirmfoto kostet laut Doku grob 1.000 bis 1.800 Eingabe-Tokens, deshalb füllt sich das Kontextfenster in langen Schleifen schnell. Der Agent bündelt mehrere Schritte zu einem Paket (klicken, tippen, Bildschirmfoto). Das spart Wartezeit pro Runde. Auswahllisten und Bildlaufleisten bleiben laut Anthropic schwierig. heise berichtete zum Start 2024 über Probleme mit Scrollen, Ziehen und Zoomen.
Anthropic setzt Computer Use nicht als ersten Weg ein. Claude Code arbeitet in fester Reihenfolge: erst MCP-Server, dann die Kommandozeile, dann die Chrome-Erweiterung, zuletzt die Bildschirmsteuerung. In Claude Cowork greift Claude laut Ankündigung vom März 2026 zuerst auf Connectors wie Slack oder Google Kalender zu. Den Bildschirm übernimmt es laut Produktseite nur, wenn es sein muss. Ein Schnittstellenaufruf liefert das Ergebnis in einem Schritt. Die Bildschirmsteuerung benötigt für dieselbe Aufgabe Dutzende Runden mit je einem Bildschirmfoto.
Computer Use unterscheidet sich in der Arbeitsweise von der klassischen Prozessautomatisierung (RPA, Robotic Process Automation, z. B. UiPath oder Automation Anywhere). Ein RPA-Bot spielt einen vorher aufgezeichneten Ablauf ab und greift auf feste Elemente zu, z. B. eine Schaltfläche an einer festen Position oder mit einer festen Kennung. Verschiebt ein Update die Schaltfläche, bricht der Ablauf. Ein Computer-Use-Agent speichert keinen Ablauf. Er erhält ein Ziel und ein Bildschirmfoto und entscheidet jeden Schritt neu. Microsoft fasst das in der Ankündigung für Copilot Studio so zusammen: „If a person can use the app, the agent can too“. Ein RPA-Bot macht bei unveränderter Oberfläche jedes Mal dasselbe. Ein Agent kann sich in jeder Runde neu vertun.
Stand September 2026 bieten alle großen KI-Firmen Computer Use an, in zwei Bauarten. Entweder bedient der Agent den eigenen Rechner des Nutzers, mit allen dort geöffneten Programmen und Anmeldungen. Oder er arbeitet auf einem Rechner in der Cloud, den der Anbieter stellt.
Der wichtigste Maßstab für Computer Use ist OSWorld. Der Benchmark unter Führung der University of Hong Kong stellt 369 Aufgaben in laufenden Rechnerumgebungen, überwiegend unter Ubuntu, von der Dateiablage bis zu Abläufen über mehrere Programme. Im OSWorld-Paper vom April 2024 lösten Menschen 72,36 Prozent der Aufgaben, das beste Modell 12,24 Prozent. Claude Sonnet 4.5 kam im September 2025 laut Anthropic auf 61,4 Prozent. Auf dem OSWorld-Verified-Leaderboard liegen die Spitzenmodelle im September 2026 über dem Menschenwert des Papers. Der Nachfolger OSWorld 2.0 (Juni 2026) stellt 108 lange Arbeitsabläufe, für die Menschen im Median 1,6 Stunden benötigen. Das beste im Paper getestete Modell schloss 20,6 Prozent davon vollständig ab. Das Forschungsinstitut Epoch AI merkt in seiner Analyse zu OSWorld an, dass fast die Hälfte der Aufgaben kaum Bedienung der Oberfläche verlangt. Weitere Benchmarks sind WebArena (812 Webaufgaben), Windows Agent Arena (154 Windows-Aufgaben, Mensch 74,5 Prozent) und AndroidWorld (116 Smartphone-Aufgaben).
Als größtes Risiko nennen die Anbieter Prompt Injection über den Bildschirm. Anthropic schreibt in der Doku, Claude folge unter Umständen Befehlen aus fremden Inhalten. Das gilt auch dann, wenn diese Befehle den Anweisungen des Nutzers widersprechen, z. B. auf Webseiten oder in Bildern. Das Sicherheitsteam des Browser-Herstellers Brave zeigte im August 2025 am Beispiel Comet, wie ein versteckter Reddit-Kommentar den Agenten dazu brachte, E-Mail-Adresse und Einmalpasswort des Nutzers auszulesen. Brave folgert, dass klassische Web-Schutzmechanismen gegen solche Agenten wirkungslos sind, darunter die Same-Origin-Policy, die Daten einer Website von anderen Seiten abschottet. OpenAI bezeichnet Prompt Injection in einem Beitrag zur Absicherung von Atlas als langfristige Sicherheitsherausforderung, vergleichbar mit Online-Betrug gegen Menschen. VentureBeat zitiert aus der System Card zu Claude Opus 4.6 (Februar 2026) eine Erfolgsquote von 17,8 Prozent bei einem einzelnen Angriff auf die grafische Oberfläche mit eingeschaltetem Extended Thinking und ohne Schutz. Nach 200 Versuchen lag sie bei 78,6 Prozent ohne und 57,1 Prozent mit Schutz. Für Claude in Chrome meldet Anthropic zur Freigabe im August 2026 mit Klassifikator 0 Prozent Angriffserfolg bei Sonnet 5, Opus 5 und Mythos 5 sowie 0,3 Prozent bei Fable 5. Im Hilfe-Artikel zur sicheren Nutzung ergänzt das Unternehmen, das Risiko sei nicht null.
Dagegen setzen die Hersteller mehrere Schichten. Klassifikatoren, also Prüfprogramme, sehen jedes Bildschirmfoto auf versteckte Befehle durch und lassen den Agenten bei Verdacht nachfragen. Vor Käufen, Downloads, dem Versand von Nachrichten oder dem Veröffentlichen von Inhalten hält der Agent an und wartet auf die Freigabe des Menschen (Human in the Loop). Cowork fragt vor dem ersten Zugriff auf jedes Programm, sperrt Trading- und Krypto-Anwendungen standardmäßig und führt eine Blockliste. Claude Code stuft Programme ab: Browser und Handelsplattformen nur Ansicht, Terminal und Entwicklungsumgebungen nur Klick, der Rest volle Kontrolle. Eine Sandbox zwischen Agent und Programmen gibt es auf dem eigenen Rechner nicht, darauf weist Anthropic im Hilfe-Artikel zu Computer Use in Cowork ausdrücklich hin. Cloud-Varianten wie der ChatGPT-Cloud-Browser oder die gehosteten Rechner in Copilot Studio trennen den Agenten vom Gerät des Nutzers, kommen dafür aber nicht an lokale Programme heran.
Für einen Handwerksbetrieb ist Computer Use das Werkzeug für die Programme ohne Anbindung. Anthropic nennt als Einsatz für Claude in Chrome „internal dashboards, legacy systems, and vendor portals“. Für den eingebauten Browser in Cowork nennt die Ankündigung das Abarbeiten eines Portals ohne Connector und das Einsammeln der Monatsrechnungen aus einem Lieferantenportal. Im Betrieb sind das der Großhandels-Shop, das Portal der Vergabestelle, das Kundenkonto beim Versorger oder bei der Berufsgenossenschaft und die ältere Branchensoftware ohne Schnittstelle. Der Agent öffnet den Shop, liest Preis und Lieferzeit für drei Lieferanten aus und trägt sie in eine Tabelle ein. Vor einer Bestellung hält er an und wartet auf den Klick des Chefs. Löst der Agent die Bestellung nach dem Klick selbst aus, heißt das Agentic Commerce. Berichte aus Handwerksbetrieben, die so arbeiten, gibt es Stand September 2026 nicht. Die Anbieter führen die Funktion selbst als Research Preview (Forschungsvorschau) oder mit dem Hinweis, dass Fehler vorkommen.
Wo eine Anbindung existiert, ist sie der schnellere und sicherere Weg. Die Handwerkersoftware das Programm von synatos bietet laut Fachzeitschrift Si seit April 2026 eine MCP-Schnittstelle für Claude und ChatGPT. Der Chat fragt offene Rechnungen ab oder legt eine Mahnung an, ohne dass ein Agent durch Bildschirmmasken klickt. Erst wenn das Ziel keine solche Schnittstelle hat, bleibt die Bildschirmsteuerung.
PCWorld-Autor Ben Patterson bat ChatGPT im August 2026, Spam in Apple Messages zu löschen. Das Messages-Plugin kann nicht löschen, also nutzte ChatGPT laut PCWorld-Bericht die Computer-Use-Berechtigung aus einem früheren Test, die Patterson nicht zurückgenommen hatte, übernahm den Mauszeiger und klickte die Löschen-Knöpfe selbst. Die Dauerfreigabe entfernt der Nutzer in ChatGPT unter Einstellungen, Computer use, Manage, wie im Test des ChatGPT-Plugins für Apple Messages beschrieben.
Alles, was während der Aufgabe auf dem Bildschirm sichtbar ist, landet als Bildschirmfoto beim Anbieter, auch Kundennamen in der offenen Auftragsliste. Anthropic sammelt bei API-Kunden die Bildschirmfotos, löscht sie innerhalb von 30 Tagen und nutzt sie ohne ausdrückliche Zustimmung nicht für das Training. So steht es im Datenschutz-Artikel zu Computer Use. Im Hilfe-Artikel zu Cowork rät das Unternehmen ausdrücklich von Programmen mit Finanzkonten, Rechtsdokumenten, Gesundheitsdaten und Daten Dritter ab. Anthropics Vertrag zur Auftragsverarbeitung nach Artikel 28 DSGVO ist Teil der kommerziellen Bedingungen (Team, Enterprise, API). Die Tarife Pro und Max, in denen Computer Use in Cowork läuft, fallen unter die Verbraucherbedingungen ohne diesen Vertrag. Bei OpenAI gibt es den Vertrag laut Datenschutz-Seite für Unternehmen für Business, Enterprise und die API, nicht für Free und Plus. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) beschreibt auf seiner Seite zu KI-Agenten eine riskante Kombination. Der Agent greift auf vertrauliche Daten zu, verarbeitet fremde Inhalte aus E-Mails oder dem Internet und kommuniziert mit externen Systemen. Ein Browser-Agent mit Postfach-Zugang erfüllt alle drei Bedingungen. In Unternehmen mit Betriebsrat muss dieser mitbestimmen, sobald der Agent Daten verarbeitet, die Rückschlüsse auf Leistung oder Verhalten von Mitarbeitern zulassen, so der Verband deutscher Arbeitsrechtsanwälte.
In Deutschland führt der Weg Stand September 2026 primär über Anthropic und OpenAI. Computer Use in Claude Cowork setzt einen Pro- oder Max-Tarif voraus, Claude in Chrome ist in allen bezahlten Claude-Tarifen enthalten (Preisseite von Claude). ChatGPT Work steht laut OpenAI in der Desktop-App allen Tarifen offen, der Cloud-Browser benötigt einen bezahlten Tarif (Preisseite von ChatGPT). Googles automatisches Browsen in Chrome ist auf die USA beschränkt, und Microsofts Copilot Actions in Windows erreicht bislang nur Tester außerhalb des Europäischen Wirtschaftsraums. Perplexity Comet ist kostenlos und läuft im eigenen Browser des Nutzers, also mit allen dort eingeloggten Konten.
Regeln vor dem ersten Einsatz:
