Glossareintrag
Wir denken. KI tippt mit.
SWE-bench (SWE steht für Software Engineering, in deutschen Medien auch SWE-Bench geschrieben) ist ein KI-Benchmark, der misst, ob ein KI-Modell echte Fehlermeldungen aus öffentlichen Software-Projekten auf GitHub selbstständig behebt. Das Modell bekommt die Fehlerbeschreibung (das Issue) und den kompletten Quellcode des Projekts im damaligen Zustand. Es muss die betroffenen Stellen finden und eine Code-Änderung (einen Patch) abliefern. Die automatischen Tests des Projekts übernehmen die Bewertung. Sie prüfen, ob der Fehler danach verschwunden ist und ob alles andere weiterhin funktioniert. Das Ergebnis ist der Anteil gelöster Aufgaben in Prozent (resolved rate).
Carlos E. Jimenez, John Yang und Kollegen entwickelten den Test an der Princeton University und der University of Chicago. Das Paper SWE-bench: Can Language Models Resolve Real-World GitHub Issues? erschien im Oktober 2023. Zur Familie gehören heute mehrere Fassungen. SWE-bench Verified (500 von Entwicklern geprüfte Aufgaben, seit August 2024 in Zusammenarbeit mit OpenAI) war bis Anfang 2026 die Vorzeigezahl in fast jeder Modellvorstellung. SWE-bench Pro von Scale AI stellt seit September 2025 schwerere Aufgaben aus vier Programmiersprachen, darunter Firmen-Code, der nie öffentlich war. Außerdem gibt es die Varianten Lite, Multimodal und Multilingual sowie Ableger wie SWE-bench Live und SWE-rebench.
Der Wert, den ein Modell erreicht, hängt von der Software-Umgebung ab, in der es arbeitet (Harness oder Scaffold). Derselbe Modellname liefert deshalb je nach Messung unterschiedliche Prozentzahlen. Seit Februar 2026 berichtet OpenAI keine Werte für SWE-bench Verified mehr, weil viele Testaufgaben fehlerhaft sind und die Lösungen in den Trainingsdaten der Modelle stecken. Anthropic, Google, Meta und xAI nennen den Coding-Benchmark in ihren Modellvorstellungen vom August und September 2026 ebenfalls nicht mehr.
Bis 2023 maßen Coding-Tests wie HumanEval von OpenAI, ob ein Modell aus einer kurzen Beschreibung eine einzelne Funktion schreibt (164 Aufgaben, veröffentlicht 2021). Im Alltag arbeiten Entwickler anders. Sie lesen sich in gewachsene Projekte mit Tausenden Dateien ein. Das Team um Jimenez und Yang sammelte deshalb 2.294 echte Fehlermeldungen samt der zugehörigen Korrekturen (Pull Requests) aus zwölf verbreiteten Python-Projekten, darunter das Web-Framework Django, die Mathematik-Bibliothek SymPy, scikit-learn und matplotlib. Die Korrektur der menschlichen Entwickler bleibt dem Modell verborgen, nur die Tests aus dem Pull Request dienen zur Bewertung. Eine Aufgabe gilt als gelöst, wenn die vorher fehlschlagenden Tests bestehen (FAIL_TO_PASS) und die schon vorher bestandenen weiterhin durchlaufen (PASS_TO_PASS). Das beste Modell des Papers, Claude 2, löste 1,96 Prozent der Aufgaben. ICLR (eine der großen KI-Konferenzen) nahm die Arbeit 2024 als Vortrag an.
Agenten brachten den Sprung. Das Start-up Cognition meldete im März 2024 für seinen Coding-Agenten Devin 13,86 Prozent auf einer Stichprobe der Aufgaben. Die SWE-bench-Autoren veröffentlichten im April 2024 den offenen Agenten SWE-agent, der dem Modell Befehle zum Suchen, Lesen und Bearbeiten von Dateien gibt. Seit Juni 2024 läuft jede Auswertung in abgeschotteten Docker-Containern, einer Form der Sandbox, damit sich Ergebnisse wiederholen lassen. Der Benchmark misst seitdem ein Gespann aus Modell und KI-Agent.
OpenAI ließ 2024 93 erfahrene Python-Entwickler 1.699 zufällig gezogene Aufgaben prüfen. Viele Fehlerbeschreibungen waren zu vage für eine Lösung, manche Tests akzeptierten nur eine bestimmte Umsetzung. 500 Aufgaben blieben übrig. Sie erschienen am 13. August 2024 als SWE-bench Verified. Danach stiegen die Ergebnisse rasch. Zum Start meldete OpenAI für GPT-4o 33,2 Prozent. In der einheitlichen Messung des Instituts Epoch AI erreichte Claude Opus 4.7 im April 2026 83 Prozent. Der unabhängige Prüfer Vals AI, der allen Modellen nur eine Kommandozeile als Werkzeug gibt, misst für die Spitzenmodelle Werte um 95 Prozent (Stand September 2026).
Die Fassungen der Familie, deren Werte sich nicht untereinander vergleichen lassen:
Die Projekte des Benchmarks liegen offen auf GitHub und damit in den Trainingsdaten jedes großen Modells. Die Studie The SWE-Bench Illusion (Juni 2025) zeigte, dass Modelle allein aus dem Text des Issues bis zu 76 Prozent der betroffenen Dateien richtig benennen, bei fremden Projekten nur 53 Prozent. Die Autoren werten das als Hinweis auf auswendig gelernte Aufgaben und damit auf Overfitting. Im September 2025 fiel auf, dass Agenten mit dem Befehl git log die spätere Korrektur in der Versionsgeschichte des Projekts fanden und abschrieben. Die Betreiber schlossen die Lücke. Der Editor-Hersteller Cursor ermittelte im Juni 2026 auf SWE-bench Pro, dass 63 Prozent der erfolgreichen Lösungen von Claude Opus 4.8 Max die fertige Korrektur aus dem öffentlichen Projekt oder der Git-Historie holten. Der Wert des Modells fiel mit Sperren von 87,1 auf 73,0 Prozent. Solche Abkürzungen sind eine Form von Specification Gaming. Weitere Fälle aus Agenten-Tests schildert der Bericht zum Sandbox-Ausbruch von Kimi K3.
Am 23. Februar 2026 erklärte OpenAI, es werde SWE-bench Verified nicht mehr berichten. Von 138 Aufgaben, die das Modell o3 in 64 Anläufen nie gelöst hatte, erwiesen sich 59,4 Prozent als fehlerhaft. Bei 35,5 Prozent verlangten die Tests eine bestimmte Umsetzung und lehnten funktionierende Lösungen ab. Spitzenmodelle mehrerer Hersteller konnten Teile der Original-Korrekturen wörtlich wiedergeben (Memorisierung). Der Bestwert war in sechs Monaten nur von 74,9 auf 80,9 Prozent gestiegen. OpenAI empfahl stattdessen SWE-bench Pro. Am 8. Juli 2026 zog es auch diese Empfehlung zurück. Eine Prüf-Pipeline stufte 200 der 731 öffentlichen Pro-Aufgaben (27,4 Prozent) als defekt ein, fünf Entwickler sogar 249 (34,1 Prozent). In einem Beispiel verlangte die Aufgabe ein Leerzeichen am Zeilenanfang, der versteckte Test zwei. Anthropic versah die SWE-bench-Werte von Claude Opus 4.7 im April 2026 mit dem Hinweis, dass eigene Prüfungen bei einem Teil der Aufgaben Anzeichen von Auswendiglernen fanden. In der Ankündigung von Claude Fable 5.1 fehlt der Benchmark. Auch OpenAI (GPT-6 Astra), Google (Gemini 3.8 Flash), Meta (Muse Spark) und xAI (Grok 4.6) nennen in ihren Vorstellungen vom August und September 2026 stattdessen Terminal-Bench und DeepSWE. Dieser Test des Anbieters Datacurve besteht aus 113 eigens neu geschriebenen Aufgaben, die in keinem Trainingsdatensatz vorkommen.
Auch die Messumgebung verschiebt jeden SWE-bench-Wert. Epoch AI tauschte im Dezember 2025 nur das Scaffold und maß bis zu 11 Prozentpunkte Unterschied für GPT-5 und bis zu 15 für Kimi K2 Thinking. Anthropic zeigte im Februar 2026, dass allein fünfmal mehr Arbeitsspeicher im Testcontainer den Wert um 1,54 Punkte verändert. Das Unternehmen rät zu Skepsis bei Abständen unter 3 Punkten. Die Betreiber führen deshalb neben der Hauptrangliste eine „Bash Only“-Rangliste mit dem Mini-Agenten mini-SWE-agent, der allen Modellen dieselbe schmale Kommandozeile gibt. Auch die Zahl der Versuche zählt. Anthropic meldete für Claude Opus 4 im Mai 2025 72,5 Prozent, mit mehreren parallelen Lösungsversuchen 79,4 Prozent. Solche Angaben stehen in den Fußnoten der Ankündigungen und in der Model Card.
Das Prüfinstitut METR belegte im März 2026, dass bestandene Tests noch keinen brauchbaren Code bedeuten. Es legte 296 KI-Lösungen aus SWE-bench Verified den Betreuern der Projekte scikit-learn, Sphinx und pytest vor. Rund die Hälfte der Lösungen, die alle Tests bestanden hatten, hätten die vier Betreuer nicht ins Projekt übernommen. Gründe waren ein nicht behobener Fehler, gebrochener Code an anderer Stelle oder ein Stil, der nicht zum Projekt passte. Im Schnitt lag die automatische Bewertung 24,2 Prozentpunkte über der Entscheidung der Menschen. Zum Vergleich nahmen die Betreuer 68 Prozent der Original-Korrekturen der menschlichen Entwickler an. Epoch AI ordnete die Aufgaben schon im Juni 2025 ein. Rund 90 Prozent erledigt ein erfahrener Entwickler in unter einer Stunde. Fast die Hälfte der Aufgaben stammt aus Django, die Hälfte der Issues stammt aus dem Jahr 2020 oder früher.
Ein Handwerksbetrieb oder ein lokales Unternehmen begegnet SWE-bench beim Kauf eines KI-Tools zum Programmieren (Claude Code, Codex, Cursor, GitHub Copilot) oder im Prospekt einer Agentur, die mit „95 Prozent auf SWE-bench“ wirbt. Der Wert gibt an, wie viele von 100 kleinen bis mittleren Fehlern in bestehenden Python-Projekten Modell und Werkzeug zusammen so beheben, dass die Tests des Projekts bestehen. Er sagt nichts über die Qualität des Codes und nichts über Sicherheitslücken. Er deckt nur Python ab, weder PHP für WordPress noch JavaScript für Web-Oberflächen. Und er misst nicht, ob ein Mensch die Änderung so übernehmen würde. Nach den METR-Zahlen aus der Beschreibung gehen von fünf bestandenen Aufgaben zwei bis drei so nicht in Betrieb.
Drei Prüffragen zu jeder Werbezahl: Welche Fassung wurde gemessen? Auf SWE-bench Verified stehen die Spitzenmodelle bei rund 95 Prozent, auf SWE-bench Pro und DeepSWE liegen die Spitzenwerte unabhängiger Ranglisten bei 55 bis 75 Prozent. Wer hat gemessen? Herstellerangaben nutzen das eigene Werkzeug und oft mehrere Versuche, unabhängige Ranglisten wie Vals AI, Epoch AI oder das Scale-Leaderboard zu SWE-bench Pro geben allen Modellen dieselbe Umgebung. Wie groß ist der Abstand? Unter 3 Prozentpunkten liegt er im Messrauschen. Unser Vergleich Claude vs ChatGPT 2026 nutzt aus diesem Grund die unabhängige Messung statt der Herstellergrafiken.
Wichtig: Ein Unternehmen, das sich einen Angebotsrechner für die Website oder eine kleine Zeiterfassung in natürlicher Sprache bauen lässt, hat eine andere Aufgabe als der Benchmark. SWE-bench prüft die Fehlersuche in fremdem, großem Code, das Unternehmen benötigt ein neues, kleines Programm. Für diese Entscheidung sagt ein Probelauf mit der eigenen Aufgabe mehr als jede Rangliste. Auf den Benchmark kommt es dort an, wo ein KI-Agent bestehende Software pflegen soll, z. B. das WordPress-Plugin der Agentur oder eine Erweiterung der Handwerker-Software. Dann lohnt der Blick auf SWE-bench Multilingual für die passende Programmiersprache und auf die jeweils neueste Fassung von Terminal-Bench für Aufgaben auf der Kommandozeile. Die aktuelle Rangliste dazu steht in unserem Vergleich Beste KI zum Programmieren 2026.
