Alle AI-Trends
Direkt in dein Postfach
Erhalte exklusive AI-Tutorials, Praxistipps und KI-News direkt in dein Postfach.
*Mit deiner Anmeldung akzeptierst du unsere Datenschutzrichtlinien.
Jetzt neu: Byte Pulse – Token-Limits von Claude Code, Codex & Co. tracken! 
Scale AI

SWE-bench Pro

Programmierung
Zum Benchmark
Bestes Modell
89,9%
Claude Opus 5.5
Getestete Modelle
36
Median: 61,9 %
Skala
0–100%
Höher ist besser
Zum Benchmark

SWE-bench Pro im Überblick

SWE-bench Pro ist ein fortgeschrittener Software-Engineering-Benchmark von Scale AI, der KI-Agenten anhand von 1.865 komplexen, langfristigen Programmieraufgaben aus 41 aktiv gepflegten Repositories in Python, Go, TypeScript und JavaScript evaluiert. Im Gegensatz zum Vorgänger SWE-bench Verified umfasst der Benchmark mehrsprachige Aufgaben mit deutlich höherer Komplexität, wobei durchschnittlich 107,4 Zeilen Code über 4,1 Dateien hinweg geändert werden müssen.

Der Benchmark ist gezielt kontaminationsresistent konzipiert: Das Public Set nutzt ausschließlich GPL-lizenzierte Repositories, und das Commercial Set basiert auf proprietärem Startup-Code, der nicht in Trainingsdaten enthalten sein kann.

Steckbrief

Kategorie
Programmierung
Institution
Scale AI
Veröffentlicht
19. September 2025
Wertung
0–100 %, höher ist besser
Lizenz
Creative Commons
Verfasst von
Xiang Deng, Jeff Da, Edwin Pan u. a.

SWE-bench Pro Rangliste

36 ModelleMedian aller Modelle: 61,9 %
  1. Platz 1Claude Opus 5.5Anthropic
  2. Platz 2Claude Fable 5.1Anthropic
  3. Platz 3Claude Fable 5Anthropic
  4. Platz 4Claude Opus 5Anthropic
  5. Platz 5Claude MythosAnthropic
  6. Platz 6Fugu UltraSakana AI
  7. Platz 7Claude Opus 4.8Anthropic
  8. Platz 8Qwen 3.8 MaxAlibaba
  9. Platz 8Qwen3.8 2.4T A95BAlibaba
  10. Platz 10Tencent Hy4Tencent

Beispielaufgaben aus SWE-bench Pro

Typische Aufgaben des Benchmarks mit Lösung, im Original (meist Englisch).

ansible/ansible: TypeError combining `VarsWithSources` and `dict` in `combine_vars` when executing logic with mismatched type arguments and hash behavior set to replace mode.

Lösung: A patch to Ansible's variable combination logic that correctly handles type coercion between VarsWithSources and dict objects when hash_behaviour is set to 'replace', preventing the TypeError during variable merging.

element-hq/element-web: New Room List prevents reliable display of correct active room tile immediately after switching spaces, risking scroll jumps or visual inconsistencies.

Lösung: A patch to Element Web's room list component that ensures the correct active room tile is displayed immediately when switching between spaces, eliminating scroll jumps and visual inconsistencies in the room list.

element-hq/element-web: MessageEditHistoryDialog crashes when diffing complex edited message content due to unhandled deeply nested HTML structures during comparison.

Lösung: A patch to the MessageEditHistoryDialog component that safely handles deeply nested HTML structures during message diff computation, preventing crashes when viewing edit history of complex messages.

ansible/ansible: URI module with form-multipart always encodes payload as base64 without option to change encoding, causing incompatibility with platforms requiring different encoding schemes.

Lösung: A patch to Ansible's URI module that adds configurable encoding options for form-multipart payloads, allowing users to specify alternatives to the default base64 encoding for platform compatibility.

ansible/ansible: lookup('ansible.builtin.password', ...) fails on subsequent runs when ident is saved in the password file for encryption methods supporting ident parameters.

Lösung: A patch to Ansible's password lookup plugin that correctly handles the ident parameter persistence in password files across subsequent runs, preventing failures when using encryption methods that support ident.

Weiterführende Links

Ähnliche Benchmarks