Alle AI-Trends
Direkt in dein Postfach
Erhalte exklusive AI-Tutorials, Praxistipps und KI-News direkt in dein Postfach.
*Mit deiner Anmeldung akzeptierst du unsere Datenschutzrichtlinien.
Jetzt neu: Byte Pulse – Token-Limits von Claude Code, Codex & Co. tracken! 

OSWorld-Verified

Agentische Aufgaben
Zum Benchmark
Bestes Modell
86,1%
Qwen 3.8 Max
Getestete Modelle
25
Median: 78,4 %
Skala
0–100%
Höher ist besser
Zum Benchmark

OSWorld-Verified im Überblick

OSWorld-Verified ist ein Benchmark zur Bewertung multimodaler KI-Agenten.

Der Benchmark umfasst 369 Aufgaben mit echten Web- und Desktop-Anwendungen wie Chrome, LibreOffice, GIMP, VS Code und Thunderbird, die durch Evaluationsskripte automatisch bewertet werden.

Menschliche Probanden erreichen im OSWorld-Verified Benchmark eine Erfolgsrate von 72,36 %, während die besten KI-Agenten-Systeme inzwischen auch über 70 % erzielen können.

Steckbrief

Kategorie
Agentische Aufgaben
Veröffentlicht
28. Juli 2025
Wertung
0–100 %, höher ist besser
Menschliche Referenz
Nicht-Experten: 72 %
Lizenz
Apache 2.0
Verfasst von
Tianbao Xie, Danyang Zhang, Jixuan Chen u. a.

OSWorld-Verified Rangliste

25 ModelleMedian aller Modelle: 78,4 % Menschliche Referenz: Nicht-Experten 72 %
  1. Platz 1Qwen 3.8 MaxAlibaba
  2. Platz 1Qwen3.8 2.4T A95BAlibaba
  3. Platz 3Claude Fable 5Anthropic
  4. Platz 4Qwen3.8 27BAlibaba
  5. Platz 5Claude Opus 4.8Anthropic
  6. Platz 6Gemini 3.6 FlashGoogle DeepMind
  7. Platz 7MiMo V2.6 ProXiaomi
  8. Platz 8Claude Sonnet 5Anthropic
  9. Platz 9MiMo V2.6 FlashXiaomi
  10. Platz 9Muse Spark 1.1Meta AI

Beispielaufgaben aus OSWorld-Verified

Typische Aufgaben des Benchmarks mit Lösung, im Original (meist Englisch).

Please help me change all the places in this document that say "text" to "test".

Lösung: Use VS Code's find-and-replace to change all instances of 'text' to 'test' in the file and save. Evaluated by comparing the modified file against a gold standard version using compare_text_file.

Could you fill the background layer with green color, leaving the object layer as is?

Lösung: In GIMP, select the background layer and fill it with green color while keeping the object layer unchanged. Evaluated by perceptual image hash comparison against reference output.

Fill all the blank cells in B1:E30 with the value in the cell above it.

Lösung: In LibreOffice Calc, select range B1:E30 and fill each blank cell with the value from the cell directly above it. Evaluated by comparing the resulting spreadsheet against a gold standard file.

Please help me set the current user's line length for code wrapping to 50 characters in VS Code.

Lösung: Set editor.wordWrapColumn to 50 in VS Code user settings at /home/user/.config/Code/User/settings.json. Evaluated by JSON settings validation checking the exact parameter value.

On the current website, show me the cars available for pickup at Boston Logan Intl Airport from the 10th to the 11th of next month, sorted by the number of seats to find the largest capacity.

Lösung: Navigate the car rental website in Chrome to search for vehicles at Boston Logan Intl Airport with the specified dates, then sort results by seat capacity. Evaluated by checking the final browser state and displayed results.

Weiterführende Links

Ähnliche Benchmarks