Alle AI-Trends
Direkt in dein Postfach
Erhalte exklusive AI-Tutorials, Praxistipps und KI-News direkt in dein Postfach.
*Mit deiner Anmeldung akzeptierst du unsere Datenschutzrichtlinien.
Jetzt neu: Byte Pulse – Token-Limits von Claude Code, Codex & Co. tracken! 
Carnegie Mellon University

MMMU-Pro

Multimodalität
Zum Benchmark
Bestes Modell
89,9%
Claude Opus 5
Getestete Modelle
24
Median: 80,6 %
Skala
0–100%
Höher ist besser
Zum Benchmark

MMMU-Pro im Überblick

MMMU-Pro ist eine Weiterentwicklung des MMMU-Benchmarks zur Bewertung multimodaler KI-Modelle. In 30 akademischen Benchmarks werden die KI-Modelle evaluiert.

Im Vergleich zu MMMU wurden folgende Anpassungen vorgenommen: 1. Fragen, die auch ohne Bilder beantwortet werden können, wurden herausgefiltert. 2. Die Antwortoptionen wurden von vier auf zehn erhöht. 3. Ein Vision-only-Format wurde eingeführt,, bei dem Fragen direkt in Bilder eingebettet werden.

Damit fallen die erzielten Benchmark Scores von MMMU-Pro im Vergleich zu MMMU im Schnitt zwischen 16,8 - 26,9 % über alle getesteten Modelle.

Steckbrief

Kategorie
Multimodalität
Veröffentlicht
4. September 2024
Wertung
0–100 %, höher ist besser
Lizenz
Apache 2.0
Verfasst von
Xiang Yue, Tianyu Zheng, Yuansheng Ni u. a.

MMMU-Pro Rangliste

24 ModelleMedian aller Modelle: 80,6 %
  1. Platz 1Claude Opus 5Anthropic
  2. Platz 2Claude Fable 5Anthropic
  3. Platz 3Claude Opus 5.5Anthropic
  4. Platz 4GPT-6 AstraOpenAI
  5. Platz 5Gemini 3.5 FlashGoogle DeepMind
  6. Platz 6Gemini 3.6 FlashGoogle DeepMind
  7. Platz 7GPT 5.6 SolOpenAI
  8. Platz 8Qwen 3.8 MaxAlibaba
  9. Platz 9Qwen3.8 2.4T A95BAlibaba
  10. Platz 10Kimi K3Moonshot AI

Beispielaufgaben aus MMMU-Pro

Typische Aufgaben des Benchmarks mit Lösung, im Original (meist Englisch).

Which of the following best explains the overall trend shown in the <image 1>?

Lösung: B

Name the most likely mode of inheritance in the following pedigree.

Lösung: G (X-linked recessive)

In Fig. P2.13 with 20°C water and gasoline open to atmosphere at same elevation, what is height h in the third liquid?

Lösung: D (1.52 m)

A study on the incidence of heart disease among workers was conducted in a factory from 1985 onwards. Which is the most appropriate indicator?

Lösung: B (incidence density)

Use approximate analysis of continuous truss in Figure P13.11 to evaluate forces in bar c. Given: P = 9 kN.

Lösung: B (24.3kN)

Weiterführende Links

Ähnliche Benchmarks