MMMU im Überblick
MMMU (Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI) ist ein umfassender multimodaler Benchmark zur Bewertung von KI-Modellen anhand von 11.550 Aufgaben auf Hochschulniveau, die tiefgehendes Fachwissen und visuelles Reasoning erfordern.
Der MMMU Benchmark deckt sechs Kerndisziplinen (Kunst & Design, Wirtschaft, Naturwissenschaften, Medizin, Geistes- & Sozialwissenschaften, Technik & Ingenieurwesen) mit insgesamt 30 Fachgebieten und 183 Teilbereichen ab.
Die Fragen stammen aus Prüfungen, Quizzen und Lehrbüchern und enthalten 30 verschiedene Bildtypen wie Diagramme, Tabellen, chemische Strukturen, Musiknoten und medizinische Aufnahmen. Menschliche Experten erreichen im Durchschnitt 82,6% Genauigkeit.
Steckbrief
- Kategorie
- Multimodalität
- Veröffentlicht
- 27. November 2023
- Wertung
- 0–100 %, höher ist besser
- Menschliche Referenz
- Nicht-Experten: 56 %, Experten (PhD im Fachgebiet): 88,6 %
- Lizenz
- Apache 2.0
- Verfasst von
- Xiang Yue, Yuansheng Ni, Kai Zhang u. a.
MMMU Rangliste
- Platz 1
GPT 5.6 TerraOpenAI - Platz 2GPT-5.1OpenAI
- Platz 3GPT-5 proOpenAI
- Platz 4
Claude Opus 4.5Anthropic - Platz 5
Command A+Cohere - Platz 6Claude Haiku 4.5Anthropic
Beispielaufgaben aus MMMU
Typische Aufgaben des Benchmarks mit Lösung, im Original (meist Englisch).
Baxter Company has a relevant range of production between 15,000 and 30,000 units. The following cost data represents average variable costs per unit for 25,000 units of production. If 30,000 units are produced, what are the per unit manufacturing overhead costs incurred? (A) $6 (B) $7 (C) $8 (D) $9
Lösung: B
For the four identical current-carrying wires shown (with conventional current coming out of the plane of the page), the wire on the right is labeled P. What is the direction of the total magnetic force on the wire labeled P that is caused by the other wires? (A) To the left (B) To the right (C) Towards the top of the page (D) There is no force.
Lösung: A
Find lim(x->2) [x]. [As usual, [x] is the greatest integer <= x, See Fig. 6-1] (A) 1 (B) 2 (C) Not exist
Lösung: C
Maxwell Software, Inc., has the following mutually exclusive projects. Suppose the company uses the NPV rule to rank these two projects. Which project should be chosen if the appropriate discount rate is 15 percent? (A) Project A (B) Project B
Lösung: B
Suppose you discovered a mutant yeast whose glycolytic pathway was shorter because of the presence of a new enzyme catalyzing the reaction shown. Would shortening the glycolytic pathway in this way benefit the cell? (A) Yes. (B) No. (C) Not sure.
Lösung: B