Video-MMMU im Überblick
Video-MMMU ist ein multimodaler, multidisziplinärer Video-Benchmark, der die Fähigkeit großer multimodaler KI-Modelle darin bewertet, Wissen aus professionellen Lehrvideos zu erwerben und anzuwenden.
Der Benchmark umfasst 300 kuratierte Lehrvideos auf Hochschulniveau mit 900 von Experten annotierten Fragen über insgesamt sechs Disziplinen (Kunst, Wirtschaft, Naturwissenschaften, Medizin, Geisteswissenschaften, Ingenieurwesen) und 30 Fachgebiete.
Die Evaluation der Modelle erfolgt entlang von drei kognitiver Stufen: Perception (Wahrnehmung), Comprehension (Verständnis) und Adaptation (Anwendung auf neue Szenarien).
Menschliche Experten erreichen einen Benchmark Score von 33,1 %, wohingegen die besten KI-Modelle lange Zeit deutlich dahinter zurückblieben.
Steckbrief
- Kategorie
- Multimodalität
- Veröffentlicht
- 23. Januar 2025
- Wertung
- 0–100 %, höher ist besser
- Menschliche Referenz
- Experten (PhD im Fachgebiet): 74,4 %
- Verfasst von
- Kairui Hu, Penghao Wu, Fanyi Pu u. a.
Video-MMMU Rangliste
- Platz 1
Qwen 3.8 MaxAlibaba - Platz 2
MiniMax M3MiniMax
Beispielaufgaben aus Video-MMMU
Typische Aufgaben des Benchmarks mit Lösung, im Original (meist Englisch).
[Perception - Art] Which of the following does NOT appear when the video introduces Baroque Painting? (1) Intense warm colours (2) Strong contrast between light and dark (3) A focus on movement, drama, and emotion (4) Abstraction (5) Allegory (6) Enhanced sense of movement (7) Set apart from Renaissance and Mannerism (8) Asymmetry (9) Renaissance (10) Mannerism
Lösung: D (Abstraction)
[Comprehension - Science] A ball is launched at an angle of 30 degrees above the horizontal with an initial speed of 30 m/s. Using the kinematic equation y = y0 + v0y*t - 1/2*g*t^2, what is the total time the ball spends in the air?
Lösung: E (3.04 seconds)
[Adaptation - Medicine] What type of tissue is shown in the image? (A) Cardiac muscle (B) Skeletal muscle (C) Smooth muscle (D) Nervous tissue (E) Epithelial tissue (F) Connective tissue (G) Adipose tissue (H) Bone tissue (I) Cartilage (J) Blood
Lösung: A (Cardiac muscle)
[Perception - Engineering] What is the correct sequence of edges added when applying Kruskal's algorithm to find the minimum spanning tree? (A) AC, BC, BE, EF, FG (B) AC, BE, BC, EF, FG (C) BE, AC, BC, EF, FG (D) AC, BE, EF, BC, FG (E) BE, EF, AC, BC, FG (F) EF, BE, AC, BC, FG (G) BE, AC, EF, BC, FG
Lösung: G (BE, AC, EF, BC, FG)
[Adaptation - Business] The government has imposed a price ceiling of $1.30 per gallon on gasoline. What is the likely outcome in the market? Options address various scenarios of excess demand, shortage, surplus, and equilibrium effects.
Lösung: B (Price below equilibrium causes excess demand/shortage)