Humanity's Last Exam im Überblick
Humanity's Last Exam (HLE) ist ein multimodaler Benchmark, der als "letzter" geschlossener akademischer Benchmark seiner Art mit breiter Fachabdeckung konzipiert wurde.
Er umfasst 2.500 anspruchsvolle Fragen aus über hundert Fachgebieten, die von fast 1.000 Fachexperten aus wiederum über 500 Institutionen in 50 Ländern beigesteuert wurden. Um die Fragen beantworten zu können, erfordert es nischiges Expertenwissen auf Hochschul-Niveau. Die Fragen sind als Multiple-Choice- oder Kurzantwort-Fragen konzipiert und lassen sich automatisiert bewerten.
Aktuelle Frontier-Modelle erreichen im Humanity's Last Exam Benchmark Scores von weniger als 50 %.
Steckbrief
- Kategorie
- Wissen
- Veröffentlicht
- 24. Januar 2025
- Wertung
- 0–100 %, höher ist besser
- Lizenz
- MIT
- Verfasst von
- Long Phan, Alice Gatti, Ziwen Han u. a.
Humanity's Last Exam Rangliste
- Platz 1
Claude Opus 5.5Anthropic - Platz 2
GLM 5.3Z.ai - Platz 3Claude Fable 5.1Anthropic
- Platz 4
GPT-6 AstraOpenAI - Platz 5Claude MythosAnthropic
- Platz 6Claude Opus 5Anthropic
- Platz 7Hy3Tencent
- Platz 8
Muse Spark 1.1Meta AI - Platz 9
Fugu UltraSakana AI - Platz 9GPT-5.2 ProOpenAI
Beispielaufgaben aus Humanity's Last Exam
Typische Aufgaben des Benchmarks mit Lösung, im Original (meist Englisch).
Hummingbirds within Apodiformes uniquely have a bilaterally paired oval bone, a sesamoid embedded in the caudolateral portion of the expanded, cruciate aponeurosis of insertion of m. depressor caudae. How many paired tendons are supported by this sesamoid bone? Answer with a number.
Lösung: 2
In Greek mythology, who was Jason's maternal great-grandfather?
Lösung: Aeolus
What was the rarest noble gas on Earth as a percentage of all terrestrial matter in 2002?
Lösung: Oganesson
What is the BUD for a single dose container ampule from the time of puncture in a sterile environment?
Lösung: 1 hour
Which of the following have Raphidiopterans been recorded feeding on as adults?
(A) Nectar (B) Māhoe pollen (C) Fungus (D) Karamū leaf tissue (E) Totara Aphids (F) A, B and E (G) A, C and E (H) A and E
Lösung: A