GPQA Diamond im Überblick
GPQA Diamond ist ein Subset des GPQA-Benchmarks (Graduate-Level Google-Proof Questions and Answers) mit den 198 anspruchsvollsten Multiple-Choice-Fragen aus dem GPQA Datensatz.
Der Benchmark umfasst Themen aus der Biologie, Physik und Chemie. Das Diamond-Subset enthält ausschließlich die Fragen, bei denen die beiden Experten. die den Benchmark validiert haben, korrekt geantwortet haben, während die Mehrheit der Nicht-Experten falsch lag.
Die Fragen aus GPQA-Diamond sind auf Bachelor-Niveau konzipiert und "Google-proof". Das bedeutet, dass selbst hochqualifizierte Nicht-Experten trotz uneingeschränktem Internetzugang nur 22,1% Genauigkeit in GPQA-Diamond erreichen.
Steckbrief
- Kategorie
- Wissen
- Institution
- New York University
- Veröffentlicht
- 20. November 2023
- Wertung
- 0–100 %, höher ist besser
- Menschliche Referenz
- Nicht-Experten: 22,1 %, Experten (PhD im Fachgebiet): 81,3 %
- Lizenz
- Creative Commons
- Verfasst von
- David Rein, Betty Li Hou, Asa Cooper Stickland u. a.
GPQA Diamond Rangliste
80 ModelleMedian aller Modelle: 88,8 % Menschliche Referenz: Nicht-Experten 22,1 %, Experten (PhD im Fachgebiet) 81,3 %
- Platz 1
GPT-6 AstraOpenAI - Platz 2
Fugu UltraSakana AI - Platz 3
Gemini 3.8 FlashGoogle DeepMind - Platz 4
Grok 4.6SpaceXAI - Platz 5GPT 5.6 SolOpenAI
- Platz 6
Claude MythosAnthropic - Platz 7Gemini 3.1 ProGoogle DeepMind
- Platz 8Claude Opus 4.7Anthropic
- Platz 9Gemini 3 Deep ThinkGoogle DeepMind
- Platz 10Claude Fable 5.1Anthropic