Bestes Modell
57,9%
DeepSeek-V4-Pro (Preview)
Getestete Modelle
2
Median: 46 %
Skala
0–100%
Höher ist besser
SimpleQA im Überblick
SimpleQA ist ein Faktizitäts-Benchmark von OpenAI, der die kurzformige faktische Genauigkeit großer Sprachmodelle misst. Der Benchmark umfasst 4.326 adversariell gesammelte, faktenbasierte Fragen mit jeweils einer einzigen, unbestreitbaren Antwort. Antworten werden durch unabhängige Verifizierung von zwei AI-Trainern gestützt, und die Bewertung erfolgt automatisiert in drei Kategorien: korrekt, inkorrekt oder nicht versucht.
Steckbrief
- Kategorie
- Sicherheit & Faktentreue
- Institution
- OpenAI
- Veröffentlicht
- 30. Oktober 2024
- Wertung
- 0–100 %, höher ist besser
- Lizenz
- MIT
- Verfasst von
- Jason Wei, Karina Nguyen, Hyung Won Chung u. a.
SimpleQA Rangliste
2 ModelleMedian aller Modelle: 46 %
- Platz 1
DeepSeek-V4-Pro (Preview)DeepSeek AI - Platz 2DeepSeek V4 FlashDeepSeek AI
Beispielaufgaben aus SimpleQA
Typische Aufgaben des Benchmarks mit Lösung, im Original (meist Englisch).
Who received the IEEE Frank Rosenblatt Award in 2010?
Lösung: Michio Sugeno
On which U.S. TV station did the Canadian reality series To Serve and Protect debut?
Lösung: KVOS-TV
What day, month, and year was Carrie Underwood's album "Cry Pretty" certified Gold by the RIAA?
Lösung: October 23, 2018
What is the first and last name of the woman whom the British linguist Bernard Comrie married in 1985?
Lösung: Akiko Kumahira
Who was awarded the Oceanography Society's Jerlov Award in 2018?
Lösung: Annick Bricaud