Artificial Analysis Intelligence Index im Überblick
Der Artificial Analysis Intelligence Index ist ein Meta-Benchmark, der keine eigenen Fragen enthält, sondern die Ergebnisse von zehn unabhängigen Benchmarks aggregiert: GDPval-AA (220 Aufgaben), tau2-Bench Telecom (114 Aufgaben), Terminal-Bench Hard (44 Aufgaben), SciCode (338 Teilprobleme), AA-LCR (100 Fragen), AA-Omniscience (6.000 Fragen), IFBench (294 Aufgaben), Humanity's Last Exam (2.158 Fragen), GPQA Diamond (198 Fragen) und CritPt (70 Aufgaben).
Dabei gewichtet der Index die Benchmarks in vier Kategorien zu jeweils 25%: Agents, Coding, General und Scientific Reasoning.
Durch die breite Abdeckung soll der Index die Generalisierungsfähigkeiten von LLMs widerspiegeln und die Gesamtkapazität der Modelle auf dem Weg zu AGI einordnen. Die Tests sind rein textbasiert und auf Englisch. Über alle Teilbenchmarks wird das pass@1-Scoring, also die Wahrscheinlichkeit, dass das erste Ausgabeergebnis korrekt ist, verwendet.
Steckbrief
- Kategorie
- Gesamtindizes
- Institution
- Artificial Analysis
- Veröffentlicht
- 1. Januar 2024
- Wertung
- 0–100 Punkte, höher ist besser
- Verfasst von
- Micah Hill-Smith, George Cameron
Artificial Analysis Intelligence Index Rangliste
- Platz 1
Claude Fable 5.1Anthropic - Platz 2Claude Fable 5Anthropic
- Platz 3
Muse Spark 1.3Meta AI - Platz 4
GPT-6 AstraOpenAI - Platz 5Claude Opus 4.8Anthropic
- Platz 5Claude Opus 5Anthropic
- Platz 7
Grok 4.6SpaceXAI - Platz 8
GLM 5.3Z.ai - Platz 9GPT 5.6 SolOpenAI
- Platz 10
Gemini 3.8 FlashGoogle DeepMind
Beispielaufgaben aus Artificial Analysis Intelligence Index
Typische Aufgaben des Benchmarks mit Lösung, im Original (meist Englisch).
[Humanity's Last Exam] Hummingbirds within Apodiformes uniquely have a bilaterally paired oval bone, a sesamoid embedded in the caudolateral portion of the expanded, cruciate aponeurosis of insertion of m. depressor caudae. How many paired tendons are supported by this sesamoid bone? Answer with a number.
Lösung: 4