GAIA im Überblick
GAIA ist ein Benchmark für "General AI Assistants", der insgesamt 466 Fragen umfasst. Die Aufgaben sind konzeptionell einfach für Menschen, aber schwierig für KI-Systeme zu beantworten.
Zum Bearbeiten der Aufgaben werden Fähigkeiten wie Reasoning, multimodale Verarbeitung der Inputs, Web-Browsing und Tool-Nutzung benötigt. GAIA ist in 3 Schwierigkeitsstufen (Level 1-3) unterteilt. Die Aufgaben von Level 1 wurden so konzipiert, dass zur Veröffentlichung von GAIA aktuelle LLMs die Aufgaben gut bewältigen konnten. Level 3 Aufgaben setzten einen signifikanten Sprung in den Modell-Kapazitäten voraus.
Antworten auf die Fragen des GAIA-Benchmarks sind eindeutige, kurze Strings, die automatisch verifiziert werden können.
In 2026 gilt der GAIA Benchmark als gesättigt, da viele Modelle einen Score von mehr als 90% erreichen.
Steckbrief
- Kategorie
- Agentische Aufgaben
- Veröffentlicht
- 21. November 2023
- Wertung
- 0–100 %, höher ist besser
- Menschliche Referenz
- Nicht-Experten: 92 %
- Lizenz
- Apache 2.0
- Verfasst von
- Grégoire Mialon, Clémentine Fourrier, Craig Swift u. a.
GAIA Rangliste
- Platz 1
MiniMax-M2MiniMax
Beispielaufgaben aus GAIA
Typische Aufgaben des Benchmarks mit Lösung, im Original (meist Englisch).
Level 1: Ein Paper über KI-Regulierung wurde ursprünglich im Juni 2022 auf arXiv.org eingereicht und zeigt eine Abbildung mit drei Achsen, wobei jede Achse ein Label-Wort an beiden Enden hat. Welches dieser Wörter wird verwendet, um einen Gesellschaftstyp in einem Physics and Society Artikel zu beschreiben, der am 11. August 2016 auf arXiv.org eingereicht wurde?
Lösung: Erfordert Web-Suche, PDF-Analyse und Cross-Referenzierung zwischen mehreren Dokumenten
Level 2: Welche Früchte aus dem Gemälde 'Embroidery from Uzbekistan' von 2008 wurden als Teil des Oktober-1949-Frühstücksmenüs für den Ozeandampfer serviert, der später als schwimmende Requisite im Film 'The Last Voyage' verwendet wurde? Gib die Früchte als kommagetrennte Liste an, sortiert sie im Uhrzeigersinn von der 12-Uhr-Position und verwende die Pluralform.
Lösung: Erfordert Bildanalyse, Film-Recherche und historische Menü-Recherche
Level 3: Analysiere die angehängte Excel-Datei mit Finanzdaten und bestimme, welche Quartalsergebnisse die stärkste Korrelation mit externen Marktindizes zeigen, die du im Web recherchieren musst.
Lösung: Erfordert Excel-Verarbeitung, statistische Analyse, Web-Recherche und Integration multipler Datenquellen