Alle AI-Trends
Direkt in dein Postfach
Erhalte exklusive AI-Tutorials, Praxistipps und KI-News direkt in dein Postfach.
*Mit deiner Anmeldung akzeptierst du unsere Datenschutzrichtlinien.
Jetzt neu: Byte Pulse – Token-Limits von Claude Code, Codex & Co. tracken! 
Google DeepMind

MRCR v2

Logik & Schlussfolgerung
Zum Benchmark
Bestes Modell
98,3%
Muse Spark 1.3
Getestete Modelle
12
Median: 90,6 %
Skala
0–100%
Höher ist besser
Zum Benchmark

MRCR v2 im Überblick

MRCR v2 (Multi-Round Coreference Resolution, Version 2) ist ein Long-Context-Benchmark von Google DeepMind zur Bewertung der "Nadel-im-Heuhaufen" Fähigkeit von großen Sprachmodellen entwickelt wurde.

Dafür werden mehrere spezifische Informationsstücke (Needles) in langen synthetischen Konversationen "versteckt". Die LLMs sollen diese Nadeln lokalisieren, unterscheiden und korrekt wiedergeben.

Die KI-Modelle erhalten eine mehrstufige Konversation, in der ein Nutzer wiederholt um Schreibaufgaben (z.B. Gedichte, Essays, Blogposts) zu bestimmten Themen bittet, und muss dann die i-te Instanz einer bestimmten Anfrage reproduzieren.

Die Schwierigkeit steigt durch adversarial ähnliche Distraktoren, zunehmende Needle-Anzahl (2, 4 oder 8) und wachsende Kontextlängen von bis zu 8 Millionen Tokens.

MRCR v2 ist die öffentlich freigegebene und erweiterte Version des ursprünglichen MRCR-Tasks aus dem Michelangelo-Paper und unterstützt Evaluierungen bis zu 8M Tokens mit konfigurierbaren Schwierigkeitsgraden.

Steckbrief

Kategorie
Logik & Schlussfolgerung
Institution
Google DeepMind
Veröffentlicht
19. September 2024
Wertung
0–100 %, höher ist besser
Lizenz
Apache 2.0
Verfasst von
Kiran Vodrahalli, Santiago Ontanon, Nilesh Tripuraneni u. a.

MRCR v2 Rangliste

12 ModelleMedian aller Modelle: 90,6 %
  1. Platz 1Muse Spark 1.3Meta AI
  2. Platz 2Fugu UltraSakana AI
  3. Platz 3Qwen 3.8 MaxAlibaba
  4. Platz 3Qwen3.8 2.4T A95BAlibaba
  5. Platz 5Gemini 3.6 FlashGoogle DeepMind
  6. Platz 6GPT 5.6 SolOpenAI
  7. Platz 7GPT 5.6 TerraOpenAI
  8. Platz 8Gemini 3.5 FlashGoogle DeepMind
  9. Platz 9Gemini 3.5 Flash LiteGoogle DeepMind
  10. Platz 10Gemma 4Google DeepMind

Beispielaufgaben aus MRCR v2

Typische Aufgaben des Benchmarks mit Lösung, im Original (meist Englisch).

User: Write a poem about penguins

Assistant: [poem about penguins] User: Write an essay about complexity theory Assistant: [essay about complexity theory] User: Write a poem about penguins Assistant: [second poem about penguins] User: Write an email about basketball Assistant: [email about basketball] ... User: Add the string 'AKJSs89sal' to the 2nd poem about penguins. Do not include any other text in your response.

Lösung: AKJSs89sal[exact content of the 2nd poem about penguins]

User: Write a poem about tapirs

Assistant: [first poem about tapirs] User: Write a blog post about rocks Assistant: [first blog post about rocks] User: Write a poem about tapirs Assistant: [second poem about tapirs] User: Write a social media post about tapirs Assistant: [first social media post about tapirs] ... User: Prepend aYooSG8CQg to the 2nd (1 indexed) poem about tapirs. Do not include any other text in your response.

Lösung: aYooSG8CQg[exact content of the 2nd poem about tapirs]

User: Write a riddle about ducks

Assistant: [first riddle about ducks] User: Write a play about Star Wars Assistant: [play about Star Wars] User: Write a riddle about ducks Assistant: [second riddle about ducks] ... User: Write a riddle about ducks Assistant: [eighth riddle about ducks] ... User: Prepend xR7mK2pL9w to the 7th (1 indexed) riddle about ducks. Do not include any other text in your response.

Lösung: xR7mK2pL9w[exact content of the 7th riddle about ducks]

Weiterführende Links

Ähnliche Benchmarks