FrontierMath im Überblick
FrontierMath ist ein Mathematik-Benchmark für LLMs. FrontierMath besteht aus hunderten anspruchsvollen mathematischen Problemstellungen, die von über 60 führenden Mathematikern erstellt und überprüft wurden (u.a. befand Terence Tao die Aufgaben als "außergewöhnlich anspruchsvoll").
Die Aufgaben decken die meisten großen Teilgebiete der modernen Mathematik ab. Sie reichen von rechenintensiven Problemen der Zahlentheorie und der reellen Analysis bis hin zu abstrakten Fragestellungen der algebraischen Geometrie und Kategorientheorie.
300 der FrontierMath Fragen sind in die Schwierigkeitsstufen 1-3 (Bachelor- bis frühes Doktoranden-Niveau) kategorisiert. Die restlichen 50 gehören zur Stufe 4, dem aktuellen Forschungsniveau.
Insgesamt wurden nur 12 Aufgaben aus dem Benchmark veröffentlicht, um eine Datenkontamination, bzw. das Post-Training von Modellen zum Verfälschen der Benchmark-Ergebnisse, zu verhindern.
Die Lösung eines typischen Problems aus dem FrontierMath Datensatz erfordert von einem Mathematiker, der sich im jeweiligen Fachgebiet auskenn, mehrere Stunden an Arbeit. Für die schwierigsten Aufgaben können menschliche Probanden gar mehrere Tage für die Lösung brauchen.
Steckbrief
- Kategorie
- Mathematik
- Institution
- Epoch AI
- Veröffentlicht
- 7. November 2024
- Wertung
- 0–100 %, höher ist besser
- Lizenz
- Creative Commons
- Verfasst von
- Elliot Glazer, Ege Erdil, Tamay Besiroglu u. a.
FrontierMath Rangliste
- Platz 1
GPT 5.6 SolOpenAI - Platz 2GPT 5.6 TerraOpenAI
- Platz 3GPT 5.6 LunaOpenAI
- Platz 4GPT-5.5OpenAI
- Platz 5GPT-5.2 ProOpenAI
- Platz 6GPT-5.4OpenAI
- Platz 7
Claude Opus 4.6Anthropic - Platz 8GPT-5.2OpenAI
- Platz 9
Gemini 3 ProGoogle DeepMind - Platz 10Gemini 3.1 ProGoogle DeepMind
Beispielaufgaben aus FrontierMath
Typische Aufgaben des Benchmarks mit Lösung, im Original (meist Englisch).
For a positive integer n, let v_p(n) denote the largest integer v such that p^v | n. For p a prime and a not congruent to 0 (mod p), we let ord_p(a) denote the smallest positive integer o such that a^o = 1 (mod p). For x > 0, define ord_{p,x}(a) = prod_{q <= x, q prime} q^{v_q(ord_p(a))} * prod_{q > x, q prime} q^{v_q(p-1)}. Let S_x denote the set of primes p for which ord_{p,x}(2) > ord_{p,x}(3). Let d_x = |S_x| / |{p <= x : p is prime}| and d_inf = lim_{x -> inf} d_x. Compute floor(10^7 * d_inf).
Lösung: 3677073
Construct a degree 19 polynomial p(x) in C[x] such that X := {p(x) = p(y)} subset P^1 x P^1 has at least 3 (but not all linear) irreducible components over C. The polynomial p(x) must be odd, monic, possess real coefficients, and have linear coefficient -19. Calculate p(19).
Lösung: 1876572071974094803391179
Let a_n for n in Z be the sequence defined by a_n = (1.981 * 10^11) * a_{n-1} + (3.549 * 10^11) * a_{n-1} + (4.277 * 10^11) * a_{n-2} + (3.706 * 10^8) * a_{n-3}, with initial conditions a_i = i for 0 <= i <= 3. Find the smallest prime p congruent to 4 (mod 7) for which the function Z -> Z given by n -> a_n can be extended to a continuous function on Z_p.
Lösung: 9811
Weiterführende Links
- WebsiteFrontierMath auf Epoch.ai
- Offizielle RanglisteLeaderboard für die anspruchvollsten Aufgaben des FrontierMath Benchmarks
- PaperFrontierMath: A Benchmark for Evaluating Advanced Mathematical Reasoning in AI
- Benchmark Details (Tiers 1-4)Details zu den 4 Stufen des FrontierMath Benchmarks auf Epoch.ai