Alle AI-Trends
Direkt in dein Postfach
Erhalte exklusive AI-Tutorials, Praxistipps und KI-News direkt in dein Postfach.
*Mit deiner Anmeldung akzeptierst du unsere Datenschutzrichtlinien.
Jetzt neu: Byte Pulse – Token-Limits von Claude Code, Codex & Co. tracken! 

LiveCodeBench

Programmierung
Zum Benchmark
Bestes Modell
94,1%
DeepSeek V4.1 Flash
Getestete Modelle
38
Median: 80,8 %
Skala
0–100%
Höher ist besser

LiveCodeBench im Überblick

LiveCodeBench ist ein kontaminationsfreier Coding-Benchmark für LLMs, der regelmäßig mit neuen Probleme aktualisiert wird.

LiveCodeBench sammelt Coding-Probleme von LeetCode, AtCoder und CodeForces und fokussiert sich über die reine Code-Generierung hinaus auf breitere Fähigkeiten wie Bugfixing, Code-Execution und Test-Output-Vorhersage.

Aktuell umfasst LiveCodeBench über 700 Coding-Probleme, die zwischen Mai 2023 und September 2024 veröffentlicht wurden.

Steckbrief

Kategorie
Programmierung
Veröffentlicht
12. März 2024
Wertung
0–100 %, höher ist besser
Menschliche Referenz
Nicht-Experten: 15 %, Experten (PhD im Fachgebiet): 75 %
Lizenz
Apache 2.0
Verfasst von
Naman Jain, King Han, Alex Gu u. a.

LiveCodeBench Rangliste

38 ModelleMedian aller Modelle: 80,8 % Menschliche Referenz: Nicht-Experten 15 %, Experten (PhD im Fachgebiet) 75 %
  1. Platz 1DeepSeek V4.1 FlashDeepSeek AI
  2. Platz 2DeepSeek-V4-Pro (Preview)DeepSeek AI
  3. Platz 3Fugu UltraSakana AI
  4. Platz 4DeepSeek V4 FlashDeepSeek AI
  5. Platz 5Qwen3.8 27BAlibaba
  6. Platz 6Kimi K2.6Moonshot AI
  7. Platz 7Claude Opus 5Anthropic
  8. Platz 8DeepSeek-v3.2 SpecialeDeepSeek AI
  9. Platz 9GPT 5.6 TerraOpenAI
  10. Platz 10Kimi K2.5Moonshot AI

Beispielaufgaben aus LiveCodeBench

Typische Aufgaben des Benchmarks mit Lösung, im Original (meist Englisch).

Code Generation:

Given an array of integers, implement a function that finds the longest increasing subsequence. The function should return the length of the longest subsequence. Input: [10,9,2,5,3,7,101,18] Expected Output: 4

Lösung: def lengthOfLIS(nums): dp = [1] * len(nums); for i in range(1, len(nums)): for j in range(i): if nums[j] < nums[i]: dp[i] = max(dp[i], dp[j] + 1); return max(dp)

Self Repair:

Debug this function that should calculate factorial: def factorial(n): result = 1; for i in range(n): result *= i; return result

Lösung: def factorial(n): result = 1; for i in range(1, n+1): result *= i; return result # Fix: range should start from 1, not 0

Weiterführende Links

Ähnliche Benchmarks