LiveCodeBench im Überblick
LiveCodeBench ist ein kontaminationsfreier Coding-Benchmark für LLMs, der regelmäßig mit neuen Probleme aktualisiert wird.
LiveCodeBench sammelt Coding-Probleme von LeetCode, AtCoder und CodeForces und fokussiert sich über die reine Code-Generierung hinaus auf breitere Fähigkeiten wie Bugfixing, Code-Execution und Test-Output-Vorhersage.
Aktuell umfasst LiveCodeBench über 700 Coding-Probleme, die zwischen Mai 2023 und September 2024 veröffentlicht wurden.
Steckbrief
- Kategorie
- Programmierung
- Veröffentlicht
- 12. März 2024
- Wertung
- 0–100 %, höher ist besser
- Menschliche Referenz
- Nicht-Experten: 15 %, Experten (PhD im Fachgebiet): 75 %
- Lizenz
- Apache 2.0
- Verfasst von
- Naman Jain, King Han, Alex Gu u. a.
LiveCodeBench Rangliste
- Platz 1
DeepSeek V4.1 FlashDeepSeek AI
- Platz 2
DeepSeek-V4-Pro (Preview)DeepSeek AI
- Platz 3
Fugu UltraSakana AI
- Platz 4
DeepSeek V4 FlashDeepSeek AI
- Platz 5
Qwen3.8 27BAlibaba
- Platz 6
Kimi K2.6Moonshot AI
- Platz 7
Claude Opus 5Anthropic
- Platz 8
DeepSeek-v3.2 SpecialeDeepSeek AI
- Platz 9
GPT 5.6 TerraOpenAI
- Platz 10
Kimi K2.5Moonshot AI
Beispielaufgaben aus LiveCodeBench
Typische Aufgaben des Benchmarks mit Lösung, im Original (meist Englisch).
Code Generation:
Given an array of integers, implement a function that finds the longest increasing subsequence. The function should return the length of the longest subsequence. Input: [10,9,2,5,3,7,101,18] Expected Output: 4
Lösung: def lengthOfLIS(nums): dp = [1] * len(nums); for i in range(1, len(nums)): for j in range(i): if nums[j] < nums[i]: dp[i] = max(dp[i], dp[j] + 1); return max(dp)
Self Repair:
Debug this function that should calculate factorial: def factorial(n): result = 1; for i in range(n): result *= i; return result
Lösung: def factorial(n): result = 1; for i in range(1, n+1): result *= i; return result # Fix: range should start from 1, not 0