벤치마크 · 코딩
Aider Edit (두 번 시도) 순위
기존 Aider 코드 편집 시험의 두 번째 시도까지 통과율. Polyglot과 문제 구성이 달라 별도 시험으로 표시한다.
상위 모델
- OpenAI
- Anthropic
Google- xAI
공개일에 따른 점수
선은 개발사별로 그때까지의 최고 점수를 잇습니다. 오른쪽 위로 갈수록 최근에 나온 높은 점수입니다.
전체 순위
| 순위 | 모델 | 점수 | 생각 수준 | 공개일 |
|---|---|---|---|---|
| 1 | o1OpenAI | 84.2% | — | 2024-12-17 |
| 1 | Claude 3.5 Sonnet (October 2024)Anthropic | 84.2% | — | 2024-10-22 |
| 3 | o1-previewOpenAI | 79.7% | — | 2024-09-12 |
| 4 | Claude 3.5 SonnetAnthropic | 77.4% | — | 2024-06-20 |
| 5 | Claude 3.5 HaikuAnthropic | 75.2% | — | 2024-10-22 |
| 6 | GPT-4o (May 2024)OpenAI | 72.9% | — | 2024-05-13 |
| 7 | GPT-4o (Nov 2024)OpenAI | 71.4% | — | 2024-11-20 |
| 7 | GPT-4o (Aug 2024)OpenAI | 71.4% | — | 2024-08-06 |
| 9 | o1-miniOpenAI | 70.7% | — | 2024-09-12 |
| 10 | Claude 3 OpusAnthropic | 68.4% | — | 2024-02-29 |
| 11 | GPT-4 (Jun 2023)OpenAI | 67.7% | — | 2023-06-13 |
| 12 | GPT-4 Turbo (Nov 2023)OpenAI | 66.2% | — | 2024-01-25 |
| 12 | GPT-4 (Mar 2023)OpenAI | 66.2% | — | 2023-03-14 |
| 14 | Gemini 1.5 Pro (Sept 2024)Google | 65.4% | — | 2024-09-24 |
| 15 | GPT-4 Turbo (Apr 2024)OpenAI | 63.9% | — | 2024-04-09 |
| 16 | GPT-3.5 Turbo (Mar 2023)OpenAI | 57.9% | — | 2023-03-01 |
| 17 | Gemini 1.5 Pro (May 2024)Google | 57.1% | — | 2024-05-14 |
| 18 | GPT-3.5 Turbo (Nov 2023)OpenAI | 56.1% | — | 2023-11-06 |
| 19 | GPT-4o miniOpenAI | 55.6% | — | 2024-07-18 |
| 20 | Grok-2 minixAI | 54.9% | — | 2024-08-13 |
| 20 | Claude 3 SonnetAnthropic | 54.9% | — | 2024-02-29 |
| 22 | Gemini 1.5 Flash (Sep 2024)Google | 52.6% | — | 2024-09-24 |
| 23 | GPT-3.5 Turbo (Jan 2024)OpenAI | 50.4% | — | 2024-01-25 |
| 23 | GPT-3.5 Turbo (Jun 2023)OpenAI | 50.4% | — | 2023-06-13 |
| 25 | Claude 3 HaikuAnthropic | 47.4% | — | 2024-03-07 |
다른 벤치마크
- GPQA Diamond 과학
- MATH Level 5 수학
- OTIS 모의 AIME 수학
- FrontierMath(2025판) 수학
- FrontierMath 1~3단계 수학
- FrontierMath 4단계 수학
- SWE-bench Verified 코딩
- MirrorCode 코딩
- SimpleQA Verified 지식
- 체스 퍼즐 추론
- 미공개 게임 퍼즐 추론
- 가구 조립 검사 공간·학습
- EBR-bench 공간·학습
- FrontierMath 4단계(2025판) 수학
- FrontierMath Erdős 수학
- Aider Polyglot 코딩
- Aider Refactor (한 번 시도) 코딩