벤치마크 · 코딩
Aider Refactor (한 번 시도) 순위
기존 코드를 재구성하는 Aider 리팩터링 시험의 첫 시도 통과율. Edit·Polyglot과 별개 시험이다.
상위 모델
- OpenAI
- Anthropic
Google- xAI
공개일에 따른 점수
선은 개발사별로 그때까지의 최고 점수를 잇습니다. 오른쪽 위로 갈수록 최근에 나온 높은 점수입니다.
전체 순위
| 순위 | 모델 | 점수 | 생각 수준 | 공개일 |
|---|---|---|---|---|
| 1 | Claude 3.5 Sonnet (October 2024)Anthropic | 92.1% | — | 2024-10-22 |
| 2 | o1-previewOpenAI | 75.3% | — | 2024-09-12 |
| 3 | Claude 3 OpusAnthropic | 72.3% | — | 2024-02-29 |
| 4 | Claude 3.5 SonnetAnthropic | 64% | — | 2024-06-20 |
| 5 | GPT-4 Turbo (Nov 2023)OpenAI | 50.6% | — | 2024-01-25 |
| 6 | GPT-4o (Aug 2024)OpenAI | 49.4% | — | 2024-08-06 |
| 7 | o1-miniOpenAI | 44.9% | — | 2024-09-12 |
| 8 | GPT-4 Turbo (Apr 2024)OpenAI | 34.1% | — | 2024-04-09 |