Google의 Gemini 4 Carbon이 독립 수학 벤치마크 MathArena에서 1위에 올라, 그동안 선두였던 OpenAI의 GPT-6.1 Sol을 밀어냈다. 2위는 Anthropic의 Claude Fable 5.2다. 다만 테스트 때 쓴 추론 설정을 기준으로 하면 Carbon의 비용은 GPT-6.1 Sol의 약 15배다.
The Decoder는 Carbon이 OpenAI 모델이 아닌 모델로는 오랜만에 이 벤치마크 정상에 오른 사례라고 전했다. 일반에 공개된 모델 가운데 수학 과제에 가장 강한 축에 속할 수 있다는 평가도 함께 실었다. OpenAI의 모델은 최근 나비에-스토크스 방정식 같은 어려운 방정식을 풀었다고 알려졌지만 아직 공개되지 않았다.
| 순위 | 모델 | 개발사 | 출시일 | 예상 성능 | 예상 비용 |
|---|---|---|---|---|---|
| 1위 | Gemini 4 Carbon (high) | 2026년 11월 10일 | 85.4% ±3.0% | $15.70 ±$1.33 | |
| 2위 | Claude Fable 5.2 (max) | Anthropic | 2026년 11월 9일 | 82.8% ±5.3% | $40.20 ±$2.59 |
| 3위 | GPT-6.1 Sol (max) | OpenAI | 2026년 9월 29일 | 80.6% ±2.7% | $1.07 ±$0.018 |
| 오픈 모델 중 1위 | Kimi K3.1 Pro (max) | Moonshot AI | 2026년 10월 23일 | 54.3% ±5.8% | $3.70 ±$0.27 |
비용 차이가 크다. 같은 설정에서 Fable 5.2는 GPT-6.1 Sol의 약 40배가 들었다. 표의 예상 성능은 1위와 3위가 4.8%포인트 차이지만 비용은 $15.70 대 $1.07이다.
Carbon이 가장 자주 실패하는 경우는 제한 시간 초과다. 이 모델은 과제를 거의 포기하지 않는데, 이 특성은 장점으로도 단점으로도 읽힌다. 한 사례에서는 진행 상황을 확인하지 않은 채 11시간이 넘게 도는 스크립트를 실행했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
