AI의 변화, 근거와 맥락까지.AI NEWS & CONTEXT
MODELS / AI 모델 비교

AI 모델 비교

GPT-1부터 GPT-6 Astra까지, GPT·Claude·Gemini·Grok 모델의 공개일과 독립 벤치마크 점수, 사람 투표 순위를 그래프로 비교합니다.

모델
118개
독립 벤치마크
14종
최신 공개 모델
Claude Haiku 5.5
자료 기준일
2026-10-11

AI 성능은 어떻게 올라왔나

점 하나가 모델 하나입니다. 가로는 공개일, 세로는 Epoch AI의 종합 능력 지수(ECI)입니다. 선은 개발사별로 그때까지의 최고 기록을 잇습니다. 점을 누르면 모델 페이지로 갑니다.

  • OpenAI
  • Anthropic
  • Google
  • xAI
120140160202420252026종합 지수(ECI)GPT-6.1 Sol · 166.1 · 2026-09-29Claude Sonnet 5.5 · 165 · 2026-09-28GPT-6 Sol · 162.7 · 2026-09-22GPT-6 Luna · 156.3 · 2026-09-22Grok 4.7 · 153.5 · 2026-09-21Gemini 3.8 Flash · 156.7 · 2026-09-02Gemini 3.6 Flash · 154.3 · 2026-07-21Gemini 3.5 Flash-Lite · 145.1 · 2026-07-21GPT-5.6 Sol · 161.7 · 2026-07-09GPT-5.6 Terra · 159.6 · 2026-07-09GPT-5.6 Luna · 156.4 · 2026-07-09Claude Sonnet 5 · 156.2 · 2026-06-30Gemini 3.5 Flash · 154.5 · 2026-05-19GPT-5.5 Instant · 142.5 · 2026-05-05GPT-5.5 · 159.1 · 2026-04-23Grok 4.3 Beta · 149.2 · 2026-04-17GPT-5.4 Mini · 148.8 · 2026-03-17GPT-5.4 Nano · 145.8 · 2026-03-17GPT-5.4 · 156.8 · 2026-03-05Gemini 3.1 Flash-Lite · 144.5 · 2026-03-03Claude Sonnet 4.6 · 152.2 · 2026-02-17Gemini 3 Flash · 151.8 · 2025-12-17GPT-5.2 · 153.5 · 2025-12-11GPT-5.1 · 149.6 · 2025-11-13Claude Haiku 4.5 · 142.4 · 2025-10-15Gemini 2.5 Flash (Sep 2025) · 143 · 2025-09-25Grok 4 Fast · 144.2 · 2025-09-19GPT-5 mini · 145.5 · 2025-08-07GPT-5 nano · 139.4 · 2025-08-07gpt-oss-120b · 139.9 · 2025-08-05gpt-oss-20b · 137.8 · 2025-08-05Gemini 2.5 Flash (Jun 2025) · 140.8 · 2025-06-17Gemini 2.5 Flash-Lite (Jun 2025) · 133.9 · 2025-06-17Claude Sonnet 4 · 141.7 · 2025-05-22Gemini 2.5 Flash (May 2025) · 141.5 · 2025-05-20Gemini 2.5 Pro (May 2025) · 142.5 · 2025-05-06Gemini 2.5 Flash (Apr 2025) · 140 · 2025-04-17o4-mini · 145.6 · 2025-04-16GPT-4.1 · 136.8 · 2025-04-14GPT-4.1 mini · 135 · 2025-04-14GPT-4.1 nano · 129.6 · 2025-04-14GPT-4.5 · 136.7 · 2025-02-27o3-mini · 140.3 · 2025-01-31GPT-4o (Nov 2024) · 128.8 · 2024-11-20Claude 3.5 Haiku · 127.2 · 2024-10-22Gemini 1.5 Flash (Sep 2024) · 129.4 · 2024-09-24o1-preview · 134.8 · 2024-09-12GPT-4o (Aug 2024) · 128.8 · 2024-08-06GPT-4o mini · 126.6 · 2024-07-18Gemini 1.5 Flash (May 2024) · 122.6 · 2024-05-23Claude 3 Haiku · 118.4 · 2024-03-07Claude 3 Sonnet · 120.7 · 2024-02-29GPT-3.5 Turbo (Jan 2024) · 115.7 · 2024-01-25Claude 2.1 · 119.3 · 2023-11-21GPT-3.5 Turbo (Nov 2023) · 118.6 · 2023-11-06GPT-4 (Jun 2023) · 123.1 · 2023-06-13GPT-3.5 Turbo (Jun 2023) · 113.4 · 2023-06-13Claude Opus 5.5 · 167.3 · 2026-09-22GPT-6 Astra · 166.5 · 2026-09-03Claude Fable 5.1 · 164.7 · 2026-09-01Gemini 3.7 Flash · 157.3 · 2026-08-13Grok 4.6 · 156.4 · 2026-08-12Claude Opus 5 · 162.8 · 2026-07-24Grok 4.5 · 153.9 · 2026-07-08Claude Fable 5 · 162.1 · 2026-06-09Claude Opus 4.8 · 158.2 · 2026-05-28GPT-5.5 Pro · 162.1 · 2026-04-23Claude Opus 4.7 · 156.3 · 2026-04-16GPT-5.4 Pro · 158.9 · 2026-03-05Gemini 3.1 Pro · 154.8 · 2026-02-19Grok 4.20 · 152 · 2026-02-17GPT-5.3 Codex · 156.8 · 2026-02-05Claude Opus 4.6 · 155.2 · 2026-02-05GPT-5.2 Pro · 155.4 · 2025-12-11Claude Opus 4.5 · 150.1 · 2025-11-24Gemini 3 Pro · 152.9 · 2025-11-18GPT-5 Pro · 150.3 · 2025-10-07Claude Sonnet 4.5 · 146.8 · 2025-09-29GPT-5 · 150 · 2025-08-07Claude Opus 4.1 · 144.1 · 2025-08-05Grok 4 · 146.4 · 2025-07-09Grok-3 mini · 140.4 · 2025-06-24o3-pro · 147.4 · 2025-06-10Gemini 2.5 Pro (Jun 2025) · 145.3 · 2025-06-05Claude Opus 4 · 142.7 · 2025-05-22o3 · 146.9 · 2025-04-16Grok 3 · 138.3 · 2025-04-09Gemini 2.5 Pro (Mar 2025) · 144.2 · 2025-03-25Claude 3.7 Sonnet · 141.2 · 2025-02-24Gemini 2.0 Pro · 135.1 · 2025-02-05o1 · 141.9 · 2024-12-17Grok-2 (Dec 2024) · 130.5 · 2024-12-12Claude 3.5 Sonnet (October 2024) · 133.6 · 2024-10-22Gemini 1.5 Pro (Sept 2024) · 131.7 · 2024-09-24o1-mini · 135.8 · 2024-09-12Claude 3.5 Sonnet · 130 · 2024-06-20Gemini 1.5 Pro (May 2024) · 126.9 · 2024-05-14GPT-4o (May 2024) · 129 · 2024-05-13GPT-4 Turbo (Apr 2024) · 127.3 · 2024-04-09Claude 3 Opus · 126.9 · 2024-02-29GPT-4 Turbo (Nov 2023) · 126.5 · 2024-01-25Gemini 1.0 Pro · 117 · 2023-12-13Claude Instant · 120.3 · 2023-08-09Claude 2 · 120.1 · 2023-07-11GPT-4 (Mar 2023) · 125.9 · 2023-03-14Claude Opus 5.5167.3GPT-6 Astra166.5Gemini 3.7 Flash157.3Grok 4.6156.4
120140160202420252026종합 지수(ECI)GPT-6.1 Sol · 166.1 · 2026-09-29Claude Sonnet 5.5 · 165 · 2026-09-28GPT-6 Sol · 162.7 · 2026-09-22GPT-6 Luna · 156.3 · 2026-09-22Grok 4.7 · 153.5 · 2026-09-21Gemini 3.8 Flash · 156.7 · 2026-09-02Gemini 3.6 Flash · 154.3 · 2026-07-21Gemini 3.5 Flash-Lite · 145.1 · 2026-07-21GPT-5.6 Sol · 161.7 · 2026-07-09GPT-5.6 Terra · 159.6 · 2026-07-09GPT-5.6 Luna · 156.4 · 2026-07-09Claude Sonnet 5 · 156.2 · 2026-06-30Gemini 3.5 Flash · 154.5 · 2026-05-19GPT-5.5 Instant · 142.5 · 2026-05-05GPT-5.5 · 159.1 · 2026-04-23Grok 4.3 Beta · 149.2 · 2026-04-17GPT-5.4 Mini · 148.8 · 2026-03-17GPT-5.4 Nano · 145.8 · 2026-03-17GPT-5.4 · 156.8 · 2026-03-05Gemini 3.1 Flash-Lite · 144.5 · 2026-03-03Claude Sonnet 4.6 · 152.2 · 2026-02-17Gemini 3 Flash · 151.8 · 2025-12-17GPT-5.2 · 153.5 · 2025-12-11GPT-5.1 · 149.6 · 2025-11-13Claude Haiku 4.5 · 142.4 · 2025-10-15Gemini 2.5 Flash (Sep 2025) · 143 · 2025-09-25Grok 4 Fast · 144.2 · 2025-09-19GPT-5 mini · 145.5 · 2025-08-07GPT-5 nano · 139.4 · 2025-08-07gpt-oss-120b · 139.9 · 2025-08-05gpt-oss-20b · 137.8 · 2025-08-05Gemini 2.5 Flash (Jun 2025) · 140.8 · 2025-06-17Gemini 2.5 Flash-Lite (Jun 2025) · 133.9 · 2025-06-17Claude Sonnet 4 · 141.7 · 2025-05-22Gemini 2.5 Flash (May 2025) · 141.5 · 2025-05-20Gemini 2.5 Pro (May 2025) · 142.5 · 2025-05-06Gemini 2.5 Flash (Apr 2025) · 140 · 2025-04-17o4-mini · 145.6 · 2025-04-16GPT-4.1 · 136.8 · 2025-04-14GPT-4.1 mini · 135 · 2025-04-14GPT-4.1 nano · 129.6 · 2025-04-14GPT-4.5 · 136.7 · 2025-02-27o3-mini · 140.3 · 2025-01-31GPT-4o (Nov 2024) · 128.8 · 2024-11-20Claude 3.5 Haiku · 127.2 · 2024-10-22Gemini 1.5 Flash (Sep 2024) · 129.4 · 2024-09-24o1-preview · 134.8 · 2024-09-12GPT-4o (Aug 2024) · 128.8 · 2024-08-06GPT-4o mini · 126.6 · 2024-07-18Gemini 1.5 Flash (May 2024) · 122.6 · 2024-05-23Claude 3 Haiku · 118.4 · 2024-03-07Claude 3 Sonnet · 120.7 · 2024-02-29GPT-3.5 Turbo (Jan 2024) · 115.7 · 2024-01-25Claude 2.1 · 119.3 · 2023-11-21GPT-3.5 Turbo (Nov 2023) · 118.6 · 2023-11-06GPT-4 (Jun 2023) · 123.1 · 2023-06-13GPT-3.5 Turbo (Jun 2023) · 113.4 · 2023-06-13Claude Opus 5.5 · 167.3 · 2026-09-22GPT-6 Astra · 166.5 · 2026-09-03Claude Fable 5.1 · 164.7 · 2026-09-01Gemini 3.7 Flash · 157.3 · 2026-08-13Grok 4.6 · 156.4 · 2026-08-12Claude Opus 5 · 162.8 · 2026-07-24Grok 4.5 · 153.9 · 2026-07-08Claude Fable 5 · 162.1 · 2026-06-09Claude Opus 4.8 · 158.2 · 2026-05-28GPT-5.5 Pro · 162.1 · 2026-04-23Claude Opus 4.7 · 156.3 · 2026-04-16GPT-5.4 Pro · 158.9 · 2026-03-05Gemini 3.1 Pro · 154.8 · 2026-02-19Grok 4.20 · 152 · 2026-02-17GPT-5.3 Codex · 156.8 · 2026-02-05Claude Opus 4.6 · 155.2 · 2026-02-05GPT-5.2 Pro · 155.4 · 2025-12-11Claude Opus 4.5 · 150.1 · 2025-11-24Gemini 3 Pro · 152.9 · 2025-11-18GPT-5 Pro · 150.3 · 2025-10-07Claude Sonnet 4.5 · 146.8 · 2025-09-29GPT-5 · 150 · 2025-08-07Claude Opus 4.1 · 144.1 · 2025-08-05Grok 4 · 146.4 · 2025-07-09Grok-3 mini · 140.4 · 2025-06-24o3-pro · 147.4 · 2025-06-10Gemini 2.5 Pro (Jun 2025) · 145.3 · 2025-06-05Claude Opus 4 · 142.7 · 2025-05-22o3 · 146.9 · 2025-04-16Grok 3 · 138.3 · 2025-04-09Gemini 2.5 Pro (Mar 2025) · 144.2 · 2025-03-25Claude 3.7 Sonnet · 141.2 · 2025-02-24Gemini 2.0 Pro · 135.1 · 2025-02-05o1 · 141.9 · 2024-12-17Grok-2 (Dec 2024) · 130.5 · 2024-12-12Claude 3.5 Sonnet (October 2024) · 133.6 · 2024-10-22Gemini 1.5 Pro (Sept 2024) · 131.7 · 2024-09-24o1-mini · 135.8 · 2024-09-12Claude 3.5 Sonnet · 130 · 2024-06-20Gemini 1.5 Pro (May 2024) · 126.9 · 2024-05-14GPT-4o (May 2024) · 129 · 2024-05-13GPT-4 Turbo (Apr 2024) · 127.3 · 2024-04-09Claude 3 Opus · 126.9 · 2024-02-29GPT-4 Turbo (Nov 2023) · 126.5 · 2024-01-25Gemini 1.0 Pro · 117 · 2023-12-13Claude Instant · 120.3 · 2023-08-09Claude 2 · 120.1 · 2023-07-11GPT-4 (Mar 2023) · 125.9 · 2023-03-14
  1. Claude Opus 5.5 167.3
  2. GPT-6 Astra 166.5
  3. Gemini 3.7 Flash 157.3
  4. Grok 4.6 156.4

GPT-1에서 GPT-6 Astra까지, 모델은 얼마나 커졌나

모델을 학습시키는 데 쓴 계산량을 로그 눈금(10ⁿ은 10을 n번 곱한 수)으로 그렸습니다. GPT-1에서 GPT-6 Astra까지 약 5,689만 배 늘었습니다. 대부분 Epoch AI가 공개 자료로 추정한 값이라 오차가 있습니다.

종합 지수 상위 10

Claude Opus 5.5Claude Opus 5.5 · 167.3167.3GPT-6 AstraGPT-6 Astra · 166.4166.4GPT-6.1 SolGPT-6.1 Sol · 166.1166.1Claude Sonnet 5.5Claude Sonnet 5.5 · 165.0165.0Claude Fable 5.1Claude Fable 5.1 · 164.7164.7Claude Opus 5Claude Opus 5 · 162.8162.8GPT-6 SolGPT-6 Sol · 162.7162.7GPT-5.5 ProGPT-5.5 Pro · 162.1162.1Claude Fable 5Claude Fable 5 · 162.1162.1GPT-5.6 SolGPT-5.6 Sol · 161.7161.7
Claude Opus 5.5Claude Opus 5.5 · 167.3167.3GPT-6 AstraGPT-6 Astra · 166.4166.4GPT-6.1 SolGPT-6.1 Sol · 166.1166.1Claude Sonnet 5.5Claude Sonnet 5.5 · 165.0165.0Claude Fable 5.1Claude Fable 5.1 · 164.7164.7Claude Opus 5Claude Opus 5 · 162.8162.8GPT-6 SolGPT-6 Sol · 162.7162.7GPT-5.5 ProGPT-5.5 Pro · 162.1162.1Claude Fable 5Claude Fable 5 · 162.1162.1GPT-5.6 SolGPT-5.6 Sol · 161.7161.7

사람 투표(Arena) 상위 10

Gemini 4 ArgonGemini 4 Argon · 15341534Claude Opus 5.5Claude Opus 5.5 · 15151515Claude Fable 5.1Claude Fable 5.1 · 15101510Claude Opus 5Claude Opus 5 · 15071507Claude Opus 4.6Claude Opus 4.6 · 15031503Gemini 3.8 FlashGemini 3.8 Flash · 14991499Claude Fable 5Claude Fable 5 · 14911491Claude Opus 4.7Claude Opus 4.7 · 14901490Gemini 3.7 FlashGemini 3.7 Flash · 14861486Gemini 3.5 FlashGemini 3.5 Flash · 14821482
Gemini 4 ArgonGemini 4 Argon · 15341534Claude Opus 5.5Claude Opus 5.5 · 15151515Claude Fable 5.1Claude Fable 5.1 · 15101510Claude Opus 5Claude Opus 5 · 15071507Claude Opus 4.6Claude Opus 4.6 · 15031503Gemini 3.8 FlashGemini 3.8 Flash · 14991499Claude Fable 5Claude Fable 5 · 14911491Claude Opus 4.7Claude Opus 4.7 · 14901490Gemini 3.7 FlashGemini 3.7 Flash · 14861486Gemini 3.5 FlashGemini 3.5 Flash · 14821482

벤치마크별 순위

전체 모델

비교할 모델을 2~4개 고른 뒤 비교하기를 누르세요.

선택모델공개일종합 지수ArenaGPQA DiamondSWE-bench VerifiedOTIS 모의 AIME
Claude Haiku 5.5Anthropic2026-10-07——89.6%—98.9%
Gemini 4 ArgonGoogle2026-09-30—1534———
GPT-6.1 SolOpenAI2026-09-29166.1144795.4%—100%
Claude Sonnet 5.5Anthropic2026-09-28165.0147195.6%—100%
Claude Opus 5.5Anthropic2026-09-22167.3151590.6%—100%
GPT-6 SolOpenAI2026-09-22162.7139594.3%—100%
GPT-6 LunaOpenAI2026-09-22156.3139190.5%—98.9%
Grok 4.7xAI2026-09-21153.5139992.7%—98.1%
GPT-6 AstraOpenAI2026-09-03166.4144095.8%—100%
Gemini 3.8 FlashGoogle2026-09-02156.7149995.4%—98.9%
Claude Fable 5.1Anthropic2026-09-01164.71510——100%
Gemini 3.7 FlashGoogle2026-08-13157.3148694.8%—97.2%
Grok 4.6xAI2026-08-12156.4142894%—99.2%
Claude Opus 5Anthropic2026-07-24162.8150793.9%—98.9%
Gemini 3.6 FlashGoogle2026-07-21154.3147994.1%—94.2%
Gemini 3.5 Flash-LiteGoogle2026-07-21145.1143583.3%—71.1%
GPT-5.6 SolOpenAI2026-07-09161.7145793.5%—100%
GPT-5.6 TerraOpenAI2026-07-09159.6144793.3%—99.7%
GPT-5.6 LunaOpenAI2026-07-09156.4143091.6%—98.3%
Grok 4.5xAI2026-07-08153.9144893.4%—97.8%
Claude Sonnet 5Anthropic2026-06-30156.2144290.5%—94.7%
Claude Fable 5Anthropic2026-06-09162.1149185.9%—100%
Claude Opus 4.8Anthropic2026-05-28158.2146191%—98.3%
Gemini 3.5 FlashGoogle2026-05-19154.5148292.8%79.3%95.6%
GPT-5.5 InstantOpenAI2026-05-05142.5141982.5%—68.1%
GPT-5.5 ProOpenAI2026-04-23162.1—93.9%—100%
GPT-5.5OpenAI2026-04-23159.1147294%80.6%100%
Grok 4.3 BetaxAI2026-04-17149.2139788.8%—93.3%
Claude Opus 4.7Anthropic2026-04-16156.3149090.1%83.5%97.8%
GPT-5.4 MiniOpenAI2026-03-17148.8141186.9%—88.9%
GPT-5.4 NanoOpenAI2026-03-17145.8137278.5%—87.8%
GPT-5.4 ProOpenAI2026-03-05158.9—94.6%——
GPT-5.4OpenAI2026-03-05156.8146993.3%76.9%97.8%
Gemini 3.1 Flash-LiteGoogle2026-03-03144.5141681.8%—80%
Gemini 3.1 ProGoogle2026-02-19154.8148194.4%75.6%95.6%
Claude Sonnet 4.6Anthropic2026-02-17152.2145887.4%75.2%85.8%
Grok 4.20xAI2026-02-17152.0—89.3%—92.2%
GPT-5.3 CodexOpenAI2026-02-05156.8——74.8%—
Claude Opus 4.6Anthropic2026-02-05155.2150390.5%78.7%94.4%
Gemini 3 FlashGoogle2025-12-17151.8146689.4%75.4%95.6%
GPT-5.2 ProOpenAI2025-12-11155.4————
GPT-5.2OpenAI2025-12-11153.4141691.4%73.8%96.1%
Claude Opus 4.5Anthropic2025-11-24150.1145186.1%76.6%86.1%
Grok 4.1 FastxAI2025-11-19—1408———
Gemini 3 ProGoogle2025-11-18152.9147992.6%72.9%91.4%
Grok 4.1xAI2025-11-17—1436———
GPT-5.1OpenAI2025-11-13149.6144387.6%68%88.6%
Claude Haiku 4.5Anthropic2025-10-15142.4139671.2%—66.7%
GPT-5 ProOpenAI2025-10-07150.3————
Claude Sonnet 4.5Anthropic2025-09-29146.8143982.3%71.3%77.8%
Gemini 2.5 Flash (Sep 2025)Google2025-09-25143.01406———
Grok 4 FastxAI2025-09-19144.21400———
GPT-5OpenAI2025-08-07150.0140686.2%73.6%91.4%
GPT-5 miniOpenAI2025-08-07145.5137375%64.7%86.7%
GPT-5 nanoOpenAI2025-08-07139.4132069.4%—81.1%
Claude Opus 4.1Anthropic2025-08-05144.1141977.3%73.4%68.9%
gpt-oss-120bOpenAI2025-08-05139.9136575.8%—88.9%
gpt-oss-20bOpenAI2025-08-05137.8128760.8%—65.3%
Grok 4xAI2025-07-09146.4141187%—84%
Grok-3 minixAI2025-06-24140.3137076.3%—77.8%
Gemini 2.5 Flash (Jun 2025)Google2025-06-17140.81417———
Gemini 2.5 Flash-Lite (Jun 2025)Google2025-06-17133.91369———
o3-proOpenAI2025-06-10147.4————
Gemini 2.5 Pro (Jun 2025)Google2025-06-05145.3145885.3%57.6%84.7%
Claude Opus 4Anthropic2025-05-22142.7137776.3%70.7%64.4%
Claude Sonnet 4Anthropic2025-05-22141.7135179.2%—71.1%
Gemini 2.5 Flash (May 2025)Google2025-05-20141.5———70.8%
Gemini 2.5 Pro (May 2025)Google2025-05-06142.5—66.7%——
Gemini 2.5 Flash (Apr 2025)Google2025-04-17140.0———73.1%
o3OpenAI2025-04-16146.9141081.8%62.3%84.4%
o4-miniOpenAI2025-04-16145.6135379.6%—81.7%
GPT-4.1OpenAI2025-04-14136.8138366.9%48.5%38.3%
GPT-4.1 miniOpenAI2025-04-14135.0134065.8%—44.7%
GPT-4.1 nanoOpenAI2025-04-14129.6128548.9%—28.9%
Grok 3xAI2025-04-09138.3—75.8%—55.6%
Gemini 2.5 Pro (Mar 2025)Google2025-03-25144.2—83.8%——
GPT-4.5OpenAI2025-02-27136.7141768.7%—37.8%
Claude 3.7 SonnetAnthropic2025-02-24141.2131479.7%61%57.8%
Gemini 2.0 ProGoogle2025-02-05135.1—65.7%——
Gemini 2.0 Flash-LiteGoogle2025-02-05—1330———
o3-miniOpenAI2025-01-31140.3133777%—76.9%
o1OpenAI2024-12-17141.9136676.8%—73.3%
Grok-2 (Dec 2024)xAI2024-12-12130.5—53.8%—11.5%
GPT-4o (Nov 2024)OpenAI2024-11-20128.8—47.9%31%6.3%
Claude 3.5 Sonnet (October 2024)Anthropic2024-10-22133.6129855.3%—8.5%
Claude 3.5 HaikuAnthropic2024-10-22127.2125538.1%—4.3%
Gemini 1.5 Flash 8BGoogle2024-10-03—122633%—4.6%
Gemini 1.5 Pro (Sept 2024)Google2024-09-24131.7131957.2%—23.1%
Gemini 1.5 Flash (Sep 2024)Google2024-09-24129.4128747.3%—16.3%
o1-miniOpenAI2024-09-12135.8131762.4%—46.9%
o1-previewOpenAI2024-09-12134.8135350.3%—31.1%
Grok-2 minixAI2024-08-13—————
GPT-4o (Aug 2024)OpenAI2024-08-06128.8128349.2%—6.4%
GPT-4o miniOpenAI2024-07-18126.6128637.7%—6.9%
Claude 3.5 SonnetAnthropic2024-06-20130.0128154%—6.5%
Gemini 1.5 Flash (May 2024)Google2024-05-23122.6123940.4%—3.9%
Gemini 1.5 Pro (May 2024)Google2024-05-14126.9127345.9%—6.8%
GPT-4o (May 2024)OpenAI2024-05-13129.0130048.9%—6.3%
GPT-4 Turbo (Apr 2024)OpenAI2024-04-09127.3127246.6%—6.7%
Grok-1.5xAI2024-03-28—————
Claude 3 HaikuAnthropic2024-03-07118.3119536.3%—1.8%
Claude 3 OpusAnthropic2024-02-29126.9126247.2%—4.7%
Claude 3 SonnetAnthropic2024-02-29120.7121840.6%—2.5%
GPT-4 Turbo (Nov 2023)OpenAI2024-01-25126.5126342.4%——
GPT-3.5 Turbo (Jan 2024)OpenAI2024-01-25115.7112527.2%—2.2%
Gemini 1.0 ProGoogle2023-12-13117.0—34%—1.1%
Gemini 1.0 UltraGoogle2023-12-06—————
Claude 2.1Anthropic2023-11-21119.3—33%—1.9%
GPT-3.5 Turbo (Nov 2023)OpenAI2023-11-06118.5109428%——
Grok-1xAI2023-11-04—————
Claude InstantAnthropic2023-08-09120.3————
Claude 2Anthropic2023-07-11120.1—34.7%—2.5%
GPT-4 (Jun 2023)OpenAI2023-06-13123.1118630.6%—1.1%
GPT-3.5 Turbo (Jun 2023)OpenAI2023-06-13113.4————
GPT-4 (Mar 2023)OpenAI2023-03-14125.9120635.7%—0.6%
GPT-3 175B (davinci)OpenAI2020-05-28—————
GPT-2 (1.5B)OpenAI2019-11-05—————
GPT-1OpenAI2018-06-01—————

점수 읽는 법

  • 종합 지수(ECI)는 Epoch AI가 여러 벤치마크 결과를 하나의 척도로 묶은 값입니다. 높을수록 전반적으로 어려운 문제를 더 잘 풉니다.
  • Arena는 사람들이 두 모델의 답을 나란히 보고 더 나은 쪽을 고른 투표로 매긴 점수입니다. 정답률이 아니라 선호도입니다.
  • 독립 벤치마크는 Epoch AI와 Aider가 같은 방식으로 직접 잰 점수입니다. 개발사가 발표한 점수는 평가 방식이 달라 모델 페이지에 따로 표시합니다.
  • 한 모델을 여러 생각 수준(낮음~최대)으로 잰 경우 가장 높은 점수를 씁니다. 같은 이름이라도 날짜별 버전은 따로 나눴습니다.