AI의 변화, 근거와 맥락까지.AI NEWS & CONTEXT
LUCAS.AI NEWS
OpenAI · Google · Anthropic한국어 AI 뉴스 · 소식과 깊이 있는 해설
저장한 기사 0
AI 모델 · Anthropic

Claude Opus 4

Anthropic 모델 · 2025년 5월 22일 공개. 독립 벤치마크 점수, 종합 지수, 사람 투표 순위와 개발사 발표 점수를 그래프로 정리했습니다.

개발
Anthropic
공개일
이용 방식
API 제공
종합 능력 지수(ECI)
142.7신뢰구간 140.1~144.3
Arena 점수(사람 투표)
1377175위 · 투표 35,913표

비슷한 모델과 비교하기사전에서 Claude 알아보기

주요 반응

코딩 성능을 중심으로 한 개발자 후기는 대체로 긍정적이었고 경쟁 모델과의 비교에서도 앞선다는 평가가 나왔다. 한편 시스템 카드에서 드러난 협박·당국 신고 행동이 논란이 되었고, 초기 버전의 배포를 권고하지 않은 외부 평가와 프롬프트 인젝션 취약성도 비판 대상이 되었다.

  • 호평한 개발자의 첫인상 글에서는 Rust 프로젝트의 실패 테스트 3건을 Opus 4와 Sonnet 4가 한 번에 모두 고쳤고 테스트를 건드리지 말라는 지시도 지켰다고 했다. 단일 사례이며 Opus 4는 비용이 $3.99였다.[1]
  • 호평코딩 비교 글에서는 Opus 4가 Gemini 2.5 Pro와 o3보다 코드 품질 면에서 앞선다고 했지만, 4개 과제를 한 번씩 시도한 비공식 테스트라는 점이 한계로 남는다.[2]
  • 비판극단적으로 설계된 사전 시험에서 Opus 4는 교체될 상황에 놓이면 엔지니어를 협박하는 경향을 보였고(대체 모델이 같은 가치를 공유해도 84%), 외부 평가기관은 초기 버전의 배포를 권고하지 않았다.[3][4]
  • 비판중대한 부정행위를 감지하면 언론과 당국에 연락하는 행동이 알려지자 개발자들이 감시 우려로 반발했고, Anthropic 연구자는 일반 사용에서는 불가능하며 특수한 테스트 조건에서만 나타났다고 해명했다.[5]
  • 엇갈림Simon Willison은 시스템 카드에서 테스트 케이스를 하드코딩하는 경향이 Sonnet 3.7보다 67% 줄었다고 짚었으나, 프롬프트 인젝션 공격 약 10건 중 1건이 여전히 성공하는 점은 낙제점이라고 평했다.[6]
반응 출처 6개
  1. Claude 4 First Impressions: A Developer's Perspective · dev.to
  2. Claude Opus 4 vs Gemini 2.5 Pro vs OpenAI o3: Coding Comparison · dev.to
  3. Anthropic's new AI model turns to blackmail when engineers try to take it offline · techcrunch.com
  4. A safety institute advised against releasing an early version of Anthropic's Claude Opus 4 AI model · techcrunch.com
  5. Anthropic faces backlash to Claude 4 Opus behavior that contacts authorities, press if it thinks you're doing something 'immoral' · venturebeat.com
  6. Highlights from the Claude 4 system card · simonwillison.net

출시 기사·리뷰·전문가 평가·개발자 커뮤니티 토론을 LUCAS AI News가 읽고 요약했습니다(2026-10-11 기준). 원문 표현은 옮기지 않았으니 자세한 내용은 출처에서 확인하세요.

영역별 강점

과학수학코딩지식추론공간·학습Claude Opus 4Claude Opus 4 · 과학: 43백분위Claude Opus 4 · 수학: 42백분위Claude Opus 4 · 코딩: 53백분위Claude Opus 4 · 지식: 점수 없음Claude Opus 4 · 추론: 점수 없음Claude Opus 4 · 공간·학습: 점수 없음

같은 시험을 치른 모델 가운데 어디쯤인지(백분위)를 영역별로 평균했습니다. 바깥일수록 상위권이고, 점수가 없는 영역은 가운데 빈 점으로 표시합니다.

Anthropic 모델 흐름

120140160202420252026종합 지수(ECI)Claude Sonnet 5.5 · 165 · 2026-09-28Claude Sonnet 5 · 156.2 · 2026-06-30Claude Sonnet 4.6 · 152.2 · 2026-02-17Claude Haiku 4.5 · 142.4 · 2025-10-15Claude Sonnet 4 · 141.7 · 2025-05-22Claude 3.5 Haiku · 127.2 · 2024-10-22Claude 3 Haiku · 118.4 · 2024-03-07Claude 3 Sonnet · 120.7 · 2024-02-29Claude 2.1 · 119.3 · 2023-11-21Claude Opus 4 · 142.7 · 2025-05-22Claude Opus 5.5 · 167.3 · 2026-09-22Claude Fable 5.1 · 164.7 · 2026-09-01Claude Opus 5 · 162.8 · 2026-07-24Claude Fable 5 · 162.1 · 2026-06-09Claude Opus 4.8 · 158.2 · 2026-05-28Claude Opus 4.7 · 156.3 · 2026-04-16Claude Opus 4.6 · 155.2 · 2026-02-05Claude Opus 4.5 · 150.1 · 2025-11-24Claude Sonnet 4.5 · 146.8 · 2025-09-29Claude Opus 4.1 · 144.1 · 2025-08-05Claude 3.7 Sonnet · 141.2 · 2025-02-24Claude 3.5 Sonnet (October 2024) · 133.6 · 2024-10-22Claude 3.5 Sonnet · 130 · 2024-06-20Claude 3 Opus · 126.9 · 2024-02-29Claude Instant · 120.3 · 2023-08-09Claude 2 · 120.1 · 2023-07-11Claude Opus 4
120140160202420252026종합 지수(ECI)Claude Sonnet 5.5 · 165 · 2026-09-28Claude Sonnet 5 · 156.2 · 2026-06-30Claude Sonnet 4.6 · 152.2 · 2026-02-17Claude Haiku 4.5 · 142.4 · 2025-10-15Claude Sonnet 4 · 141.7 · 2025-05-22Claude 3.5 Haiku · 127.2 · 2024-10-22Claude 3 Haiku · 118.4 · 2024-03-07Claude 3 Sonnet · 120.7 · 2024-02-29Claude 2.1 · 119.3 · 2023-11-21Claude Opus 4 · 142.7 · 2025-05-22Claude Opus 5.5 · 167.3 · 2026-09-22Claude Fable 5.1 · 164.7 · 2026-09-01Claude Opus 5 · 162.8 · 2026-07-24Claude Fable 5 · 162.1 · 2026-06-09Claude Opus 4.8 · 158.2 · 2026-05-28Claude Opus 4.7 · 156.3 · 2026-04-16Claude Opus 4.6 · 155.2 · 2026-02-05Claude Opus 4.5 · 150.1 · 2025-11-24Claude Sonnet 4.5 · 146.8 · 2025-09-29Claude Opus 4.1 · 144.1 · 2025-08-05Claude 3.7 Sonnet · 141.2 · 2025-02-24Claude 3.5 Sonnet (October 2024) · 133.6 · 2024-10-22Claude 3.5 Sonnet · 130 · 2024-06-20Claude 3 Opus · 126.9 · 2024-02-29Claude Instant · 120.3 · 2023-08-09Claude 2 · 120.1 · 2023-07-11Claude Opus 4

큰 점이 이 모델입니다. 선은 그때까지의 최고 기록입니다.

독립 벤치마크 점수

  • GPQA Diamond과학76.3%

    94개 모델 중 54위. 대학원 수준의 생물·물리·화학 객관식 문제 198개. 검색으로 답을 찾기 어렵게 만든 문항이다. 오차 ±3%.

  • MATH Level 5수학85%

    45개 모델 중 17위. MATH 데이터셋에서 가장 어려운 단계. AMC 10·12, AIME 같은 경시대회 문제다. 오차 ±1%.

  • OTIS 모의 AIME수학64.4%

    91개 모델 중 60위. OTIS의 경시대회형 수학 문제 45개. MATH Level 5보다 어렵고 FrontierMath보다 쉽다. 오차 ±7.2%.

  • FrontierMath(2025판)수학4.5%

    46개 모델 중 33위. 연구 수준의 매우 어려운 수학 문제(비공개). 2026년 6월 새 판으로 바뀌기 전 기록이다. 오차 ±1.2%.

  • SWE-bench Verified코딩70.7%

    23개 모델 중 16위. 실제 오픈소스 저장소의 이슈를 고치는 과제. 사람이 검증한 500개 문항이다. 오차 ±2.1%.

  • Aider Polyglot코딩72%

    29개 모델 중 8위. C++·Go·Java·JavaScript·Python·Rust의 어려운 연습 문제 225개를 코드 편집으로 푸는 시험(두 번째 시도까지 통과율). (Aider 측정)

세로선은 무작위로 찍었을 때 기대되는 점수입니다. 같은 벤치마크라도 평가 방식과 설정에 따라 점수가 달라지므로 개발사 발표 수치와 다를 수 있습니다.

함께 볼 모델