AI의 변화, 근거와 맥락까지.AI NEWS & CONTEXT
AI 모델 · Anthropic

Claude 3 Opus

Anthropic 모델 · 2024년 2월 29일 공개. 독립 벤치마크 점수, 종합 지수, 사람 투표 순위와 개발사 발표 점수를 그래프로 정리했습니다.

개발
Anthropic
공개일
이용 방식
API 제공
종합 능력 지수(ECI)
126.9신뢰구간 121.5~130.0
Arena 점수(사람 투표)
1262287위 · 투표 194,909표

비슷한 모델과 비교하기사전에서 Claude 알아보기

주요 반응

출시 직후 Opus는 주요 벤치마크에서 GPT-4를 앞선다고 소개되며 큰 주목을 받았고, 특히 코드 완성도에 호평이 있었다. 다만 독립적인 시각에서는 GPT-4와 대등한 수준이라는 평가가 많았고, 아레나 1위도 오래가지 못했으며 시스템 카드와 일부 거절 문제에 대한 비판도 나왔다.

  • 엇갈림Anthropic은 Opus가 MMLU, GPQA, GSM8K 등 주요 평가에서 경쟁 모델을 앞선다고 밝혔지만, 비교 표의 상대가 GPT-4 Turbo가 아닌 GPT-4여서 결과를 신중히 봐야 한다는 지적이 나왔다.[1][2]
  • 호평사용자 경험을 모은 분석에서는 Opus가 축약 없이 완성된 코드를 내놓는 경우가 많아 바로 붙여 쓸 수 있다는 평이 있었고, 현시점 최고의 코딩 보조일 수 있다고 했다. 정식 테스트는 아니었다.[3]
  • 엇갈림Chatbot Arena에서 Opus는 3월 27일 GPT-4를 약 1년 만에 처음 앞섰지만 4월 12일 갱신된 GPT-4가 1위를 되찾았고, 긴 질의 부문에서는 Opus가 계속 앞섰다.[4]
  • 엇갈림AI 분석가 Zvi Mowshowitz는 Opus를 GPT-4급으로 보고 코딩과 창작에 유용하며 불필요한 거절이 크게 줄었다고 반겼지만, 시스템 카드의 모호함과 과신 경향은 비판했다.[5]
  • 엇갈림개발자 커뮤니티에서는 Claude를 명령줄 도구에 연동한 사례가 공유됐지만, 같은 추론 문제에서 실행마다 답이 갈려 단발성 테스트로 판단하기 어렵다는 논쟁과 과대 광고 비판도 있었다.[6]
반응 출처 6개
  1. Claude 3 model family · anthropic.com
  2. Claude 3 Released - It's A New AI Model Leader · patmcguinness.substack.com
  3. Caveats Needed · patmcguinness.substack.com
  4. Updated GPT-4 is ahead of Claude 3 Opus in the Chatbot Arena benchmark · the-decoder.com
  5. On Claude 3.0 · thezvi.substack.com
  6. Claude 3 model family (Hacker News) · news.ycombinator.com

출시 기사·리뷰·전문가 평가·개발자 커뮤니티 토론을 LUCAS AI News가 읽고 요약했습니다(2026-10-11 기준). 원문 표현은 옮기지 않았으니 자세한 내용은 출처에서 확인하세요.

영역별 강점

과학수학코딩지식추론공간·학습Claude 3 OpusClaude 3 Opus · 과학: 17백분위Claude 3 Opus · 수학: 15백분위Claude 3 Opus · 코딩: 점수 없음Claude 3 Opus · 지식: 8백분위Claude 3 Opus · 추론: 7백분위Claude 3 Opus · 공간·학습: 점수 없음

같은 시험을 치른 모델 가운데 어디쯤인지(백분위)를 영역별로 평균했습니다. 바깥일수록 상위권이고, 점수가 없는 영역은 가운데 빈 점으로 표시합니다.

Anthropic 모델 흐름

큰 점이 이 모델입니다. 선은 그때까지의 최고 기록입니다.

독립 벤치마크 점수

  • GPQA Diamond과학47.2%

    94개 모델 중 78위. 대학원 수준의 생물·물리·화학 객관식 문제 198개. 검색으로 답을 찾기 어렵게 만든 문항이다. 오차 ±2.6%.

  • MATH Level 5수학37.5%

    45개 모델 중 37위. MATH 데이터셋에서 가장 어려운 단계. AMC 10·12, AIME 같은 경시대회 문제다. 오차 ±1.1%.

  • 91개 모델 중 80위. OTIS의 경시대회형 수학 문제 45개. MATH Level 5보다 어렵고 FrontierMath보다 쉽다. 오차 ±2%.

  • 52개 모델 중 48위. 정치·과학·예술·스포츠·지리 등 짧은 사실 질문 1,000개에 검색 없이 답한 정확도. 오차 ±1.1%.

  • 60개 모델 중 56위. 체스 엔진으로 새로 만든 퍼즐 100개. 퍼즐마다 최선의 다음 수가 하나 있다. 오차 ±2.2%.

세로선은 무작위로 찍었을 때 기대되는 점수입니다. 같은 벤치마크라도 평가 방식과 설정에 따라 점수가 달라지므로 개발사 발표 수치와 다를 수 있습니다.

함께 볼 모델