AI 모델 · Anthropic
Claude 2
Anthropic 모델 · 2023년 7월 11일 공개. 독립 벤치마크 점수, 종합 지수, 사람 투표 순위와 개발사 발표 점수를 그래프로 정리했습니다.
- 개발
- Anthropic
- 공개일
- 이용 방식
- API 제공
- 학습 연산량
- 3.9×10²⁴ FLOPEpoch AI 추정치
- 종합 능력 지수(ECI)
- 120.1신뢰구간 113.0~123.8
- Arena 점수(사람 투표)
- 아직 없음
주요 반응
10만 토큰 컨텍스트와 코딩·시험 성적 향상으로 긴 문서를 다루는 ChatGPT 대안으로 주목받았다. 다만 컨텍스트 창은 이전 버전에서 이어진 기능이고 개선 폭이 크지 않다는 지적이 있었으며, 코딩과 추론은 GPT-4가 낫다는 반응과 안전성 평가 방식에 대한 비판도 나왔다.
- 호평출시 당시 Claude 2는 10만 토큰 컨텍스트로 상용 모델 중 가장 큰 입력 창을 제공했고, 변호사시험 객관식 76.5%, 코딩 평가 HumanEval 71.2%로 Claude 1.3보다 점수가 올랐다고 보도됐다.[1]
- 비판Anthropic은 무해한 응답 비율이 Claude 1.3의 2배라고 밝혔지만 측정 기준이 불분명했고, 328개 프롬프트 시험에서도 탈옥으로 유해 응답이 나온 사례가 남았다는 지적이 있었다.[1]
- 엇갈림분석 글에서는 10만 토큰 컨텍스트가 Claude 1.3에도 있던 기능이고 구조도 1.3과 매우 비슷하다고 짚었으며, 수학과 무해성 개선 폭은 크지 않다고 평가했다.[2]
- 엇갈림한 리뷰어는 전반적으로 ChatGPT와 비슷한 수준이며 긴 문서 요약과 파일 첨부는 앞서지만, 환각 가능성이 있고 코딩이나 일부 글쓰기는 ChatGPT가 나을 수 있다고 평가했다.[3]
- 엇갈림개발자 커뮤니티에서는 요약과 긴 문서 처리에 호평이 있었지만 코딩과 추론은 GPT-4가 낫다는 의견이 우세했고, 미국·영국으로 제한된 출시와 환각 사례에 불만이 나왔다.[4]
반응 출처 4개
- Anthropic releases Claude 2, its second-gen AI chatbot · techcrunch.com
- Some Key Facts About Anthropic's Claude 2 Release · thesequence.substack.com
- Claude 2 from Anthropic is out, and it's great · aiimpactlab.substack.com
- Claude 2 (Hacker News) · news.ycombinator.com
출시 기사·리뷰·전문가 평가·개발자 커뮤니티 토론을 LUCAS AI News가 읽고 요약했습니다(2026-10-11 기준). 원문 표현은 옮기지 않았으니 자세한 내용은 출처에서 확인하세요.
Anthropic 모델 흐름
큰 점이 이 모델입니다. 선은 그때까지의 최고 기록입니다.
독립 벤치마크 점수
- GPQA Diamond과학34.7%
94개 모델 중 88위. 대학원 수준의 생물·물리·화학 객관식 문제 198개. 검색으로 답을 찾기 어렵게 만든 문항이다. 오차 ±2.5%.
- MATH Level 5수학11.7%
45개 모델 중 43위. MATH 데이터셋에서 가장 어려운 단계. AMC 10·12, AIME 같은 경시대회 문제다. 오차 ±0.7%.
- OTIS 모의 AIME수학2.5%
91개 모델 중 84위. OTIS의 경시대회형 수학 문제 45개. MATH Level 5보다 어렵고 FrontierMath보다 쉽다. 오차 ±1.5%.
세로선은 무작위로 찍었을 때 기대되는 점수입니다. 같은 벤치마크라도 평가 방식과 설정에 따라 점수가 달라지므로 개발사 발표 수치와 다를 수 있습니다.
함께 볼 모델
- Claude Instant Anthropic · 2023-08-09
- Claude 2.1 Anthropic · 2023-11-21
- GPT-4 (Jun 2023) OpenAI · 2023-06-13
- GPT-3.5 Turbo (Jun 2023) OpenAI · 2023-06-13