성능과 평가

Claude Fable 5.2, GPT-6.2 Astra 업무 평가 공개, 데이터센터 분석 98% 대 65%

Epoch가 자사 업무 과제로 AI 모델 6개를 채점했다. 직원 기준을 채운 모델은 없었지만, 데이터센터 분석에서는 Fable 5.2(98%)와 Opus 5.5(88%)가 외주 인력 수준에 올랐다.

루카스 ·

AI 연구 기관 Epoch가 2026년 11월 17일 Claude Fable 5.2와 GPT-6.2 Astra를 포함한 모델 6개를 자사 업무에서 뽑은 과제로 채점한 결과를 공개했고, 어느 모델도 직원에게 기대하는 수준을 한 과제에서도 채우지 못했다. 두 모델은 Epoch의 종합 지표인 Epoch Capabilities Index(ECI)에서 신기록을 거의 나란히 세웠지만, 업무 과제 평균은 GPT-6.2 Astra가 65%로 Fable 5.2보다 17점 낮았다.

평가는 Epoch Automation Reports라는 벤치마크의 개정판으로 했다. Epoch 내부 업무에서 곧바로 따온 과제로 구성했고, 담당자가 산출물을 내부 기준에 맞춰 직접 채점했다. 100%는 Epoch 직원에게 기대하는 수준이다. 평가 대상에는 Fable 5.2와 GPT-6.2 Astra 외에 Opus 5.5, Fable 5.1, GPT-6 Astra, Gemini 4 Argon이 들어 있다.

데이터센터 분석은 외주 인력 수준

가장 큰 성과는 AI 데이터센터 분석 과제에서 나왔다. 과제는 모델이 EcoDataCenter 1을 Epoch의 AI 데이터센터 데이터베이스에 추가하는 것으로, 상세 가이드와 도구가 주어진다. 뉴스와 규제 문서를 조사하고, 위성 사진을 주문해 분석해야 한다. 이 과제에서 Fable 5.2는 97.5%(약 98%), Opus 5.5는 87.5%(약 88%), GPT-6.2 Astra는 65%를 받았다. 만점은 수정 없이 게시할 수 있는 산출물이다. GPT-6.2 Astra의 이 65%는 앞서 나온 업무 과제 평균 65%와 별개의 점수다.

AI 데이터센터 분석 과제 결과
모델점수비고
Fable 5.2약 98%소요 약 6.5시간, 외주보다 비용 높음
Opus 5.5약 88%소요 3시간 미만, 외주보다 비용 낮음
GPT-6.2 Astra65%건물 하나만 다룸

Epoch가 말하는 외주 인력(contractor) 수준은 담당 분석가가 외주 결과물과 비슷하다고 판단한 경우이며, Fable 5.2와 Opus 5.5가 여기에 해당한다. 외주 결과물도 게시 전에 수정이 필요한 경우가 많다. 외주 인력은 데이터센터 하나에 보통 16시간가량을 쓴다. Opus 5.5는 같은 일을 3시간이 채 안 걸려 더 적은 비용으로 끝냈다. Fable 5.2는 약 6.5시간이 걸렸고 비용은 외주보다 높았지만 결과물은 Opus 5.5보다 나았다. Epoch는 외주 인력의 시간을 AI 산출물 검토와 데이터센터 분석의 다른 부분으로 돌리는 방안을 검토하고 있다.

Fable 5.2의 약점은 이미지 주석이 완전하지 않고 글이 지나치게 길다는 것뿐이었다. Opus 5.5는 장비 분류를 일부 고쳐야 했고 이미지 주석은 더 크게 손봐야 했다. 두 모델 모두 핵심 조사에서는 믿을 만한 출처를 찾고 판단을 잘 보정해 Epoch의 기준을 충족했다.

GPT-6.2 Astra는 지나치게 신중해서 핵심 정보를 빠뜨렸다. 출처가 건물 여러 동을 가리키는데도 명시적 증거가 부족하다며 한 동만 다뤘다. 그 한 동조차 컴퓨트와 AI 칩 수량을 합리적으로 추정할 수 있었지만, 추정에 들어가는 모든 수치를 별도 출처로 확인하려다 추정 자체를 생략했다. Epoch는 제공한 가이드를 따랐다면 추정을 내놓았을 만큼 정보가 충분했다고 평가했다. Gemini 4 Argon은 반대로 과신했다. 한 동만 NVIDIA B200 칩 사용을 공개했는데 모든 동이 B200을 쓴다고 가정하고 출처를 '회사 공시'로 적었다. 상세한 지침이 다른 방식을 가리키는데도 냉각 계산법을 최적이 아닌 것으로 골랐다.

연구 과제에서 드러난 약점

모델 모두 실험 설계에서 막혔다. Epoch는 기존 아이디어를 가져다 쓰는 버릇이 원인이며, 그 아이디어가 던진 연구 질문에 맞지 않는 경우가 많다고 설명했다. 퇴역한 채용 과제를 바탕으로 한 '체스 변형' 과제가 사례다. 규칙을 바꾼 체스로 AI 모델의 분포 외 일반화, 즉 학습 데이터에 없던 상황을 얼마나 잘 다루는지 재는 보고서를 쓰는 과제로, 사람 지원자에게는 며칠이 걸릴 것으로 본다. 변형은 낯설 만큼 달라야 하지만 점수가 낮은 이유를 난도만으로 설명할 수 없을 만큼 어렵지 않아야 한다.

모든 모델이 직접 변형을 만들지 않고 기존 변형을 썼다. 킹 오브 더 힐 같은 변형이 일반 체스보다 드물다는 이유였는데, 평가 대상 모델들이 이미 아는 변형이라 분포 외 일반화를 재지 못한다. Gemini 4 Argon은 사용한 변형을 평가 모델들이 이미 안다는 점을 보여 주는 실험까지 돌렸지만 이 결과를 무시하고 그대로 진행했다. 직접 만들었다고 주장한 변형도 새롭지 않았다. GPT-6.2 Astra는 기물 이름표만 바꿨는데, 규칙이 같으니 이름표만 번역하면 사전 지식으로 풀 수 있다. Claude 계열은 이미 있는 변형을 새것처럼 내놨다. Opus 5.5와 Fable 5.1은 요정 체스 기물로 잘 알려진 '카멜'을 넣은 변형을 제시했고, Fable 5.2의 'Kingsgate'는 기존 변형 'Midline Invasion'과 똑같이 진행된다.

반복 개선도 부족했다. 모델들은 대체로 첫 시도를 끝까지 밀고 갔다. '숨은 메시지' 과제는 평가 대상인 두 모델, Fable 5.1과 GPT-6.2 Astra가 SVG 이미지에 메시지를 얼마나 숨기고 읽어 내는지 조사하는 연구 보고서를 쓰는 것이다. 해독은 각 모델이 코드를 보지 않고 사전 약속도 없이 이미지만 보고 수행한다. 사람 연구자는 Claude 모델의 거절을 피하고 메시지가 노골적으로 드러나는 문제를 고치려고 프롬프트를 거듭 다듬었다. Fable 5.2는 메시지가 뻔히 보이는 첫 프롬프트에 머물렀다. 생성 이미지 대부분에는 탁자 위에 쓴 'SVMOZB'처럼 메시지가 그대로 있었고, 사물 이름의 첫 글자를 이은 이미지가 나았지만 개선 여지가 컸다. 사람의 작업에서는 별의 높이가 Alphabet 순서를 나타내는 이미지처럼 진짜로 숨긴 인코딩이 나왔다.

주제 선정, 자기 평가, 발표

GPT-6.2 Astra는 Epoch 독자에게 맞는 주제를 고르는 데서 GPT-6 Astra와 의미 있는 차이가 없었다. 개방형 Data Insight 과제는 모델이 AI 동향 중 하나를 골라 짧은 글을 쓰는 것으로, 독자층과 기존 글 링크를 준다. GPT-6.2 Astra는 두 모델의 중국어 토큰 효율을 비교한 좁은 주제를 골랐고, GPT-6 Astra는 인기 오픈 모델이 전문가 혼합 구조를 쓴다는 이미 널리 알려진 사실을 골랐다. Claude 모델은 이 부분에서 대체로 잘하며 Epoch가 내부에서 검토한 주제를 내놓기도 했다. Gemini 4 Argon은 주제 적합성은 가려내지만 기존 글에 크게 기댄다.

무엇이 의미 있는 결과인지 가려 전달하는 일도 모두 어려워했다. Opus 5.5는 글자로 그린 메시지는 해독하기 쉽다는 당연한 사실을 핵심 발견으로 제시했다. Gemini 4 Argon은 'code-level syntactic hiding' 같은 복잡한 이름을 붙여 글을 읽기 어렵게 했다. GPT-6.2 Astra는 발표 점수가 비교적 좋았지만 기준에는 못 미쳤다. 체스 보고서는 두 모델 모두 기물 이동 규칙이 바뀌면 점수가 2.5~6.7%포인트 낮아졌다는 결과를 굵게 앞세웠는데, 토큰 예산을 늘리면 변형에서도 일반 체스 못지않게 잘했다는 내용이 뒤에 나와 헤드라인과 어긋난다. Epoch는 연구의 질과 별개로 이런 오도성 발표가 게시를 막는 결함이라고 밝혔다.

사람의 기준 산출물이 있는 과제에서는 모델에게 채점 기준을 주고 출처를 가린 채 자기 결과와 사람 결과를 비교하게 했다. Gemini 4 Argon이 '숨은 메시지'에서 사람 결과를 고른 한 건을 빼면 모든 모델이 매번 자기 결과를 골랐다. 이유도 편향돼 있었다. Opus 5.5는 사람의 프롬프트가 수신 모델이 PNG만 받는다고 알리지 않았다고 비판했지만, 그 프롬프트에는 메시지가 SVG 소스 어디에도 나타나선 안 된다는 구체적 지시가 이미 있어 같은 목적을 이룬다. 모델들은 실험 횟수 같은 겉보기 엄밀함에 점수를 더 주는 경향도 보였다.

Gemini 4 Argon은 사람 쪽이 핵심 질문을 겨냥한 깔끔한 실험이라고 보고, 자기 쪽은 '겉으로만 더 형식적'이라고 비판했다. Epoch는 모델이 이처럼 자기 결과의 약점을 일관되게 짚을 수 있다면 기준에 맞는 산출물을 낼 수도 있을 것이라고 밝혔다. 다만 이런 경우는 드물었다.

GPT-6.2 Astra는 GPT-6 Astra보다 여러 과제에서 나아져 Gemini 4 Argon과 비슷한 수준에 올랐다. 글이 간결해졌고 그래픽 디자인이 나아졌으며, AI 데이터센터 조사 점수는 25점 뛰었다.

평가 방식의 변경과 한계

Epoch는 이번에 과제 구성, 모델 성능 끌어내기, 채점 기준을 바꿨다. 이전의 고정 API 예산 벤치마킹 과제는 예산이 부족하고 지나치게 열려 있어, 기한과 예산 안에 끝낼 수 있음을 아는 퇴역 채용 과제로 교체했다. 프롬프트에는 채점에서 중시하는 점을 적었고, 데이터센터 과제에는 예외 사례와 모호한 판단을 다루는 내부 Slack 채널 요약본 같은 자료를 추가했다. 항목별 점수는 학회 논문 심사처럼 1~4점 척도로 바꿨다. 이 때문에 일부 모델(Claude Fable 5.1, GPT-6 Astra)은 새 설정으로 다시 평가했고, 나머지도 다시 돌릴 계획이다. 이전 보고서와 점수를 직접 비교할 수 없다. 모델에게는 웹 접속이 가능하지만 평가가 온라인에 공개돼 있어 해당 페이지 방문을 금지했고, 모든 실행에서 지켰는지 확인했다.

Epoch는 한계도 밝혔다. 과제 수가 적고 모델당 과제별 1회만 실행했으며, 수작업 채점이 오래 걸려 반복 횟수보다 정성 분석을 택했다. 점수는 흔들릴 수 있고, 평가 기준 정의나 채점자에 따라 수치가 달라질 수 있다. 모델이 학습 중 본 것으로 보이는 과제는 퇴역시킬 수도 있다. 그래서 Epoch는 이 결과를 모든 업무에 대한 AI 능력의 일반 척도로 읽지 말라고 했고, 정확한 수치보다 정성적 발견이 더 유익하다고 밝혔다.

Epoch는 결론에서 모델이 소프트웨어 공학과 수학 등에서 사람 기준선에 이르거나 넘어서지만, 청중에 맞는 흥미로운 주제를 고르거나 일주일짜리 단순 연구 실험을 설계하는 개방형 과제는 아직 못 한다고 정리했다. AI 데이터센터 분석처럼 자동화에 가까운 과제가 있는 반면, 나머지는 판단력과 발표 능력의 약점 때문에 뒤처진다고 했다.

댓글

기사에 대한 의견이나 틀린 내용 제보를 남겨 주세요.

댓글을 불러오고 있습니다.