Epoch, AI 6종에 실무 과제 11개 맡겨 보니 대체는 아직

AI 연구기관 Epoch가 여섯 개 주요 AI 모델에 자사 업무에서 뽑은 현실적인 과제 11개를 맡기고 결과를 공개했다. 결론은 아직 자동화할 수준이 아니라는 것이다. 연구자 Kelly Hong과 벤치마크 총괄 Greg Burnham이 시험을 진행했다.

과제는 그래픽 디자인, 짧은 연구 보고서 작성, 대화형 데이터 도구 제작, AI 데이터센터 조사, 연구 설계 다섯 분야에 걸쳤다. 각 모델은 신입 직원이 받는 것과 비슷한 수준의 배경 정보와 자체 작업 공간, Google 계정을 받았다. 과제마다 시도는 한 번이었고 사람의 도움은 없었다.

과제 결과

Claude Fable 5.1과 GPT-6 Astra가 대략 공동 선두였다. 그러나 Epoch가 정한 품질 기준을 안정적으로 맞춘 모델은 없었다. 비공개 상용 최상위 모델은 코딩과 데이터 분석처럼 범위가 분명한 과제에서 가장 잘했고, 유익한 실험을 설계하고 결과를 해석하는 열린 과제에서는 폭넓은 판단력이 부족했다. 오픈 웨이트 모델은 범위가 분명한 과제에서도 고전했다.

연구자들은 현재 모델이 "적어도 Epoch에서는 아직 노동자를 대체할 수 없다"고 평가했다. 다만 관련 분야의 AI 능력은 계속 오르는 추세라고 Epoch는 덧붙였다.

함께 공개된 지표

Epoch는 긴 작업을 처리하는 능력을 보려고 새 벤치마크 SpireClimb를 만들었다. 덱 구축 전략 게임 Slay the Spire를 AI가 화면을 직접 조작하며 오래 플레이하는 방식이다. 연구자 Benjamin Ou와 Simon Chen은 6개월 사이 최상위 모델이 게임을 이기기도 어려운 수준에서 기본 난이도 90% 넘는 승률로 올라섰다고 밝혔다. GPT-6 Astra는 98%였다. 최고 난이도에서는 GPT-6.1 Sol이 20%, Astra가 17%였고 나머지 모델은 거의 이기지 못했다.

원작은 출시 10년 가까이 돼 모델이 게임을 잘 알 수 있다. 이를 확인하려고 올해 나온 후속작 Slay the Spire 2도 시켰더니 Astra가 최고 난이도에서 35%를 이겼다. 후속작의 최고 난이도가 더 쉽지만, 모델이 덜 아는 게임에서도 상위 모델이 꽤 잘해 원작 점수가 사전 지식만으로 나온 것은 아니라고 Epoch는 설명했다. 상위 인간 플레이어는 원작 최고 난이도에서 약 85%, 후속작에서 약 95%를 이기는 것으로 추정된다.

사이버 보안 분야에서는 Jaeho Lee와 Alexander Barry가 Epoch 역량 지수의 보안 특화판인 Cyber ECI로 두 진영을 비교했다. 오픈 웨이트 모델 중 최고는 Z.ai의 GLM-5.3으로 160점이다. GPT-5.4(3월, 157점)보다 높고 GPT-5.5(4월, 162점), Claude Mythos Preview(4월, 165점)보다 낮다. 즉 현재 최고 오픈 웨이트 모델의 점수는 약 6~7개월 전 비공개 최상위 모델 수준이다. 그사이 비공개 모델은 계속 앞서 나가 Claude Opus 5.5와 GPT-6 Astra가 Cyber ECI에서 모두 171점이다. 일부 점수는 시험 횟수가 적어 주의가 필요하다고 Epoch는 밝혔다.

Google DeepMind의 Gemini 4 Argon은 9월 30일 일부 파트너에 먼저 공개된 뒤 10월 13일 일반 공개됐다. 현재 Epoch 역량 지수는 166점으로 Anthropic의 Claude Fable 5.1과 같고, Claude Opus 5.5와 GPT-6 Astra(각 169점), GPT-6.1 Sol(168점)에 근접하다. Epoch가 함께 실은 차트는 출시 시점 점수를 보여 주며, 최신 점수는 Epoch 웹사이트에서 볼 수 있다. 9월 초 Gemini 3.8 Flash(157점)에서 크게 올랐고, 2월 Gemini 3.1 Pro 이후 최상위권에 가장 가깝다. 지식, 에이전트 과제, 이미지 이해 벤치마크에서 가장 좋았고 수학(8위)과 소프트웨어 엔지니어링(6위) 지수에서는 낮았다.

Epoch는 외부 벤치마크가 측정 대상을 제대로 재는지 점검하는 Benchmark Reviews를 시작했고 책임자는 수석 연구원 Michelle Campeau다. 중대한 결함이 있으면 Flawed, 기준을 충족하면 Verified로 표시한다. 이번 4건 중 1건은 Verified, 3건은 Flawed였고 다른 4건은 정보가 부족해 판정하지 않았다. 자사 벤치마크는 Generality Labs에 맡겨 감사받으며, 지금까지 Chess Puzzles와 EBR-bench가 감사를 받았다.