Epoch AI가 2026년 10월 14일 새 벤치마크 SpireClimb의 결과를 공개했다. 카드 게임 슬레이 더 스파이어(StS1)에서 최신 모델은 기본 난이도(Ascension 0) 승률이 90% 이상이었다. 연구진은 6개월 전만 해도 StS1의 이 기본 난이도에서조차 모델이 거의 이기지 못했다고 밝혔다.
StS1 최고 난이도인 Ascension 20 Heart에서는 GPT-6 Astra가 승률 17%, GPT-6.1 Sol이 20%를 기록했다. StS2의 최고 난이도인 Ascension 10에서는 주요 모델 승률이 25%를 넘었다. 최상위 인간 플레이어는 두 게임의 최고 난이도에서 정기적으로 80% 이상의 승률을 내므로, 모델 승률은 이에 크게 못 미친다. 측정은 화면을 보고 조작하는 방식의 에이전트로 했다.
측정 방식
Epoch AI는 비전 기반 컴퓨터 사용 에이전트 하네스에서 모델을 평가했다. 이 하네스는 Inspect ReAct를 바탕으로 한 단일 에이전트 방식이다. 임의로 고른 고정 시드를 쓰고, 모델마다 두 게임의 캐릭터별로 15번씩 독립적으로 단판 도전하게 했다.
모델은 대화 압축 뒤에도 정보를 유지하도록 메모를 남길 수 있고, 숙련자가 접하는 정보를 똑같이 쓰도록 게임 위키도 참고할 수 있다. 연구진이 겨냥한 상황은 일반 사용자가 데스크톱 AI 앱에 '슬레이 더 스파이어를 대신 해 줘'라고 입력하고 맡겨 두는 경우다. 최고 난이도를 평가 대상으로 삼은 이유는 이 비전 하네스에서 최신 모델과 준최신 모델이 기본 난이도 Ascension 0을 압도적 다수의 판에서 이기기 때문이다.
모델은 대화 압축 뒤에도 정보를 유지하도록 메모를 남길 수 있고, 숙련자가 접하는 정보를 똑같이 쓰도록 게임 위키도 참고할 수 있다. 연구진이 겨냥한 상황은 일반 사용자가 데스크톱 AI 앱에 '슬레이 더 스파이어를 대신 해 줘'라고 입력하고 맡겨 두는 경우다. 최고 난이도를 평가 대상으로 삼은 이유는 이 비전 하네스에서 최신 모델과 준최신 모델이 기본 난이도 Ascension 0을 대부분의 판에서 이기기 때문이다.
이전 시도와 StS1 결과
이전 연구는 하네스와 허용 조건, 테스트 모델이 제각각이었다. 2025년 6월 Orak 논문에서는 텍스트 하네스의 Gemini 2.5 Pro가 세 번 중 두 번 두 번째 보스를 꺾었는데, Epoch AI는 이 결과가 전체 승률 0%에 해당했을 가능성이 크다고 보았다. 텍스트 하네스를 쓴 StSBench에서는 2026년 6월까지 최신 모델의 Ascension 0 승률이 단 1회 시도로도 승리를 기록할 만큼 높아졌다. Epoch AI의 비공식 실험에서는 Codex Desktop 컴퓨터 사용 하네스로 GPT-5.6이 2026년 8월 Ascension 8에서 승리했다. 연구진은 이것이 Ascension 0 승률 50%를 크게 웃도는 수준에 해당할 가능성이 크다고 보았다.
Anthropic은 2026년 6월 Claude Fable 5를 내놓으며 이 모델이 Claude Opus 4.8보다 게임의 마지막 막에 세 배 자주 도달했다고 밝혔다. Epoch AI는 이 표현이 당시 모델이 안정적으로 이기지는 못했음을 보여 준다고 짚었다. METR 연구원 Ajeya Cotra도 2026년 AI 능력 전망에 StS2 승률을 사용했다.
Ascension 20 Heart는 최고 난이도에 선택 보스 The Heart까지 쓰러뜨려야 하는 설정이다. 기본 난이도를 안정적으로 깨는 플레이어도 이 보스에는 수십에서 수백 시간을 쓰기도 한다. 강한 StS1 플레이어는 승률이 50%를 넘고, 최고 플레이어로 꼽히는 XecnaR는 캐릭터에 따라 80%에서 95%를 기록한다. 몇 달 전만 해도 최신 모델은 이런 수준에 접근할 조짐이 없었고, 이 난이도에서 성능을 측정하려는 시도도 드물었다. GPT-6 Astra에 이어 GPT-6.1 Sol이 나오면서 상황이 달라졌다. 연구진은 0%에서 20%로 오른 것을 큰 도약이라고 평가했다.
Sol의 캐릭터별 성적은 XecnaR의 통계를 대략 닮았다. Ironclad와 Watcher에서는 Silent와 Defect보다 잘했는데, 연구진은 캐릭터 간 강함의 차이를 반영하는 것으로 보았다. Watcher는 일반적으로 가장 강한 캐릭터로 꼽힌다. Sol의 Silent 성적이 극히 낮은 이유는 연구진도 알지 못한다. GPT-6 Astra는 Silent로 15번 중 1번(7%) 이겼고, 이는 Sol과 통계적으로 구분되지 않아 최신 모델에도 이 캐릭터가 유독 어려울 수 있다.
후속작으로 본 일반화
프런티어 연구소가 StS1을 학습 환경으로 쓴다면 이 결과가 범용 능력의 향상을 반영하는지 의문이 생긴다. 모델들은 StS1 전략에 관한 지식을 이미 많이 갖고 있고, 추론 과정에서 구체적인 수치와 다가올 위협, 카드 평가를 자주 떠올렸다. 연구진은 이번 도약이 컴퓨터 사용 능력, 게임 플레이 일반 능력, 그리고 StS1을 겨냥한 강화 학습의 조합 때문일 수 있다고 보았다.
StS2는 비교적 최근 게임이라 모델의 학습 데이터 밖에 있을 가능성이 커서 일반화 능력을 보기에 적합하다. 다만 얼리 액세스 상태로 콘텐츠가 계속 업데이트되므로 벤치마크는 v0.107.1로 고정했다. 시간이 지나면 이 버전은 일반 이용자가 즐기는 버전과 달라지고, 모델이 최상위 인간 플레이어의 전략 진화를 따라가는지는 검증하기 어렵다. StS2에는 StS1의 The Heart에 해당하는 보스가 아직 없어 대부분 플레이어는 StS1보다 쉽다고 본다. 커뮤니티 집계 사이트 SpireBird와 Spire Codex를 보면 수백 명이 StS2 최고 난이도 Ascension 10에서 80% 넘는 승률을 지속할 수 있다. 중국 플레이어 '白夕Seal'은 캐릭터를 번갈아 가며 53연승하는 영상을 남겼고, 연구진은 단순 계산으로 승률이 최소 90%, 아마 95% 가까이일 것으로 추정했다.
연구진은 StS2 최고 난이도가 더 쉽다는 증거에 따라, 이 게임에서 상위 모델 승률이 StS1 최고 난이도의 약 두 배라고 설명했다. 새 캐릭터 Regent와 Necrobinder 중에서는 Necrobinder만 눈에 띄게 낮았다. StS1과 달리 Spire Codex에서 확인되는 캐릭터 강약과 일관된 패턴은 보이지 않았다. 캐릭터별 표본이 작아 단정하기도 어렵다. 연구진은 이 결과를 프런티어 모델이 낯선 게임에서도 큰 불이익을 받지 않는다는 근거로 해석했다.
향후 계획
Epoch AI는 연구소들이 슬레이 더 스파이어를 학습 목표로 삼으면 몇 세대 안에 최고 난이도에서도 벤치마크가 포화될 수 있다고 인정했다. 그래도 인간 기준 데이터가 풍부하고 대중의 관심이 높아 AI 발전 속도를 공개적으로 추적하기에 유용하다고 밝혔다. 새 모델이 나오면 두 게임의 최고 난이도에서 계속 평가할 계획이다.
이 하네스와 인프라는 다른 게임 평가에도 쓸 수 있고, EBR-bench와 비슷한 지속 학습 실험의 바탕으로 쓰는 방안도 검토 중이다. 연구진은 복잡한 게임의 인터페이스를 스스로 헤쳐 가며 목표를 일관되게 추구하는 모델이 맞춤형 하네스나 지원 없이 기존 인간 업무를 처음부터 끝까지 자동화하는 데도 유리할 수 있다고 보았다. The Architect는 StS2에서 The Heart에 해당하는 보스가 될 것으로 예상되며, 대부분 플레이어는 공식 출시를 1~2년 뒤로 본다. 그때도 벤치마크를 운영한다면 Epoch AI는 'StS2, Ascension 10, Architect'를 별도 과제로 다룰 계획이다.
이 하네스와 인프라는 다른 게임 평가에도 쓸 수 있고, EBR-bench와 비슷한 지속 학습 실험의 바탕으로 쓰는 방안도 검토할 수 있다고 밝혔다. 연구진은 복잡한 게임의 인터페이스를 스스로 헤쳐 가며 목표를 일관되게 추구하는 모델이 맞춤형 하네스나 지원 없이 기존 인간 업무를 처음부터 끝까지 자동화하는 데도 유리할 수 있다고 보았다. The Architect는 StS2에서 The Heart에 해당하는 보스가 될 것으로 예상되며, 대부분 플레이어는 공식 출시를 1~2년 뒤로 본다. 그때도 벤치마크를 운영한다면 Epoch AI는 'StS2, Ascension 10, Architect'를 별도 과제로 다룰 계획이다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
