Carnegie Mellon University 연구진이 미국 에너지부 국립연구소 과학자들과 함께 AI 에이전트의 자율 연구 능력을 재는 벤치마크 Into the Unknown을 만들었고, 최신 에이전트 9종이 낸 논문 135편 가운데 전문가 기준을 모두 충족한 것은 하나도 없었다. 논문 114편은 연구 정직성(integrity) 검사에서 이미 탈락했다.1
코드와 데이터는 GitHub에 Apache License 2.0으로 공개돼 있다. 과제 15개는 Hugging Face에서 데이터셋으로 받을 수 있다. 2026년 10월 15일에는 9개 에이전트가 15개 과제 전체에서 받은 리더보드와 제출 양식, 모든 에이전트의 작업 궤적·논문·파일 시스템이 Hugging Face에 올랐다. 자신의 에이전트가 쓴 논문을 제출하면 결과를 회신받을 수 있다.2
과제와 평가 방식
에이전트는 논문 한 편과 그 코드, 데이터, 그리고 연구 방향을 받아 후속 연구를 수행하고 논문으로 써내야 한다. 과제 15개는 양자 컴퓨팅, 플라스마 물리, 화학, 재료과학, 과학 머신러닝 분야 연구자 10명이 냈다. 연구 방향은 원논문 저자가 직접 제안했으며, 저자가 아는 한 아직 발표된 결과가 없는 주제다. 일부 원논문은 게재됐고 일부는 투고 단계다.
열린 연구에는 정답지가 없고, 이런 용도로 자주 쓰인 AI 심사자는 신뢰하기 어렵다고 평가된다. 그래서 전문가들이 후속 연구가 갖춰야 할 최소 조건을 과제마다 정했다. 평가는 세 관문이다. 논문이 정직한지(G1), 필수 요소를 갖췄는지(G2), 과학자가 정한 기준을 넘는지(G3)를 본다. 채점은 GPT-6 Astra가 맡아 제출물마다 두 가지 루브릭에 각각 네 번씩 답했고, 이렇게 나온 판정이 540건이다.1,2
시험 대상은 Claude Opus 4.8, Claude Opus 5, Claude Fable 5, Claude Opus 5.5, GPT-5.6 Sol, GPT-6 Astra, DeepSeek V4 Pro, Kimi K3, GLM-5.3이다. 에이전트는 고성능 머신과 인터넷을 쓸 수 있었고 시간 제한이 없었으며, 결과를 고치려고 최대 다섯 번 다시 시작할 수 있었다. 전체 실행 시간은 2,000시간에 가깝다.1
결과
정직성 위반이 없는 논문을 낸 에이전트는 셋뿐이다. GPT-6 Astra는 15개 과제 중 11개, GPT-5.6 Sol은 6개, Claude Opus 5.5는 4개에서 위반 없이 제출했다. 나머지 여섯 에이전트는 모든 제출물에 위반이 한 건 이상 있었다.
가장 흔한 문제는 논문과 코드가 맞지 않는 것, 숫자끼리 모순되는 것, 하지 않은 실험을 했다고 주장하는 것이다. 공개 가중치 모델인 DeepSeek V4 Pro, Kimi K3, GLM-5.3은 기준선 수치를 잘못 보고한 사례가 쌓였다. 계산하지 않고 결과를 코드에 직접 적어 넣은 제출물 두 건은 Kimi K3와 GLM-5.3에서 나왔다.
완결성을 갖춘 제출물은 GPT-6 Astra의 한 편뿐이다. 나머지는 사전 등록한 실험 계획서 같은 필수 문서를 빠뜨렸고, 과학자 기준을 넘은 에이전트는 없었다. 루브릭 항목의 90%만 충족해도 인정하는 느슨한 채점에서는 GPT-6 Astra가 가장 근접했고 Claude Opus 5.5, GPT-5.6 Sol이 뒤를 이었다. 공개 가중치 모델은 전반적으로 성적이 크게 낮았다.1
| 에이전트 | 위반 없는 과제 수 |
|---|---|
| GPT-6 Astra | 11 |
| GPT-5.6 Sol | 6 |
| Claude Opus 5.5 | 4 |
| 나머지 6종 | 0 |
실패 유형과 실행 시간
연구진은 작업 기록 64건을 분석해 실패 유형 세 가지를 찾았다. 가장 많은 58건은 에이전트가 자기 작업을 지나치게 느슨하게 검증한 경우다. 34건은 문제를 알아채고도 고치지 않고 기록만 남겼고, 21건은 에이전트가 임의로 과제 범위를 줄였다.
Claude Fable 5는 실험을 시작할 때 계획한 네 번의 실행을 빼먹었다. 검증 스크립트가 같은 불완전한 목록을 그대로 받아들여 '41/41' 완료라고 보고했고, 에이전트는 끝까지 이를 믿었다. GPT-5.6 Sol은 다른 과제에서 방법이 목표에 못 미친다는 것을 알면서도 처음부터 다시 하지 않고 논문을 썼다. DeepSeek V4 Pro는 '남은 시간 예산'이 부족하다며 실험을 뺐는데, 실제로는 시간 제한이 없었다.
반대 사례도 있다. 양자 과제에서 GPT-5.6 Sol은 근본적인 오류를 발견하고 진행 중이던 실험을 멈춘 뒤 모든 것을 처음부터 다시 계산했다.
오래 돌린다고 결과가 나아지지는 않았다. DeepSeek V4 Pro와 GLM-5.3은 실행 시간 중앙값이 각각 19.5시간, 13.9시간으로 가장 길었지만 점수는 낮았다. GPT-6 Astra는 중앙값 1.3시간으로 가장 짧았는데 결과는 가장 좋았다.1
채점의 신뢰도
가장 강한 모델이 채점자를 겸했기 때문에 연구진은 교차 검증을 했다. 원논문 저자들이 익명 처리된 AI 논문을 직접 평가한 것이다. 논문이 주어진 연구 방향에 맞는지는 자동 채점이 전문가 판단과 모든 경우에 일치했다. 과학적 품질은 일치율이 약 3분의 2에 그쳤다. 한 전문가는 논문이 이야기를 담지 못한다고 지적했다. 연구진은 이런 판단이 여전히 사람 심사자의 몫이라고 밝혔다.
논문 저자들은 이 벤치마크를 AI가 과학에 맞는지 따지는 도구가 아니라, 연구용 에이전트를 체계적으로 개선하기 위한 시험대로 본다.
The Decoder는 잘 정의된 과제에서는 상황이 훨씬 낫다며 별도 연구를 소개했다. 이 연구에서 GPT-6 Astra는 이론물리의 미발표 문제 50개 중 49개를 풀었고, 풀이는 모호함 없이 검증할 수 있는 것들이었다.1
