AI 안전 평가 기관 METR가 Anthropic의 내부 자료를 열람해 평가한 보고서를 공개했다. 이 프로젝트에 참여한 METR 직원 대부분은 Anthropic이 2026년 10월 기준으로 명확히 정의된 과제에서 모델 능력을 2024년 3월~2025년 10월보다 약 2배 빠르게 높이고 있을 가능성이 크다고 판단했다. 팀 안에 이견이 있고 불확실성도 상당하다. METR는 실제 가속이 1.3배나 3배에 가까워도 놀랍지 않다고 밝혔다.1,2
METR 직원들은 2026년 8월 12일부터 10월 29일까지 Anthropic에서 내부 데이터에 접근하는 평가를 진행했다. AI가 AI 연구개발을 얼마나 빠르게 하고 있는지 보는 평가다. AI가 후속 AI 개발을 크게 앞당기면 극단적이고 위험한 능력이 갑자기 나타날 수 있다는 것이 평가의 배경이다. METR는 최종 공개 보고서를 11월 3일 제출했다.1,2
벤치마크 점수는 1.9배 빨라졌다
METR는 '가속'을 성장 속도가 높아진 정도로 정의한다. 2배 가속이면 과거 기준 2년 치 진전을 1년에 이룬다는 뜻이다.
근거 가운데 하나는 Anthropic이 Epoch Capabilities Index를 변형해 쓰는 AECI 점수다. 2025년 10월 이후 Anthropic 모델의 벤치마크 점수 증가 속도는 이전의 약 1.9배로 추정됐다(95% 신뢰구간 1.5~2.8배). 벤치마크 점수 기준으로 지난 1년간 2023년 10월~2025년 10월 수준의 진전을 이룬 셈이며, 대략 Claude 2.1에서 Sonnet 4.5까지의 구간이다. 연구진이 추정한 변곡점은 2025년 10월 7일이다.
이 수치는 Haiku 5.5 시스템 카드의 1.7배보다 높다. 주된 이유는 아직 공개되지 않은 최신 내부 모델의 데이터를 포함했기 때문이다. 분석에 쓴 내부 모델은 2026년 7월, 8~9월, 9~10월에 학습을 마친 모델 등이다. 벤치마크 선택, 모델 날짜 부여, 모델 포함 여부, 포화 처리 방식을 바꿔 본 강건성 분석에서는 가속이 1.1~2.9배로 나왔다. METR는 가속이 전혀 없거나 3배를 넘는 경우는 의외일 것이라고 했다.2
| 분석 조건 | 추정 가속 |
|---|---|
| 기본 설정(로지스틱 연결 함수) | 1.9배(1.5~2.8) |
| 쉬운 문제만 긴 꼬리를 이루는 가정(연결 함수 변형의 일부) | 1.1배(0.8~1.5) |
| 어려운 문제만 긴 꼬리를 이루는 가정(연결 함수 변형의 일부) | 2.9배(2.1~4.9) |
| 연결 함수 종류를 바꾼 전체 범위 | 1.1~2.9배 |
| 사용 스냅숏을 바꾼 범위 | 1.9~2.2배 |
| 사용 벤치마크를 바꾼 범위 | 1.9~2.2배 |
| 정규화 방식을 바꾼 범위 | 1.9~2.1배 |
기본 설정은 벤치마크 점수의 분포를 로지스틱 함수로 가정한다. 이는 Epoch와 Anthropic이 쓰는 기본값이어서 METR도 유지했지만, 어느 함수가 낫다고 볼 강한 근거는 없다고 했다. 또 Anthropic 모델만이 아니라 최전선 모델 전체를 넣으면 가속 추정치는 낮아져 1.4배가 된다. Anthropic 모델이 2025년에 최전선에 못 미쳤다면 과거 진전이 낮게 잡혀 1.9배가 부풀려졌을 수 있다는 의미다. 반대로 Anthropic 모델이 벤치마크에 덜 맞춰져 있다면 1.9배가 실제에 가깝다.2
원인과 병목
METR는 가속의 상당 부분이 Anthropic의 폭넓은 AI 활용에서 비롯됐을 가능성이 높다고 봤다. 2025년 말 가속에는 AI 외 요인도 크게 작용했을 가능성이 있다고 했다. 연구진은 현재 가속의 약 80%가 AI 때문이라고 추측하면서, 이 판단에도 상당한 불확실성이 있다고 밝혔다. 학습 컴퓨트 증가 속도가 빨라진 것이 원인이 아니라는 점은 확신한다고 했다. 이를 뒷받침한 증거의 세부 내용은 Anthropic이 가렸다.
내부 연구자 인터뷰는 METR와 Anthropic 양측이 진행했고, METR가 한 인터뷰는 약 15건이다. 전반적인 가속 추정은 폭이 넓었지만 2배 안팎에 모였다. 인터뷰 노트는 METR의 Claude 분류에서 2배 이상 가속을 지지하는 쪽으로 약하게 기울었다. 분류 결과는 '그렇다' 2명, '그런 편' 3명, '불분명' 4명, '아닌 편' 0명, '아니다' 2명으로 합쳐 11명이다. 한 인터뷰 대상자는 AI 기여를 15~20%로 추측하며 자가 보고된 생산성 증가를 믿지 않는다고 했다. 반대로 METR 인터뷰 노트에는 "2년 치 진전을 1년에 이루는 것을 확실히 지지한다"는 취지의 발언도 있다.
Anthropic 직원들이 Slack 투표로 남긴 자가 보고 생산성 향상은 꾸준히 커졌다. 2026년 10월 가장 강력한 내부 모델의 평균은 약 12배였다. METR는 응답이 대표성 없는 일부 직원에게서 나오고 성의 없이 답했을 가능성이 있다며 매우 느슨한 증거로만 봤다. 개인의 속도 향상 수치가 곧 전체 진전 속도의 가속은 아니라는 점도 짚었다.
AI가 모델 학습 과정의 가장 중요한 부분에서 완전히 자율적으로 큰 기여를 하는 단계는 아직 아니다. 다만 연구자들은 그런 기여가 곧 가능해질 수 있다는 '생명의 징후'를 말했고, 분야별 성숙도는 크게 달랐다. 연구진은 향후 12개월 안에 알고리즘, 학습 컴퓨트, 실험 컴퓨트, 데이터에서 진전을 막을 만한 뚜렷한 병목을 찾지 못했다. 다만 정보를 더 받을 때마다 판단이 여러 번 바뀌어 현재 평가를 확신하지는 않는다고 했다. METR는 이를 근거로 앞으로 1년 동안 능력 진전이 더 빠른 가속으로 이어질 상당한 위험이 있다고 판단했다. 이 판단에도 큰 불확실성이 따른다고 밝혔다.2
접근 범위와 한계
평가에는 METR 직원이 상근 환산 2.5명 투입됐다. Anthropic은 사전 학습과 강화 학습 지표, 영역별 학습 컴퓨트, 내부 모델의 벤치마크 점수, 속도 향상 분석 등 내부 데이터를 제공했다. METR는 접근 범위가 기대를 웃돌았다고 평가했다. 다만 Anthropic이 요청을 일방적으로 승인하거나 거절할 수 있었고, 공개 보고서의 비공개 정보에 대해서도 가림 권한을 일방적으로 가졌다. METR가 일방적으로 공개할 수 있는 것은 검토·가림 절차의 존재와 일반 조건, 가림권 행사 여부, 결과가 가려진 정보에 크게 의존했는지, 접근 수준이다. 이번에 비공개 모델에서 표본을 뽑는 접근은 요청하지도, 받지도 않았다.
계약 범위도 도중에 바뀌었다. 당초 계약에는 컴퓨트 배분, 특히 역량 개발과 AI 안전 사이 배분을 검증하는 작업이 있었다. Anthropic이 중간에 이를 제외하고 AI 연구개발 가속에만 집중하자고 했고, METR가 실질적 결론을 내리기 전에 이 부분이 취소됐다. Anthropic은 지금은 위험 평가에 집중하고 싶으며 컴퓨트 배분 검증은 나중에 다시 다루겠다고 설명했다.
METR는 이 평가가 Anthropic이 10월 15일 발표한 평가와는 별개라고 밝혔다. 또 METR와 Anthropic 모두 직원 수준의 접근, 곧 데이터·문서·모델에 제한 없이 접근하는 방식을 의도하지 않았다고 했다. 보안상 METR 직원은 Anthropic 기기에서 작업했다. Anthropic은 평가용 토큰을 무료로 제공했으며 주로 AI 보조 데이터 분석과 시각화에 쓰였다. METR는 평소 방침대로 Anthropic에서 대금을 받지 않았다.
METR는 한계도 적었다. 요청이 일부 거절됐고, 문서를 수시로 읽거나 내부 논의를 지켜볼 수 없어 중요한 정보를 놓쳤을 수 있다고 했다. 모델이 학습을 마친 뒤에야 결과를 관찰하므로 최근의 추가 가속을 놓쳤을 수 있다. 성장이 쌍곡선처럼 계속 빨라지고 있다면 가속을 과소평가한 것이다. 반대로 AECI가 검증 가능한 과제에 치우쳐 있고 최근 진전이 이런 과제에 과적합됐다면 과대평가일 수 있다. 가속이 명확히 정의된 과제에 한정될 가능성도 있어, 모호한 과제로 얼마나 이어지는지는 불확실하다고 했다.
벤치마크 포화도 걱정거리다. 가장 최신 내부 모델은 AECI 벤치마크 15개 모두에서 50%를 넘었고, 9개월 전 Opus 4.6은 50% 아래인 벤치마크가 여럿이었다. 연구진은 어려운 벤치마크가 사라져 앞으로 AECI로 측정하기가 어려워질 수 있다고 우려했다. 이 평가에서 METR는 Claude로 데이터 분석과 인터뷰 분류를 상당 부분 수행했다. 인터뷰와 대조했을 때 체계적 편향의 징후는 없었고, 중대한 위험은 아닐 것으로 짐작한다고 밝혔다. 또 Anthropic이 고의로 속이려 했을 가능성은 극히 낮다고 봤지만, 더 넓은 접근이 있으면 적대적 견고성이 높아질 것이라고 했다.
이해 상충도 공개했다. 팀원 한 명이 프로젝트 초기에 Anthropic과 일자리를 논의해 제안을 받았지만 거절했고, 전직 직원으로서 경쟁사 지분도 보유하고 있었다. METR는 이 팀원의 작업을 이해 충돌이 없는 다른 팀원이 철저히 검토했다고 밝혔다. 2026년 10월 9일 이후 시작하는 평가에는 이런 경우 해당 팀원을 업무에서 배제하도록 정책을 바꿨다.2