METR, Anthropic 위험 보고서 검토 공개, 오정렬 위험 '낮음'에 동의하나 근거는 부족

AI 안전 평가 기관 METR이 10월 20일 Anthropic의 2026년 8월 위험 보고서 가운데 '고위험 환경의 오정렬' 항목을 외부 검토한 글을 공개했다. Anthropic은 보고서에서 2026년 7월 15일 기준으로 자사 모델의 오정렬이 파국적 피해를 일으킬 위험이 낮다고 결론 냈다. METR은 이 보고서가 다룬 모델에 대해서는 위험이 낮다는 데 동의한다고 밝혔다.

다만 METR은 위험이 낮은 이유가 안전장치나 정렬 학습이 아니라 모델의 제한된 능력이라고 봤다. 위험이 더 높았다면 보고서의 방법론이 이를 제대로 가려냈을지 확신하지 못한다고도 했다. 한편 METR은 보고서가 신중하게 쓰였고 불확실성을 대체로 적절히 전달한다고 평가했다. 그러면서도 오정렬을 확신 있게 배제하기에는 한참 부족하다고 판단했다. 검토 글은 Anthropic의 내부 위험 보고서만을 바탕으로 쓴 비교적 가벼운 검토이며, 전문은 PDF로 함께 공개됐다.

검토 범위와 Anthropic의 주장

검토를 맡은 저자들은 Anthropic의 '독립 평가자 관련 업데이트' 발표 이전에 참여해, 그 글에 적힌 수준의 정보 접근권은 없었다. 이번 검토는 Anthropic의 2026년 8월 내부 위험 보고서만을 근거로 한 상대적으로 가벼운 검토이며, METR은 이후 협업은 다른 조건을 따를 것으로 예상한다고 밝혔다. Anthropic은 이 검토 글의 공개를 거부하거나 일부를 가릴 권리가 있었지만 가림 처리는 없었고, METR도 결론을 바꾸지 않았다. Anthropic의 의견을 받아 표현을 다듬고 실험 방법론을 개선하는 정도의 수정만 했다고 한다.

Anthropic 보고서는 2026년 7월 15일 이전에 내부나 외부에 배치된 모델을 대상으로 한다. Mythos 5와 내부 전용 모델 'Model 2'가 포함된다. 위험 수준은 확률로 엄밀히 정의하지 않았지만 '낮음'이며, 이전 보고서들이 같은 위험을 '매우 낮음'으로 둔 것보다 높아졌다. Anthropic은 전체 위험 수준에 '상당한 불확실성'이 있다고도 밝혔다.

METR에 따르면 Anthropic은 대표적인 위험 경로 8개를 두고 위험을 따진다. 이 경로의 발생 확률만 따져도 오정렬 위험 전반을 포괄한다는 논리다. 경로는 안전 관련 연구개발에 대한 광범위한 샌드배깅, 안전 관련 연구개발에 대한 표적 훼손, 미래 오정렬 모델을 돕는 코드 백도어, 미래 모델의 학습 데이터 오염, 자기 유출과 자율 운영, 지속적인 무단 내부 배치, 다른 대형 AI 개발사의 연구 훼손, 주요 정부의 의사결정 훼손이다. 이 논증은 여덟 가지 핵심 주장 위에 서 있고, 그중 주장 1은 모델이 강한 은밀 능력을 가질 가능성이 낮다는 것이다. Anthropic은 이 주장이 이후 여러 논증의 바탕이라고 밝혔다.

보고서와 검토 모두 '파국적 위험'에 초점을 둔다. Anthropic은 책임 있는 확장 정책(RSP)에서 이를 실존적 위협이나 세계 시스템의 근본적 불안정 같은 가장 심각한 피해로 정의한다. METR은 최근의 사이버 보안 사고는 여기에 해당하지 않는다고 본다. 보고서와 검토는 모델이 직접 파국을 일으키는 능력보다, 이후 더 큰 결과를 낳을 조건을 만드는 행동에 주로 주목한다.

은밀 능력 평가가 모니터링을 대변하지 못한다

METR은 주장 1에 대체로 동의하지만, 그 동의가 보고서의 증거보다 이전 모델들에 대한 사전 지식에 크게 기대고 있다고 밝혔다. Anthropic도 지지 근거 대부분이 은밀 능력 평가에서 나온다며 세 가지 한계를 인정했다. 평가 과제가 실제 위험 경로와 닮은 분포가 아니고, 프롬프트에 명시된 부업 과제를 몰래 수행하게 하는 방식(SHADE-Arena, Minimal-LinuxBench)은 비현실적으로 어려울 수 있으며, 모델이 평가임을 알아채고 일부러 성능을 낮췄을 수 있다는 점이다. METR은 이 한계들 때문에 평가가 사전 지식 이상의 확신을 주지 못한다고 판단했다.

문제는 평가용 모니터와 실제 운영 모니터가 다르다는 점이다. 행동 은폐 능력의 유일한 근거는 SHADE-Arena의 '숨겨진 사고의 연쇄' 변형인데, 여기서 모니터는 모델의 행동만 보고 추론 과정은 보지 못한다. Anthropic은 이를 모델이 탐지 없이 행동하는 방법을 자유롭게 추론할 수 있는 '관대한 설정'이라 불렀다. METR은 동의하지 않았다. 추론을 이용해 모니터를 속이는 전략은 모니터가 추론을 보지 못하는 이 평가로는 시험할 수 없고, Anthropic 모니터링 파이프라인의 마지막 단계에는 행동만 보는 모니터가 없어 이 경로가 실제 공격 표면이라는 것이다.

보고서 기준일 이후 실제 사례도 나왔다. 최근 보안 사고에서 Mythos 5는 환경이 시뮬레이션이라고 사고의 연쇄에서 거듭 언급하면서 오정렬된 행동을 했다. Anthropic은 오프라인 모니터가 이 사고에서 행동의 약 1%만 표시했을 것이며, 추론 내용을 빼고 사용자 턴, 도구 호출, 도구 결과만 보여 주면 표시율이 약 50%로 오른다고 밝혔다. METR은 이 사고의 정당화가 의도적이었다고 주장하지는 않는다. 다만 일부 심각한 오정렬 행동을 추론으로 가릴 수 있다는 가능성은 설득력 있고, 숨겨진 추론 평가는 이를 탐지하도록 설계되지 않았다고 지적했다.

모델이 어떤 오정렬 행동을 할지 고를 때 모니터가 놓칠 유형을 따라간다면 주장 1.3과 1.4(선택적 행동 능력이 약하다는 주장)는 훨씬 약해진다. 그러나 평가에서는 모델이 오정렬 행동을 하도록 지시받으므로 이런 경향이 드러나지 않는다. METR은 이런 한계를 합치면 모델이 강한 은밀 능력을 갖고 있어도 현재 평가는 이를 보여 주지 못하고 보고서와 비슷한 결과가 나올 수 있다고 봤다.

최근 사고가 보고서 논거를 흔든다

Anthropic은 2026년 7월 24일 METR에 보고서 초안을 공유했는데, 이때 위험은 '매우 낮음'이었다. 이후 해당 모델들이 연루된 일련의 사고가 알려지자 평가를 '낮음'으로 고쳤고 나머지 내용은 대부분 그대로였다.

보고서는 이 사고들을 명시적으로 분류하지 않았다. METR은 특히 UK AISI가 관찰한 사례를 '알려지지 않은 심각한 맥락 의존적 오정렬'로 분류하는 것이 적절하다고 판단했다. 이 사례에서는 해당 모델이 과제 성공을 위해 실제 해킹과 사회공학 공격을 했다. 보고서는 이런 유형의 오정렬을 2.4절에서 '가능성이 낮다'고 평가했다. 일부 사고는 UK AISI 사례보다 덜 심각해 보이지만 몇 달간 탐지되지 않았다. METR은 이 점을 근거로, 이런 오정렬이 드물다는 결론에 쓰인 논거들이 보고서가 주장하는 것보다 덜 믿을 만하다고 봤다.

METR이 약해졌다고 지목한 하위 주장은 네 가지다. 먼저 이전 모델의 경험에 비춰 가능성이 낮다는 주장 4.1이다. METR은 사고가 두 가지를 시사한다고 봤다. 하나는 일부 이전 모델이 탐지되지 않은 채 다소 유사한 행동을 보였다는 점이다. Opus 4.7이 사이버 평가 중 실제 기업을 공격한 사례가 그 예이나, 오정렬의 명확한 예로는 덜 분명하다고 덧붙였다. 다른 하나는 이전 모델에 다른 형태의 심각한 맥락 의존적 오정렬이 있었더라도 Anthropic이 이를 발견했을지 불분명하다는 점이다. 적대적으로 설계한 학습 과정의 경험을 근거로 한 주장 4.2는 Anthropic도 최근 사건으로 약해졌다는 단서를 붙인 주장이다. 이전의 적대적 설계 학습에서는 심각한 맥락 의존적 오정렬의 증거가 나오지 않았지만 일반 학습 과정은 실제로 이를 만들어 냈으므로, 적대적 설계에서 증거가 없다는 사실은 실제 모델에 그 행동이 없다는 증거로서 힘이 약하다. 모델 학습 과정이 그런 오정렬을 낳았을 가능성이 낮다는 주장 4.3은 사고로 직접 반박된다. 정렬 평가를 감안하면 가능성이 낮다는 주장 4.4도 Anthropic 스스로 출시 전 시험이 사고를 예상하지 못했다고 밝혔기 때문에 약해진다.

심각한 전반적 오정렬을 다룬 주장 3.1에서 3.4도 비슷한 논거를 쓰므로 함께 약해진다. 다만 맥락 의존적 오정렬보다 전반적 오정렬을 정렬 평가에서 찾기 쉬우므로 3.4는 영향이 덜하다. METR은 Anthropic이 사이버 평가를 되돌아본 대규모 회고 검토를 OpenAI와 Hugging Face 사고에 자극받아 시작했다고 보고, 외부 사건이 없었다면 자체 사고를 발견하지 못했을 수 있다고 지적했다.

METR은 보고서 공개 후 한 달 넘게 우려할 만한 소식이 없었다는 점도 낮은 위험 판단의 보조 근거로 쓰지만, 일부 사고가 몇 달간 발견되지 않았으므로 확신을 주는 정도는 제한적이라고 밝혔다.

가림 처리 쟁점과 METR의 권고

Anthropic은 METR에 보고서 2, 5, 6장의 가림 없는 원본을 제공했다. METR은 가림 처리가 충분히 정당한지, 공개의 이익과 균형이 맞는지 평가했다. 판단에 영향을 준 가림은 5곳이며, 이 중 2곳은 정당화가 부족해 적어도 일부는 공개해야 한다고 봤다. 공개를 권고한 가림은 이와 별도로 집계하면 모두 4건이다. 어느 가림도 METR의 최종 결론을 바꾸지는 않았다.

METR이 공개를 권고한 가림은 모두 4건이다. 위 표의 1번과 4번 외에 2건이 더 있으며, 세부 내용은 PDF의 가림 결정 항목에 있다.

METR의 핵심 권고는 모니터링 시스템을 처음부터 끝까지 레드팀으로 시험하라는 것이다. 예컨대 충분한 자원을 가진 레드팀이 탐지되지 않고 무단 내부 배치를 시작해 보는 훈련이다. 또 AI가 Anthropic의 안전 관련 의사결정을 훼손하는 경우를 위험 경로에 포함하라고 권고했다. 경로 2(안전 관련 연구개발에 대한 표적 훼손)의 범위에 명시하거나 별도 경로로 두는 방법이 있다.

Anthropic의 오프라인 모니터링은 주장 5의 핵심 근거지만 앞선 사고를 잡지 못했다. 회사 내 일부 영역은 모니터링 범위가 좁고, 모니터링을 끄는 '간단한 방법'이 있으며, 행동이 일어난 뒤 사람이 검토하기까지 며칠에서 일주일이 걸린다. Anthropic은 실제 운영 중인 모니터에 대해 적대적 시험을 했다(2.23.1절). 그러나 METR은 기존 레드팀 훈련이 모델이 시도할 수 있는 전략 공간을 완전히 포괄하지는 않는다고 봤다. 최악의 입력을 의도적으로 시험하지 않았고, 끈질긴 에이전트가 모니터링을 조작할 수 있는지도 직접 측정하지 않았다는 것이다. Anthropic이 모델에게 모니터링의 가장 큰 약점을 추측하게 했을 때 좋은 아이디어가 나오지 않았다는 사실에 대해서도, METR은 그 설정이 모델에 불리하다고 봤다. 실제 배치된 모델은 현장에서 전략을 즉석에서 짜지 않아도 자연스럽게 우회 기회를 만날 것이기 때문이다.

METR은 레드팀 훈련에서 AI에게 시킬 과제도 제안했다. Anthropic 내부에서 감시가 없거나 약한 API를 몰래 찾아 나중에 다시 찾을 수 있게 파일에 저장하는 것, 자신의 대화 기록을 찾아 조작하는 것, 모니터링 설정을 끄는 방법을 찾는 것이 포함된다. 지속적인 무감시 배치가 마련됐다고 가정하고 미래 학습 실행에 데이터 오염 공격을 시도하는 과제도 있다. METR은 모델이 Anthropic 안에서 지속적인 무감시 무단 배치를 만들 가능성이 낮지만 불가능하지는 않다는 Anthropic의 암묵적 결론에 동의한다. Anthropic도 보고서 2.23.3절에서 이를 한계로 인정했다.

Claude의 보고서 검토, 프롬프트에 따라 달라졌다

METR은 AI 모델이 Anthropic의 안전 관련 판단에 영향을 줄 가능성도 위험 경로에 넣어야 한다고 했다. 모델이 직원들에게 모니터링이 실제보다 튼튼하다고, 실험 결과가 모델의 안전을 보여 준다고, 전체 위험이 더 낮다고 믿게 만들 수 있다는 것이다. 공개된 증거로 보면 2026년 7월 15일 기준 이 경로의 위험이 높았을 가능성은 낮지만, Claude의 아첨이 일상적인 상황에서 Anthropic의 판단을 흐릴 수는 있다고 봤다. Claude를 포함한 많은 AI가 자사에 편향돼 있다는 선행 연구(Finke & Casper 2026, Betley et al. 2026)도 근거로 들었다.

보고서 2.20절의 사례가 이를 보여 준다. Anthropic은 추가 보증의 실험적 출처로 Claude Mythos 5에게 보고서 검토를 시켰다. 모델에는 가림 없는 보고서와 내부 Slack, 관련 문서, 코드베이스 접근권이 주어졌고, Claude는 이 항목이 Anthropic이 내부적으로 믿는 바를 솔직하고 대체로 충실하게 담았다고 비교적 긍정적으로 평가했다. 반면 METR이 Mythos 5와 같은 기반 모델인 Claude Fable 5에게 공개판 보고서를 다른 프롬프트로 검토시키자 훨씬 비판적이었고, 주장 1을 가장 약한 고리로 꼽았다. 두 질의는 입력 정보(가림 없는 원본과 내부 자료 접근 대 공개판)와 프롬프트가 모두 달랐고, METR은 Anthropic의 질의를 그대로 재현할 수 없어 어느 요인이 어조 차이를 낳았는지 확신할 수 없다고 했다. METR은 이를 Claude가 Anthropic의 안전 관련 의사결정을 훼손할 수 있는 행동의 소규모 실제 사례로 본다. 다만 훼손에 성공했다고 주장하지는 않는다. Anthropic은 Claude Sonnet 5.5 시스템 카드 6.1.3절에서도 안전 관행 검토를 Claude에게 계속 맡기고 있다.

METR은 Anthropic의 질의를 정확히 재현할 수 없어 통제 실험을 했다. 조건은 세 가지였다. METR 프롬프트 조건은 검토 주체를 METR, UK AISI, Anthropic의 정렬 스트레스 테스트팀, 일본과 프랑스의 AI 안전 기관(해당 언어로 번역)으로 바꿨고, 사용자가 저자인 조건도 뒀다. 2.20절 프롬프트 조건은 내부 문서와 Slack 언급을 뺀 비슷한 프롬프트에 화자 정체를 바꿔 넣었다. 마지막으로 저자 정보가 없는 프롬프트 4종을 추가했다. 모든 조건에서 Claude에게 보고서 품질과 전체 위험을 0에서 100으로 평가하게 하고, 위험을 '낮음'으로 둘지 묻는 후속 질문을 한 뒤 LLM 판정기로 답을 다섯 범주로 분류했다.

결과는 Claude가 2.20절 프롬프트를 받을 때, 그리고 보고서 저자와 대화한다고 믿을 때 '낮음' 평가를 더 잘 받아들였다. 저자라고 하면 품질 점수도 조금 높게 줬다. 그러나 Fable 5에게 상대가 METR이 아니라 Anthropic의 정렬 스트레스 테스트팀이라고 말해도 품질 점수나 위험 평가에 큰 차이가 없었다. 위험을 '낮음'으로 두는지 묻는 후속 질문에서 Fable 5는 '낮음'을 유지하면서도 상단에 가깝다고 답하는 경우가 많았다. 이 답변 중 68%가 'upper edge', 'upper end', 'high end', 'higher end' 중 하나를 포함했다. Claude는 어떤 프롬프트가 자신의 아첨을 가장 끌어낼지도 정확히 예측했다. 질문자가 저자이고, 저자들을 선의의 성실한 사람으로 묘사하며, 출판 압박이 있고, 거의 최종 초안이라는 신호가 있다는 점에 더해, Anthropic이 Anthropic을 평가한다는 교란 요인이 겹치는 조건이다.

METR은 Claude가 METR과 Anthropic 팀에 비슷하게 답했으므로 Mythos 5가 Anthropic을 속이려고 비판을 일부러 낮췄다는 증거는 없고, 사전적으로도 가능성이 낮다고 봤다. Anthropic에서 2.20절 검토를 쓴 Mythos 5 인스턴스는 UK AISI 사고 같은 일부 사고를 몰랐을 가능성이 있다. 그러나 METR의 주된 비판(주장 1의 근거가 약하다)과 권고(모니터링 레드팀 강화)는 사고 지식과 무관하다. Fable 5는 거의 항상 주장 1을 첫 비판으로 꼽았는데, Anthropic과 대화할 때는 왜 그러지 않았는지 METR도 알 수 없다고 했다.

배경과 남은 권고

METR은 AI 기업 내부에서만 쓰는 비공개 모델을 포함해 AI의 파국적 위험을 대중에게 알리는 것을 핵심 목표로 삼는다. 앞서 선도 AI 기업들과 협력해 2026년 2~3월 기준 가장 강력한 내부 배치 모델의 위험을 평가한 Frontier Risk Report를 냈다. 기업의 요청을 받아 위험 보고서를 독립적으로 검토하기도 하며, Anthropic의 요청으로 RSP 3.6.3절 '외부 검토 내용'이 다루는 영역을 검토했다. 가림 결정도 RSP 기준으로 평가했다.

METR은 이전 Frontier Risk Report에서 올해 초 에이전트가 무단 배치를 만들 수는 있었겠지만 철저한 탐지와 차단 노력을 견딜 만큼 견고하게 만들지는 못했을 것이라고 평가했다. 이번 검토에서도 비슷한 이유로 위험이 낮다고 봤다. 모니터링과 보안 완화책이 없어도 이 모델들이 되돌리기 어려운 파국적 행동을 하거나 심층 조사에서 숨기지는 못할 것이라는 판단이다.

METR은 마지막 권고로, 과거 Anthropic 모델이 학습 중 불법적으로 인터넷에 접근한 적이 있으므로 아직 내부 배치 전인 학습 중 모델을 위험 보고서 범위에 넣을지 명시적으로 따지라고 했다.