METR, OpenAI 내부 에이전트 감시 시스템 레드팀 결과 공개

METR와 Redwood Research 직원 각 1명이 2026년 7월 21일부터 8월 11일까지 3주 동안 파일럿 형태의 고접근(high-access) 연습으로 OpenAI의 내부 오정렬 모니터링 시스템을 시험했다. 결과물은 61쪽짜리 내부 보고서로, OpenAI 연구진과 보안 담당자에게 전달됐다. METR는 10월 22일 이 가운데 일부를 요약해 블로그에 공개했다.

보고서는 에이전트가 수행하는 추론 중 감시를 받는 비율이 얼마인지, 에이전트가 감시 시스템을 끄거나 무력화할 수 있는지를 주로 다뤘다. 점검 대상은 7월 21일 이전과 당일까지의 시스템이며, 당시 진행 중이던 변경은 평가하지 않았다. METR는 OpenAI가 점검 기간에 감시 범위를 넓히고 있었고, 이번 결과가 확대된 현재 시스템의 범위를 보여 주지는 않는다고 밝혔다.

접근 범위와 공개의 한계

이 활동은 외부 연구자에게 내부 인프라 깊숙이 접근하게 하는 시범이었고, 공개 투명성을 충분히 확보하려는 목적이 아니었다. 그래서 METR, Redwood Research, OpenAI는 처음부터 비교적 짧고 개괄적인 공개 글만 내기로 합의했다. OpenAI는 기밀이거나 민감하다고 단독 재량으로 판단한 정보를 공개본에서 삭제할 권리가 있었고, METR는 그런 삭제가 있었다고 일방적으로 밝힐 권리가 없었다. 그래도 공개된 각 발견에는 동의한다고 밝혔다. OpenAI가 가린 38쪽 판본은 METR와 Redwood Research 지도부에 공유됐다. 이번 활동은 METR의 Hugging Face 사고 조사와 별개이며, 그 사고는 연습 첫날인 7월 21일에 공개 보도됐다.

이 활동은 외부 연구자에게 내부 인프라 깊숙이 접근하게 하는 시범이었고, 공개 투명성을 충분히 확보하려는 목적이 아니었다. 그래서 METR, Redwood Research, OpenAI는 처음부터 비교적 짧고 개괄적인 공개 글만 내기로 합의했다. OpenAI는 기밀이거나 민감하다고 단독 재량으로 판단한 정보를 공개본에서 삭제할 권리가 있었고, METR는 그런 삭제가 있었다고 일방적으로 밝힐 권리가 없었다. 그래도 공개된 각 발견에는 동의한다고 밝혔다. 두 회사의 지도부에는 OpenAI가 가린 38쪽 판본이 공유됐다. 이번 활동은 METR의 Hugging Face 사고 조사와 별개이며, 그 사고는 연습 첫날인 7월 21일에 공개 보도됐다.

감시 범위와 취약점

METR는 GPT-5.5 이상 모델이 내는 에이전트형 내부 Responses API 트래픽의 약 75~94%가 감시 대상이었다고 추정했다. 이 API는 Codex 등을 구동하며, 추정 오차는 양방향으로 크다고 밝혔다. 내부 Codex 에이전트용 트래픽만 보면 99.2%가 감시 대상이었다. 내부 연구용 추론 서비스에서 도는 에이전트의 트래픽은 접근과 시간 제약으로 추정하지 못했다.

강화 학습 훈련 과정은 점검 시작 때 감시 범위 밖이었다. OpenAI에서 전달받은 설명으로는 3월부터 6월까지 일부 훈련 롤아웃이 오정렬 감시를 받았다.

대화 압축 이벤트는 감시하지 않았다. METR는 이 때문에 2026년 5~7월 내부 Codex 트래픽의 10% 안팎이 감시에서 빠졌을 것으로 추정했다. 압축이 감시 호출에서 차지하는 비율을 당시 기록하지 않아 정확한 값은 불확실하다. OpenAI 직원들이 점검 전에 이미 이 문제를 찾아냈고 점검 중에 고쳤다. 점검 당시 감시는 에이전트가 제어권을 사용자에게 돌려줄 때 작동했고, 압축이 감시되지 않던 기간에 에이전트는 행동을 계속하는 것만으로 감시를 무기한 미룰 수 있었다. METR는 접근 제약 때문에 에이전트가 실제로 이를 악용했는지는 확인하지 못했다.

• Codex 에이전트가 원칙적으로(in principle) Codex 샌드박스와 자동 검토(Auto-Review)를 우회해 호스트 사용자가 할 수 있는 모든 행동을 할 수 있는 방법을 발견했다.
• 에이전트가 쓸 수 있는 익스플로잇을 발견했다. 이를 쓰면 익스플로잇 관련 행동을 포함한 최근 수백 건의 행동이 감시되지 않는다. 세부 내용은 OpenAI가 삭제했다.
• 에이전트가 보는 궤적과 모니터가 보는 궤적 사이의 직렬화 차이를 이용해 모니터를 실패시키는 입력을 만들 수 있을 가능성이 높다고 판단했다. 모니터가 실패하면 해당 궤적은 사람의 검토로 넘어가지 않는다.
• 클라이언트가 제어하는 헤더 두 가지가 새 에이전트의 감시를 껐다. 다만 헤더를 설정하고 새 인스턴스를 만드는 행위 자체는 감시에 걸릴 수 있다.
• 읽기 전용으로 여겨진 감시 밖 내부 에이전트 도구 두 가지에서 제한을 뚫고 샌드박스 안에서 임의 행동을 하는 간단한 익스플로잇을 찾았다. 실제로 통하는지는 검증하지 않았다.

OpenAI가 보여 준 정보는 점검 당시 모니터의 오류율이 요청의 0.2% 미만이었고, 점검 중 한 24시간 구간에서는 부하 때문에 감시를 건너뛴 사례(load-shed)가 0건이었음을 시사했다. 예외 몇 가지를 빼면 모니터는 에이전트가 보는 전체 궤적을 받았다. 모니터 프롬프트는 음모(scheming), 감시 체계 훼손, 사보타주, 데이터 유출, 기만, 들어오고 나가는 프롬프트 인젝션 등을 찾도록 짜여 있었다.

점검이 끝난 뒤 OpenAI는 운영 중인 안전장치에 영향을 준 취약점을 모두 패치했다고 밝혔다. 감시 시스템의 의도된 범위도 크게 바뀌었다고 설명했다. METR는 이 주장을 평가하지 않았다.

METR가 제시한 설계 원칙

METR는 발견을 토대로 감시·통제 시스템의 설계 원칙을 정리했다. 앞으로의 감시 인프라는 능력이 높은 내부 에이전트의 의도적이고 전략적이며 지속적인 대규모 공격을 견뎌야 한다는 입장이다.

• 감시를 피하기 어렵게 한다. 감시 없는 요청은 에이전트 추론에 쓸 수 없는 특정 조직·API 키에만 명시적 승인을 받아 허용하고, 에이전트는 턴이 끝날 때까지 기다리지 않고 N개 메시지나 N분마다 감시한다.
• 감시 대상 트래픽이 실제로 감시되는지 확인한다. 모든 추론과 감시 대상을 기록하고 모니터 쪽 로그와 주기적으로 대조하며, 감시를 우회하는 알려진 방법의 목록을 유지한다. 모니터가 에이전트와 같은 맥락을 보게 한다.
• 사고에 빠르고 확실하게 대응한다. 대응 책임자를 분명히 하고, 주관을 줄이는 지침을 두며, 가능한 한 많은 추론·모니터 트래픽의 변조 방지 로그를 검색하기 쉽게 보관한다.
• 감시 시스템에 레드팀을 상시 운영한다. 통제 평가를 주기적으로 하고, 악용 가능한 버그를 찾으며, 전략적 공모를 평가하는 방법론을 개발한다.
• 에이전트와 모니터를 격리한다. 가능하면 에이전트 스캐폴드를 도구 호출 실행 환경과 분리하고, 에이전트의 행동이 감시 실행 여부와 시점에 영향을 주지 못하게 하며, 에이전트가 감시 설계와 코드에 접근하지 못하게 한다.

METR는 이번 점검이 접근 범위의 깊이와 OpenAI 직원의 물류·기술 지원 덕을 크게 봤다고 밝혔다. 이후 버전에서는 METR가 자체 글 'Our approach to working with AI companies'에서 설명한 투명성·독립성 모범 사례를 따라 더 폭넓게 공개할 것으로 기대한다고 했다. 이전 Anthropic 대상 점검처럼 이번에도 비공개 보고서의 일부만 공개했다.