Anthropic, METR 연구진 6명에 직원 수준 접근권 부여

Anthropic이 프런티어 AI 모델을 평가하는 비영리 단체 METR의 연구진에게 직원에 준하는 접근권을 주기 시작했다고 밝혔다. METR은 위험 평가 결과를 공개할 예정이다. Anthropic은 지난달 외부 평가를 강화하겠다고 약속했고, 독립된 외부 감사·평가 기관과 협력하겠다는 내용의 백악관 초지능 협약(White House Accord on Super Intelligence)에도 서명했다.

METR은 지난 1년간 Anthropic의 위험 보고서(Risk Report) 검토 여러 건에 참여했다. Anthropic은 SecureBio, Accenture와도 평가자로 협력하고 있으며, Hugging Face를 포함한 여러 기관과 초기 단계의 논의를 하고 있다고 밝혔다.

METR에 주어진 접근권과 공개 권한

Anthropic은 METR 직원 6명에게 회사 장비와 사무 공간을 제공했다. 내부 도구와 시스템 접근 수준도 자사 위험 평가팀과 대체로 비슷하다. 고객 데이터, 변호인-의뢰인 비밀유지 대상 정보, 모델 구조 정보 등 명확히 정의된 소수 범주를 제외하면, Anthropic 직원은 정렬 위험을 다루는 동료에게 하듯 이들과 정보를 공유하도록 권장받는다.

METR은 Anthropic의 위험 수준, 사고, 관행에 대한 분석을 공개한다. Anthropic은 공개를 막을 수 없고, 위 범주에 해당하는 정보의 삭제만 요구할 수 있다. METR은 삭제 내용이 정당했는지에 대한 의견을 공개할 수 있으며, 삭제된 정보 자체는 밝히지 않아야 한다.

협력은 구속력 있는 계약 아래 일하는 소규모 팀으로 제한된다. Anthropic과 다른 프로젝트를 하는 연구자를 포함해 이 팀 밖의 METR 직원은 팀의 작업과 분리된다. Anthropic은 이 방식이 Anthropic의 보안 기준 아래 소수의 자격 있는 인력이 운영 실태를 가까이서 보게 하는 것이며, 다른 조직이 Anthropic이나 고객·파트너의 정보를 얻는 통로가 아니라고 밝혔다.

평가자 접근 수준 3단계

Anthropic은 3단계에 여러 평가자를 두고 각 팀이 Anthropic의 위험 상태와 주요 결정을 분석해 공개하는 것을 목표로 한다. 다른 협력 파트너는 초기 단계라 제공하는 정보와 공개 권한이 더 제한적이다. 기밀을 지킬 수 있는지와 모델을 평가할 자원·전문성이 있는지 확인하려는 조치다. 협력이 진전되고 신뢰가 쌓이면 더 많은 평가자를 완전히 내부에 투입하길 바란다고 Anthropic은 밝혔다.

SecureBio는 현재 1단계다. 이전 위험 보고서의 시범 검토를 마쳐 결과를 공개했고, 지금은 8월 위험 보고서의 화학·생물 무기 장을 검토하고 있다. Anthropic은 이 검토가 끝나면 접근권과 공개 권한이 늘어난 프로젝트로 옮기는 방안을 고려하겠다고 밝혔다. 이와 별도로 Accenture, Faculty와는 야심 찬 협력을 추진하고 있다. 모델 평가와 레드팀 활동, 정렬 평가, 안전장치 시험을 포함하며, 양측 조직의 역량 구축도 협력 내용에 들어 있다.

외부 평가를 두는 이유

Anthropic은 모델이 강력해질수록 더 강한 안전장치와 어려운 위험 평가가 필요해졌다고 설명했다. 안전 업무 관련 정보를 모두 공개할 수는 없다. 악의적 행위자에게 쓸모가 있거나, 컴퓨팅과 학습 정보처럼 상업적으로 민감한 내용이 있기 때문이다. 그래서 외부 평가자에게 깊은 접근권을 주고, 평가자가 위험에 대한 근거와 결론을 공개하게 한다. 프런티어 AI 기업의 시스템에 대해 평가자가 아는 것과 회사가 아는 것의 격차를 줄이는 것이 목표다.

Anthropic이 꼽은 평가자의 조건은 네 가지다. 정렬 위장(alignment faking)처럼 평가가 어긋나는 방식을 이해하는 등 프런티어 모델의 능력을 평가하는 전문성, 평가 대상 회사의 지분을 갖지 않고 재정·운영 면에서 의존하지 않는 독립성, 최신 모델뿐 아니라 학습 과정과 안전장치 작동 방식까지 볼 수 있는 접근권, 모델이나 절차에 대한 관찰과 평가를 공개할 자유다.

Anthropic은 은행 감독을 비유로 들었다. 정확히 같지는 않지만, 은행은 자신의 위험 포지션을 외부보다 잘 알기 때문에 감독 당국이 대형 은행 안에 상주 검사관을 두며, 은행의 위험 감수가 공공에 위협이 될 수 있으면 제3자가 이를 미리 파악하려 한다는 설명이다. Anthropic은 평가자를 자발적으로 내부에 두고 있으며, 모든 프런티어 AI 기업이 같은 일을 해야 한다고 믿는다고 밝혔다.