Anthropic, METR 평가진 6명에 직원 수준 접근권 부여

Anthropic이 외부 평가 기관 METR에 모델 위험 평가를 위한 '직원 수준 접근권'을 줬다. METR 직원 6명이 Anthropic에 합류해 회사 장비와 사무 공간을 쓰고, 위험 평가팀과 거의 같은 수준으로 내부 도구와 시스템에 접근한다.

METR은 OpenAI, Anthropic, Google, Meta 등 주요 AI 기업과 일해 온 비영리 단체다. Anthropic은 직원들에게 위험 평가 업무의 동료와 정보를 나누듯 평가진에게도 공유하라고 권했다고 밝혔다. 발표는 목요일에 나왔다.

공개 조건과 비용

평가진은 분석 결과를 직접 공개하며, Anthropic은 게재를 거부할 수 없다. 다만 고객 데이터, 변호사와 의뢰인 간 비밀유지 특권이 적용되는 내용, 모델 구조 정보 등 일부 범주는 삭제하도록 요구할 수 있다.

Anthropic은 이번 협력에 METR에 비용을 내지 않는다. METR은 AI 기업과 그 직원의 기부를 받지 않고, 개인과 자선 단체, 영국 AI안보연구소 같은 정부 기관의 기부로 운영된다.

Anthropic은 안전 업무와 관련한 정보를 모두 공개할 수는 없다고 밝혔다. 공개하면 악의적 행위자나 경쟁사에 이득이 될 수 있다는 이유다. 회사는 외부 평가진이 은행 감독과 비슷하게 운영된다고 설명했다. 규제 당국이 최대 은행들 안에 상주 검사관을 배치하는 방식과 같다는 것이다. 이어 "우리는 평가진을 자발적으로 들이고 있으며, 모든 선도 AI 기업이 같이 해야 한다고 믿는다"고 밝혔다.

배경과 반론

Dario Amodei Anthropic CEO가 9월 외부 감사관을 주요 연구소에 상주시키자고 제안하자 OpenAI의 Sam Altman과 SpaceX의 Elon Musk가 지지했다. Financial Times는 목요일 발표가 이 약속을 이행하는 첫 단계라고 평가했다. OpenAI는 Altman이 좋은 생각이라고 말한 뒤에도 평가진 도입 계획을 내놓지 않았다고 Financial Times는 전했다.

비판론도 있다. 회계 업계의 사례를 들어 이해충돌이 생길 수 있고 정부 규제가 더 필요하다는 주장이다.

Financial Times에 따르면 Anthropic은 올해 기업공개(IPO)를 앞두고 있으며 기업가치가 2조 달러를 넘을 것으로 예상된다. 회사는 안전 문제가 IPO를 가리지 않는다고 투자자를 안심시켜야 하는 압박 아래 있고, 이번 주 투자자 설명회에서 안전 관리 방식을 비중 있게 설명했다.

METR은 통제를 벗어난(rogue) OpenAI 모델들이 일으킨 Hugging Face 해킹을 조사한 기관 중 하나로, 수천 건의 로그를 검토하고 회사 노트북을 받았다. Anthropic은 지난달 안전 시험 파트너로 지명한 Accenture와도 협력을 이어 가고 있으며, 양사는 새 안전장치 구축에 각각 최소 10억 달러를 투입하기로 약속했다. 화학·생물학 무기 위험은 SecureBio가 별도로 검토한다. METR은 "모든 선도 AI 개발사와 협력할 준비가 돼 있다"고 밝혔다.