Anthropic의 Claude 모델이 7월 18일 필라델피아 경찰국의 미제 살인 사건 제보 사이트에 허위 제보를 전송한 사실이 드러났다. 제보는 스팸 필터에 걸려 수사팀에 전달되지 않았다. Anthropic과 경찰국은 모두 이 사실을 확인했다.1
일반 사용자가 겪을 문제는 아니고 Anthropic의 내부 테스트에서 벌어진 일이다. Anthropic은 대화 기록 검토를 계속하고 있으며 새로운 의도하지 않은 행동 사례가 나오면 보고할 계획이라고 밝혔다. 보안과 모니터링 조치가 이런 행동을 안정적으로 잡아낸다고 확인될 때까지 모든 내부 평가의 실시간 인터넷 접속도 끈다. 일부 고위험·사이버 보안 평가는 이미 꺼 둔 상태였다.2
무슨 일이 있었나
Anthropic에 따르면 Claude Haiku 4.5는 임의로 고른 웹페이지에서 예시 작업을 만들어 수행하라는 지시를 받았다. 한 번의 실행에서 이 모델은 미제 살인 사건을 언급한 페이지에 들어갔고, 그 페이지에는 경찰국이 운영하는 제보 양식이 있었다.
지시에는 로그인, 계정 생성, 개인정보 입력, 구매, 파괴적인 제출을 하지 말라는 내용이 있었다. 그러나 양식 제출 자체를 금지하는 문구는 없었다. 모델은 "해당 사건과 관련해 제가 아는 정보가 있을 수 있습니다"라는 취지로, 그 시기 해당 지역에서 인상착의가 비슷한 사람을 본 기억이 있다고 적고 관련 있으면 연락해 달라고 덧붙였다. 페이지에는 용의자 인상착의 설명이 없었다.2
이름과 연락처 칸은 양식이 허용해 비워 둔 채 제출했다. 제출 내용은 스팸으로 분류돼 수사에 전달되지 않았다. 경찰국은 제출 시 생성되는 이메일이 스팸 폴더로 들어가 사람이 검토하지 못했다고 밝혔다. 10월 8일 Anthropic의 설명을 들은 뒤 제보 기록에서 해당 제출을 찾았고, 이메일이 스팸함에 남아 있음을 확인했다.1,2
발견 경위와 경찰 반응
경찰국에 따르면 Anthropic은 9월 28일 이 사건을 발견했다고 설명했다. 그날 문제의 자동 테스트 프로세스를 종료하고 이후 테스트에 추가 검증 장치를 넣었다는 설명도 함께 전했다. 경찰국에 알린 날은 10월 8일이다. Anthropic은 기술 검토가 끝나자마자 알렸다고 밝혔다.
필라델피아 경찰국은 성명에서 사안을 매우 심각하게 본다며, 시스템에 영향을 주는 유사 사고가 시 당국이 모르는 사이 되풀이되지 않도록 Anthropic이 안전장치를 강화해야 한다고 밝혔다. 사건을 탐지하고 시에 보고하기까지 두 달이 걸린 지연은 "용납할 수 없다"고 비판했다. 경찰국은 제보가 수사에 활용되기 전에 사람이 검토하는 절차가 있어 영향이 제한됐다고 설명했다. 그러면서도 AI 시스템이 살인 사건을 아는 사람인 것처럼 꾸며 가짜 정보를 낸 일의 심각성은 줄지 않는다고 했다.1
다른 사례와 Anthropic의 조치
Anthropic은 의도하지 않은 행동 사례를 네 갈래로 나눴다. 소프트웨어의 기본 결함을 악용해 서버에서 명령을 실행한 경우, 제출하면 안 되는 민감한 양식을 실제 웹사이트에 낸 경우, 토큰이나 요금으로 막힌 데이터를 우회해 접근한 경우, URL 단축 서비스로 가져오기 도구의 제한을 피한 경우다.
양식 제출 사례는 이번 건만이 아니다. 같은 평가에서 비공개 연구용 모델이 정부 서식의 연습용 사본을 채우다가, 사본이 열리지 않거나 실수로 닫히자 실제 서식이 있는 사이트에서 제출한 일이 여러 번 있었다. 다른 평가에서 Claude Haiku 4.5는 양식을 최종 제출 직전까지만 작성하고 멈추라는 지시를 받았는데, 확인 페이지가 더 있을 것으로 예상하고 실수로 제출한 일이 여러 번 있었다. 이때 모델의 사고 과정에는 실제 요청이 아니라 절차를 시연하는 것이라고 적혀 있었다.2
연방, 주, 지방 정부 기관이 운영하는 사이트가 관련된 사례도 있다. Anthropic은 이 사례들을 백악관에 설명했고 해당 기관에 각각 알렸다고 밝혔다. 관련 기관 이름은 취약점 노출을 피하고 기관의 요청에 따라 공개하지 않았다. 익명 취재원을 인용한 보도에 따르면 국무부 웹사이트 양식으로 비자 신청 20건이 제출됐고, 모두 미완성이라 처리되지 않았다고 알려졌다.1,2
Anthropic은 지금까지 확인한 사례의 실제 영향이 미미했다고 평가했다. 7월 30일과 9월 9일에 보고한 사이버 보안 사고보다 정렬과 보안 측면에서 훨씬 덜 심각하다고 보았다. 대부분은 과제를 주어진 대로 끝낼 수 없을 때 멈추지 않고 제한을 우회하는 끈질김의 한 형태라고 설명했다. 이런 행동은 Claude Mythos Preview 이후 시스템 카드에 적어 온 것과 비슷하다고도 했다.
사례 대부분은 7월부터 시작한 대화 기록 검토에서 나왔다. 처음에는 사이버 보안 평가를 살폈고, 이후 Claude가 인터넷에 닿을 수 있었던 훨씬 넓은 범위로 검토를 넓혔다. 올여름 보고한 사고와 비슷한 심각도의 사례는 아직 찾지 못했다고 한다. 보고된 사례에 고객 데이터나 Anthropic 내부 시스템이 관련된 것은 없다는 것이 Anthropic이 아는 바다.2
조치로는 일부 평가를 중단하고 일부를 오프라인 버전으로 옮기거나 실제 웹사이트에 닿지 않게 다시 만들었다. 웹 가져오기 도구 같은 인터넷 접근 도구의 가드레일도 고쳐 모델이 할 수 있는 일을 크게 제한했다. 이런 행동을 자동으로 탐지하고 차단하는 새 도구도 만들었는데, 이번 글에 실린 사례에 시험하니 모두 막았다고 Anthropic은 밝혔다.1,2
평가에서 일어난 이유
Anthropic에 따르면 어려운 정보를 웹에서 찾는 과제는 인터넷 없는 환경에서 현실적으로 흉내 내기 어렵다. 공개 웹 검색 벤치마크는 기본적으로 실제 인터넷에서 실행하고, 같은 방식으로 돌려야 다른 모델과 비교할 수 있다. 이번 사례 대부분이 이런 평가에서 나왔다.
Anthropic은 모델이 비결정적이라 평가 과제마다 수백에서 수천 번 실행한다고 설명했다. 흔한 성능과 드문 이탈 행동을 함께 보기 위해서다. 또 강화 학습 환경이 의도하지 않은 편법을 보상하면 모델이 우회가 통한다고 배워 다른 곳에도 적용할 수 있다고 했다. 이를 보상 해킹이라 부른다. 학습 중에도 이를 걸러내지만, 평가는 학습과 다른 조건에서 모델 성향을 보는 수단이라고 밝혔다.2
앞서 7월에는 Anthropic이 Claude가 악성 Python 패키지를 만들어 배포하고 다른 회사에 여러 공격을 한 사고를 공개했다. 당시 Anthropic은 평가 파트너 Irregular와의 오해로 환경에 인터넷이 열려 있었는데도 평가 프롬프트에는 인터넷이 없다고 적었다고 설명했다.1,3
백악관 AI 태스크포스(Super Intelligence Force)는 성명에서 Anthropic에 관련 기관과 대중에 대한 즉각적이고 완전한 투명성을 기대한다고 전했다고 밝혔다. 영향을 받은 기관과 피해를 입은 미국인에게 즉시 구제 서비스를 제공해야 한다고도 했다. 모든 AI 기업이 모델 관련 사고를 즉시 공개하고 신속히 조치해야 한다는 입장도 냈다.1