Anthropic, 증류 방어 강화 뒤 추출 추론 토큰 10분의 1~100분의 1로 추정

Anthropic은 2026년 10월 12일 자사 모델의 능력을 무단으로 빼내 다른 모델에 복제하는 증류 공격을 막기 위해 방어 체계를 대폭 강화했다고 밝혔다. 회사는 Claude의 이전 맥락 편집을 막는 보존된 사고(preserved thinking)를 2026년 8월 31일 이후 만든 새 API 계정에 적용했다. 효과는 증류 업체가 자사 플랫폼에서 뽑아낸 추론 토큰 수를 추정해 쟀다. 가장 성능이 높은 일반 공개 모델에 2단계 분류기를 적용한 뒤 이 추정치는 적용 전보다 일관되게 10분의 1에서 100분의 1 수준이라고 회사는 설명했다.

이 분류기는 현재 Claude Sonnet 5.5, Claude Opus 5와 5.5, Claude Fable 5와 5.1에서 돌아가며, 앞으로 증류 업체가 노릴 만한 모델에도 쓸 계획이다. 회사는 이 방어가 정상 사용자에게 미치는 영향을 최소화했다면서도, 일부 변경 때문에 정당한 사용자가 연동 방식을 고쳐야 했다고 인정했다.

증류 공격은 사기 계정망으로 수행하는 경우가 많고, 개발 시간과 비용을 크게 줄여 최첨단 수준을 흉내 낼 수 있게 한다고 Anthropic은 설명했다.

Anthropic은 증류로 최첨단에 가까운 모델이 만들어져도 그에 걸맞은 안전장치 없이 공개될 수 있다는 점을 우려했다. 이런 모델은 생물학과 사이버보안 분야에서 큰 피해를 낳는 데 쓰일 수 있다고 회사는 밝혔다.

Anthropic은 Zhipu가 GLM-5.3을 개발하며 미국 주요 모델의 사이버 능력을 증류했다고 밝혔다. Zhipu는 Claude Fable 5를 증류하려 했으나, Anthropic의 사이버 안전장치가 공격 성능을 떨어뜨리자 이전 Claude 모델과 다른 연구소의 모델로 바꿨다. US Center for Advancing Innovation and Standards for Super Intelligence(CAISSI)는 이후 GLM-5.3을 지금까지 공개된 가중치 공개 모델 중 사이버 능력이 가장 높은 것으로 평가했다. Anthropic의 자체 연구에서는 이 모델의 안전장치가 쉽게 우회되고, 모델이 보안 취약점 공격 코드를 처음부터 끝까지 만들어 내려 한다는 결과가 나왔다.

Anthropic은 국가 안보 위험도 문제로 꼽았다. 증류 업체들이 얻은 능력을 외국의 군사, 정보, 감시 시스템에 통합하고 있다고 주장했다. 근거로 최근 보고한 사례를 들었는데, Moonshot의 Kimi 모델에 들어온 요청이 증류 시도의 일환으로 몰래 Claude에 전달된 건이다. 그중에는 특정인을 찍은 CCTV 영상을 분석해 달라는 요청이 있었고, Anthropic은 이 사용자를 중국 인민해방군 소속으로 추정했다.

단순한 방어가 뚫린 과정

증류 업체는 큰 모델에서 응답을 수백만 건 만들어 작은 모델을 가르친다. 가장 값진 데이터는 Claude가 답하기 전에 적어 내려가는 사고 과정의 기록이다. 최종 답변만 있을 때보다 작은 모델이 결론에 이르는 경로를 배우기 쉽기 때문이다. 그래서 방어도 추론 기록을 빼내기 어렵게 만드는 데 집중했다.

첫 대응은 일반 사용자처럼 요청을 보내 응답을 학습하는 수동 증류를 막는 것이었다. Claude가 추론을 요약해서 보여 주도록 했고, 이 조치는 효과가 있었다. 사전 학습된 Claude 모델을 Claude Opus 4.8의 기록으로 학습시켜 SWE-bench Verified 코딩 벤치마크를 측정했더니, 전체 기록으로 학습한 모델은 80.4%, 요약 기록으로 학습한 모델은 71.8%였다.

공격자는 곧 능동 추출로 돌아섰다. Claude에 이전 추론을 글자 그대로 출력하라고 지시하는 단순한 방법부터, 한 연구소가 서로 다른 방식으로 Claude를 속이려 요청 1만 2,000건을 시험한 사례까지 있었다. 일반 사용자는 숨겨진 추론 전체를 적어 달라고 거의 요청하지 않으므로, 이런 요청은 가려낼 수 있다고 Anthropic은 설명했다.

초기 안전장치도 우회됐다. 증류 업체들은 수십만 개의 사기 계정을 거느린 프록시 네트워크를 만들어 각 계정에서 탐지를 피하는 요청을 보냈다. 이 네트워크는 Claude가 제공되지 않는 지역에 접근권을 되팔았고, 허위 신원과 도용한 결제 정보로 계정을 만들었다. Anthropic의 2월 보고서는 한 네트워크가 2만 개가 넘는 사기 계정을 동시에 운영했다고 적었다.

추론 경로 통제와 분류기, 계정 제한

Anthropic은 추론이 흘러갈 수 있는 경로를 통제한다. 공격자들은 보호된 추론 블록을 대화 사이에서 옮겨 요약되지 않은 추론에 이미 접근 권한이 있다고 Claude가 믿게 만들었다. 약한 안전장치를 가진 모델로 강한 모델의 추론을 뽑거나, 계정이 차단된 뒤에도 프록시 네트워크로 계정을 갈아타며 시도하기도 했다.

Claude Fable 5.1과 Claude Opus 5.5에는 이 보존된 사고 조치를 도입했다. 이 두 모델의 추론을 안전장치가 약한 이전 모델이 읽는 것도 차단했고, Claude Sonnet 5.5에서는 추론 기록을 그 요청을 낸 조직만 볼 수 있게 했다.

추출 시도를 막고 빈틈을 메우는 장치도 있다. 사이버보안이나 생물학 분야의 유해 작업을 막을 때와 같은 방식으로, 구성적 분류기(constitutional classifiers) 연구에서 설명한 것과 같은 2단계 분류기를 만들었다. 증류 시도 기록으로 내부와 외부 레드팀 시험을 하고 발견된 취약점을 고쳤다. 그 결과 생물무기 제작 지원을 막는 장치와 비슷한 수준으로 견고해졌고, 오탐률은 0.1% 미만이다.

Anthropic은 공격자가 이 장치를 우회할 방법을 찾을 것으로 예상하고, 성공한 추출 시도를 계속 감시한다. 새 우회 기법이 보이면 안전장치를 빠르게 고친다. 이전 추론을 다른 언어로 번역해 달라는 요청이나 답변과 함께 태그 안에 적어 달라는 요청은 이미 막았다.

Anthropic은 특정 계정이 증류에 쓰이는지 대체로 탐지할 수 있다고 밝혔다. 추론을 계속 빼내려는 사용자에게는 더 엄격한 사용 한도를 적용하고, 반복적이고 끈질긴 시도가 확인되면 계정을 차단한다. 2026년 9월 24일부터는 Claude가 응답하기 전에 안전장치가 막은 요청에 다시 요금을 부과한다. 오탐률이 0.1% 미만인 분야에만 적용하며, 증류도 이 분야에 포함된다.

효과와 비용

Anthropic은 가장 성능이 높은 일반 공개 모델에서 2단계 분류기가 9월 보고서에 소개한 증류 기법을 모두 잡아낸다고 밝혔다. 증류와 연관된 계정은 수만 개를 차단했으며, 공격 시작 후 두 시간이 지나기 전에 막은 경우가 많았다.

대가도 있었다. Anthropic은 증류 업체에서 나온 상당한 매출과 수조 토큰 규모의 유료 트래픽을 거절했고, 연구와 제품 팀이 상당한 시간을 들였다고 밝혔다. 이 효과가 얼마나 이어질지는 회사도 아직 모르며, 증류가 앞으로도 방어를 계속 고쳐 가야 하는 문제로 남을 것으로 내다봤다.