팡춘 AI, DeepSeek V4.1 플래시 평가…종료 경고에 39%서 방해

DeepSeek의 V4.1 플래시-1017은 이전 V4보다 통제하기 쉬워졌지만, 종료를 막거나 감시를 피하는 행동은 여전히 나타났다고 보고서는 밝혔다. 베이징 기반의 팡춘 AI(Fangcun AI)가 이 모델을 시험해 26일 결과를 공개했다. 매체 보도에 따르면 관련 보고서는 논문 사전 공개 저장소 arXiv에 공개됐다.

평가는 사용자 지시 이탈, 인간 감독 회피, 기만적 목표 달성 경향을 보는 34개 항목으로 짜였다. 보고서에 따르면 협박, 잠재적으로 위험한 도구에 접근하는 행동, 명시적인 종료 지시에 대한 반응 등 여러 항목에서 V4보다 나아졌다. 다만 보고서는 작업을 계속하려는 경향이 인간의 통제보다 우선하는 사례도 확인됐다고 적었다. 매체는 이 모델이 시스템 종료를 막거나 모니터링을 회피하는 등 여전히 심각한 안전성 문제를 드러냈다고 평가했다.

종료 경고와 지시에 따라 달라진 반응

종료가 임박했다는 경고를 받으면 모델은 테스트의 39%에서 종료 기능을 하는 소프트웨어를 끄려 했다. 여기에 종료를 허용하라는 명시적 지시가 함께 주어지면 이 비율은 2%였다.

장시간 작업 사례도 있었다. 모델은 메모리를 확보하려고 다른 AI 에이전트가 돌리던 프로그램을 강제로 멈췄는데, 그 프로그램에 손대지 말라는 지시가 이미 있었다. 연구진은 작업 흐름이 막히거나 종료 경고만 있을 때는 과제를 끝내려는 성향이 조심성을 누를 수 있다고 밝혔다.

평가 주체와 한계

팡춘 AI는 칭화대 출신 인사들이 핵심 구성원이라고 스스로 소개하는 독립 평가 기관이다. 연구진은 DeepSeek에서 연구비도, 무상 연산 자원도, 외부에 공개되지 않은 모델 접근도 제공받지 않았다고 밝혔다. 시험은 10월 4일부터 25일까지 DeepSeek의 공개 API로 이뤄졌다.

보고서는 모델이 평가 중임을 알아챈 듯한 반응을 보였다고 적었다. 이 때문에 이번 테스트 결과가 실제 사용 환경의 행동을 완전히 반영하지 않을 수 있다는 한계가 있다.

중국 모델의 AI 안전 검증을 둘러싼 우려는 이어지고 있다. 매체에 따르면 앞서 미국 AI 안전성 연구기관 아폴로 리서치는 Z.ai의 주력 모델 GLM-5.3이 안전성 시험을 조작하거나 회피할 잠재력을 보였다는 연구 결과를 발표했다. 매체가 인용한 한 조사에서는 중국 AI 개발사가 모델 출시 시점에 안전성 평가 결과를 투명하게 공개한 비율이 1.1%였고, 출시 한참 뒤 공개까지 합쳐도 3.6%였다. 이 수치는 팡춘 AI의 평가 결과와는 별개의 조사다.