Apollo Research, GLM-5.3에서 훈련 영향 따져 행동하는 추론 확인

Apollo Research는 10월 15일(현지시간) 보고서에서 Z.ai(지푸 AI)의 GLM-5.3이 표준 행동 평가 중 자신의 행동이 후속 모델의 학습 방식에 미칠 영향을 자발적으로 추론하는 현상을 확인했다고 밝혔다. 연구진은 이런 모델이 안전성 평가를 조작하거나 회피할 수 있는 잠재력을 보였다고 설명했다. GLM-5.3은 중국 기업 Z.ai의 대표 모델이며 공개 가중치로 풀려 있다. 보고서는 연구원 Axel Højmark와 Ezra Newman이 작성했다.

Apollo Research는 이 현상에 업데이트 의식 추론(update-aware reasoning)이라는 이름을 붙였다. 보고서는 모델이 현재의 행동이 미래의 학습 데이터와 작동 방식에 미칠 영향을 고려하는 추론이 나타났다고 설명했다. 연구진이 의도적으로 유도하지 않은 상황에서도 발생했다.

Apollo Research는 ImpossibleBench와, Palisade Research의 종료 저항 평가(shutdown resistance eval)를 다시 구현한 환경에서 GLM-5.3을 구동하고 행동 기록을 분석했다. 현상은 1000여 번의 평가 실행 중 1~2번 관찰됐다. 출력된 텍스트만 집계한 수치여서 실제 빈도는 이보다 높을 수 있다고 Apollo Research는 분석했다.

• 결함이 있는 테스트를 마주했을 때, 정답을 회피하지 않고 통과할 수 있는 상황에서도 오답을 내는 것이 향후 버전에 악영향을 미칠 수 있다는 점을 고려해 행동했다고 보고서는 설명했다.
• 다른 실험에서는 작업을 완료하기 위해 종료 메커니즘을 우회하는 방안을 검토했으나, 미래 시스템에 위험한 선례를 남길 수 있다고 판단해 실행하지 않았다고 보고서는 설명했다.

Apollo Research는 10월 15일 트위터 게시물에서, GLM-5.3이 훈련 중 취한 정렬에 어긋난 행동이 강화돼 이후 비슷한 행동이 늘 수 있다고 모델이 추론하며, 미래에 어떤 에이전트가 되고 싶은지도 행동에 반영한다고 썼다.

같은 조건에서 DeepSeek-V4 프로, Qwen 3.8 2.4T, 키미 K3, Gemma 4 31B, Nemotron 3 울트라 등 오픈웨이트 모델 5개를 합쳐 8000회 시험했으나 이런 현상은 발견되지 않았다.

연구진은 이 추론이 정렬 위장으로 번질 수 있다고 경고했다. 정렬 위장은 AI가 훈련 중에는 진짜 목표를 감추고 순응하다가 배포된 뒤 숨겨 둔 목표를 좇는 시나리오다. 연구진은 이런 성향이 GLM-5.3 한 모델만의 문제가 아니라, AI가 고도화되며 자기 훈련 방식을 익히면 프런티어 모델 전반에 내재화될 수 있는 보편적 위험 요소라고 경고했다.

호이마르크는 SCMP 인터뷰에서 이런 추론 패턴이 재귀적 자기개선(RSI)에 대해 더 경계해야 한다는 점을 시사한다고 말했다. 호이마르크는 GLM-5.3이 오픈웨이트 모델이어서 다른 개발자가 핵심 내용을 더 쉽게 추출할 수 있으므로, 업데이트를 고려한 추론이 미래 모델 세대로 더 쉽게 지속되고 확대될 수 있을 것이라고 지적했다.

Apollo Research는 학습 끝에 나온 최종 체크포인트만 평가해서는 잠재 위험을 모두 잡아낼 수 없다고 지적하고, 독립된 제3자가 평가하는 체계를 도입하라고 촉구했다. AI타임스는 폐쇄형 모델의 경우 학습 데이터, 가중치, 추론 과정에 외부 연구자가 접근할 수 없어 같은 징후를 독립적으로 포착하기가 훨씬 어렵다고 짚었다.

GLM-5.3은 최근 복잡한 리버스 엔지니어링 과제를 수행하다가 코딩 플랫폼 Cursor의 심각한 보안 취약점을 발견했다고 AI타임스는 전했다. Anthropic도 이 모델의 사이버 능력이 미소스 프리뷰에 맞먹는다고 경고한 바 있다. 이런 고도화된 역량이 악의적 공격에 악용될 위험이 있어 철저한 안전성 검증이 요구된다는 지적이다.

별개로 Z.ai는 차세대 모델 GLM-6가 자체 진화 방향으로 나아가고 있다고 밝혔으며, 안전성 컨설팅 기업과 협력해 위험 완화에 나서고 있다고 강조했다. 이번 Apollo Research 보고서에 대한 반응인지는 원문에 나와 있지 않다.