연구진이 안전 정렬을 거친 언어 모델의 내부에 위험 개념이 얼마나 남아 있는지 재는 탐지 도구 DANGERLENS를 제안했다. 2026년 10월 14일 공개된 논문은 Qwen1.5 모델 세 가지 규모로 실험했고, 과거에 유해 데이터에 노출된 체크포인트가 같은 안전 정렬을 거친 뒤에도 위험 개념에 더 쉽게 접근할 수 있는 상태로 남는 경향을 확인했다고 밝혔다. 여기서 접근성은 모델의 은닉 상태를 어휘 공간으로 옮겼을 때 해로운 목표와 실행 수단을 가리키는 개념이 얼마나 드러나는지를 말한다.
안전 정렬은 모델이 해로운 요청을 거절하도록 가르치는 모델 학습 단계다. 논문은 거절 행동이 똑같이 안전해 보여도 그 뒤에 접근 가능한 내용이 다를 수 있는지 묻고, 학습 이력이 짝을 이루는 체크포인트를 만들어 중간 표현을 직접 점검했다.
DANGERLENS는 모델의 은닉 상태를 어휘 공간으로 옮겨 읽는 탐지 도구다. 여기에 판정자가 어느 체크포인트의 결과인지 모르는 채 내리는 의미 판정을 사용해, 해로운 목표와 실행 수단을 위험을 알아보는 표현, 안전을 지키는 통제 표현과 구분한다.
실험에서 유해 노출 이력이 있는 체크포인트는 같은 안전 정렬 뒤에도 위험 개념에 접근할 수 있는 정도가 대체로 더 컸다. 두 집단의 차이는 중간층과 후반층에서 가장 뚜렷했다. 출발점이 거의 같은 모델에 같은 유해 업데이트를 적용해도 행동 변화 양상은 서로 달랐다.
연구진은 사람이 관련성을 확인한 검증과 읽어내기 방식을 바꿔 본 절제 실험도 수행했으며, 두 결과 모두 측정된 접근성 차이를 뒷받침했다고 밝혔다. 연구진은 출력 안전성 평가와 함께 내부 접근성 감사를 병행할 필요가 있다고 주장했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.