연구진이 시각언어모델(VLM)의 안전 방어 기법 CNRF(Counterfactual Neighborhood Risk Fields)를 제안하는 논문을 arXiv에 올렸다. 세 가지 VLM과 다섯 가지 멀티모달 탈옥 유형에서 매크로 방어 성공률 86.06~89.30%를 기록했고, 정상 작업에서의 활용도도 상당 부분 유지했다고 연구진은 밝혔다. 논문 발행일은 2026년 10월 14일로 표시돼 있다.
기존의 표현 기반 방어는 유해 입력과 무해 입력을 갈라놓는 법을 학습한다. 연구진은 이렇게 분리하는 것만으로는 위험 점수가 무엇을 뜻하는지, 언제 믿어야 하는지 알 수 없다고 지적한다.
CNRF는 맥락이 같은 무해·유해 반사실 쌍을 만들고, 두 표현의 차이를 모델 능력과 관련된 위험 방향으로 쓴다. 위험과 별개로 주변에 비슷한 근거가 얼마나 있는지(이웃 지지도)도 따로 추정한다. 연구진에 따르면 이렇게 둘을 나누면 낯선 입력이 유해한 입력으로 혼동되지 않고, 일괄 거부 대신 선택적으로 개입할 수 있다.
VLM 구조마다 안전 관찰값이 다르므로, 피해 모델 적응형 인터페이스가 이를 맞춰 준다. 선별된 요청은 같은 피해 모델(same-victim)의 응답 검토로 전달되고, 허용할 만한 후보는 내보내며 그렇지 않으면 유해 능력을 줄인 대안 응답을 만든다.
통제 실험에서는 질의에 맞춘 참조 사례를 쓰고 맥락과 방향의 대응을 보존하면, 오탐률이 낮은 구간에서 위험 순위가 뚜렷하게 개선됐다. 연구진은 이를 유해성 경계를 학습하는 방식에서 위험 판단에 쓸 근거를 구성하는 방식으로의 재정의라고 설명한다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.