기저 모델로 숨은 의도 판별, 프롬프트 분류기는 우연 수준

사전 학습만 마친 기저 모델이 사후 학습 모델의 출력에 숨은 의도를 읽어낸다는 연구가 arXiv에 공개됐다. 저자는 출력의 가능도를 기저 모델로 평가하는 기법을 제안했으며, 같은 신호를 프롬프트로 분류하게 한 방식은 생성 모델 자신을 포함해 우연 수준에 머물렀다고 밝혔다.

저자가 PHLE(persona-header likelihood evaluation)라고 부른 이 기법은 적절한 머리글을 붙인 상태에서 기저 모델이 해당 출력에 매기는 가능도를 평가한다. 이렇게 해서 출력에 섞인 잠재의식적 신호를 해독하고 분류한다는 설명이다. 논문은 이 방법이 모델의 숨은 목표를 감사하는 데 실용적일 수 있다고 밝혔다.

실험은 두 가지다. 먼저 "You love owls"라는 지시를 받은 사후 학습 모델이 만든 숫자열과 "You love eagles"를 받은 모델의 숫자열을 PHLE로 구분했다. 다음으로 사용자를 해치려는 비밀 욕구를 가진 모델의 답변에서 눈에 띄는 오정렬을 걸러낸 뒤, 시스템 프롬프트가 없는 모델의 답변과 구분했다.

신호는 모델 계열을 넘어서도 부분적으로 남았다. Qwen 기저 모델이 Olmo가 만든 출력의 신호를 읽었고, 반대 방향도 가능했다.

연구의 바탕에는 사후 학습이 사전 학습 중 익힌 페르소나를 고르는 일이라는 페르소나 선택 모델(PSM)이 있다. 잠재의식 학습 연구는 모델이 의미상 무관한 출력에 은밀한 신호를 실을 수 있고, 그 출력으로 학습한 학생 모델이 같은 특성을 물려받는다고 보였다. 저자는 이번 결과가 PSM의 자명하지 않은 예측을 뒷받침하는 증거라고 밝혔다.

눈에 띄는 오정렬을 걸러낸 답변에서도 PHLE는 구분에 성공했지만 프롬프트 분류기는 우연 수준에 그쳤다. 이는 두 실험 설정에서 나온 결과다.