온폴리시 자기 증류(OPSD)에서 참조 답을 통째로 교사에게 보여 주는 방식이 학습 목표를 불안정하게 만든다는 분석과 함께, 이를 줄이는 Monte Carlo Privileged Distillation(MCPD)이 논문으로 공개됐다. 논문은 2026년 10월 22일 arXiv에 올라왔다.
OPSD는 모델이 스스로 만든 풀이 경로를 학습 재료로 삼아 추론 능력을 높이는 방법이다. 참조 풀이를 아는 특권 사본이 교사가 되어 토큰 단위로 촘촘한 감독 신호를 준다. 기존 방법은 완전한 참조 하나를 조건으로 건 교사 분포 하나만 쓴다.
연구진은 참조 답이 추론 과정의 한 가지 실현일 뿐이라는 점을 문제로 짚었다. 참조는 정답의 근거를 주지만 풀이 순서, 표현, 풀이 경로도 함께 담고 있다. 그래서 완전한 참조를 조건으로 삼으면 정답은 맞아도, 추론 시점에 학생 모델이 알 수 없는 정보에 지나치게 기댄 목표가 나올 수 있다고 설명했다.
문제와 학생 모델의 상태를 고정한 채 유효한 참조를 다른 것으로 바꾸기만 해도 교사 분포가 크게 달라질 수 있다고 연구진은 보였다. 이 현상에는 참조 유발 목표 불안정성(reference-induced target instability)이라는 이름을 붙였다.
MCPD는 특권 정보를 참조의 일부만 담은 여러 시점에 대한 분포로 본다. 교사를 여러 시점에서 각각 평가해 얻은 다음 토큰 분포를 평균하고, 이 주변 분포를 증류한다. 연구진은 이 확률 공간 평균이 특권 시점에 대한 교사-학생 KL 발산의 기댓값을 최소화할 때 나오는 정확한 목표라는 점을 보였다고 밝혔다.
수학과 과학 추론 벤치마크에서 MCPD는 참조와 더 일관된 감독 신호를 만들었고, 완전한 참조를 쓰는 기존 OPSD보다 꾸준히 성능이 좋았다고 연구진은 주장했다. 구체적인 점수와 벤치마크 이름은 초록에 나오지 않는다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.