MPOPD, 증류 롤아웃 개선해 수학 정확도 6.91 높이고 생성 길이 41% 줄여

온-폴리시 증류(OPD)에서 롤아웃을 뽑는 정책 자체를 최적화 대상으로 삼자는 방법이 논문으로 제안됐다. 연구진이 내놓은 MPOPD(Mixture Proposal On-Policy Distillation)는 16개 수학·지식·의료 추론 벤치마크 실험에서 OPD와 최근 변형 기법보다 꾸준히 좋은 결과를 냈다고 연구진은 밝혔다. 논문의 발행일은 2026년 10월 27일이다.

수학 추론에서는 Qwen3-4B-Base 기준으로 평균 정확도가 OPD보다 6.91 높았고, 평균 생성 길이도 OPD보다 41% 줄었다. 연구진은 이 결과가 롤아웃 정책 설계로 OPD를 개선할 수 있음을 보여 준다고 주장했다.

기존 OPD의 문제

OPD는 사후 학습에서 학생 모델이 직접 뽑은 궤적을 교사 모델이 지도하게 해, 학습 과정을 추론 때의 행동과 맞추는 방식이다. 이때 롤아웃 정책은 대개 고정되어, 매 라운드 현재 학생에게서 바로 샘플링한다.

연구진은 이 방식이 교사와 학생의 불일치를 누적시킬 수 있다고 지적했다. 학생이 뽑은 궤적에는 교사가 도달하기 어려운 경로도 섞이는데, 그런 궤적에서는 교사의 지도가 부정확하거나 오히려 잘못된 방향이 될 수 있다. 그러면 반복 같은 바람직하지 않은 패턴이 학생에게 생긴다. 갱신된 학생이 다음 라운드의 롤아웃 정책이 되므로 이 패턴은 학습이 진행될수록 남거나 커질 수 있다고 한다.

MPOPD의 방식

연구진은 증류 목표 함수만 손볼 것이 아니라 롤아웃 정책을 최적화 대상으로 다뤄야 한다고 봤다. MPOPD는 교사의 상대적 지지도를 기준으로 한 국소 신뢰 영역 목표에서 학생을 기준점으로 삼고 교사가 이끄는 롤아웃 분포를 유도한다. 이 분포는 학생과 교사 정책의 기하 혼합이다.

연구진은 이 혼합을 근사하는 제안 정책을 도입해, 한 번의 순전파로 롤아웃을 만들 수 있게 했다.