Waypoint-OPD, 강화 학습 변화 전이 증류로 6개 설정 모두 1위

연구진이 강화 학습으로 생긴 교사 모델의 행동 변화를 학생 모델에 골라서 전달하는 증류 기법 Waypoint-OPD(Waypoint-guided On-Policy Distillation)를 논문으로 제안했다. 논문은 2026년 10월 15일 arXiv에 올라왔다. 연구진은 Qwen3-4B 교사로 수학·코드 추론에서 학생 모델 3종을 평가한 결과, 6개 설정 모두에서 비교한 증류 기법 중 도메인 평균 점수가 가장 높았다고 밝혔다.

평가에는 학생 모델로 Qwen3-8B, Qwen3-14B, Qwen3-30B-A3B를 썼다. 교사는 모두 강화 학습으로 훈련한 Qwen3-4B다. 최종 시점의 변화만 전달하는 방식과 견주면, 이 기법에 더 필요한 것은 고정(frozen)한 교사 모델로 점수를 한 번 더 계산하는 과정뿐이라고 논문은 설명한다.

작동 방식

기존 지식 증류 방식 중에는 교사의 강화 학습 전후 로그 확률 차이를 정책 변화로 보고, 학생이 직접 만든 궤적에서 이 차이를 학습 신호로 쓰는 것이 있다. 연구진은 이 최종 시점의 변화만으로는 훈련 중 행동 선호가 일관되게 바뀌었는지 알 수 없다고 지적한다. 같은 최종 변화라도 초기와 후기의 변화가 서로 강화한 결과일 수도, 일부 상쇄한 결과일 수도 있기 때문이다.

Waypoint-OPD는 같은 강화 학습 과정에서 저장한 중간 교사 체크포인트를 이용한다. 학생 모델이 지나간 접두 구간마다 초기 변화와 후기 변화에서 행동 선호의 상대적 방향을 비교하고, 두 변화의 방향이 일치하는 정도에 따라 최종 변화를 게이팅한다. 두 방향이 서로 반대이면 최종 변화의 반영을 억제한다.

실험 결과

Qwen3-8B 학생으로 한 제거 실험에서는 게이트를 없애거나 무작위로 섞으면 수학 추론 성능이 떨어졌다. 연구진은 이를 근거로, 초기·후기 정책 변화의 방향 일치도가 학생 훈련 때 최종 변화의 가중치로 쓸 만하다고 결론지었다.