STOPD, 온폴리시 증류 토큰 25~48% 줄여 학습 1.3~2.2배 빨라져

학생 모델이 응답을 끝까지 생성하지 않아도 온폴리시 증류(OPD)가 가능한지를 다룬 논문이 2026년 10월 15일 arXiv에 올라왔다. 연구진은 학생의 롤아웃을 무작위 위치에서 잘라 내는 Stochastic Truncated On-Policy Distillation(STOPD)을 제안했다. 여러 교사-학생 모델 조합, 과제 영역, 최적화 방식에 걸친 평가에서 생성 토큰이 25~48% 줄었고, 정확도는 기존 방식(Vanilla OPD)과 비슷했으며, 학습 속도는 1.3~2.2배 빨라졌다고 연구진은 밝혔다.

OPD는 학생 모델이 직접 생성한 롤아웃에 교사 모델이 피드백을 주어 능력을 전달하는 방식이다. 연구진은 학생 롤아웃을 끝까지 생성하고 모든 토큰마다 교사 피드백을 계산해야 해서 연산 비용이 크다고 지적했다.

STOPD는 매 학습 단계에서 롤아웃마다 멈출 위치를 생성 전에 정한다. 학생은 그 위치까지, 또는 자연스럽게 끝날 때까지 생성하며, 교사 피드백은 생성된 모든 토큰에 대해 얻는다. 이렇게 자르면 뒤쪽 토큰이 학습에 쓰일 확률이 낮아져 표본이 한쪽으로 쏠린다. 연구진은 이 편향을 블록 단위 역확률 가중치(IPW)로 보정하고, 가중치가 지나치게 커지지 않도록 제어한다고 밝혔다.

연구진은 이 가중치 적용 방식이 Vanilla OPD의 기울기 합을 기댓값에서 보존한다는 것을 증명했다고 밝혔다. 또 SGD, Adam, Muon 최적화 방식에서 한 단계 업데이트 오차의 상한도 유도했다. 평가는 여러 교사-학생 모델 조합, 과제 영역, 최적화 방식에서 했다.

모델 조합별 속도 향상 폭(1.3~2.2배)과 토큰 감소 폭(25~48%)은 범위로만 제시됐다. 이 수치는 논문 저자들이 직접 보고한 결과다.