온폴리시 증류, 토큰마다 교사 모델 고르는 틀 제안 일부 과제서 기존 OPD·교사 모델보다 pass@k 10%p 이상 향상

온폴리시 증류(OPD)에서 교사 모델을 토큰마다 골라 쓰는 틀을 제안한 논문이 2026년 10월 15일 arXiv에 공개됐다. 저자들은 수학, 코딩, 커널 생성, 시각 추론 분야의 실험에서 일부 과제의 pass@k가 기존 OPD와 교사 전문가 모델보다 10%포인트 이상 올랐다고 밝혔다.

OPD는 학생 모델이 직접 생성한 응답을 토큰 단위로 감독하는 지식 증류 방식으로, 지속 학습의 유망한 방법으로 소개돼 왔다. 보통은 프롬프트의 롤아웃 하나, 심지어 학습 전체에 교사 모델 하나를 쓴다. 저자들은 이 방식이 온폴리시 특성에서 나오는 선택의 폭, 곧 롤아웃 도중 토큰마다 교사를 바꿀 수 있다는 점을 놓친다고 지적한다.

연구진은 어떤 교사와 학생이 OPD에서 잘 맞는지 이론적으로 따졌고, 그 결과로 교사 선택에 쓸 몇 가지 경험적 규칙을 도출했다고 밝혔다. 틀이 다루는 조건은 교사와 학생의 추론 방식이 맞는지, 교사의 능력, 학생 응답의 다양성이다. 교사를 배정하는 방식(라우팅)을 유형별로 나눈 뒤, 시나리오에 따라 서로 다른 라우팅 방식이 최적화와 학생 다양성에 유익할 가능성이 높다는 점을 증명했다고 한다.

연구진은 수학, 코딩, 커널 생성, 시각 추론 분야에서 광범위한 실험을 했다고 밝혔다. 이어 일부 과제에서 나온 pass@k 향상이 능력 개선과 함께 고품질 응답에서의 다양성도 나타낸다고 해석했다.