온폴리시 증류(OPD)에서 교사 모델의 이점이 학생 모델이 만든 풀이 경로의 어디에 있는지 분석한 연구가 2026년 10월 13일 논문으로 공개됐다. 연구진은 학생과 교사의 판단이 갈리는 지점의 토큰을 교사가 고른 토큰으로 바꾸는 통제 실험을 했다. 이렇게 학생의 선택을 교사 쪽으로 고치는 것이 교사 보정이며, 연구진은 이 보정이 정확도를 얼마나 높이는지 쟀다.
OPD는 강화 학습보다 비용이 적게 드는 대안으로 연구가 늘고 있다. 다만 교사의 지도에 의존하는 지식 증류의 한 형태라는 점은 같다. 논문은 이 관점에서 OPD를 다시 살폈다.
통제 실험에서 토큰을 반복해 교사 쪽으로 바꾸자 정확도가 28.4%에서 74.5%로 올라 교사의 76.9%에 가까워졌다. 바꾸는 횟수를 늘리면 이득도 계속 쌓였다. 선별한 실패 경로에서 토큰 하나만 바꾼 경우에는 평균 정확도가 소폭 올랐다. 어떤 모델과 과제의 정확도인지, 단일 토큰 변경의 구체적 상승폭은 공개된 초록에 나와 있지 않다.
어떤 토큰을 바꾸느냐도 결과를 갈랐다. 질량 기반과 KL 기반으로 고른 경우, 비슷한 횟수에서 무작위로 바꾼 경우보다 정확도가 15~18%포인트 높았다.
OPD를 마친 뒤에도 선별 개입은 쓸모가 있었다. 교사와 학생이 가장 확률 높은 선택에서 더 많이 일치해도 모델 쌍에 따라 정확도가 일관되게 개선되지는 않았다.
연구진은 분포 안정성을 유지하면서 가치가 더 큰 교사 보정을 학습하는 학습 일정을 제안했다. 또 교사 토큰으로 바꾸는 통제 실험과 경로가 갈라지는 지점을 해소하는 방식의 분석을 함께 쓰자고 했다. 연구진은 이 분석이 정확도만이 아니라 학생이 교사의 어떤 선호를 익혔는지, 추가 보정으로 무엇을 되찾을 수 있는지까지 평가하는 수단이라고 설명했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.