역 쿨백-라이블러(KL) 발산을 쓰는 정책 증류의 통계적 보장과 한계를 분석한 논문 'Reverse-KL Policy Distillation: Statistical Guarantees and Limits'가 2026년 10월 22일 arXiv에 올라왔다. 연구진은 언어 모델 학습에 쓰는 이 방식이 실험에서는 가능성을 보였지만 이론적 보장과 한계는 잘 알려져 있지 않다고 설명했다.
논문은 두 가지 설계 선택을 따졌다. 하나는 교사 모델이 행동 분포 전체를 알려 주는 경우와 학생이 만든 행동의 확률만 알려 주는 경우의 차이다. 다른 하나는 학습용 궤적을 학생이 만들어야 하는지(온라인 증류), 교사가 만든 궤적으로 충분한지(오프라인 증류)다. 연구진은 이 연구가 이 질문들의 이론을 이해하기 위한 첫걸음이라고 밝혔다.
온라인과 오프라인의 차이
연구진은 온라인 증류의 표본 복잡도를 두 가지 피드백 조건에서 분석했다. 교사가 행동 분포 전체를 알려 주는 조건에서는 최소최대(minimax) 한계를 세웠다. 학생이 만든 행동의 확률만 알려 주는 조건에서는 훨씬 많은 데이터가 필요할 수 있음을 보였다.
오프라인 역KL 증류는 교사가 분포 전체를 알려 주든, 교사가 만든 행동의 확률만 알려 주든 같은 최소최대 속도에 도달할 수 있다고 연구진은 밝혔다. 교사가 만든 행동은 그 자체로 교사의 선호를 드러내지만, 학생이 고른 행동을 물으면 선호가 관측되지 않은 채 남을 수 있다는 것이 연구진이 든 차이의 이유다. 온라인 증류에는 오프라인에 없는 통계적 난점이 더 있다는 뜻이다.
표준 목적함수의 한계와 해법
연구진은 이런 보장이 표준 증류 목적함수를 최적화한다고 저절로 따라오지 않는다고 밝혔다. 하한 분석에 따르면 후보를 과거 학생 궤적에서만 평가하는 일반적인 온라인 목적함수는 실패할 수 있다.
이를 풀기 위해 연구진은 궤적 손실과 중요도 비율 절단 기법을 개발하고 정책 공간 학습과 결합해 최적의 온라인 증류 보장을 달성했다고 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.