서로 다른 토크나이저를 쓰는 모델끼리도 지식 증류를 할 수 있게 하는 기법 CSD(Common-Support Distillation)가 arXiv에 공개된 논문(2026-10-20 게재)에서 제안됐다. 교사 모델과 학생 모델이 어휘와 단어 분할 방식이 달라도 하나의 학습 목표로 출력 분포를 맞추는 방식이다.
연구진은 Llama-3.2-1B와 Gemma3-1B-PT를 학생으로, Qwen과 Phi를 교사로 둔 네 가지 조합에서 실험했다. 평가 대상에 오른 교차 토크나이저 방식 가운데 CSD가 모든 조합에서 일관되게 평균 성능이 가장 높았고, 가장 강한 대안보다 최대 1.8점 앞섰다고 밝혔다. 추가 사전 학습을 이어 간 경우와 같은 토크나이저끼리 증류한 경우도 넘어섰다고 한다.
Llama-3.1-8B 학생에서는 평가한 기준 방식 중 가장 강한 것보다 평균 정확도가 기본 모델은 최대 4.2점, 지시 학습을 거친 모델은 최대 1.6점 높았다고 연구진은 밝혔다.
작동 방식과 기존 방법의 한계
토크나이저가 다르면 교사와 학생이 예측하는 다음 토큰 분포를 직접 맞추기 어렵다. 연구진에 따르면 기존 로짓 기반 방법은 표준 증류 과정에 붙이기는 쉽지만, 공유 어휘 일부로만 지도를 제한하거나 토크나이저 쌍마다 목표 함수를 손으로 골라야 한다. 관찰된 조각과 그 나머지만 맞추고 개별 대안 연속은 맞추지 않는 방식도 있다.
CSD는 정렬된 입력 조각마다 교사와 학생이 공유하는 지지 집합을 만들고, 거기서 나온 두 분포를 단일 목표로 맞춘다. 일대일로 정렬되면 공통 토큰 쌍을 지지 집합으로 쓴다. 그렇지 않으면 자기회귀 연쇄 법칙으로 확률을 계산하는 가상 지지 집합을 구성한다. 지지 집합 밖의 확률 질량은 잔여 사건으로 묶어 두 분포가 모두 정규화된 상태를 유지한다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.