추측 디코딩 초안 학습 이득, 타깃이 답 다시 쓰면 14.4%가 3.7%로

추측 디코딩의 초안 모델을 학습할 때 쓰는 새 목표 함수의 이득이, 학습 데이터를 타깃 모델이 직접 다시 쓰면 크게 줄어든다는 연구 결과가 2026년 10월 21일 arXiv에 올라왔다. 외부에서 작성한 응답으로 학습하면 지식 증류가 평균 수락 길이를 14.4% 높였지만, 타깃이 그리디 방식으로 응답을 재생성한 데이터에서는 이득이 3.7%로 내려갔다.^1,2

연구진은 같은 날 GitHub에 코드를 공개했다. 논문의 비전 표와 그림을 만든 프롬프트별 수락 집계 데이터, 말뭉치를 재생성하고 초안 모델을 학습해 평가하는 GPU 파이프라인이 들어 있다. 논문 수치는 numpy만 설치하면 CPU에서 다시 계산할 수 있고, 재생성·학습·평가에는 CUDA GPU가 필요하다.²

무엇을 어떻게 비교했나

추측 디코딩은 작은 초안 모델이 토큰을 먼저 제안하고, 큰 타깃 모델이 이를 한 번에 병렬로 검증하는 방식이다. 속도 향상은 평균 수락 길이(MAT)가 길수록 커진다. 검증 한 라운드에서 확정되는 토큰은 타깃이 받아들인 초안 토큰에 타깃이 직접 덧붙이는 토큰 하나를 더한 수다.

새 초안 학습 목표의 효과는 보통 외부에서 쓴 응답에 교차 엔트로피(CE)로 학습한 기준선 대비 MAT가 얼마나 늘었는지로 평가한다. 그런데 많은 파이프라인이 학습 전에 타깃 모델로 그 응답을 다시 쓴다. 연구진은 이 재작성 뒤에도 이득이 얼마나 남는지를 물었다.

타깃은 Qwen3-VL-8B-Instruct이고 초안 모델은 DFlash 블록 방식이다. 블록 초안 모델은 앵커 토큰 뒤 15개 칸을 한 번의 순전파로 예측한다. 연구진은 한 말뭉치의 네 가지 버전에서 세 목표를 학습시켰다. 말뭉치 토큰에 대한 CE, 타깃의 분포를 따라 배우는 토큰 단위 증류(KD), 검증을 통과할 위치로 증류를 제한한 게이트다.^1,2

게이트는 블록 안에서 앞선 말뭉치 토큰이 모두 타깃의 그리디 토큰과 같을 때만 그 칸을 학습에 쓴다. 검증이 그 칸에 도달하는 조건이다. 같은 저장소의 대조군인 소프트 가중 방식은 앞선 말뭉치 토큰에 대한 타깃의 확률을 곱해 가중한다. 논문은 이를 gamma 2로 학습한 대조군으로 쓴다.

평가는 비전 프롬프트 297개에서 3에포크 학습한 뒤 잰 MAT다. 캡션, TextVQA, DocVQA 세 영역의 MAT를 기하평균해 한 번의 학습 결과로 삼고, 셀마다 두 번의 학습 결과를 평균했다. 구간 추정은 영역 안에서 프롬프트를 99개씩 복원 추출하는 부트스트랩의 95% 구간이며, 학습 실행 자체는 다시 뽑지 않는다.²

재생성 뒤 이득이 줄어든 폭

ALLaVA 외부 응답에서 CE의 MAT는 2.875, KD는 3.291, 게이트는 3.453이다. KD는 CE보다 14.4% 높고, 게이트는 KD보다 4.9% 더 높다. 타깃이 그리디로 전부 재생성한 응답에서는 CE 3.843, KD 3.987, 게이트 3.965가 되어 KD의 이득은 3.7%로 내려갔다. 게이트는 KD 대비 -0.5%(구간 -1.1~0.0)로 측정 가능한 이득이 없었다.²

잘라낸 버전과 손실 구간 버전은 재생성 응답과 감독 길이를 맞춘 대조군이다. 이 둘에서도 이득이 외부 응답보다 작아, 줄어드는 폭의 대부분은 길이 차이로 설명되지 않는다. 샘플링 온도 1과 0.7로 재생성한 버전도 KD 이득이 각각 4.2%, 3.6%였다.

연구진은 그림 1의 사례로 이유를 설명한다. 재생성한 응답에는 말뭉치 토큰이 이미 타깃의 그리디 토큰으로 들어 있어, KD가 CE에 더할 정보가 적다는 것이다.²

조건을 바꿔도 남는 감소와 학습 길이의 영향

연구진에 따르면 이득 감소는 데이터 순서, 위치 가중치, 검증기, 디코딩 온도를 바꿔도, KD는 초기화와 학습률을 바꿔도 유지됐다. 두 번째 비전 말뭉치(ShareGPT4V)와 텍스트 전용 재현 실험에서도 같은 감소가 나타났고, KD는 자기회귀 초안 모델에서도 같았다.^1,2

무작위 초기화, 학습률의 3분의 1, 배포된 초안 모델을 향한 L2 앵커 중 어느 쪽으로 학습해도 재생성 응답에서 KD가 CE에 더하는 이득은 1.7~3.8%에 머물렀다. 외부 응답에서는 9.3~13.4%였다. 말뭉치 토큰 대신 타깃의 그리디 토큰을 정답으로 CE를 학습시키는 대조군은 외부 응답에서 CE보다 MAT가 9.3% 높았지만, 재생성 응답에서는 측정 가능한 이득이 없었다.

학습 길이에 따라서도 결과가 달라진다. ALLaVA 외부 응답에서 KD의 CE 대비 이득은 4분의 1에포크 뒤 7.1%였다가 3에포크 뒤 14.4%로 커졌고, CE는 반 에포크 이후 오히려 내려갔다. 각 지점은 긴 학습의 중간 체크포인트가 아니라 따로 학습해 학습률을 감쇠(anneal)한 스케줄이다. 연구진은 한 길이에서만 읽은 이득이 오해를 부를 수 있다고 지적했다.

두 말뭉치와 두 응답 출처 모두에서 KD의 이득은 가장 긴 스케줄에서 가장 컸다. 목표마다 측정한 최적 스케줄끼리 비교해도 재생성 이득은 외부 이득보다 작았다. 저장소는 이 정도를 (1+재생성 이득)/(1+외부 이득)-1로 계산하는 비율의 비율로 나타내는데, ALLaVA에서 KD는 -5.6%(구간 -6.4~-4.8), 게이트는 -3.1%(구간 -4.0~-2.3), ShareGPT4V에서 KD는 -8.4%(구간 -9.4~-7.4)였다.²

저장소 설명은 응답의 4분의 1만 재생성해도 KD 이득 감소분의 약 3분의 2를 이미 설명한다고 적었다. 표에서는 KD 이득이 14.4%에서 7.4%로 내려간다.²

연구진의 제안과 재현 방법

연구진은 초안 학습 목표의 이득을 타깃이 재생성한 기준선과 비교하고, 여러 학습 길이에서 함께 재야 한다고 결론지었다.¹

같은 모델 조합에서 외부 응답 기준으로 14.4%였던 KD 이득이 재생성 응답에서는 3.7%였다. 재생성 데이터를 쓰는 파이프라인이라면 외부 응답에서 잰 수치를 그대로 기대하기 어렵다. 다만 이 수치는 Qwen3-VL-8B 타깃과 DFlash 블록 초안 모델 조합에서 나온 것이다.^1,2

저장소는 pip install -e .로 설치하며 Python 3.10 이상과 numpy가 필요하다. data/vision/에는 비전 평가 241건 각각의 프롬프트별 수락 집계가 들어 있고, 실험 스크립트 6개가 논문의 표와 그림 값 452개를 다시 계산해 일치 여부를 출력한다. 학습과 평가에는 torch 2.9.1, transformers 4.57.6이, 재생성에는 별도 환경의 vLLM 0.15.1이 필요하다.

논문은 학습을 GPU 4장, 유효 배치 24로 돌리고 평가는 RTX A6000에서 했다. 파이프라인은 배포된 DFlash 초안 모델 z-lab/Qwen3-8B-DFlash-b16에서 출발한다. 다른 GPU에서는 BF16 그리디 디코딩이 근소한 차이의 후보를 다르게 고를 수 있어 수락 횟수가 끝자리까지 같지 않을 수 있다. TextVQA 학습 분할은 어느 초안 모델도 학습에 쓰지 않았다. 저장소는 텍스트 전용 실험과 일부 부록 분석은 재현하지 않는다.²