짧은 문맥으로 학습된 드래프터(초안 모델)를 가중치 수정 없이 그대로 써도 추측 디코딩의 가속 효과가 최대 200만 토큰 문맥까지 유지된다는 연구가 2026년 10월 14일 arXiv에 공개됐다. 논문 제목은 '긴 문맥 드래프팅에 긴 문맥 드래프터는 필요 없다'(Long-Context Drafting Does Not Require Long-Context Drafters)다.
연구진은 공개된 짧은 문맥용 드래프터를 고정한 채 추론 단계에서 두 가지 장치를 붙였다. 하나는 드래프터가 보는 어텐션 캐시의 크기를 제한해 비용을 고정하는 것이고, 다른 하나는 회전 위치 인덱스를 학습된 범위 안으로 옮기는 것이다. 가중치는 건드리지 않았고, 조정 가능한 변수는 하나뿐인데 이 변수가 일찍 포화한다. 그 덕분에 vLLM 쪽 설정 하나로 4k부터 200만 토큰까지 처리하며, 짧은 문맥에서 잃는 가속은 최대 0.16배라고 연구진은 밝혔다.
기존 방식의 문제와 연구진의 근거
추측 디코딩은 값싼 드래프터가 초안을 쓰면 본 모델이 병렬로 검증하는 방식이다. 문맥이 극단적으로 길어지면 앞부분 전체를 어텐션으로 읽는 드래프터가 본 모델의 문맥 의존 비용을 물려받아, 기대한 가속이 먼저 줄다가 결국 역전된다. 지금까지는 긴 문맥 드래프터를 학습하거나 미세 조정하는 방법, 본 모델 체크포인트에 든 다중 토큰 예측 헤드를 쓰는 방법이 표준 대응이었다.
연구진은 이런 대응이 불필요하다고 주장했다. 쓰이는 드래프터가 본 모델이 전체 앞부분에 대해 계산한 은닉 상태를 읽는 방식이어서 먼 문맥의 정보가 자체 어텐션 없이도 이미 전달되고, 놓친 부분은 검증 단계가 바로잡는다는 이유다.
결과와 조건
연구진은 공통 인덱스 이동이 드래프터의 계산을 정확히 그대로 두는 조건을 증명하고, 수락률을 측정 가능한 두 간격으로 나눠 엄밀한 한계를 제시했다고 밝혔다. 고정된 드래프터가 짧은 문맥에서 내는 가속은 세 쌍의 본 모델·드래프터 조합과 다섯 개 코퍼스에서 200만 토큰까지 그대로 유지됐다. 유지된다는 것은 짧은 문맥의 가속이 이어진다는 뜻이며, 배율 자체가 높아지는 것은 아니다.
연구진은 자신들의 주장이 가속 배율이 아니라 문맥이 길어져도 배율이 평평하게 유지된다는 점에 있다고 밝혔다. 두 장치 중 하나라도 빼면 이 효과가 사라진다. 또 이득은 토큰 하나를 내보내는 데 드는 추측 디코딩 비용이 같은 조건의 본 모델 단독 비용보다 낮을 때에 한해 성립한다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.