Tencent, Qwen3.8-27B 추측 디코딩 모델 DSpine 공개…에이전트 최대 3.84배

Tencent가 Qwen3.8-27B의 응답 생성을 빠르게 하는 초안 모델 DSpine-b16을 Hugging Face에 공개했다. 5개 층으로 이뤄진 체크포인트이고 블록 크기는 16, 슬라이딩 윈도 길이는 8,192토큰이다. 라이선스는 Apache 2.0이다.¹

추측 디코딩에서 초안 모델은 토큰을 먼저 여러 개 제안하고, 본 모델이 이를 한꺼번에 검증한다. DSpine은 초안 토큰을 병렬로 만든다. 각 층이 예측한 앞 위치의 특징을 인접한 위치에 넘겨, 위치 사이의 인과 의존성을 네트워크 깊이로 전달하는 방식이다. 토크나이저, 임베딩, LM head는 대상 모델인 Qwen3.8-27B의 것을 쓴다.^1,2

에이전트 작업에서 최대 3.84배

Tencent는 SGLang 0.5.22, BF16, FlashAttention 3, 동시 요청 8개 조건에서 측정했다고 밝혔다. 에이전트 평가는 하위 세트마다 대화 20개를 골라, 기록된 도구 결정 프리픽스를 전부 순서대로 재생하는 방식이다. 온도 샘플링(temperature 1.0, top_p 0.95, top_k 20)을 썼고 프리픽스 캐시를 켰으며, 요청당 새 토큰은 최대 32,768개로 제한했다. 추론 강도는 low와 xhigh 두 가지다.¹

처리량은 전체 출력 토큰 수를 동시 재생에 걸린 실제 시간으로 나눈 값(토큰/초)이다. 가장 큰 향상은 WorkBuddy Office의 low 설정에서 나왔다. 자기회귀 방식이 210.03토큰/초일 때 DSpine은 805.53토큰/초로 3.84배였고, 같은 조건에서 공식 DFlash2는 3.17배였다.^1,2

수락 길이는 본 모델이 한 번 검증할 때 받아들이는 초안 토큰의 평균 개수다. 일반 벤치마크에서는 추론 강도 xhigh로 탐욕 디코딩과 온도 샘플링(temperature 1.0, top_p 0.95, top_k 20)을 모두 시험했고, 새 토큰은 최대 4,096개였다. GSM8K 탐욕 디코딩에서 DFlash2가 5.69, DSpine이 7.20이었다.^1,2

에이전트 쪽 수락 길이도 모두 DSpine이 높았다. SWE-bench Pro는 low에서 4.19(DFlash2)와 4.99(DSpine), xhigh에서 4.00과 4.77이었다. WorkBuddy Office는 low에서 4.24와 5.63, xhigh에서 4.20과 5.49였다.²

모델 카드의 평가에서 DSpine은 초안 블록 16에 DSpark를 참조한 동적 검증과 ReplaySSM을 켰고, 비교 대상인 공식 DFlash2는 블록 8이었다.¹

실행 방법

Tencent의 DSpine 저장소를 내려받아 pip install -e로 설치한 뒤 SGLang 서버에 붙인다. 예시 명령은 대상 모델로 Qwen/Qwen3.8-27B를 지정하고 추측 알고리즘을 DSPINE으로 설정한다. 초안 토큰은 16개, 컨텍스트 길이는 131072, 최대 동시 요청은 8이다. 주의력 백엔드는 fa3, 선형 어텐션 백엔드는 triton이며 ReplaySSM 옵션과 mamba 캐시 설정이 함께 들어간다. 동적 검증 조정 방법은 별도의 추론 가이드에 있다.

논문 제목은 "Draft in Parallel, Condition Through Depth: Adjacent Causal Injection for Speculative Decoding"이다. Haohui Zhang 등 7명이 쓴 arXiv 논문(2609.36173)으로 인용 정보에 올라 있다. Tencent는 DFlash, SpecForge, SGLang, FlashInfer 프로젝트에 감사를 표했다.¹