확산 언어모델(dLLM)의 추론 효율을 높이는 디코딩 방식 PV-Decoding이 arXiv 논문(2026-10-17 게재)으로 제안됐다. 연구진은 GSM8K, MBPP, HumanEval에서 세 가지 확산 언어모델을 실험한 결과, 신뢰도 기반 디코딩과 비교해 순차 모델 순전파(MFP) 횟수가 8~37% 줄었고 정확도 하락은 가장 큰 경우에도 1.3%였다고 밝혔다.
처리량은 Dream-7B-Instruct와 GSM8K에서 PV-Decoding(1-batch)과 PV-Decoding(2-batch)이 같은 하드웨어 예산에서 7.0~13.6% 올랐다. PV-Decoding(multi-batch)은 현재 runtime에서 더 느렸다고 연구진은 밝혔다.
확산 언어모델은 자기회귀 모델과 달리 여러 토큰을 병렬로 갱신하지만, 임시 예측을 안전하게 확정하는 비용 때문에 추론 효율에는 한계가 있다. 추측 디코딩을 적용하기도 어려운데, 같은 확산 블록 안의 추측 토큰끼리 서로 의존할 수 있어서 공격적으로 수락하면 오류가 번지고 엄격하게 검증하면 계산 비용이 커진다고 논문은 설명한다.
PV-Decoding은 신뢰도 기준값 두 개로 마스크된 위치를 직접 디코딩할 토큰, 추측 토큰, 미결정 토큰으로 나눈다. 추측 토큰은 single-batch, dual-batch, multi-batch 순으로 점점 강한 정책으로 검증한다.
검증이 약하면 부담이 적고, 강하면 수락 정밀도와 안정성이 좋아진다. 연구진은 이 구조가 정확도와 효율 사이의 균형을 조절할 수 있게 한다고 밝혔다.
연구진은 이번 결과가 구조화된 검증을 곁들인 신뢰도 기반 추측이 효율적이고 믿을 만한 dLLM 추론으로 가는 실용적인 길을 시사한다고 밝혔다. 실험은 세 모델, 세 벤치마크(GSM8K, MBPP, HumanEval)에서 이뤄졌다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.