Yuannuo Feng 등 연구진이 확산 언어 모델의 적은 단계 디코딩에서 여러 토큰을 함께 확정하는 방법 SetCommit을 arXiv에 공개했다(2026년 10월 22일 게재). 재학습이나 구조 변경 없이 쓸 수 있고, LLaDA-8B와 Dream-7B 실험에서 모델 평가 32회 기준 기본 디코딩보다 정확도(pass@1 포함)가 최대 7.4%포인트 높았다고 논문은 밝혔다.1
공통 품질 목표에서 기하평균 증분 속도 향상은 1.44배에서 1.74배 범위로 나타났다고 논문은 밝혔다. 평가는 GSM8K, MATH-500, MBPP, HumanEval에서 했다. 코드는 MIT 라이선스로 GitHub에 공개돼 있으며, 모델 가중치는 따로 내려받아야 한다.1,2
토큰을 개별이 아니라 묶음으로 고른다
확산 언어 모델은 여러 위치의 토큰을 동시에 생성한다. 단계 수가 적으면 각각은 믿을 만해 보이는 토큰도 함께 놓았을 때 서로 맞지 않을 수 있다. 너무 일찍 확정하면 뒤따르는 문맥을 보고 고치는 기회도 사라진다.
SetCommit은 신뢰도 순으로 토큰을 하나씩 뽑지 않고, 토큰의 신뢰도와 국소적인 동시 확정 위험을 함께 따져 확정할 집합을 고른다. 이후 디노이징 단계에서 문맥을 활용할 여지를 남기려는 설계다. 새로 드러난 문맥이 더 믿을 만한 대안을 뒷받침하면, 확정 개수는 그대로 두고 앞서 확정한 취약한 토큰을 바꿔 넣는 국소 교환도 한다.1
공개 코드는 상위 디코더가 정한 확정 개수를 그대로 쓰고 모델 연산을 추가하지 않는다. 기본 샘플링, Fast-dLLM의 고정·적응 모드, 논문의 엔트로피 제한(EB) 샘플러와 함께 쓸 수 있다. API의 select_positions와 apply_selection이 확정과 재마스킹 위치를 고르며, 새로 확정한 수에서 되돌린 수를 뺀 값이 상위 쿼터와 같은지도 기록한다.2
수치와 재현 조건
저장소가 제시한 기준 사례는 LLaDA-8B의 GSM8K 네이티브 호스트 결과다. 논문 표 1에서 기준 방식이 품질 목표(3포인트 마진)를 맞추려면 NFE(모델 평가 횟수) 64회가 필요했고, SetCommit은 48회로 충족했다. 해당 지점의 정확도는 73.1%에서 74.2%로 1.1%포인트 올랐다.
저장소의 실행 예제 수치는 이와 다른 측정이다. 64회 고정 평가 실험에서 65.5%가 68.8%로 올랐으며, 같은 실행의 값이 아니라는 설명이 붙어 있다.
전체 재현에는 CUDA 12.1 환경이 필요하다. 짝지은 비교는 배치 크기 1과 BF16, 고정된 모델 리비전, 같은 프롬프트와 채점 절차로 하도록 안내한다. 모델 없이 CPU에서 도는 스모크 테스트도 제공한다.2