위치별 노이즈 스케줄 둔 HMDLM, LM1B 퍼플렉서티 1.5점 낮춰

연구진이 토큰 위치마다 계층 수준을 부여하는 계층형 마스크드 확산 언어모델(HMDLM)을 논문으로 공개했다. 2026-10-21 arXiv에 올라온 이 논문에 따르면, 모델은 계층이 높은 위치를 먼저 드러내도록 유도하면서도 디코딩은 완전히 병렬로 유지한다.

성능은 퍼플렉서티와 스도쿠 정확도로 측정했다. LM1B 언어 생성에서 HMDLM은 최근 제안된 강한 확산 기준 모델 ADLM보다 퍼플렉서티를 1.5점 넘게 낮췄다. WikiHow에서는 ADLM 대비 최대 4.4점, MDLM 대비 최대 7점 낮췄다고 논문은 밝혔다. 논문은 추론 단계가 여러 번 필요한 스도쿠에서 기존 확산 기준 모델보다 정확도가 최대 8.6%포인트 높아졌다고 했다.

WikiHow 생성문을 평가한 LLM 심판은 HMDLM 두 변형을 합쳐 기준 모델보다 2배 넘게 더 자주 선호했다. 이 수치는 논문 저자들이 보고한 결과다.

작동 방식

마스크드 확산 모델은 자기회귀 모델의 대안으로 떠올랐고, 토큰을 병렬로 생성한다. 기존 마스크드 확산 모델은 모든 위치에 공유 노이즈 스케줄을 쓰며, 먼저 풀 위치를 명시적으로 인코딩하지 않는다. 문서 제목과 절 제목이 본문 생성을 이끌 수 있고, 스도쿠에서는 처음 단서로 바로 정해지는 칸이 어려운 칸을 푸는 데 도움이 된다는 것이 논문의 예다.

HMDLM은 학습 데이터에서 얻을 수 있는 계층 수준을 각 토큰 위치에 붙이며, 추가 주석은 없거나 최소한만 필요하다고 논문은 설명한다. 생성은 두 단계다. 먼저 마스크된 위치의 계층 분포를 예측하고, 이어 그 분포를 조건으로 토큰 분포를 예측한다. 계층마다 별도의 노이즈 스케줄을 주면 상위 위치를 먼저 드러내려는 약하고 조절 가능한 선호가 생긴다. 연구진은 이 분해에 맞춰 순방향·역방향 과정과 NELBO를 다시 유도했다.