현대 확산 언어 모델을 어떻게 만드는지 정리한 연구 논문 "How To Build A Modern Diffusion Language Model"이 2026년 10월 24일 arXiv에 공개됐다. 논문은 이산 확산 기법의 핵심 개념을 훑고, 최근 확산 방식 대규모 언어 모델이 만들어지는 과정을 개괄적으로 소개하는 서베이다.
다루는 범위는 기초 이론, 알고리즘과 구조의 핵심 구성 요소, 생물학과 언어 분야 응용, 향후 LLM 확장 법칙에 주는 함의다.
기존 방식의 한계와 확산 방식
논문은 주류 LLM이 왼쪽에서 오른쪽으로 토큰을 하나씩 순서대로 만드는 자기회귀 방식이라고 짚는다. 이 방식에서는 추론 중 병렬 GPU 하드웨어가 충분히 쓰이지 않고, 한번 낸 토큰은 되돌릴 수 없어 앞선 실수를 고치지 못한다고 설명한다. 연구진은 사후 학습과 추론 시 연산량을 키우는 쪽으로 발전의 무게가 옮겨가면서 이 병목이 심해졌다고 본다.
이산 확산 언어 모델은 잡음이 섞이거나 가려진 시퀀스에서 출발해 여러 번의 디노이징 단계로 전체 출력을 반복해 다듬으며 토큰을 병렬로 생성한다. 논문은 이 병렬 생성 방식이 초당 수천 토큰의 속도를 낼 수 있게 하고, 추론 시 연산량을 늘리는 새로운 축을 만들며, 오류 수정과 제어 가능한 생성을 구조에 내장한다고 설명했다. 이 속도는 서베이가 일반적으로 기술한 내용이며, 연구진이 직접 생성 속도를 측정한 결과가 아니다.
논문에 따르면 이산 확산은 지난 2년간 생물학적 서열 모델링과 자연어 양쪽에서 수십억 개 매개변수 규모까지 커졌다. 같은 기간 주요 연구소가 오픈 가중치 모델과 상용 모델을 출시했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.