확산 모델

쉽게 말하면, 확산 모델은 데이터에 노이즈를 조금씩 섞어 망가뜨린 뒤 그 과정을 거꾸로 되돌리는 법을 배워서 새 데이터를 만들어 내는 생성 모델이다. 간단한 무작위 분포의 샘플을 실제 데이터와 비슷한 샘플로 바꾸는 방식이라, 이미지나 오디오, 분자 구조 같은 여러 종류의 데이터를 만드는 데 쓰인다.

1. 개요

확산 모델은 간단한 기준 분포의 샘플을 데이터 분포를 닮은 샘플로 바꾸도록 학습하는 생성 모델이다. 데이터를 점진적으로 망가뜨리는 과정을 거꾸로 되돌리는 방식으로 작동한다. 연속 데이터의 일반적인 정식화에서는 고정된 순방향 과정이 여러 시점에 걸쳐 잡음을 더하고, 학습된 역방향 과정이 그 잡음을 걷어낸다. 딥러닝을 위한 최초의 확산 확률 모델은 2015년에 발표되었다. 2020년 소개된 잡음 제거 확산 확률 모델(Denoising diffusion probabilistic model, DDPM)은 변분 목적 함수를 디노이징 점수 매칭과 연결해 고품질 이미지 합성을 실용적으로 만들었다.^2,3

이 용어는 두 수준에서 쓰인다. 좁은 의미로는 명시적인 순방향 확산 과정과 역방향 확산 과정을 가진 확률 모델을 뜻한다. 넓은 연구 맥락에서는 샘플링 동역학이 확률미분방정식으로 표현되는 점수 기반 모델까지 포함하기도 한다. 이산 확산 모델은 같은 손상과 복원의 아이디어를 토큰이나 다른 유한 상태 공간에 적용한다. 플로 매칭 모델은 확산 확률 경로를 쓸 수 있지만, 플로 매칭은 더 넓은 틀이어서 확산 모델링과 같은 뜻이 아니다.

확산 모델은 컴퓨터 비전, 오디오 생성, 언어 모델링, 분자 모델링, 단백질 설계, 로봇 제어에 쓰인다. 결과는 학습 데이터, 목적 함수, 아키텍처, 조건 부여 방식, 샘플러에 따라 달라진다. 그래서 성능 주장은 특정 모델, 데이터셋, 지표, 평가 절차와 함께 봐야 하며, 모든 확산 모델의 속성으로 일반화해서는 안 된다.

2. 정의와 범위

확산 모델은 데이터 분포와 다루기 쉬운 사전 분포(흔히 다변량 가우시안) 사이의 경로를 정한다. 학습 중에는 예시를 무작위로 고른 잡음 수준까지 직접 손상시킬 수 있어서, 매 업데이트마다 순방향 체인 전체를 시뮬레이션할 필요가 없다. 네트워크는 손상을 되돌리는 데 필요한 정보를 학습한다. 추론 실행 때는 사전 분포에서 샘플링을 시작해 학습된 잡음 제거 업데이트를 차례로 적용하거나, 이에 대응하는 연속시간 동역학을 적분한다.³

이 문서는 확산 모델을 하나의 일반적인 머신러닝 계열로 다룬다. DDPM, DDIM, 잠재 확산, 확산 트랜스포머, 분류기 없는 가이던스, 일관성 모델, 플로 매칭, 이산 확산, 개별 시스템은 각각 별도의 문서에서 다룬다. 여기서는 계열 전체를 이해하는 데 필요한 만큼만 언급한다.

「확산」이라는 말이 모든 구현이 물리적 확산 방정식을 그대로 따른다는 뜻은 아니다. 이 말은 단순한 손상 과정과 그 학습된 역과정이 생성 절차를 정의하는 수학적 구성을 가리킨다. 정확한 상태 공간, 잡음 과정, 시간 매개변수화, 예측 대상, 수치 해법은 구현마다 다르다.

3. 등장 배경과 발전

2005년 Aapo Hyvarinen의 점수 매칭은 로그 밀도의 기울기를 맞추는 방식으로 정규화되지 않은 통계 모델을 추정하는 방법이다. 이 목적 함수는 모델의 정규화 상수를 계산하지 않아도 된다. 2011년 Pascal Vincent의 연구는 잡음 제거 오토인코더 기준이 잡음으로 매끄럽게 한 데이터 분포에 대한 점수 매칭으로 해석될 수 있음을 보였다. 이 결과는 잡음 제거를 학습하는 일과 확률 밀도가 증가하는 방향을 추정하는 일을 연결했다.^4,5

2015년 Jascha Sohl-Dickstein과 공동 저자들은 점진적인 순방향 손상과 학습되는 역방향 과정을 심층 생성 모델링에 적용했다. 이 방법은 확률적 확산 구성의 틀을 세웠지만, 이후 시스템이 쓴 아키텍처나 학습 매개변수화까지 확정하지는 못했다.²

2019년 Yang Song과 Stefano Ermon은 여러 가우시안 잡음 척도에 걸쳐 잡음 조건부 점수 네트워크를 학습하고, 어닐링 랑주뱅 동역학으로 샘플링했다. DDPM은 2020년 Jonathan Ho, Ajay Jain, Pieter Abbeel의 연구에서 소개되었다. 이들의 실용적 정식화는 디노이징 점수 매칭 및 랑주뱅 동역학과 밀접한 가중 변분 목적 함수로 네트워크를 학습했다.^3,6

2021년 ICLR에 발표된 연속시간 연구는 점수 기반 모델과 확산 확률 모델을 하나의 공통 틀에 놓았다. 이 연구는 순방향 확률미분방정식(SDE), 시간에 따른 점수로 정해지는 역시간 SDE, 같은 주변 분포를 따르는 확률 흐름 상미분방정식(ODE)을 설명했다. 이 틀은 서로 다른 출발점에서 유도된 알고리즘이 모든 구현에서 같지 않더라도 학습 목표와 샘플링 방정식을 공유할 수 있는 이유를 설명한다.⁷

이후 연구는 개별 설계 선택을 분리해 개선했다. Nichol과 Dhariwal의 연구는 역과정 분산을 학습했고, 평가한 모델에서 표본 품질은 거의 그대로 둔 채 순전파 횟수를 약 10분의 1로 줄여 샘플링할 수 있었다고 보고했다. Dhariwal과 Nichol의 연구는 구조 변경과 분류기 가이던스를 결합했고, 2021년 연구에서 비교 대상 생성 모델보다 클래스 조건부 ImageNet 결과가 더 좋다고 보고했다. 이 결과는 특정 벤치마크에 대한 역사적 발견일 뿐, 확산 모델이 다른 생성 방법을 언제나 능가한다는 증명은 아니다.^8,9

4. 핵심 수식

4.1. 순방향 과정

연속 데이터에서 표준 이산 시간 DDPM은 가우시안 잡음을 점진적으로 더하는 마르코프 연쇄를 정의한다. x_0가 데이터 샘플이면 흔한 전이 하나는 다음과 같다.

q(x_t \mid x_{t-1}) =
\mathcal{N}\left(x_t;\sqrt{1-\beta_t}\,x_{t-1},\beta_t I\right),

여기서 t는 잡음 수준을 나타내는 색인이고, β_t는 미리 정해 둔 분산 스케줄이다. α_t = 1 − β_t, ᾱ_t = ∏ α_s (s는 1부터 t까지)로 정의하면, 주변 분포는 다음처럼 직접 샘플링할 수 있다.

x_t =
\sqrt{\bar{\alpha}_t}\,x_0 +
\sqrt{1-\bar{\alpha}_t}\,\epsilon,
\qquad
\epsilon \sim \mathcal{N}(0,I).

이 닫힌 형태 덕분에 앞의 전이를 모두 실행하지 않고 무작위로 고른 시간 단계에서 학습할 수 있다. 적절히 고른 스케줄과 종료 시점에서 x_T의 분포는 선택한 사전 분포에 가까워진다. 이 종료 상태는 유한한 모든 스케줄에서 글자 그대로 정보가 전혀 없다고 보기보다, 그 사전 분포를 근사적으로 따른다고 설명하는 편이 더 정확하다.

4.2. 학습되는 역방향 과정

생성에는 반대 방향의 전이가 필요하다. DDPM은 보통 이 전이를 가우시안 조건부 분포로 매개변수화한다.

p_\theta(x_{t-1}\mid x_t) =
\mathcal{N}\left(x_{t-1};\mu_\theta(x_t,t),\Sigma_\theta(x_t,t)\right).

네트워크는 더해진 잡음, 깨끗한 샘플의 추정치, 또는 대수적으로 관련된 다른 대상을 예측할 수도 있다. DDPM으로 널리 알려진 잡음 예측 형태에서 단순화된 목적 함수는 다음과 같다.

L_{\mathrm{simple}} =
\mathbb{E}_{x_0,t,\epsilon}
\left[
\lVert \epsilon-\epsilon_\theta(x_t,t)\rVert_2^2
\right].

원래 DDPM 논문은 이 매개변수화를 변분 바운드(variational bound)에서 유도하고, 예측 네트워크를 잡음이 섞인 데이터 분포의 점수와 연결했다. 가중치, 분산, 매개변수화 선택을 달리하면 관련된 역과정을 나타내더라도 최적화와 수치적 동작이 달라진다.³

4.3. 점수와 연속시간 관점

확률 밀도 p_t(x)의 점수는 로그 밀도의 x에 대한 기울기다. 이 값은 국소적으로 로그 밀도가 커지는 방향을 가리킨다. 점수 네트워크는 각 잡음 수준에서 이 벡터장을 추정한다.

SDE 공식에서 순방향 과정은 다음과 같이 쓰이며, 역시간 SDE의 드리프트 항에는 점수 s_t(x)가 포함된다.

점수가 추정되면 수치 SDE 해법으로 샘플을 생성할 수 있다. 관련된 확률 흐름 ODE는 이 틀의 가정 아래 시간 주변 분포가 일치하는 결정적 궤적을 제공한다. 따라서 결정적 샘플러도 가능하지만, 이것이 기반이 되는 학습 분포나 모든 확산 구현을 결정적으로 만드는 것은 아니다.⁷

5. 샘플링

조상(ancestral) DDPM 샘플러는 학습된 역방향 전이를 차례로 하나씩 적용한다. 이 순차적인 네트워크 평가 때문에 추론 실행 비용이 커질 수 있다. 평가 횟수는 모델 계열의 고정된 성질이 아니라, 학습 매개변수화, 스케줄, 해법, 오차 허용치, 원하는 품질에 따라 달라진다.

DDIM은 DDPM과 같은 학습 목적 함수를 쓰면서도 비마르코프 과정을 구성하며, 결정적인 샘플링 경로를 허용한다. 저자들은 논문 실험에서 실제 경과 시간 기준으로 DDPM 기준선보다 10배에서 50배 빨라졌다고 보고했다. 이 수치는 임의의 하드웨어, 구현, 이후의 샘플러로 일반화해서는 안 된다.¹⁰

샘플링은 확산 ODE의 수치 적분으로 볼 수도 있다. DPM-Solver는 그 ODE의 일부를 해석적으로 처리하고, 나머지 적분은 전용 고차 방법으로 근사한다. 저자들은 시험한 데이터셋과 모델에서 10~20회의 함수 평가만으로 쓸 만한 샘플을 얻었다고 보고했다. 해법 비교는 구현, 평가 예산, 가이던스 강도에 여전히 민감하다.¹¹

6. 조건 부여와 가이던스

분류기 가이던스는 별도로 학습한 분류기의 기울기로 확산 점수를 수정한다. 2021년 guided-diffusion 연구는 이 기법을 써서 샘플 다양성을 내주고 충실도를 얻는 방식으로 클래스 조건부 이미지 생성을 수행했다. 이 방법은 잡음이 섞인 입력에도 작동할 수 있는 추가 분류기에 의존한다.⁹

분류기 없는 가이던스는 조건부 예측과 무조건 예측을 함께 학습하며, 흔히 일부 학습 예시에서 조건을 빼는 방식을 쓴다. 샘플링할 때는 조건부 예측과 무조건 예측을 결합한다. 저자들은 이 방법이 별도의 분류기 없이 샘플 품질과 다양성 사이의 절충을 얻는다고 설명했다. 가이던스를 높이는 것이 공짜 개선은 아니다. 샘플링되는 분포 자체가 바뀌며, 다양성을 줄이거나 아티팩트를 키울 수 있다.¹²

확산 모델은 무조건적일 수도 있고, 클래스 레이블, 텍스트 표현, 부분 관측, 저해상도 입력, 기하학적 제약 같은 정보에 조건을 걸 수도 있다. 조건 정보는 잡음 제거 네트워크에 직접 들어갈 수 있다. 이미지 모델에서는 크로스 어텐션이 공간 잡음 제거기를 텍스트나 다른 시퀀스와 연결하는 한 방법이다.¹³

조건부 생성이 요청한 제약의 충족을 보장하지는 않는다. 결과는 조건 표현, 학습 분포, 가이던스 방법, 샘플링 설정에 따라 달라진다. 정확한 물리·화학·안전 제약이 필요한 응용은 보통 생성 모델 바깥에서 과제별 검증이 필요하다.

7. 구조와 표현 공간

확산은 단일 네트워크 구조가 아니라 확률적 틀이다. 이미지 DDPM은 흔히 다중 척도 특징과 스킵 연결을 가진 인코더-디코더 구조의 잡음 제거기를 쓴다. 다른 상태 공간과 모달리티는 서로 다른 등변성, 토큰 표현, 시간 구조를 요구한다.

픽셀 공간 모델은 관측된 배열을 직접 확산한다. 손상 과정이 데이터 표현에 가깝게 유지되지만, 잡음 제거기는 전체 공간 해상도에서 동작해야 한다. 잠재 확산은 먼저 자동 인코더로 이미지를 저차원 표현으로 옮긴 뒤 그 공간에서 확산을 수행한다. 2022년 잠재 확산 논문은 계산량 감소와 복원 세부 묘사 사이에서 쓸 만한 절충을 보고했고, 조건 부여에는 크로스 어텐션을 사용했다. 디코더가 복원할 수 있는 범위를 제한하므로 잠재 공간의 효율에는 정보 병목에 따른 절충이 따른다. Stable Diffusion은 잠재 확산 방식으로 만들어진 대표적인 시스템이지만, 확산 모델과 같은 말이 아니라 여러 구현 중 하나다.¹³

잡음 제거 백본은 트랜스포머일 수도 있다. 2023년 Diffusion Transformer 연구는 흔히 쓰는 U-Net 백본을 잠재 이미지 패치 위에서 동작하는 트랜스포머로 바꿨다. 시험한 모델 계열과 연산량 범위에서는 순전파 연산량이 늘수록 FID가 낮아지는 상관관계가 나타났다. 이 결과는 트랜스포머 잡음 제거기의 실현 가능성을 뒷받침하지만, 데이터셋, 목적 함수, 모달리티 전반에 걸친 보편적 스케일링 법칙을 입증하지는 않는다.¹⁴

모델 표현은 과제의 기하학 구조와 맞아야 한다. 이미지는 유클리드 픽셀 또는 잠재 텐서를 쓸 수 있고, 분자는 평행 이동, 회전, 비틀림각을 고려해야 할 수 있으며, 단백질 골격은 회전 등변 좌표를 요구할 수 있다. 이 모든 것을 「잡음 예측」이라고 부르면 상태 공간과 손상 커널의 중요한 차이가 가려진다.

잡음 스케줄은 시간에 따라 신호 대 잡음비가 어떻게 변하는지 정한다. 역과정 분산 선택은 각 업데이트에 확률성이 얼마나 남는지를 정한다. EDM 연구는 잡음 수준, 네트워크 프리컨디셔닝, 손실 가중치, 샘플러 설계를 분리한 뒤 그 조합을 평가했다. 이 연구의 주된 일반적 기여는 모듈식 설계 분석이었다. 논문이 보고한 FID 값은 그 논문의 특정 벤치마크와 구성에 속한 값이다.¹⁵

8. 빠른 생성과 인접 모델 계열

가속 방법은 몇 가지 범주로 나뉜다. 역과정 분산을 바꾸는 방법, 더 짧거나 비마르코프적인 샘플링 경로를 쓰는 방법, 고차 해법을 적용하는 방법, 다단계 모델을 증류하는 방법, 적은 단계 생성을 위해 설계된 모델을 학습하는 방법이다. 이 방법들은 서로 바꿔 쓸 수 없으며, 적은 평가 예산에서의 품질은 실제 모델과 과제에서 측정해야 한다.

일관성 모델(consistency model)은 확률 흐름 궤적 위의 점을 그 궤적의 원점으로 보내도록 학습한다. 확산 모델에서 증류해 만들 수도 있고 독립적으로 학습할 수도 있으며, 한 단계 또는 여러 단계 샘플링을 지원한다. 독립적으로 학습된 일관성 모델은 공식과 평가가 확산 궤적과 밀접하게 연결되어 있더라도 별개의 생성 계열이다.¹⁶

플로 매칭은 선택한 조건부 확률 경로에 대응하는 벡터장을 회귀하여 연속 정규화 흐름을 학습한다. 가우시안 확산 경로는 특수한 경우로 포함되지만, 플로 매칭은 원 논문에서 연구한 최적 수송 보간처럼 확산 경로가 아닌 경로도 지원한다. 따라서 모든 플로 매칭 모델을 확산 모델이라고 부르거나, 두 틀이 보편적으로 동등하다고 주장하는 것은 부정확하다.¹⁷

9. 이산 확산

가우시안 잡음 주입은 연속 벡터에는 자연스럽지만 범주형 토큰에는 맞지 않는다. 이산 확산은 유한 상태 공간에서 전이 행렬로 순방향 손상 과정을 정의한다. 「Structured Denoising Diffusion Probabilistic Models」는 균일 대체, 이웃 구조, 마스크 토큰 같은 흡수 상태를 기반으로 한 커널을 탐구했다.¹⁸

이후 연구는 이산 점수와 마스크 손상에 맞춘 목적 함수를 개발했다. SEDD는 이산 공간에서 확률 비율을 추정하기 위해 점수 엔트로피를 도입했고, 언어 모델링에서 이 방법을 평가했다. 마스크 확산 언어 모델은 마스크 언어 모델 손실들의 혼합으로 나타나는 단순화된 목적 함수를 유도했으며, 그 연구의 벤치마크에서 자기회귀 퍼플렉시티에 근접한 결과를 보고했다.^19,20

이 논문들은 확산과 비슷한 생성이 가우시안 이미지 잡음에만 국한되지 않음을 보여 준다. 그러나 확산 언어 모델이 자기회귀 모델과 항상 같거나 더 나은 성능을 낸다는 것을 입증하지는 않는다. 텍스트 품질, 우도, 샘플링 비용, 시퀀스 길이, 빈칸 채우기 능력은 서로 다른 속성을 재며, 방법에 따라 유리한 쪽이 달라질 수 있다.

10. 응용 분야

확산 모델은 영역마다 상태 표현, 손상 과정, 네트워크, 조건 부여 방식을 맞춰 적용되어 왔다.

한 영역의 성공이 다른 영역으로 자동 전이되지는 않는다. 단백질 설계 모델, 이미지 생성기, 로봇 정책은 반복적 잡음 제거 수학을 공유하더라도 데이터, 기하 구조, 아키텍처, 평가 방식, 허용 가능한 실패 양상에서 차이가 난다.

11. 평가

평가는 최소한 네 가지 질문을 구분해야 한다.

• 분포 적합도: 우도나 변분 바운드 추정치는 특정 공식화 아래에서 확률적 적합도를 평가한다.
• 샘플 충실도와 포괄성: FID, 정밀도, 재현율 같은 이미지 지표는 생성 샘플과 참조 샘플의 특징 분포를 비교하지만, 결과는 특징 추출기, 샘플 수, 전처리, 데이터셋에 따라 달라진다.
• 조건 정확성: 텍스트-이미지 정렬, 제약 충족, 도킹 기하, 과제 성공 여부는 분야별 검사가 필요하다.
• 효율: 학습 연산량, 메모리, 지연 시간, 네트워크 평가 횟수, 에너지 사용은 각각 따로 측정한다.

어떤 단일 지표로도 특정 생성 계열이 전반적으로 가장 낫다고 입증할 수 없다. 비교는 데이터, 해상도, 조건 부여, 아키텍처 규모, 샘플링 예산, 평가 코드를 가능한 한 일정하게 유지해야 한다. 「최신 성능(state of the art)」 주장은 특정 벤치마크와 발표 시점에 묶인 스냅숏이다.

확률적 생성기에서는 반복 샘플링이 중요하다. 골라낸 예시만 보고하면 포괄성이나 실패율을 추정할 수 없다. 과학 및 제어 응용에서는 생성된 후보를 적절한 시뮬레이션, 실험, 실제 과제 시험으로 검증해야 한다.

12. 한계와 위험

반복 잡음 제거에는 보통 여러 번의 순차적 네트워크 평가가 필요하다. 더 빠른 해법이나 증류 모델은 이 비용을 줄이지만, 속도와 품질의 절충은 모델과 과제에 따라 다르다. 가이던스는 조건 준수도나 측정된 충실도를 높이면서 다양성을 줄일 수 있다. 잠재 모델은 잡음 제거 비용을 줄이지만, 인코더와 디코더에서 오는 복원 한계를 물려받는다.^{8,9,10,11,12,13,16}

학습 데이터의 암기는 실증적인 프라이버시·출처 위험이기도 하다. Carlini와 공동 저자들은 연구한 이미지 확산 모델과 설정에서 1,000개 이상의 학습 예시를 추출했다. 별도의 CVPR 연구는 학습 콘텐츠 복제를 탐지하는 검색 방법을 개발했고, 평가한 여러 데이터셋과 모델에서 복제를 발견했다. 이 결과는 확산 학습이 그것만으로 암기를 막지 않는다는 점을 보여 준다. 모든 출력이 복사되었다는 뜻은 아니며, 특정 모델이나 출력의 저작권 지위를 정하지도 않는다.^26,27

확산 모델은 자신의 학습 분포에서 배운다. 과소 대표, 레이블 불균형, 캡션 오류, 기타 데이터 결함이 생성 결과에 영향을 줄 수 있다. 통제된 이미지 실험에서는 클래스 불균형 학습 데이터가 충실도와 다양성을 모두 떨어뜨렸으며, 특히 꼬리 클래스에서 두드러졌다. 이 연구는 시험한 설정에서의 실패 양상을 보여 줄 뿐, 모든 데이터셋이나 모델에 대한 수치 예측은 아니다.²⁸

학습된 역과정은 근사적이며, 수치 샘플링은 근사를 더 보탠다. 출력은 집합 지표에서 점수가 좋더라도 그럴듯하지 않거나, 내부적으로 모순되거나, 안전하지 않을 수 있다. 따라서 배포에는 특정 도메인, 대상 집단, 조건 부여 인터페이스, 오류의 결과에 맞춘 평가가 필요하다.