확산 모델의 수학

옮긴이 머리말 viii
추천사 ix
머리말 xi
기호 일람 xv

CHAPTER 1 생성 모델 1
1.1 생성 모델이란 무엇인가 1
1.2 에너지 기반 모델과 분배함수 4
1.3 학습 방법 6
1.4 고차원에서의 다봉분포 데이터 생성의 어려움 13
1.5 점수: 로그 우도 입력에 대한 기울기 14
__1.5.1 랑주뱅 몬테카를로 방법 16
__1.5.2 점수 매칭 18
__1.5.3 암묵적 점수 매칭 19
__1.5.4 암묵적 점수 매칭이 점수를 추정할 수 있다는 증명 22
__1.5.5 디노이징 점수 매칭 26
__1.5.6 디노이징 점수 매칭이 점수를 추정할 수 있다는 증명 30
__1.5.7 잡음이 정규분포를 따르는 경우의 증명 32
__1.5.8 점수 매칭 방법 정리 37
요약 37

CHAPTER 2 확산 모델 39
2.1 점수 기반 모델과 디노이징 확산확률 모델 39
2.2 점수 기반 모델 40
__2.2.1 추정한 점수를 사용하는 랑주뱅 몬테카를로 방법의 문제점 40
__2.2.2 점수 기반 모델은 여러 개의 교란 후 분포의 점수를 조합한다 42
2.3 디노이징 확산확률 모델 46
__2.3.1 확산 과정과 역확산 과정으로 이루어진 잠재변수 모델 46
__2.3.2 DDPM의 학습 51
__2.3.3 DDPM에서 디노이징 점수 매칭으로 56
__2.3.4 DDPM을 사용한 데이터 생성 61
2.4 SBM과 DDPM의 신호 대 잡음비를 사용한 통일적인 구조 62
__2.4.1 SBM과 DDPM의 관계 62
__2.4.2 연속 시간 모델 70
__2.4.3 잡음 스케줄과 관계없이 같은 해를 얻을 수 있다 71
__2.4.4 학습 가능한 잡음 스케줄 72
요약 73

CHAPTER 3 연속 시간 확산 모델 75
3.1 확률미분방정식 76
3.2 SBM과 DDPM의 SDE 표현 77
3.3 SDE 표현의 역확산 과정 80
3.4 SDE 표현 확산 모델 학습 81
3.5 SDE 표현 확산 모델 표본추출 83
3.6 확률 플로 ODE 84
__3.6.1 확률 플로 ODE와 SDE의 주변 우도가 일치한다는 증명 86
__3.6.2 확률 플로 ODE의 우도 계산 88
__3.6.3 신호와 잡음으로 나타내는 확률 플로 ODE 88
3.7 확산 모델의 특징 89
__3.7.1 기존 잠재변수 모델과의 관계 90
__3.7.2 확산 모델은 학습이 안정적이다 91
__3.7.3 복잡한 생성 문제를 간단한 부분 생성 문제로 분해한다 92
__3.7.4 다양한 조건을 조합할 수 있다 93
__3.7.5 생성의 대칭성을 자연스럽게 도입할 수 있다 94
__3.7.6 표본을 추출할 때 스텝 수가 많아 생성 속도가 느리다 95
__3.7.7 확산 모델로 어떻게 일반화할 수 있는지에 대한 이해가 미해결 95
요약 96

CHAPTER 4 확산 모델의 발전 97
4.1 조건부 생성에서의 점수 97
4.2 분류기 가이던스 98
4.3 분류기를 사용하지 않는 가이던스 99
4.4 부분공간 확산 모델 102
__4.4.1 부분공간 확산 모델의 학습 104
__4.4.2 부분공간 확산 모델의 표본추출 106
4.5 대칭성을 고려한 확산 모델 107
__4.5.1 기하와 대칭성 107
__4.5.2 화합물의 회전배열 110
요약 117

CHAPTER 5 응용 119
5.1 이미지 생성, 초해상, 보완, 이미지 변환 120
5.2 동영상 및 파노라마 생성 121
5.3 의미 추출과 변환 122
5.4 음성의 합성과 강조 123
5.5 화합물의 생성과 회전배열 124
5.6 적대적 섭동에 대한 강건성 향상 125
5.7 데이터 압축 126
요약 127

APPENDIX A 부록 129
A.1 사전분포가 정규분포, 우도가 선형정규분포인 경우의 사후확률분포 129
A.2 ELBO 130
A.3 신호와 잡음을 이용한 확률 플로 ODE 도출 131
A.4 조건부 생성 문제 135
A.5 디노이징 암묵적 확산 모델 137
A.6 역확산 과정의 확률미분방정식 증명 141
A.7 비가우스 잡음에 의한 확산 모델 146
A.8 Analog Bits: 이산 변수 확산 모델 147

참고 문헌 149
찾아보기 154

생성 모델이란 목표 도메인의 데이터를 생성하는 모델을 말한다. 그리고 몇몇 생성 모델은 주어진 데이터 x의 우도 p(x)를 평가할 수도 있다. 데이터가 어떻게 생성되는지 이해하는 것은 그 데이터를 이해하는 효과적인 방법의 하나이며, 또한 데이터를 자유롭게 생성할 수 있다면 많은 애플리케이션에 도움이 된다. 그래서 오래전부터 생성 모델에 관해 많은 연구가 이루어져왔다.

첫 번째는 점수 기반 모델(SBM)이다. 1장에서 살펴본 것처럼 디노이징 점수 매칭으로 추정한 점수를 사용하는 랑주뱅 몬테카를로 방법을 이용해서 대상 확률분포로부터 표본을 얻을 수 있다. 그러나 실제로는 점수 추정에 문제가 있고 표본추출에 매우 오랜 시간이 필요하며 고차원 다봉분포에서는 표본추출이 잘되지 않는다는 문제가 있다. 이런 문제를 해결하기 위해서 여러 개의 크기가 다른 잡음으로 섭동한 분포상에서 점수를 학습하고 랑주뱅 몬테카를로 방법을 이용해서 데이터를 생성하는 것을 살펴본다.