딥 러닝 제대로 정리하기

PART 1 기초편_1
CHAPTER 1 계층형 신경망을 이용한 딥 러닝_3
1.1 시작하며 3
1.2 데이터로부터 내부 표현 학습하기 5
1.2.1 내부 표현의 중요성과 학습 기법 6
1.2.2 특징 엔지니어링과 표현 학습 7
1.3 계층형 신경망 10
1.3.1 신경망 연구의 계보 10
1.3.2 계층형 신경망의 수리적 모형 11
1.4 계층형 신경망의 학습 13
1.4.1 오차수정 학습 14
1.4.2 오차역전파 학습 15
1.4.3 경쟁학습 17
1.5 딥 뉴럴넷을 이용한 심층 표현학습 18
1.5.1 오차역전파 학습을 통한 내부 표현학습 19
1.5.2 딥 뉴럴넷의 학습 20
1.6 합성곱 신경망 21
1.7 자기부호화기 24
1.7.1 자기부호화기와 자기부호화기의 학습 24
1.7.2 적층 자기부호화기 25
1.7.3 희소 자기부호화기 27
1.7.4 잡음제거 자기부호화기 28
1.8 정리 28
참고 문헌 30

CHAPTER 2 딥 볼츠만 머신_35
2.1시작하며 35
2.2 통계적 머신 러닝의 아이디어 ― 데이터 생성 모형의 재현 37
2.3 마르코프 확률장과 볼츠만 머신 40
2.3.1 마르코프 확률장 40
2.3.2 볼츠만 머신 42
2.3.3 볼츠만 머신과 홉필드 네트워크의 관계 44
2.3.4 볼츠만 머신의 학습을 위한 준비 45
2.4 가시변수만 있는 볼츠만 머신의 학습 46
2.4.1 쿨벡 - 라이블러 발산으로부터의 학습방정식 유도방법 49
2.4.2 볼츠만 머신 학습에 대한 구현과 조합의 폭발 문제 51
2.5 비가시변수가 있는 볼츠만 머신의 학습 53
2.5.1 비가시변수가 있는 경우의 학습에 대해서 56
2.5.2 비가시변수를 도입하는 의미 57
2.6 볼츠만 머신에서의 근사 기법 59
2.6.1 깁스 샘플링 60
2.6.2 평균장 근사 63
2.7 제약 볼츠만 머신 66
2.7.1 조건부 독립성에 기초한 제약 볼츠만 머신의 성질 67
2.7.2 제약 볼츠만 머신의 학습 69
2.8 딥 볼츠만 머신 71
2.8.1 딥 볼츠만 머신의 사전훈련 73
2.8.2 사전훈련 후의 최대우도추정법에 기초한 학습 77
2.8.3 제약 볼츠만 머신을 자기부호화기로 활용하기 79
2.8.4 딥 볼츠만 머신의 이용법 81
2.9 딥 빌리프넷 83
2.9.1 딥 빌리프넷에 대한 사전훈련 및 추론 84
2.9.2 딥 빌리프넷에 대한 사전훈련의 정당성 86
2.10 정리 91
참고 문헌 92

CHAPTER 3 사전훈련과 그 주변_95
3.1 시작하며 95
3.2 자유도가 높은 통계 모형에 대한 학습의 어려움과 해결책 96
3.2.1 학습을 어렵게 하는 요인 96
3.2.2 기존의 해결법 98
3.2.3 새로운 해결법 101
3.3 자기부호화기를 이용한 내부 표현학습 104
3.3.1 자기부호화기와 자기부호화기의 손실함수 정의 104
3.3.2 층 단위 탐욕학습을 통한 자기부호화기의 사전훈련 106
3.4 확률적 모형을 사용한 사전훈련 107
3.4.1 제약 볼츠만 머신 107
3.4.2 지수형 하모니움족 110
3.4.3 대조적 발산을 이용한 지수형 하모니움족의 학습 114
3.4.4 대조적 발산법이 최적화하는 손실함수 115
3.4.5 대조적 발산법과 비슷한 학습 규칙을 갖는 알고리즘 123
3.4.6 대조적 발산으로부터 파생한 학습 규칙 125
3.4.7 확률적인 모형의 사전훈련과 자기부호화기 학습의 관계 127
3.5 결정적 모형을 사용한 사전훈련 128
3.5.1 비지도 학습을 통한 결정적 모형의 학습 130
3.5.2 지도학습 방식을 이용한 결정적 모형의 학습 133
3.6 Product of Experts 학습법으로 본 대조적 발산법 134
3.7 정리 136
참고 문헌 137

CHAPTER 4 대규모 딥 러닝을 실현하기 위한 기술_141
4.1 시작하며 141
4.2 딥 러닝의 최적화 143
4.2.1 딥 러닝의 기본 연산 143
4.2.2 확률적 경사하강법 145
4.3 속도 향상을 위한 기법 146
4.3.1 분산병렬처리: 디스트빌리프 146
4.3.2 GPU를 이용한 대규모 신경망학습 150
4.3.3 인피니밴드의 이용 153
4.3.4 학습수렴 속도를 향상시키는 방법 154
4.4 과적합 억제: 드롭아웃 157
4.5 활성화함수 161
4.5.1 ReLU 161
4.5.2 MaxOut 162
4.6 학습률을 조정하는 기법 163
4.6.1 AdaGrad 164
4.6.2 Adam 164
4.6.3 하이퍼파라미터의 최적화 165
4.7 구현을 위한 기법 167
4.7.1 구현이 올바른지 확인하기 167
4.8 정리 168
참고 문헌 168

PART 2 응용편_171
CHAPTER 5 이미지 인식을 위한 딥 러닝_173
5.1 시작하며 173
5.1.1 합성곱 신경망의 재발견 174
5.1.2 후속 연구 175
5.2 합성곱 신경망 177
5.2.1 기본 구조 177
5.2.2 합성곱층 178
5.2.3 풀링층 181
5.2.4 예제: 숫자 필기 인식을 위한 합성곱 신경망 182
5.2.5 학습 184
5.2.6 콘트라스트 조정과 데이터 정규화 186
5.3 합성곱 신경망의 동작 188
5.3.1 일반물체 인식의 어려움 188
5.3.2 일반물체 인식의 기존 방법 189
5.3.3 기존의 방법과 합성곱 신경망의 비교 193
5.3.4 네트워크 구조와 인식 성능 195
5.3.5 합성곱 신경망의 확장을 위한 시도 197
5.4 합성곱 신경망의 내부 표현 198
5.4.1 시각화 198
5.4.2 뇌신경계와의 관계 199
5.4.3 전이학습 200
5.5 이미지 특징에 대한 비지도학습 201
5.5.1 단층 자기부호화기를 이용한 국소특징 학습 201
5.5.2 다층 신경망을 이용한 특징학습 204
5.6 정리 208
참고 문헌 209

CHAPTER 6 음성 인식을 위한 딥 러닝_213
6.1 시작하며 213
6.2 음성 인식 215
6.2.1 음성 인식에 사용되는 모형 215
6.2.2 대규모 어휘 연속 음성 인식 시스템의 구성 219
6.3 음성 인식에서 사용되는 신경망 220
6.3.1 시간 지연 신경망 222
6.3.2 은닉 마르코프 모형과 조합한 신경망: 절충적 방식 223
6.3.3 은닉 마르코프와 조합한 신경망: 탠덤 방식 225
6.4 음향 모형을 위한 딥 러닝: 사전훈련 227
6.4.1 제약 볼츠만 머신을 이용한 사전훈련을 적용한 딥 뉴럴넷 ― 은닉 마르코프 모형 227
6.4.2 잡음제거 자기부호화기를 이용한 사전훈련 230
6.4.3 식별적 사전훈련 232
6.5 음향 모형을 위한 딥 러닝: 학습과 모형의 진전 233
6.5.1 연속열 식별학습 233
6.5.2 순환결합 신경망을 이용한 음향 모형 238
6.5.3 장단기 기억 241
6.5.4 멀티스트림/멀티태스크 학습 245
6.6 언어 모형에 대한 딥 러닝 246
6.6.1 회귀 결합 신경망을 이용한 언어 모형 247
6.7 정리 249
참고 문헌 250

CHAPTER 7 자연어 처리를 위한 딥 러닝_253
7.1 시작하며 253
7.2 딥 러닝과 언어 모형 256
7.2.1 신경망 언어 모형 257
7.2.2 그 외의 언어 모형 260
7.3 단어 의미표현에 대한 학습 262
7.3.1 상향식 의미표현 구축 기법 262
7.3.2 하향식 의미표현 예측 기법 263
7.3.3 계층형 소프트맥스를 이용한 계산 268
7.3.4 의미표현학습 기법과 그 외의 주제 270
7.4 딥 러닝과 의미 구축 273
7.4.1 패러프레이즈 표현 인식에 대한 응용 274
7.5 정리 279
참고 문헌 280

이 책은 다양한 딥 러닝 기법을 소개하는 책이다. 하지만 그 전에 먼저 딥 러닝 대 그 외의 기법, 그리고 결정적 대 확률적 모형의 두 가지 관점에서 이들 모형의 관계를 밝히는 방법으로 딥 러닝의 큰 그림을 보여 주고자 한다. 그러고 나서 결정적 및 확률적 모형으로 나누어 각각의 기법을 간단히 소개한다.

이렇듯 오차역전파 학습으로 관측 데이터로부터 과업에 적합한 내부 표현을 학습하여 얻을 수 있다는 것을 증명함으로써 계층형 신경망이 문자 인식, 음운 인식, 각종 신호 처리 등 다양한 과업에 대해 응용이 시도되었다. 예를 들면, 필기 인식이나 한자 인식과 같은 과업에서는 이미지로부터 특징을 추출하는 대신 이미지의 픽셀값을 그대로 신경망에 입력한 경우에도 사람이 설계한 특징을 입력했을 때와 거의 동등한 인식 성능을 얻을 수 있음을 보였다.

사전훈련이 끝났다면 그 결과를 초깃값으로 삼아 전체 DBM에 대한 근사적 최대우도추정을 통해 파라미터 값을 미세조정한다. 물론 계산부하 문제가 있으므로 응용에서는 2.6.1항에서 소개했던 깁스 샘플링과 2.6.2장에서 다룬 평균장 근사를 사용하여 근사적인 방법으로 학습을 하게 된다. 이번 항에서는 사전훈련이 끝난 뒤의 최대우도추정 방법에 대해 설명한다.