책 이미지
책 정보
· 분류 : 국내도서 > 컴퓨터/모바일 > 컴퓨터 공학 > 자료구조/알고리즘
· ISBN : 9791185890593
· 쪽수 : 220쪽
· 출판일 : 2016-10-10
책 소개
목차
1장 시작하며 _ 1
1.1 신경망 연구의 역사 3
1.1.1 다층 신경망에 대한 기대와 실망 3
1.1.2 다층 신경망의 사전훈련 4
1.1.3 자질에 대한 학습 6
1.1.4 딥 러닝의 융성 7
1.2 이 책의 구성 9
2장 앞먹임 신경망 _ 11
2.1 유닛의 출력 13
2.2 활성화 함수 15
2.3 다층 신경망 18
2.4 출력층의 설계와 오차함수 21
2.4.1 학습의 얼개 21
2.4.2 회귀 22
2.4.3 이진 분류 23
2.4.4 다클래스 분류 25
3장 확률적 경사 하강법 _ 29
3.1 경사 하강법 31
3.2 확률적 경사 하강법 33
3.3 ‘미니배치’의 이용 35
3.4 일반화 성능과 과적합 36
3.5 과적합을 완화시키는 방법 38
3.5.1 규제화 38
3.5.2 가중치 감쇠 39
3.5.3 드롭아웃 40
3.6 학습을 위한 트릭 43
3.6.1 데이터 정규화 43
3.6.2 데이터 확장 45
3.6.3 여러 신경망의 평균 45
3.6.4 학습률의 결정 방법 46
3.6.5 모멘텀 48
3.6.6 가중치의 초기화 49
3.6.7 샘플의 순서 50
4장 역전파법 _ 53
4.1 기울기 계산의 어려움 55
4.2 2층으로 구성된 신경망의 계산 57
4.3 다층 신경망으로 일반화 60
4.4 경사 하강법의 전체 알고리즘 63
4.4.1 출력층의 델타 63
4.4.2 순전파와 역전파의 행렬 계산 65
4.4.3 기울기의 차분근사 계산 67
4.5 기울기 소실 문제 68
5장 자기부호하기 _ 71
5.1 개요 73
5.2 자기부호화기의 설계 74
5.2.1 출력층의 활성화 함수와 오차함수 74
5.2.2 가중치 공유 75
5.3 자기부호화기의 동작 76
5.3.1 데이터를 나타내는 특징을 학습 76
5.3.2 주성분 분석과의 관계 78
5.4 희소 규제화 80
5.4.1 데이터의 과완비한 표현 80
5.4.2 최적화 83
5.4.3 희소 규제화의 효과 85
5.5 데이터의 백색화 87
5.6 딥 뉴럴넷의 사전훈련 92
5.7 그 외의 자기부호화기 94
5.7.1 심층 자기부호화기 94
5.7.2 디노이징 자기부호화기 95
6장 합성곱 tlsruda아 _ 99
6.1 단순 세포와 복잡 세포 101
6.2 전체적인 구조 104
6.3 합성곱 105
6.3.1 정의 105
6.3.2 합성곱의 작용 106
6.3.3 패딩 107
6.3.4 스트라이드 108
6.4 합성곱층 109
6.5 풀링층 112
6.6 정규화층 115
6.6.1 국소 콘트라스트 정규화 115
6.6.2 단일 채널 이미지의 정규화 116
6.6.3 다채널 이미지의 정규화 118
6.7 기울기의 계산 119
6.8 실제 예: 물체 유형 인식 121
7장 재귀 신경망 _ 135
7.1 연속열 데이터의 분류 137
7.2 RNN의 구조 139
7.3 순전파 계산 142
7.4 역전파 계산 144
7.5 장·단기기억 147
7.5.1 RNN의 기울기 소실 문제 147
7.5.2 LSTM의 개요 148
7.5.3 순전파 계산 149
7.5.4 역전파 계산 151
7.6 입력과 출력의 연속열 길이가 다른 경우 153
7.6.1 은닉 마르코프 모델 153
7.6.2 커넥셔니스트 시계열 분류 154
8장 볼츠만 머신 _ 161
8.1 데이터의 생성 모델 163
8.2 볼츠만 머신 164
8.2.1 확률적 구조 164
8.2.2 학습 166
8.3 깁스 샘플링 168
8.4 은닉 변수를 갖는 볼츠만 머신 170
8.4.1 확률적 구조 170
8.4.2 학습 171
8.5 제약 볼츠만 머신 173
8.5.1 확률적 구조 173
8.5.2 조건부 분포 174
8.5.3 RBM과 자기부호화기 175
8.6 RBM의 학습 176
8.6.1 깁스 샘플링을 사용한 기울기 계산 176
8.6.2 대조적 발산(CD) 178
8.6.3 CD의 실제 적용 180
8.6.4 지속적 CD 182
8.7 그 외의 유닛 183
8.7.1 가우시안 유닛 183
8.7.2 ReLU 184
8.8 딥 빌리프 네트워크 186
8.9 딥 볼츠만 머신 188
8.10 성능 비교 191
참고문헌 194
찾아보기 199
리뷰
책속에서
앞먹임 신경망(feedforward neural network)*은 층 모양으로 늘어선 유닛이 인접한 층(layer)들과만 결합하는 구조를 가지며, 정보가 입력 측으로부터 출력 측으로 한 방향으로만 흐르는 신경망이다. 문헌에 따라서는 다층 퍼셉트론(multi-layer perceptron)이라 부르기도 한다.
앞먹임 신경망의 지도 학습법을 딥 러닝에서 특히 자주 쓰이는 방법인 확률적 경사 하강법에 초점을 맞추어 설명하겠다. 기본적인 알고리즘에 대하여 다루고, 딥 뉴럴넷을 학습시키는 데 가장 큰 걸림돌이 되는 과적합(overfitting)을 설명하고, 이를 완화시키는 방법을 알아보자. 더불어, 학습을 더 잘 진행시킬 수 있도록 하는 노하우를 몇 가지 소개한다.
