딥러닝을 위한 수학

지은이·감수자·옮긴이 소개 x
옮긴이 머리말 xi
베타리더 후기 xiii
추천사 xv
감사의 글 xviii
이 책에 대하여 xix

CHAPTER 1 실습 환경 설정 1
1.1 도구 모음 설치 2
1.1.1 리눅스 2 / 1.1.2 macOS 3 / 1.1.3 Windows 4
1.2 NumPy 5
1.2.1 배열 정의 6 / 1.2.2 데이터 형식 7 / 1.2.3 2차원 배열 8
1.2.4 0 배열과 1 배열 8 / 1.2.5 고급 색인 접근 9 / 1.2.6 디스크 읽기/쓰기 12
1.3 SciPy 12
1.4 Matplotlib 14
1.5 Scikit-Learn 16
1.6 요약 18

CHAPTER 2 확률 1부 19
2.1 기본 개념들 20
2.1.1 표본 공간과 사건 20 / 2.1.2 확률 변수 21 / 2.1.3 인간은 확률에 약하다 22
2.2 확률의 법칙들 24
2.2.1 단일 사건의 확률 24 / 2.2.2 합의 법칙 27 / 2.2.3 곱의 법칙 28
2.2.4 합의 법칙 보충 29 / 2.2.5 생일 역설 30 / 2.2.6 조건부 확률 34
2.2.7 전체 확률 35
2.3 결합 확률과 주변 확률 36
2.3.1 결합 확률표 37 / 2.3.2 확률의 연쇄법칙 42
2.4 요약 45
CHAPTER 3 확률 2부 47
3.1 확률 분포 47
3.1.1 히스토그램과 확률 48 / 3.1.2 이산 확률 분포 52 / 3.1.3 연속 확률 분포 58
3.1.4 중심 극한 정리 62 / 3.1.5 큰 수의 법칙 64
3.2 베이즈 정리 66
3.2.1 다시 살펴보는 암 진단 예제 67 / 3.2.2 사전 확률의 갱신 68
3.2.3 기계학습의 베이즈 정리 70
3.3 요약 73

CHAPTER 4 통계 75
4.1 데이터의 종류 76
4.1.1 명목형 자료 76 / 4.1.2 순서형 자료 76 / 4.1.3 구간 자료 76
4.1.4 비율 자료 77 / 4.1.5 명목형 자료와 심층학습 78
4.2 요약 통계량 78
4.2.1 평균과 중앙값 79 / 4.2.2 변동의 측도 83
4.3 분위수와 상자 그림 87
4.4 결측 자료 92
4.5 상관관계 96
4.5.1 피어슨 상관계수 96 / 4.5.2 스피어먼 상관계수 100
4.6 가설 검정 103
4.6.1 가설 104 / 4.6.2 t-검정 105 / 4.6.3 맨-휘트니 U 검정 111
4.7 요약 113

CHAPTER 5 선형대수 1부 115
5.1 스칼라, 벡터, 행렬, 텐서 116
5.1.1 스칼라 116 / 5.1.2 벡터 116 / 5.1.3 행렬 118 / 5.1.4 텐서 119
5.2 텐서 산술 연산 122
5.2.1 배열 연산 122 / 5.2.2 벡터 연산 124
5.2.3 행렬 곱셈 134 / 5.2.4 크로네커 곱 140
5.3 요약 141

CHAPTER 6 선형대수 2부 143
6.1 정방행렬 144
6.1.1 왜 정방행렬인가? 144 / 6.1.2 전치, 대각합, 거듭제곱 146
6.1.3 특별한 정방행렬들 148 / 6.1.4 단위행렬 149 / 6.1.5 행렬식 151
6.1.6 역행렬 155 / 6.1.7 대칭행렬, 직교행렬, 유니터리 행렬 157
6.1.8 대칭행렬의 정부호성 158
6.2 고윳값과 고유벡터 159
6.2.1 고윳값과 고유벡터 구하기 160
6.3 벡터 노름과 거리 함수 164
6.3.1 L-노름과 거리 함수 164 / 6.3.2 공분산 행렬 166
6.3.3 마할라노비스 거리 169 / 6.3.4 쿨백-라이블러 발산값 172
6.4 주성분 분석 174
6.5 특잇값 분해와 유사 역행렬 178
6.5.1 특잇값 분해 예제 179 / 6.5.2 두 가지 용도 181
6.6 요약 183

CHAPTER 7 미분 185
7.1 기울기(슬로프) 186
7.2 도함수 188
7.2.1 도함수의 공식적인 정의 188 / 7.2.2 기본 미분법 190
7.2.3 삼각함수 미분법 195 / 7.2.4 지수함수와 로그함수의 미분법 198
7.3 함수의 극솟값과 극댓값 201
7.4 편미분 205
7.4.1 혼합 편미분 207 / 7.4.2 편미분 연쇄법칙 208
7.5 기울기(그래디언트) 210
7.5.1 기울기 계산 210 / 7.5.2 기울기의 시각화 213
7.6 요약 216

CHAPTER 8 행렬 미분 217
8.1 공식들 218
8.1.1 스칼라 인수 벡터 함수 219 / 8.1.2 벡터 인수 스칼라 함수 221
8.1.3 벡터 인수 벡터 함수 221 / 8.1.4 스칼라 인수 행렬 함수 222
8.1.5 행렬 인수 스칼라 함수 223
8.2 항등식 224
8.2.1 벡터 인수 스칼라 함수 관련 항등식 224
8.2.2 스칼라 인수 벡터 함수 관련 항등식 226
8.2.3 벡터 인수 벡터 함수 관련 항등식 227
8.2.4 행렬 인수 스칼라 함수 관련 항등식 228
8.3 야코비 행렬과 헤세 행렬 230
8.3.1 야코비 행렬 231 / 8.3.2 헤세 행렬 238
8.4 행렬 미분 예제 몇 가지 245
8.4.1 성분별 연산의 도함수 245 / 8.4.2 활성화 함수의 도함수 246
8.5 요약 248

CHAPTER 9 신경망의 데이터 흐름 249
9.1 데이터 표현 250
9.1.1 전통적인 신경망 250 / 9.1.2 심층 합성곱 신경망 251
9.2 전통적인 신경망의 데이터 흐름 254
9.3 합성곱 신경망의 데이터 흐름 259
9.3.1 합성곱 259 / 9.3.2 합성곱 층 265 / 9.3.3 풀링 층 268
9.3.4 완전 연결층 269 / 9.3.5 합성곱 신경망의 데이터 흐름 269
9.4 요약 272

CHAPTER 10 역전파 275
10.1 역전파란 무엇인가? 276
10.2 직접 계산해 보는 역전파 277
10.2.1 편미분 유도 279 / 10.2.2 파이썬 구현 281
10.2.3 신경망 모형의 훈련과 시험 286
10.3 완전 연결 신경망의 역전파 288
10.3.1 오차의 역전파 288 / 10.3.2 가중치와 치우침 값의 편미분 계산 292
10.3.3 파이썬 구현 294 / 10.3.4 구현 적용 299
10.4 계산 그래프 302
10.5 요약 305

CHAPTER 11 경사하강법 307
11.1 기본 개념 308
11.1.1 1차원 경사하강법 308 / 11.1.2 2차원 경사하강법 312
11.2 확률적 경사하강법 318
11.3 운동량 321
11.3.1 운동량이란? 321 / 11.3.2 운동량을 도입한 1차원 경사하강법 323
11.3.3 운동량을 도입한 2차원 경사하강법 325
11.3.4 운동량을 이용한 신경망 학습 326 / 11.3.5 네스테로프 운동량 333
11.4 적응적 경사하강법 336
11.4.1 RMSprop 336 / 11.4.2 AdaGrad와 ADADELTA 337
11.4.3 Adam 338 / 11.4.4 최적화 기법에 관한 몇 가지 생각 340
11.5 요약 341
11.6 맺음말 342

부록: 더 나아가기 343
확률과 통계 343
선형대수 344
미적분 345
심층학습 345

찾아보기 348

이것이 확률에 대한 베이즈식 접근 방식 또는 '베이즈 확률론'의 핵심인 베이즈 정리(Bayes' theorem)이자, 두 조건부 확률 P(B|A)와 P(A|B)를 제대로 비교하는 방법이다. 식 3.1을 베이즈 법칙(Bayes' rule)이라고 부르는 경우도 많다. 또한, 영어의 경우 어포스트로피를 생략해서 'Bayes theorem'이라고 표기하기도 한다. 다소 엉성하고 문법에도 맞지 않지만, 이런 표기를 흔히 볼 수 있다.
식 3.1을 신성시해서 네온등이나 문신에 사용하기도 하고, 심지어 아기 이름을 '베이즈'로 붙이는 부모도 있다. 이 정리는 영국 총리이자 통계학자였던 토머스 베이즈Thomas Bayes(1701-1761)의 이름을 딴 것이다.

선형대수학은 일차방정식(linear equation), 즉 변수의 가장 높은 차수가 1인 방정식에 관한 것이다. 그러나 이 책의 목적에서 선형대수(linear algebra)는 벡터나 행렬 같은 다차원 수학객체들과 그런 객체들에 대한 연산을 포괄하는 용어이다. 일반적으로 심층학습에 적용되는 선형대수가 바로 그런 형태이다.
심층학습 알고리즘을 구현하는 프로그램은 데이터를 벡터나 행렬 같은 객체들로 취급해서 선형대수를 적용한다. 글자 그대로의 선형대수가 아니라 실제 응용의 관점에서 본 선형대수를 다루다 보면 멋진 수학 개념을 상당히 많이 생략하게 되지만, 이 책의 목표는 수학 자체가 아니라 심층학습에 적용되는 수학을 이해하는 것이므로, 이렇게 해도 큰 죄는 아닐 것이다.