단단한 머신러닝

CHAPTER 01 서론 1
1.1 들어가며 1
1.2 머신러닝의 기본 용어 2
1.3 가설 공간 5
1.4 귀납적 편향 8
1.5 발전 과정 13
1.6 응용 현황 18
1.7 더 읽을거리 22
연습문제 25
참고문헌 26
머신러닝 쉼터 28

CHAPTER 02 모델 평가 및 선택 29
2.1 경험 오차 및 과적합 29
2.2 평가 방법 31
2.3 모델 성능 측정 37
2.4 비교 검증 47
2.5 편향과 분산 57
2.6 더 읽을거리 59
연습문제 61
참고문헌 62
머신러닝 쉼터 64

CHAPTER 03 선형 모델 65
3.1 기본 형식 65
3.2 선형 회귀 66
3.3 로지스틱 회귀 70
3.4 선형 판별분석 73
3.5 다중 분류 학습 77
3.6 클래스 불균형 문제 80
3.7 더 읽을거리 83
연습문제 85
참고문헌 86
머신러닝 쉼터 88

CHAPTER 04 의사결정 트리 89
4.1 기본 프로세스 89
4.2 분할 선택 92
4.3 가지치기 98
4.4 연속값과 결측값 103
4.5 다변량 의사결정 트리 110
4.6 더 읽을거리 113
연습문제 115
참고문헌 117
머신러닝 쉼터 118

CHAPTER 05 신경망 119
5.1 뉴런 모델 119
5.2 퍼셉트론과 다층 네트워크 121
5.3 오차 역전파 알고리즘 124
5.4 글로벌 미니멈과 로컬 미니멈 130
5.5 기타 신경망 133
5.6 딥러닝 139
5.7 더 읽을거리 142
연습문제 144
참고문헌 145
머신러닝 쉼터 148

CHAPTER 06 서포트 벡터 머신 149
6.1 마진과 서포트 벡터 149
6.2 쌍대문제 151
6.3 커널 함수 155
6.4 소프트 마진과 정규화 158
6.5 서포터 벡터 회귀 163
6.6 커널 기법 167
6.7 더 읽을거리 170
연습문제 172
참고문헌 173
머신러닝 쉼터 175

CHAPTER 07 베이지안 분류기 177
7.1 베이지안 결정 이론 177
7.2 최대 우도 추정 179
7.3 나이브 베이즈 분류기 181
7.4 세미 나이브 베이즈 분류기 186
7.5 베이지안 네트워크 188
7.6 EM 알고리즘 195
7.7 더 읽을거리 197
연습문제 199
참고문헌 200
머신러닝 쉼터 202

CHAPTER 08 앙상블 학습 203
8.1 객체와 앙상블 203
8.2 부스팅 206
8.3 배깅과 랜덤 포레스트 211
8.4 결합 전략 215
8.5 다양성 221
8.6 더 읽을거리 227
연습문제 229
참고문헌 231
머신러닝 쉼터 234

CHAPTER 09 클러스터링 235
9.1 클러스터링 학습 문제 235
9.2 성능 척도 236
9.3 거리 계산법 238
9.4 프로토타입 클러스터링 241
9.5 밀도 클러스터링 252
9.6 계층 클러스터링 255
9.7 더 읽을거리 259
연습문제 262
참고문헌 264
머신러닝 쉼터 266

CHAPTER 10 차원 축소와 척도 학습 267
10.1 k-최근접 이웃 기법 267
10.2 임베딩 269
10.3 주성분 분석 273
10.4 커널 선형 차원 축소 275
10.5 매니폴드 학습 278
10.6 척도 학습 282
10.7 더 읽을거리 285
연습문제 287
참고문헌 288
머신러닝 쉼터 290

CHAPTER 11 특성 선택과 희소 학습 291
11.1 부분집합 탐색과 평가 291
11.2 필터식 선택 294
11.3 포괄식 선택 296
11.4 임베딩식 선택과 L1 정규화 298
11.5 희소 표현과 사전 학습 301
11.6 압축 센싱 304
11.7 더 읽을거리 308
연습문제 310
참고문헌 311
머신러닝 쉼터 314

CHAPTER 12 계산 학습 이론 315
12.1 기초 지식 315
12.2 PAC 학습 317
12.3 유한 가설 공간 319
12.4 VC 차원 323
12.5 라데마허 복잡도 329
12.6 안정성 335
12.7 더 읽을거리 339
연습문제 341
참고문헌 342
머신러닝 쉼터 343

CHAPTER 13 준지도 학습 345
13.1 언레이블된 데이터 345
13.2 생성적 방법 348
13.3 준지도 SVM 352
13.4 그래프 준지도 학습 355
13.5 불일치에 기반한 방법 359
13.6 준지도 클러스터링 363
13.7 더 읽을거리 368
연습문제 370
참고문헌 372
머신러닝 쉼터 374

CHAPTER 14 확률 그래피컬 모델 375
14.1 은닉 마르코프 모델 375
14.2 마르코프 랜덤 필드 379
14.3 조건 랜덤 필드 383
14.4 학습과 추론 386
14.5 근사추론 390
14.6 토픽 모델 397
14.7 더 읽을거리 400
연습문제 403
참고문헌 404
머신러닝 쉼터 406

CHAPTER 15 규칙 학습 407
15.1 기본 개념 407
15.2 순차적 커버링 410
15.3 가지치기 최적화 414
15.4 일차 규칙 학습 416
15.5 귀납 논리 프로그래밍 420
15.6 더 읽을거리 428
연습문제 431
참고문헌 432
머신러닝 쉼터 434

CHAPTER 16 강화 학습 435
16.1 과업과 보상 435
16.2 K-암드 밴딧 438
16.3 모델 기반 학습 443
16.4 모델-프리 학습 450
16.5 가치 함수 근사 457
16.6 이미테이션 러닝 460
16.7 더 읽을거리 462
연습문제 464
참고문헌 465
머신러닝 쉼터 467

APPENDIX A 행렬 469
A.1 기본 연산 469
A.2 도함수 470
A.3 특잇값 분해 472

APPENDIX B 최적화 474
B.1 라그랑주 승수법 474
B.2 이차 프로그래밍 477
B.3 반정형 프로그래밍 478
B.4 경사하강법 479
B.5 좌표하강법 480

APPENDIX C 확률 분포 482
C.1 자주 사용하는 확률 분포 482
C.2 켤레 분포 487
C.3 KL 발산 488

에필로그 489
찾아보기 494

이 책은 머신러닝 교과서입니다. 최대한 많은 독자에게 머신러닝을 소개하고 싶은 마음에 수학적 지식의 사용은 최대한 배제하려 노력했습니다. 하지만 최소한의 확률, 통계, 대수, 최적화, 논리 관련 수학 이론은 포함되어 있습니다. 따라서 대학교 4학년 이상의 이공계열 학생이나 대학원생, 그리고 비슷한 배경을 가진 머신러닝에 관심 있는 독자들께 적합할 것 같습니다. 독자들의 편의를 위해 책 말미에는 수학 기초 지식에 관한 간략한 소개도 함께 다루고 있습니다.
_ 머리말 중에서

과적합을 일으키는 원인은 다양합니다. 그중에서도 학습능력이 너무 뛰어나 훈련 데이터들이 가진 일반적이지 않은 특성까지 학습하는 경우가 가장 흔한 원인입니다. 반대로, 과소적합은 일반적으로 학습능력이 좋지 못해서인 경우가 많습니다. 과소적합은 극복하기 쉽습니다.

실질적으로 정보 이득 규칙은 취할 수 있는 값의 수가 비교적 많은 속성에 유리하게 작용합니다. 이런 편향은 모델에 좋지 못한 영향을 끼칠 수 있습니다. 그래서 유명한 C4.5 의사결정 트리 방법[Quinlan, 1993]은 정보 이득을 사용하는 대신 이득율(gain ratio)이라는 방법을 사용하여 최적의 분할 속성을 선택했습니다. 식 4.2와 동일한 부호로 나타낸다면, 이득율은 다음과 같이 정의할 수 있습니다.