자연어처리 바이블

PART I 자연어처리의 기본

CHAPTER 1 자연어처리의 기본 3
1.1 자연어처리란 3
1.2 자연어처리의 응용 분야 6
1.3 자연어처리는 왜 어려운가? 8
1.4 자연어처리 연구의 패러다임 11
1.5 딥러닝을 사용하는 자연어처리 연구 16
참고문헌 19
CHAPTER 2 자연어 처리를 위한 수학 21
2.1 확률의 기초 21
2.2 MLE와 MAP 28
2.3 정보이론과 엔트로피 31
참고문헌 36
CHAPTER 3 언어학의 기본 원리 37
3.1 언어학 개요 37
3.2 음절, 형태소, 어절 그리고 품사 37
3.3 구구조와 의존구조 45
3.4 의미론과 화용론 47
참고문헌 49
CHAPTER 4 텍스트의 전처리 51
4.1 비정형데이터 내의 오류 51
4.2 텍스트 문서의 변환 53
4.3 띄어쓰기 교정 방법 55
4.4 철자 및 맞춤법 교정 방법 59
참고문헌 62
CHAPTER 5 어휘 분석(Lexical Analysis) 63
5.1 형태소 분석(Morphological Analysis) 63
5.2 품사 태깅 69
5.3 형태소 분석 및 품사 태깅기의 활용 분야 82
참고문헌 83
CHAPTER 6 구문 분석 85
6.1 구문 분석 개요 85
6.2 구구조 구문 분석 88
6.3 의존 구문 분석 95
6.4 구문 분석 접근 방법의 장단점 99
6.5 더 알아보기 100
참고문헌 103
CHAPTER 7 의미 분석 105
7.1 단어와 단어 의미 중의성 105
7.2 단어 의미 중의성 해소 기법(Word Sense Disambiguation) 106
7.3 의미역(Semantic Role) 분석 112
7.4 의미표현 114
참고문헌 118

PART II 다양한 자연어 처리 응용

CHAPTER 8 개체명 인식 (Named Entity Recognition) 123
8.1 개체명 인식(Named Entity Recognition) 소개 123
8.2 개체명 인식이란 124
8.3 NER 시스템 126
8.4 NER 평가 척도 133
8.5 BIO Tagging Scheme 134
8.6 학습 코퍼스 134
참고문헌 138
CHAPTER 9 언어 모델(Language Model) 139
9.1 언어 모델이란? 139
9.2 통계적 언어 모델(Statistical Language Model, SLM) 140
9.3 일반화(Generalization) 150
9.4 모델 평가와 퍼플렉서티(Perplexity) 153
CHAPTER 10 정보추출(Information Extraction) 157
10.1 정보추출이란 157
10.2 정보추출의 학습 방법 158
10.3 정보추출의 접근법 160
10.4 정보추출의 하위 작업 165
참고문헌 168
CHAPTER 11 Question & Answering 171
11.1 질의응답(Question & Answering)이란 171
11.2 정보검색 기반 질의응답(IR based question answering) 172
참고문헌 182
CHAPTER 12 기계 번역 (Machine Translation) 185
12.1 기계 번역이란 185
12.1 규칙기반 기계번역 188
12.3 통계 기반 기계 번역 190
12.4 인공신경망 기계번역 197
12.5 기계번역 하위분야 소개 198
참고문헌 200
CHAPTER 13 자연어 생성 203
13.1 배경 203
13.2 지도 학습 기반 자연어 생성 205
13.3 강화 학습 기반 자연어 생성 209
13.4 적대 학습 기반 자연어 생성 211
13.5 자연어 생성에서의 디코딩 전략 214
13.6 자연어 생성 응용 분야 218
참고문헌 220
CHAPTER 14 대화 시스템(Dialog System) 223
14.1 대화 시스템 개론 223
14.2 대화시스템의 분류 232
14.3 대화 데이터 234
참고문헌 241
CHAPTER 15 문서 요약(Text Summarization) 243
15.1 문서 요약이란 243
15.2 문서 요약 방법 244
15.3 접근법 252
15.4 평가 256
참고문헌 258
CHAPTER 16 텍스트 분류(Text Categorization) 261
16.1 텍스트 분류란? 261
16.2 다양한 텍스트 분류 예시 264
16.3 텍스트 분류 프로세스 267
16.4 텍스트 분류, 군집화 알고리즘 270
16.5 Scikit-Learn 274
16.6 데이터 시각화 275
참고문헌 276

PART III 딥러닝기반의 자연어처리

CHAPTER 17 딥러닝의 소개 281
17.1 딥러닝 개요 281
17.2 딥러닝 모델의 핵심: 자동적인 계층적 자질 표상 습득 283
17.3 딥러닝 시스템 구축을 위한 고려사항: 데이터와 모델 구조 285
17.4 딥러닝 모델의 뼈대: 퍼셉트론 287
17.5 비선형 결정 경계와 활성 함수 289
17.6 딥러닝 모델의 학습 290
참고문헌 291
CHAPTER 18 단어 임베딩 295
18.1 단어 임베딩이란? 295
18.2 분포 가설과 언어 모델링 297
18.3 Word2vec 이전의 단어 임베딩 297
18.4 단어 단위 임베딩: Word2vec, GloVe, FastText 299
18.5 ELMo 이후의 임베딩: 문장 단위 임베딩 301
18.6 한국어의 단어 임베딩과 입력의 최소 단위 305
18.7 최신 연구 동향 306
참고문헌 307
CHAPTER 19 CNN(Convolutional Neural Networks) 311
19.1 CNN 개념 311
19.2 CNN을 이용한 문장 분류 316
참고문헌 321
CHAPTER 20 순환 신경망(Recurrent Neural Networks, RNN) 323
20.1 기본 순환 신경망(Vanilla Recurrent Neural Networks) 323
20.2 응용 순환 신경망(Advanced Recurrent Neural Networks) 327
20.3 순환 신경망 기반 자연어 생성 333
참고문헌 335
CHAPTER 21 딥러닝 기반 한국어 형태소 분석과 품사 태깅 337
21.1 형태소 분석 품사 태깅 개요 337
21.2 KoNLPy 형태소 분석 도구 소개[21-1] 338
21.3 딥러닝 이전의 형태소 분석, 품사 태깅 소개 338
21.4 딥러닝 기반 형태소 분석, 품사 태깅 소개 339
참고문헌 343
CHAPTER 22 딥러닝 기반 한국어 단어의미 분석 345
22.1 한국어 의미역 분석 345
22.2 심층학습 기반 단어 중의성 해소 349
참고문헌 354
CHAPTER 23 딥러닝 기반의 자연어처리 355
23.1 딥러닝 기반 NER 355
23.2 단어 단위의 구조 355
23.3 문자 단위의 구조 356
23.4 단어 + 문자 단위의 구조 357
참고문헌 358
CHAPTER 24 딥러닝 기반의 질의응답(Question Answering) 359
24.1 딥러닝 기반 질의응답(Question Answering) 359
24.2 딥러닝 기반 질의응답(Question Answering) 모델 361
24.3 시각 질의응답(Visual Question Answering, VQA) 364
24.3 상식 질의응답(Commonsense QA) 368
참고문헌 372
CHAPTER 25 딥러닝 기반 기계번역 375
25.1 딥러닝 기반 기계번역의 흐름 375
25.2 Sequence to Sequence 구조와 인코더 디코더 377
25.3 RNN기반 Neural Machine Translation 379
25.4 Attention 기반 NMT 380
25.5 Transformer기반 NMT 383
25.6 Cross Lingual 언어모델 기반 NMT 392
25.7 딥러닝 기반 기계번역의 하위분야 396
참고문헌 402
CHAPTER 26 딥러닝 기반 문장생성 405
26.1 순환 신경망 언어 모델을 이용한 문장 생성 406
26.2 셀프 어텐션 기반 언어 모델을 이용한 문장 생성 409
참고문헌 413
CHAPTER 27 딥러닝 기반 문서 요약(Text Summarization) 415
27.1 딥러닝 기반 문서 요약의 동향 415
27.2 딥러닝 기반의 추상 요약 416
참고문헌 426
CHAPTER 28 딥러닝 기반 대화 시스템 427
28.1 목적 지향 대화 시스템(Task-Oriented Dialogue System) 428
28.2 비목적 지향 대화 시스템(챗봇 시스템) 433
참고문헌 439
CHAPTER 29 딥러닝을 이용한 SNS(Social Network Service) 분석 441
29.1 SNS 441
29.2 SNS 분석 443
29.3 SNS 분석 기법 444
참고문헌 451
CHAPTER 30 응용: 이미지 캡션 생성 453
30.1 이미지 캡션 생성 개요 453
30.2 이미지 캡션 생성 과정 456
30.3 이미지 캡션 생성 모델: Show & Tell 459
30.4 훈련에 따른 성능변화 463
30.4 결론 466
참고문헌 466
CHAPTER 31 가짜뉴스 탐지 467
31.1 가짜뉴스 탐지 개요 467
31.2 가짜뉴스 정의 468
31.3 딥러닝 기반의 가짜뉴스 탐지 발전 방향 469
31.4 딥러닝 기반 가짜뉴스 탐지 향후 과제 475
참고문헌 477
CHAPTER 32 PLM, Transformer 479
32.1 트랜스포머(Transformer) 479
32.2 인코더-디코더 480
32.3 BERT 482
32.4 Transformer 기반 언어모델 485
32.5 사전 학습 모델 488
참고문헌 498
실습 499