뉴럴 모델을 이용한 자연어 처리

들어가며

Part 1. 뉴럴 모델의 기초 - 신경망

Chapter 1. 신경망의 기본 구조와 학습 과정
1.1 신경망이란?
1.2 활성화 함수와 출력층
1.3 학습 과정

Chapter 2. 텍스트 처리에서의 CNN과 RNN
2.1 합성곱 신경망
2.2 순환 신경망

Part 2. 텍스트 표현 (Text Representation)

Chapter 3. 단어 수준의 텍스트 표현 - Word2vec
3.1 자연어를 컴퓨터에게 이해시키기
3.2 Word2vec
3.3 Word2vec의 속도 개선 및 평가

Chapter 4. 문장 수준의 텍스트 표현 - Doc2vec
4.1 Doc2vec
4.2 Doc2vec의 평가

Chapter 5. 하위 단어 수준의 텍스트 표현 - FastText
5.1 하위 단어 임베딩이란?
5.2 FastText

Chapter 6. FastText를 이용한 한국어 텍스트 표현
6.1 한국어 FastText [1]

Part 3. 텍스트 처리 (Text Processing)

Chapter 7. 텍스트 분류
7.1 텍스트 분류란?
7.2 CNN을 이용한 텍스트 분류
7.3 RNN을 이용한 텍스트 분류

Chapter 8. 기계 번역
8.1 기계 번역이란?
8.2 LSTM을 활용한 기계 번역
8.3 Seq2seq을 이용한 기계 번역

Chapter 9. 질의응답
9.1 질의응답이란?
9.2 GRU
9.3 기계 독해

Chapter 10. 자연어 추론
10.1 자연어 추론이란?
10.2 Bidirectional LSTM을 이용한 자연어 추론
10.3 다양한 자연어 추론 모델

Chapter 11. 언어 모델링
11.1 언어 모델링이란?
11.2 RNN을 활용한 언어 모델링

Chapter 12. 한국어 텍스트 처리를 위한 데이터셋
12.1 한국어 텍스트 분류를 위한 데이터셋
12.2 한국어 기계 번역을 위한 데이터셋
12.3 한국어 질의응답을 위한 데이터셋
12.4 한국어 언어 모델링을 위한 데이터셋

Part 4. 최신 연구 동향

Chapter 13. 어텐션 메커니즘
13.1 어텐션 메커니즘의 등장
13.2 seq2seq에 적용한 어텐션 메커니즘

Chapter 14. Transformer
14.1 Transformer의 등장
14.2 Transformer 기반 기계 번역

Chapter 15. BERT
15.1 ELMo, ULMFiT
15.2 OpenAI GPT, OpenAI GPT-2
15.3 BERT
15.4 최신 자연어 처리 모델들

Chapter 16. BERT를 이용한 한국어 처리
16.1 한국어 BERT 학습 [1]
16.2 사전 학습된 한국어 BERT