Deep Learning

1부. Deep Learning Framework 기초
1장. Numpy, Tensorflow, Pytorch로 시작하기
- 1.1 Numpy Array
- 1.2 Tensorflow 기초
- 1.3 Pytorch 기초
- 1.4 Pandas
- 1.5 Google Colaboratory에서 실습 환경 구축

2부. 회귀분석과 딥러닝
2장. 회귀분석
- 2.1 머신러닝과 회귀분석
- 2.2 회귀분석 모델의 행렬 표현
- 2.3 미분과 역전파
- 2.4 선형회귀 모델 구현

3장. Deep Learning
- 3.1 문제 해결과 가상 데이터
- 3.2 Feature Engineering 기법
- 3.3 딥러닝으로 해결하기
- 3.4 2-Layer 모델의 역전파
- 3.5 연쇄 법칙, 행렬곱 역전파 예시
- 3.6 Layer Weight 초기화
- 3.7 Overfitting 방지 기법들
- 3.8 Activation Function

3부. Framework 활용과 모델 구현
4장. 모델 & 데이터
- 4.1 데이터 불러오기
- 4.2 MNIST 분류 모델
- 4.3 사용자 정의 모델(User Defined Model)
- 4.4 데이터 불러오기 심화 - Tensorflow
- 4.5 데이터 불러오기 심화 - Pytorch
- 4.6 모델 저장하기 - 212
- 4.7 Learning Rate Scheduler

5장. Tensorflow Custom Training
- 5.1 사용자 정의 Callback Class
- 5.2 Custom Metric Function
- 5.3 train_step/test_step 재정의
- 5.4 Scratch Training: for loop로 밑바닥부터 training
- 5.5 사용자 정의 Loss Function & tf.function decorator

6장. CNN
- 6.1 Sobel Operator
- 6.2 Convolution
- 6.3 Transposed Convolution
- 6.4 Generative Adversarial Networks

7장. Image Model
- 7.1 MNIST 이미지 분류
- 7.2 Image Data Augmentation
- 7.3 CNN 이미지 모델
- 7.4 Pre-trained Image Model
- 7.5 Image Transfer Learning

8장. RNN & NLP
- 8.1 단어 Embedding
- 8.2 RNN
- 8.3 RNN API
- 8.4 Sentiment Analysis
- 8.5 Seq2Seq Model
- 8.6 날짜 형식 변환 모델 - Tensorflow
- 8.7 날짜 형식 변환 모델 - Pytorch
- 8.8 Transformer - 496
- 8.9 Transformer Tensorflow 구현
- 8.10 Transformer Pytorch 구현
- 8.11 Hugging Face Transformers - BERT
- 8.12 Hugging Face Transformers - ELECTRA

9장. Audio
- 9.1 Audio Data 다루기
- 9.2 Audio Feature & Librosa API
- 9.3 음악 장르 분류
- 9.4 Torchaudio
- 9.5 Speech Command 분류
- 9.6 Tensorflow Audio 처리
- 9.7 Speaker Recognition

부록
- A.1 단순 회귀 모형
- A.2 행렬 미분
- A.3 Gradient Vanishing & Exploding
- A.4 지수가중 이동평균(Exponentially Weighted Moving Average)
- A.5 Optimizer