텐서플로 케라스를 이용한 딥러닝

[1부] 딥러닝의 기초원리

1장 서론

2장 딥러닝 데이터와 세 가지 기본신경망
2.1 데이터의 사전정리과정
2.2 딥러닝에 사용되는 데이터의 형태
2.3 은닉층 설계를 위한 세 가지 핵심 신경망

3장 손실함수와 최적화
3.1 출력층과 손실함수
3.2 역전파
3.3 최적화 알고리즘

4장 TensorFlow-Keras
4.1 TensorFlow 2의 기초 문법과 tf.keras의 설치
4.2 딥러닝 구축을 위한 3대 API
4.3 최적화를 위한 점검

5장 오차분석, 초모수조절, 그리고 맞춤형 딥러닝 설계
5.1 오차분석
5.2 자료 분할
5.3 초모수 조절
5.4 딥러닝 모형의 성능향상
5.5 맞춤형 딥러닝 설계

[2부] 딥러닝의 기본 응용과 진화과정

6장 CNN의 응용과 이전학습
6.1 사람의 성별을 구분하는 CNN
6.2 이전학습
6.3 Image Generator를 이용한 CNN과 자료증대
6.4 ImageDataGenerator를 이용한 이전학습

7장 RNN을 이용한 Word Embedding과 시계열 분석
7.1 Word2Vec과 Glove
7.2 텍스트 자료에 특화된 Word Embedding
7.3 Word Embedding 사례분석
7.4 RNN 모형의 비교
7.5 다른 형태의 RNN 모형
7.6 딥러닝을 이용한 시계열 자료분석

8장 다중 입출력, 병렬형, 비순환 딥러닝 아키텍처
8.1 다중입력과 다중출력 딥러닝
8.2 비순환형 딥러닝 아키텍처

9장 CNN 아키텍처의 진화과정
9.1 LeNet-5
9.2 AlexNet
9.3 VGGNet
9.4 ResNet
9.5 Inception
9.6 Stem-Learner-Task 아키텍처
9.7 딥러닝의 진화

[3부] 컴퓨터 비전

10장 자율자동차의 이미지분석
10.1 교통표식의 식별
10.2 객체분할
10.3 객체의 의미분할

11장 이미지 객체인식과 위치화
11.1 R-CNN
11.2 Fast R-CNN
11.3 Faster R-CNN
11.4 YOLO_v3

12장 채널 시각화, 딥드림, 그리고 스타일이전
12.1 채널 시각화
12.2 딥드림
12.3 스타일이전

[4부] 자연어처리

13장 머신번역
13.1 자료의 사전정리
13.2 sequence-to-sequence 학습
13.3 머신번역을 위한 Encoder-Decoder 아키텍처
13.4 Attention을 이용한 머신번역

14장 Transformer
14.1 Transformer의 입력층
14.2 Transformer의 은닉층
14.3 Transformer의 적용
14.4 한국어 챗봇

15장 BERT와 GPT
15.1 BERT의 구조
15.2 GPT와 텍스트 생성을 위한 sampling
15.3 서브워드 토큰화

16장 Hugging Face를 이용한 BERT
16.1 BERT의 적용
16.2 NLP 데이터셋 API와 BERT의 적용

17장 BERT 변형
17.1 ALBERT
17.2 RoBERTa
17.3 ELECTRA
17.4 DistilBERT
17.5 M-BERT, XLM, XLM-R

[5부] AutoEncoder와 GAN

18장 AutoEncoder와 Variational AutoEncoder
18.1 AutoEncoder 모형
18.2 오염제거 Autoencoder
18.3 Variational Autoencoder
18.4 조건부 VAE

19장 Generative Adversarial Networks
19.1 DCGAN
19.2 GAN 학습을 위한 손실함수
19.3 WGAN의 구현
19.4 LSGAN의 구현

20장 Cross-Domain GAN
20.1 CycleGAN
20.2 CIFAR10 데이터를 이용한 CycleGAN
20.3 MNIST 데이터와 SVHN 데이터를 이용한 CycleGAN
20.4 모네그림 데이터와 사진데이터를 이용한 CycleGAN

*참고문헌
*찾아보기

머리말

딥러닝은 입력층, 은닉층, 출력층으로 구성되어 있다. 데이터가 입력되는 층을 입력층이라고 하며 입력층의 입력 특성변수는 은닉층에서 고수준 대표성을 가진 특성변수로 만들어진 후, 이 특성변수를 출력층에 입력하여 데이터 분석과제를 실행하게 된다. 딥러닝 모형에서 은닉층을 제거하면 기존의 통계모형과 동일하므로 은닉층만 잘 이해하면 딥러닝 모형은 누구나 쉽게 설계하고 실행할 수 있다. 딥러닝에는 2개 이상의 은닉층이 있으며 은닉층은 앞 은닉층으로부터 입력된 특성변수를 선형결합하고 비선형변환하는 매우 간단한 구조로 되어 있다. 선형결합은 입력된 특성변수 모두를 선형결합하는 완전결합(fully connected)과 일부분만 선형결합하는 부분결합(locally connected)이 있다. 완전결합층으로 구성된 모형을 MLP 모형이라 하고, 시간 차례대로 부분결합하면 RNN 모형, 그리고 공간적(spatially)으로 부분결합하면 CNN 모형이라고 한다. 딥러닝은 이처럼 매우 간단한 아키텍처로 구성되어 있다.
딥러닝 모형에서 은닉층의 역할은 분석과제 성과를 최대로 하기 위한 고수준 대표성 특성변수를 만들어내는 것이므로 은닉층 수가 많을수록, 그리고 특성변수 수가 많을수록 딥러닝 모형의 성능은 향상된다. 이를 딥러닝이 깊고 넓다고 말한다. 그러나 딥러닝 모형이 깊고 넓으면 필연적으로 추정해야 할 모수가 급격하게 증가하여 모수추정 문제와 과대적합(overfit) 문제가 발생할 수밖에 없다. 이 두 가지 문제를 해결하기 위해서는 MLP, RNN, CNN 모형에서 모수 수를 계산할 줄 알아야 하고, 모수를 추정하는 기울기 하강법(gradient descent)과 역전파(backpropagation)의 기본원리에 대한 이해가 선행되어야 한다. 여기까지가 딥러닝의 이론이며 별다른 수학적 지식이 없어도 큰 어려움 없이 이론적 배경을 다질 수 있을 만큼 간단하
고 명료하다.
다음 단계에서는 사용자 친화적 고수준 언어인 tf.keras를 이용하여 MLP, RNN, CNN 모형을 실행해 봄으로써 딥러닝 이론의 이해도를 높이고, 딥러닝 모형을 점차적으로 깊고 넓게 설계하여 모수추정 문제와 과대적합을 직접 경험해 보아야 한다. 데이터를 학습데이터(training data), 검증데이터(validation data), 그리고 시험데이터(test data)로 분할하는 이유와 각 데이터의 역할을 정확하게 이해하기 위해서이다. 이 세 개의 데이터를 통해 variance와 bias를 점검하여 모형의 과소적합(underfit), 과대적합, 그리고 데이터의 질적 평가를 한 후, 각 경우에 따른 해결방안을 모색하여야 한다. 특히, 모형의 성능향상을 위한 초모수 조절 방법도 익숙해져야 한다. 이 단계를 딥러닝의 추론(inference)이라고 말한다.
다음 단계에서는 기존의 딥러닝 모형이 어떻게 진화하고 발전했는지를 stem-learner-task라는 구조 속에서 살펴보아야 한다. stem은 입력층과 초기 은닉층 블록을, learner는 고수준 특성변수를 만드는 중간단계 은닉층 블록을, task는 출력층에 입력되는 최종 은닉층과 출력층 블록을 말한다. 딥러닝 모형을 가능한 한 깊고 넓게 설계하되, 모수수렴 문제가 발생하지 않는 은닉층의 설계방법과 과대적합 문제가 발생하지 않도록 어떻게 모수 수를 줄이는지를 알기 위해서이다.
최종적으로 관심 분야에 따라 컴퓨터 비전, 자연어처리, 데이터 재생 등의 분야를 심층적으로 이해해야 한다. 컴퓨터 비전에서는 Faster R-CNN, YOLO-v3, 스타일 전이, 자연어처리에서는 Transformer, BERT, GPT, 데이터 재생에서는 VAE, CVAE, GAN 등 최신 모형들의 특성과 장단점을 앞에서 습득한 딥러닝 모형의 진화와 발전이라는 관점에서 파악하고 가능하면 개선된 모형도 제시할 수 있어야 한다.
이러한 딥러닝 모형에 대한 지식습득 과정을 반영하기 위해 이 책은 총 5개의 ‘부’로 구성하였으며, 딥러닝의 설계 원리, 모수수렴 문제 및 과대적합 문제 해결 원리, 초모수조절 원리, 딥러닝 성능의 저하를 수반하지 않는 모수 수 감소 원리 등 딥러닝의 원리를 이해시키는 데 중점을 두고 있다. 이를 위해 제1부는 딥러닝의 기초원리, 제2부는 딥러닝의 기본응용과 진화를 전면부에 배치하였다. 제공된 프로그램을 차근차근 실행하면서 머릿속에 딥러닝 구조와 원리를 그려가면 충분히 이해할 수 있을 것이다. 제3부는 컴퓨터 비전, 제4부는 자연어처리, 제5부는 AutoEncoder와 GAN으로, 딥러닝 분야별로 독자의 관심 분야에 따라 선택적으로 심층 학습할 수 있도록 하였다.
이 책에 제공된 프로그램은 tf.keras로 작성되었기 때문에 Jupyter Notebook 또는 클라우드 기반의 Colab에서 실습할 수 있도록 최적화되어 있다. 독자 스스로 프로그램을 이해할 수 있도록 가능한 한 상세한 해설을 하였으며, 필요한 프로그램과 데이터는 자유아카데미 홈페이지 자료실에서 다운로드할 수 있도록 준비하였다. 제2판과 비교하여 이번 제3판의 특징은 딥러닝의 기본원리, 오차분석을 통한 과대적합 및 과소적합의 진단과 해결방안, 그리고 딥러닝 모형의 진화의 관점에서 효율적이고 우수한 성능을 가진 딥러닝의 설계 등에 중점을 두어 개념을 재정립하였으며 첨단 딥러닝 모형을 대폭 추가한 것으로 요약할 수 있다.
이 책에 수록된 수많은 개념도를 그려준 박진세 군에게 감사한 마음을 전하고, 이 책이 나오기까지 묵묵하게 성원해 주고 지원해준 아내와 가족에게 사랑의 마음을 전한다.