딥다 딥러닝

서문 _ 딥러닝은 사실 쉽지 않습니다

1부 _ 딥러닝을 써먹는 방법
__질병 패턴의 예측 : 패턴의 생성과 예측
__Word2Vec과 미술관 옆 동물원 : 단어 사이의 거리개념 표현하기
__상담 데이터 분류 ; 분류를 어떻게 접근할까?
__자동응답 챗봇 만들기 : 어떤 대답을 하도록 만들까?
__화재감지 시스템 : 온도를 어떻게 정의하지?
__백화점 매출 예측 : 매출을 꼭 숫자로만 표현해야 하나?
__가요 작곡가의 탄생 : 음표를 자동으로 생성하는 방법은?
__추천 시스템 유사도 함수 : 어떤 고객과 상품들이 서로 가까울까?
__마이너리티 리포트 : 미래를 예언한다는 것

2부 _ 딥러닝 수학 정면돌파
__경사하강법(Gradient Descent)
____기울기
____경사하강법

__오류 역전파(Error Back Propagation)
____오류 역전파
____행렬 편미분, 텐서, 야코비안
____데이터 구조와 시스템 구현의 문제

__MCMC와 미니배치
____SGD, batch, mini-batch
____MCMC(마르코프 연쇄 몬테카를로)

__활성화 함수와 교차 엔트로피
____활성화 함수
____소프트맥스와 교차 엔트로피

__오버피팅 개선
____가중치 감쇠
____드롭아웃

__학습효과 향상
____학습 데이터의 확장
____가중치 초기화
____하이퍼 파라미터 설정
____헤세 테크닉과 모멘텀
____네스테로프 모멘텀과 학습속도 조절

__자기부호화기(Auto Encoder)
____자기부호화기와 화장실 거울
____백색화
____사전훈련
____희소 자기부호화기
____디노이징 자기부호화기
____올리비아 핫세의 사진
____데이터 압축과 복구 그리고 주성분 분석과 비교
____SDA(Stacked Denoising Autoencoder) 만들기

3부 _ 딥러닝 이론 딥다 파기
__FNN(Feed forward Neural Network)
____개념의 시작
____우편번호 인식

__CNN(Convolutional Neural Network)
____신경세포
____콘볼루션
____CNN에서 역전파
____필기체 인식
____컬러 이미지

__RBM(Restricted Boltzmann Machine)
____데이터의 확률분포 모델
____RBM에서 θ구하기
____RBM 학습
____간단한 실험

__RNN(Recurrent Neural Network)
____노래 가사
____BPTT - 직관적인 설명
____BPTT - 수학적인 이해
____RNN 코딩의 구현
____문장의 자동생성

__LSTM과 GRU
____더 인간에 가깝게
____구체적인 그림
____LSTM에서의 역전파
____그러니까 GRU
____구현과 실행
____Adaptive learning rate method - Adagrad, RMSprop, Adam
____소스분석

__DBN(Deep Belief Network)
____딥 빌리프 네트워크의 이해
____생성 모델과 판별 모델
____SBN 로그우도의 lower bound
____DBN에서의 로그우도의 lower bound
____Fine Tuning

__Class-RBM
____논문으로 만나는 Class-RBM
____Class-RBM에서의 로그우도
____Discriminative RBM

__Deep RL
____강화학습 개요
____마르코프 의사결정 프로세스(MDP)
____벨만 기대방정식과 Q함수
____동적 프로그래밍
____몬테카를로 방법
____시간차 예측방법(TD)
____살사(SARSA)와 Q러닝
____Deep SARSA
____몬테카를로 정책 그래디언트
____DQN
____A2C(Advantage Actor-Critic)
____A3C(Asynchronous Advantage Actor-Critic)
____볼츠만 선택

__GAN
____Generative Adversarial Nets
____GAN의 기본적인 공식
____Entropy와 JSD
____GAN의 최적화 방법
____최적해의 컨버전스 가능성

맺음말 _ 미래는 딥러닝에서 시작된다