텐서플로를 이용한 고급 딥러닝

1장. 수학적 기초
__선형대수학
____벡터
____스칼라
____행렬
____텐서
____행렬 연산 및 조작
____벡터의 일차독립
____행렬의 랭크
____단위 행렬 및 연산자
____행렬식
____역행렬
____벡터의 노름
____의사 역행렬
____특정 벡터 방향의 단위 벡터
____특정 벡터 방향의 프로젝션 벡터
____고유벡터
__미적분학
____미분
____함수의 기울기
____연속 편미분
____함수의 헤세 행렬
____함수의 최대 및 최소
____로컬 미니마와 글로벌 미니마
____양반정치 행렬 및 정치 행렬
____볼록 집합
____볼록 함수
____오목 함수
____다변수 볼록 및 오목 함수 예제
____테일러 급수
__확률
____합집합, 교집합, 조건부 확률
____이벤트 교차점에 대한 확률의 체인 규칙
____상호 배타적인 이벤트
____이벤트의 독립
____이벤트의 조건부 독립
____베이즈 규칙
____확률 질량 함수
____확률 밀도 함수
____확률 변수의 기댓값
____확률 변수의 분산
____왜도 및 첨도
____공분산
____상관계수
____몇 가지 공통 확률분포
____우도 함수
____최대 우도 추정
____가설검정 및 p 값
__머신 러닝 알고리즘 및 최적화 기법의 공식화
____지도 학습
____비지도 학습
____머신 러닝을 위한 최적화 기법
____제약 조건이 있는 최적화 문제
__머신 러닝에 중요한 몇 가지 주제들
____차원 감소 방법
____정규화
____제약 조건이 있는 문제의 최적화를 위한 정규화
__요약


2장. 딥러닝 개념과 텐서플로 소개
__딥러닝과 그 진화
__퍼셉트론과 퍼셉트론 학습 알고리즘
____퍼셉트론 학습의 기하학적 해석
____퍼셉트론 학습의 한계
____비선형에 대한 필요성
____은닉층 퍼셉트론의 비선형성 활성화 함수
____뉴런/퍼셉트론에 대한 다양한 활성화 함수
____다층 퍼셉트론 네트워크에 대한 학습 규칙
____기울기 계산을 위한 역전파
____기울기 계산을 위한 역전파 일반화
__텐서플로
____일반적인 딥러닝 패키지
____텐서플로 설치
____개발을 위한 텐서플로 기본
____딥러닝 관점에서의 기울기 하강 최적화
____확률적 기울기 하강에 대한 미니 배치 접근법의 학습 속도
____텐서플로 최적화 도구
____텐서플로를 이용한 XOR 구현
____텐서플로의 선형 회귀
____전체 배치 기울기 하강을 이용한 소프트맥스 함수로 다중 클래스 분류
____확률적 기울기 하강을 이용한 소프트맥스 함수의 다중 클래스 분류
__GPU
__요약


3장. 컨볼루션 신경망
__컨볼루션 연산
____선형 시간 불변 시스템/선형 시프트 불변 시스템
____한 차원의 신호를 위한 컨볼루션
__아날로그 및 디지털 신호
____2D 및 3D 신호
__2D 컨볼루션
____2차원 단위 스텝 함수
____LSI 시스템 단위 스텝 응답이 있는 신호의 2D 변환
____다른 LSI 시스템 응답에 대한 이미지의 2D 컨볼루션
__일반적인 이미지 처리 필터
____평균값 필터
____중앙값 필터
____가우시안 필터
____기울기 기반 필터
____소벨 에지 감지 필터
____항등 변환
__컨볼루션 신경망
__컨볼루션 신경망의 구성 요소
____입력층
____컨볼루션 계층
____풀링 계층
__컨볼루션 계층을 통한 역전파
__풀링 계층을 통한 역전파
__컨볼루션을 통한 가중치 공유와 그 장점
__변환 평형
__풀링으로 인한 변환 불변
__드롭아웃 계층 및 정규화
__MNIST 데이터셋에서 숫자 인식을 위한 컨볼루션 신경망
__현실 문제 해결을 위한 컨볼루션 신경망
__배치 정규화
__컨볼루션 신경망의 또 다른 아키텍처
____LeNet
____알렉스넷
____VGG16
____ResNet
__전이 학습
____전이 학습 가이드라인
____구글의 인셉션v3를 통한 전이 학습
____사전 훈련된 VGG16을 이용한 전이 학습
__요약


4장. RNN을 활용한 자연어 처리
__벡터 공간 모델(VSM)
__단어의 벡터 표현
__Word2Vec
____CBOW
____텐서플로에서 CBOW 구현
____단어 임베딩을 위한 스킵그램 모델
____텐서플로로 스킵그램 모델 구현
____글로벌 동시 발생 통계 기반의 단어 벡터
____GloVe
____단어 벡터를 이용한 단어 유추
__순환 신경망의 소개
____언어 모델링
____RNN을 통한 문장에서의 다음 단어 예측과 전통적인 방법의 비교
____시간에 따른 역전파(BPTT)
____RNN에서 기울기의 소실 및 발산 문제
____RNN의 소실 및 발산 기울기 문제 해결 방법
____LSTM
____발산 및 소실 기울기를 줄이기 위한 LSTM
____순환 신경망을 이용한 텐서플로의 MNIST 숫자 식별
____GRU
____양방향 RNN
__요약


5장. 제한된 볼츠만 머신과 자동 인코더를 사용한 비지도 학습
__볼츠만 분포
__베이지안 추론: 우도, 사전확률분포, 사후확률분포
__샘플링을 위한 마르코프 체인 몬테 카를로 방법
____메트로폴리스 알고리즘
__제한된 볼츠만 머신
____제한된 볼츠만 머신 훈련
____깁스 샘플링
____블럭 깁스 샘플링
____번인 기간과 깁스 샘플링으로 샘플 만들기
____제한된 볼츠만 머신에서 깁스 샘플링 사용하기
____대조 발산
____텐서플로로 제한된 볼츠만 머신 구현
____제한된 볼츠만 머신을 사용한 협업 필터링
____딥 빌리프 네트워크
__자동 인코더
____지도 학습을 위해 자동 인코더를 사용한 피처 학습
____KL 발산
____텐서플로로 희소 자동 인코더 구현
____잡음 제거 자동 인코더
____텐서플로에서 잡음 제거 자동 인코더 구현
__PCA 및 ZCA 화이트닝
__요약


6장. 고급 신경망 기법
__이미지 분할
____픽셀 강도 히스토그램 기반 이진 임곗값 지정 기법
____오츠 기법
____이미지 분할을 위한 워터쉐드 알고리즘
____K-평균 클러스터링을 통한 이미지 분할
____시맨틱 분할
____슬라이딩 윈도우 방식
____완전 컨볼루션 네트워크
____다운샘플링과 업샘플링을 가진 완전 컨볼루션 네트워크
____U-Net
____완전 연결 신경망으로 텐서플로에서 시맨틱 분할 작업하기
__이미지 분류 및 지역화 네트워크
__객체 감지
____R-CNN
____Fast R-CNN과 Faster R-CNN
__생성적 적대 네트워크
____맥스미니 및 미니맥스 문제
____제로섬 게임
____미니맥스와 안장점
____GAN 비용 함수 및 훈련
____생성기를 위한 소실 기울기
____텐서플로로 GAN 네트워크 구현하기
__프로덕션 환경으로 텐서플로 모델 배포
__요약