텐서플로 2와 케라스로 구현하는 딥러닝 2/e

1장. 텐서플로 2.0으로 신경망 구현
__텐서플로(TF)란?
__케라스란?
__텐서플로 2.0의 가장 중요한 변화
__신경망 소개
__퍼셉트론
____텐서플로 2.0 코드 첫 번째 예제
__다층 퍼셉트론: 신경망 첫 번째 예제
____퍼셉트론 훈련의 문제점과 해결책
____활성화 함수: 시그모이드
____활성화 함수: tanh
____활성화 함수: ReLU
____추가적인 두 개의 활성화 함수: ELU와 LeakyReLU
____활성화 함수
____간단히 말해: 결국 신경망이란?
__실제 예제: 필기체 숫자 인식
____원핫 인코딩(OHE)
____텐서플로 2.0으로 단순 신경망 정의
____단순 텐서플로 2.0 신경망 실행과 베이스라인 구축
____텐서플로 2.0의 단순 신경망을 은닉층으로 개선
____텐서플로에서 드롭아웃으로 단순망 개선
____텐서플로 2.0에서 여러 최적화기 테스트
____에폭 수 증가시키기
____최적화기 학습률 조절
____내부 은닉층 개수 증가
____배치 계산 크기 증가
____필기체 인식 실행 차트 요약
__정규화
____과적합을 피하기 위한 정규화 적용
____배치 정규화의 이해
__구글 Colab 사용: CPU, GPU, TPU
__감정 분석
__초매개변수 튜닝과 AutoML
__출력 예측
__역전파에 대한 실용적 개괄
__정리
__딥러닝 접근법을 향해
__참고 자료


2장. 텐서플로 1.x와 2.x
__텐서플로 1.x의 이해
____텐서플로 1.x 계산 그래프 구조
____상수, 변수, 플레이스홀더와 작업
____연산의 예시
____텐서플로 2.x에서의 텐서플로 1.x 예제
__텐서플로 2.x의 이해
____즉시 실행
____오토그래프
____케라스 API: 3가지 프로그래밍 모델
____콜백
____모델과 가중치 저장
____tf.data.datasets으로 훈련
____tf.keras 또는 추정기?
____비정형 텐서
____맞춤형 훈련
____텐서플로 2.x에서 분산 훈련
____네임스페이스의 변화
____1.x에서 2.x로 변환
____텐서플로 2.x의 효율적인 사용
__텐서플로 2.x 생태계
____언어 바인딩
__케라스 또는 tf.keras 중 어떤 것?
__요약


3장. 회귀
__회귀란?
__선형 회귀를 사용한 예측
____단순 선형 회귀
____다중 선형 회귀
____다변량 선형 회귀
__텐서플로 추정기
____특징 열
____입력 함수
____텐서플로 추정기 API를 사용한 MNIST
__선형 회귀를 사용한 주택 가격 예측
__분류 과제와 결정 경계
____로지스틱 회귀
____MNIST 데이터셋에 로지스틱 회귀 적용
__요약
__참고 자료


4장. 컨볼루션 신경망
__심층 컨볼루션 신경망(DCNN)
____로컬 수용 필드
____가중치 공유와 향
____수학적 예제
____텐서플로 2.x의 ConvNets
____풀링 계층
__DCNN의 예: LeNet
____텐서플로 2.0에서 LeNet 코드
____딥러닝의 위력 이해
__딥러닝으로 CIFAR-10 이미지 인식
____심층 신경망으로 CIFAR-10 성능 향상
____데이터 보강으로 CIFAR-10 성능 개선
____CIFAR-10으로 예측
__대규모 이미지 인식을 위한 고심층 컨볼루션 신경망
____VGG16 신경망으로 고양이 인식
____VGG16망 내장 tf.keras 활용
____특징 추출을 위해 사전 구축된 딥러닝 모델 재활용
__요약
__참고 자료


5장. 고급 컨볼루션 신경망
__컴퓨터 비전
____복잡한 과제를 위한 CNN 구성
____tf.keras 추정기 모델로 패션 MNIST 분류
____패션 MNIST tf.keras 추정기 모델을 GPU에서 실행
____전이학습용 심층 인셉션-V3 망
____말과 사람을 구분하기 위한 전이학습
____tf.keras와 텐서플로 Hub를 사용한 응용 집합소
____기타 CNN 아키텍처
____이미지에 대한 질문의 대답(VQA)
____스타일 변환
____DeepDream 망 생성
____망이 학습한 것을 조사
__비디오
____사전 훈련된 망으로 비디오를 분류하는 6가지 방법
__텍스트 문서
____CNN을 사용한 감정 분석
__오디오와 음악
____확장 ConvNets, WaveNet, NSynth
__컨볼루션 연산 요약
____기본 컨볼루션 신경망(CNN 또는 ConvNet)
____확장 컨볼루션
____분리 가능 컨볼루션
____깊이별 컨볼루션
____깊이별 분리 가능 컨볼루션
__캡슐 망
____그렇다면 CNN의 문제점은 무엇인가?
____캡슐 망이 새로운 점은 무엇인가?
__요약
__참고 자료


6장. 생성적 적대 신경망
__GAN이란?
____텐서플로에서 GAN을 사용한 MNIST
__심층 컨볼루션 GAN(DCGAN)
____MNIST 숫자를 위한 DCGAN
__몇 가지 흥미로운 GAN 아키텍처
____SRGAN
____CycleGAN
____InfoGAN
__GAN의 흥미로운 응용
__텐서플로 2.0로 CycleGAN 구현
__요약
__참고 자료


7장. 단어 임베딩
__단어 임베딩: 시작과 기초
__분산 표현
__정적 임베딩
____Word2Vec
____GloVe
__gensim을 사용해 자신만이 임베딩 생성
__gensim을 사용한 임베딩 공간 탐색
__워드 임베딩을 사용한 스팸 탐지
____데이터 구하기
____데이터를 사용 준비
____임베딩 행렬 구축
____스팸 분류기 정의
____모델의 훈련과 평가
____스팸 탐지기 실행
__신경망 임베딩: 단어 이외의 용도
____Item2Vec
____node2vec
__문자와 부분 단어 임베딩
__동적 임베딩
__문장과 문단 임베딩
__언어 모델 기반 임베딩
____BERT를 특징 추출기로 사용
____BERT 미세 조정
____BERT를 사용한 분류: 커맨드라인
____BERT를 자신의 신경망 일부로 사용
__요약
__참고 자료


8장. 순환 신경망
__기본 RNN 셀
____BPTT
____사라지고 폭발하는 그래디언트
__RNN 셀 변형
____LSTM
____GRU
____핍홀 LSTM
__RNN 변형
____양방향 RNN
____상태 저장 RNN
__RNN 위상
____예제: 일대다 텍스트 생성을 학습
____예제: 다대일 감정 분석
____예제: 다대다 POS 태깅
__인코더-디코더 아키텍처: seq2seq
____예제: 기계 번역용 어텐션 없는 seq2seq
__어텐션 메커니즘
____예제: 기계 번역용 어텐션이 있는 seq2seq
__변환기 아키텍처
__요약
__참고 자료


9장. 오토인코더
__오토인코더 소개
__바닐라 오토인코더
____텐서플로 케라스 Layers: 맞춤형 계층 정의
____오토인코더를 사용해 필기체 숫자 재구성
__희소 오토인코더
__디노이징 오토인코더
____디노이징 오토인코더를 이용한 이미지 정리
__스택된 오토인코더
____이미지의 노이즈 제거를 위한 컨볼루션 오토인코더
____케라스 오토인코더 예제: 문장 벡터
__요약
__참고 자료


10장. 비지도학습
__주성분 분석
____MNIST 데이터셋에서 PCA
____텐서플로 임베딩 API
____K-평균 군집화
____텐서플로 2.0에서의 K-평균
____k-평균 변형
__자체 구성 맵
____SOM을 사용한 컬러 매핑
__제한된 볼츠만 머신
____RBM을 사용한 이미지 재구성
____심층 신뢰 신경망
__가변 오토인코더
__요약
__참고 자료


11장. 강화학습
__소개
____RL 용어
____심층 강화학습 알고리즘
____최근 몇 년간의 강화학습 성공
__OpenAI Gym 소개
____Breakout 게임을 하는 랜덤 에이전트
__심층 Q 신경망
____카트폴용 DQN
____아타리 게임용 DQN
____DQN 변종
__심층 확정적 정책 그래디언트
__요약
__참고 자료


12장. 텐서플로와 클라우드
__클라우드에서의 딥러닝
____마이크로소프트 애저
____아마존 웹 서비스(AWS)
____구글 클라우드 플랫폼(GCP)
____IBM 클라우드
__클라우드의 가상머신
____아마존의 EC2
____GCP의 컴퓨트 인스턴스
____마이크로소프트 애저의 가상머신
__클라우드의 주피터 노트북
____SageMaker
____구글 Colaboratory
____마이크로소프트 애저 노트북
__생산을 위한 텐서플로 익스텐디드
____TFX 파이프라인
____TFX 파이프라인 구성 요소
____TFX 라이브러리
__텐서플로 엔터프라이즈
__요약
__참고 자료


13장. 모바일, IoT, 텐서플로.js용 텐서플로
__텐서플로 모바일
__텐서플로 라이트
____양자화
____플랫버퍼`
____모바일 변환기
____모바일 최적화 인터프리터
____지원 플랫폼
____아키텍처
____텐서플로 라이트 사용
____일반적 응용 사례
____GPU와 가속기 사용
____응용 예제
__텐서플로 라이트에서 사전 훈련된 모델
____이미지 분류
____객체 탐지
____자세 추정
____스마트 회신
____세그먼테이션
____스타일 전이
____텍스트 분류
____질문과 답변
____모바일 GPU 사용의 참고 사항
__에지에서의 연합학습 개요
____텐서플로 FL API
__텐서플로.js
____바닐라 텐서플로.js
____모델 변환
____사전 훈련된 모델
____Node.js
__요약
__참고 자료


14장. AutoML 소개
__AutoML이란?
__AutoML 성취
__자동 데이터 준비
__자동 특징 엔지니어링
__자동 모델 생성
__AutoKeras
__구글 클라우드 AutoML
____클라우드 AutoML 사용: 테이블 솔루션
____클라우드 AutoML 사용: 비전 솔루션
____클라우드 AutoML 사용: 텍스트 분류 솔루션
____클라우드 AutoML 사용: 번역 솔루션
____클라우드 AutoML 사용: 비디오 인텔리전스 분류 솔루션
____비용
__구글 AutoML을 캐글로 가져가기
__요약
__참고 자료


15장. 딥러닝 배경 수학
__역사
__몇 가지 수학 도구
____미분과 그래디언트
____그래디언트 하강
____연쇄법칙
____몇 가지 미분 규칙
____행렬 연산
__활성화 함수
____시그모이드의 도함수
____tanh의 도함수
____ReLU의 도함수
__역전파
____전방향 단계
____역단계
____역전파의 한계
____교차 엔트로피와 도함수
____배치 그래디언트 하강, 확률적 그래디언트 하강, 미니 배치
__역전파와 컨볼루션 신경망
__역전파와 RNN
__텐서플로 참고 사항과 자동 미분
__요약
__참고 자료


16장. TPU
__C/G/T 프로세스 유닛
____CPU와 GPU
____TPU
__3세대의 TPU와 에지 TPU
____1세대 TPU
____2세대 TPU
____3세대 TPU
____에지 TPU
__TPU 성능
__Colab에서 TPU를 사용하는 방법
____TPU를 쓸 수 있는지 확인
____tf.data로 데이터 로드
____모델 구축과 TPU로 로드
__사전 훈련된 TPU 모델 사용
__텐서플로 2.1 사용과 야간 빌드
__요약
__참고 자료