텐서플로와 케라스로 구현하는 딥러닝 3/e

1장. TF와 신경망 기초
__TensorFlow(TF)란 무엇인가?
__Keras란 무엇인가?
__신경망 소개
__퍼셉트론
____TensorFlow 첫 코드 예제
__다층 퍼셉트론 - 신경망 첫 예제
____퍼셉트론 훈련의 문제점과 그 해결책
____활성화 함수 - 시그모이드
____활성화 함수 - tanh
____활성화 함수 - ReLU
____추가적인 2개의 활성화 함수 - ELU와 LeakyReLU
____활성화 함수들
____간단히 말해 - 결국 신경망이란 무엇인가?
__실제 예제 - 필기체 숫자 인식
____원-핫 인코딩
____TensorFlow로 단순 신경망 정의
____단순 TensorFlow망 실행과 베이스라인 구축
____TensorFlow의 단순 신경망을 은닉층으로 개선
____TensorFlow에서 드롭아웃으로 단순망 개선
____TensorFlow에서 서로 다른 최적기 테스트
____에폭 수 증가시키기
____최적기 학습률 조절
____내부 은닉층 개수 증가
____배치 계산 크기 증가
____필기체 인식 실행 차트 요약
__규제화
____과적합을 피하기 위한 규제화 적용
____배치 정규화의 이해
__Google Colab 사용 - CPUs, GPUs, TPUs
__감정 분석
____초매개변수 튜닝과 AutoML
__출력 예측
__역전파에 대한 실용적 개괄
__지금까지 배운 것?
__딥러닝 접근법을 향해
__요약
__참고문헌


2장. 회귀와 분류
__회귀란 무엇인가?
__선형회귀를 사용한 예측
____단순 선형회귀
____다중 선형회귀
____다변량 선형회귀
__선형회귀를 위한 신경망
____TensorFlow Keras를 사용한 단순 선형회귀
____TensorFlow Keras API를 사용한 다중과 다변량 선형회귀
__분류 과제와 결정 경계
____로지스틱 회귀
____MNIST 데이터셋에 로지스틱 회귀 적용
__요약
__참고문헌


3장. 컨볼루션 신경망
__심층 컨볼루션 신경망
____지역 수용 필드
____가중치 공유 및 편향
____수학적 예제
____TensorFlow의 ConvNets
____풀링 계층
______최댓값 풀링
______평균값 풀링
____ConvNets 요약
__DCNN의 예시 - LeNet
____TF에서 LeNet 코드
____딥러닝의 위력 이해하기
__딥러닝으로 CIFAR-10 이미지 인식
____심층 신경망으로 CIFAR-10 성능 향상
____데이터 증강을 통해 CIFAR-10 성능 개선
____CIFAR-10으로 예측
__대형 이미지 인식을 위한 고심층 컨볼루션 신경망
____VGG16 신경망으로 고양이 인식
____tf.keras의 내장 VGG16 Net 활용
____특징 추출을 위해 사전 구축된 딥러닝 모델 재활용
__전이학습을 위한 심층 인셉션 V3망
__다른 CNN 아키텍처
____AlexNet
____잔차 네트워크
____HighwayNets와 DenseNets
____Xception
__스타일 변환
____콘텐츠 거리
____스타일 거리
__요약
__참고문헌


4장. 단어 임베딩
__단어 임베딩 - 유래와 기초
__분산 표현
__정적 임베딩
____Word2Vec
____GloVe
__Gensim을 사용한 자신만의 임베딩 생성
__gensim을 사용한 임베딩 공간 탐색
__워드 임베딩을 사용한 스팸 탐지
____데이터 얻기
____데이터를 사용 준비
____임베딩 행렬 구축
____스팸 분류기 정의
____모델의 훈련과 평가
____스팸 탐지기 실행
__신경망 임베딩 - 단어 이외의 용도
____Item2Vec
____node2vec
__문자와 부분 단어 임베딩
__동적 임베딩
__문장과 문단 임베딩
__언어 모델 기반 임베딩
____BERT를 특징 추출기로 사용
__요약
__참고문헌


5장. 순환 신경망
__기본 RNN 셀
____BPTT
____사라지고 폭발하는 그래디언트
__RNN 셀 변형
____LSTM
____GRU
____핍홀 LSTM
__RNN 변형
____양방향 RNN
____상태 저장 RNN
__RNN 위상들
____예제: 일대다-텍스트 생성을 학습
____예제: 다대일-감정 분석
____예제: 다대다 - POS 태깅
__인코더-디코더 아키텍처 ― seq2seq
____예제: 기계 번역을 위한 어텐션 없는 seq2seq
__어텐션 매커니즘
____예제: 머신 번역을 위한 어텐션이 있는 seq2seq
__요약
__참고문헌


6장. 트랜스포머
__아키텍처
____핵심 직관
______위치 인코딩
______어텐션
______셀프-어텐션
______멀티-헤드 (셀프-)어텐션
____어텐션을 계산하는 방법
____인코더-디코더 아키텍처
____잔류와 정규화 계층
____트랜스포머 아키텍처 개요
____훈련
__트랜스포머의 아키텍처
____트랜스포머 종류
______디코더 또는 자기회귀
______인코더 또는 오토인코딩
______Seq2seq
______멀티모달
______검색
____어텐션
______전체 대 희소
______LSH 어텐션
______지역 어텐션
__사전 훈련
____인코더 사전 훈련
____디코더 사전 훈련
____인코더-디코더 사전 훈련
____사전 훈련 과제의 종류
__대중적이고 잘 알려진 모델에 대한 개요
____BERT
____GPT-2
____GPT-3
____리포머
____빅버드
____트랜스포머-XL
____XLNet
____RoBERTa
____ALBERT
____StructBERT
____T5 및 MUM
____ELECTRA
____DeBERTa
____진화된 트랜스포머와 MEENA
____LaMDA
____스위치 트랜스포머
____RETRO
____패스웨이와 PaLM
__구현
____트랜스포머 참조 구현: 번역의 예
____허깅 페이스
______텍스트 생성
______모델 자동 선택 및 자동 토큰화
______명명된 개체 인식
______요약
______미세 조정
____TFHub
__평가
____품질
______GLUE
______SuperGLUE
______SQuAD
______RACE
______NLP-progress
____크기
______크다고 항상 더 좋지는 않다
____제공 비용
__최적화
____양자화
____가중치 가지치기
____증류
__일반적인 함정: 해야 할 일과 하지 말아야 할 일
____권장
____금지 사항
____트랜스포머의 미래
__요약


7장. 비지도학습
__주성분 분석
____MNIST 데이터셋에 PCA
____TensorFlow 임베딩 API
__K-평균 군집화
____TensorFlow에서의 K-평균
____k-평균 변형
__자기 조직화 지도
____SOM을 사용한 컬러 매핑
__제한된 볼츠만 머신
____RBM을 사용한 이미지 재구성
____심층 신뢰 신경망
__요약
__참고문헌


8장. 오토인코더
__오토인코더 소개
__바닐라 오토인코더
____TensorFlow Keras layers - 맞춤형 계층 정의
____오토인코더를 사용해 필기체 숫자 재구성
__희소 오토인코더
__디노이징 오토인코더
____디노이징 오토인코더를 이용한 이미지 정리
__스택된 오토인코더
____이미지의 노이즈 제거를 위한 컨볼루션 오토인코더
____Keras 오토인코더 예제: 문장 벡터
__가변 인코더
__요약
__참고문헌


9장. 생성 모델
__GAN이란 무엇인가?
____TensorFlow에서 GAN을 사용하는 MNIST
__심층 컨볼루션 GAN(DCGAN)
____MNIST 숫자를 위한 DCGAN
__몇 가지 흥미로운 GAN 아키텍처
____SRGAN
____CycleGAN
____InfoGAN
__GAN의 흥미로운 응용들
__TensorFlow로 CycleGAN 구현
__데이터 생성을 위한 흐름 기반 모델
__데이터 생성을 위한 확산 모델
__요약
__참고문헌


10장. 자기-지도학습
__선행 연구
__자기-지도학습
__자기 예측
____자기회귀 생성
______PixelRNN
______이미지 GPT(IPT)
______GPT-3
______XLNet
______WaveNet
______WaveRNN
____마스킹된 생성
______BERT
______스택 잡음 제거 오토인코더
______컨텍스트 오토인코더
______채색
____본질적 관계 예측
______상대적 위치
______조각 그림 퍼즐 풀기
______회전
____하이브리드 자기 예측
______VQ-VAE
______Jukebox
______DALL-E
______VQ-GAN
__대조학습
____훈련 목표
______대조 손실
______3중항 손실
______N-쌍 손실
______리프트된 구조적 손실
______NCE 손실
______InfoNCE 손실
______소프트 최근접 이웃 손실
____인스턴스 변환
______SimCLR
______Barlow Twins
______BYOL
______특징 군집화
______DeepCluster
______SwAV
______InterCLR
____다중 뷰 코딩
______AMDIM
______CMC
____다중 모드 모델
______CLIP
______CodeSearchNet
______Data2Vec
__프리텍스트 과제
__요약
__참고문헌


11장. 강화학습
__소개
____RL 용어
____심층 강화학습 알고리듬
______훈련되지 않은 에이전트가 행동을 선택하는 방법
______에이전트가 탐색과 활용 사이의 균형을 맞추는 방법
______고도로 상관된 입력 상태 공간을 다루는 방법
______움직이는 목표를 다루는 방법
____최근 몇 년 간의 강화학습 성공
__RL의 시뮬레이션 환경
__OpenAI Gym 소개
____을 하는 랜덤 에이전트
____Gym의 래퍼
__심층 Q-신경망
____카트폴을 위한 DQN
____아타리 게임을 위한 DQN
____DQN 변종
______더블 DQN
______듀얼링 DQN
______레인보우
__딥 확정적 정책 그래디언트
__요약
__참고문헌


12장. 확률적 TensorFlow
__TensorFlow Probability
__TensorFlow Probability 분포
____TFP 분포 사용
______동전 뒤집기 예
______정규분포
____베이즈 네트워크
____TensorFlow Probability를 사용해 예측의 불확실성 처리
______우연적 불확실성
______인식론적 불확실성
______합성 데이터셋 만들기
______TensorFlow를 사용한 회귀 모델 구축
______우연적 불확실성에 대한 확률론적 신경망
______인식적 불확실성에 대한 설명
__요약
__참고문헌


13장. AutoML 소개
__AutoML이란 무엇인가?
__AutoML의 성취
__자동 데이터 준비
__자동 특징 공학
__자동 모델 생성
__AutoKeras
__Google 클라우드 AutoML과 Vertex AI
____Google 클라우드 AutoML 표 솔루션의 사용
____Google 클라우드 AutoML 텍스트 솔루션 사용
__Google 클라우드 AutoML 비디오 솔루션 사용
____비용
__요약
__참고문헌


14장. 딥러닝 배경 수학
__역사
__몇 가지 수학 도구
____벡터
____미분과 그래디언트
____그래디언트 하강
____연쇄 법칙
____몇 가지 미분 규칙
____행렬 연산
__활성화 함수
____Sigmoid의 도함수
____tanh의 도함수
____ReLU의 도함수
__역전파
____전방 단계
____역단계
______경우 1: 은닉층에서 출력층까지
______경우 2: 은닉층에서 은닉층으로
____교차엔트로피와 그 도함수
____배치 그래디언트 하강, 확률적 그래디언트 하강, 미니-배치
______배치 그래디언트 하강(BGD)
______확률적 그래디언트 하강(SGD)
______미니-배치 그래디언트 하강(MBGD)
____역전파와 ConvNets 생각하기
____역전파와 RNN 생각하기
__TensorFlow 참고 사항과 자동 미분
__요약
__참고문헌


15장. TPU
__C/G/T 프로세스 유닛
____CPU와 GPU
____TPU
__4세대 TPU와 에지 TPU
____1세대 TPU
____2세대 TPU
____3세대 TPU
____4세대 TPU
____에지 TPU
__TPU 성능
__TPU를 Colab에서 사용하기
____TPU를 쓸 수 있는지 확인하기
____Keras MNIST TPU 엔드-투-엔드 훈련
__사전 훈련된 TPU 모델 사용
__요약
__참고문헌


16장. 기타 유용한 딥러닝 라이브러리
__허깅 페이스
__OpenAI
____OpenAI GPT-3 API
____OpenAI DALL-E 2
____OpenAI Codex
__PyTorch
__ONNX
__H2O.ai
____H2O AutoML
____H2O를 사용한 AutoML
____H2O 모델 설명 가능성
______부분 종속 도표
______변수 중요도 히트맵
______모델 상관관계
__요약


17장. 그래프 신경망
__그래프 기초
__그래프 머신러닝
__그래프 컨볼루션 - GNN의 직관
__일반 그래프 계층
____그래프 컨볼루션 네트워크
____그래프 어텐션 네트워크
____GraphSAGE
____그래프 동형 네트워크
__일반 그래프 응용
____노드 분류
____그래프 분류
____링크 예측
__그래프 사용자 지정
____사용자 지정 계층 및 메시지 전달
____사용자 정의 그래프 데이터셋
______데이터셋의 단일 그래프
______데이터셋의 복수 그래프 집합
__향후 방향
____이종 그래프
____임시 그래프
__요약
__참고문헌


18장. 머신러닝 모범 사례
__모범 사례의 필요성
__데이터 모범 사례
____특징 선택
____특징과 데이터
______텍스트 데이터 증강
__모델 모범 사례
____기준 모델
____사전 훈련된 모델, 모델 API 및 AutoML
____모델 평가 및 검증
____모델 개선
__요약
__참고문헌


19장. TensorFlow 2 생태계
__TensorFlow Hub
____추론을 위해 사전 훈련된 모델 사용
__TensorFlow Datasets
____TFDS 데이터셋 로드
____TFDS를 사용한 데이터 파이프라인 구축
__TensorFlow Lite
____양자화
____FlatBuffers
____모바일 변환기
____모바일에 최적화된 인터프리터
____지원되는 플랫폼
____아키텍처
____TensorFlow Lite 사용
____응용 일반 사례
____GPU 및 가속기 사용
____응용 사례
__TensorFlow Lite에서 사전 학습된 모델
____이미지 분류
____객체 탐지
____자세 추정
____스마트 응답
____세그멘테이션
____스타일 변환
____텍스트 분류
____거대 언어 모델
____모바일 GPU 사용에 대한 참고 사항
__에지에서의 연합 학습 개요
____TensorFlow FL API
__TensorFlow.js
____바닐라 TensorFlow.js
____모델 변환
____사전 훈련된 모델
____Node.js
__요약
__참고문헌


20장. 고급 컨볼루션 신경망
__복잡한 작업을 위한 CNN 구성
____분류 및 지역화
____의미론적 세그멘테이션
____개체 탐지
____인스턴스 세그멘테이션
__tf.Keras 및 TensorFlow Hub를 사용한 응용 동물원
____Keras 애플리케이션
____TensorFlow Hub
__이미지에 대한 질문에 답하기(시각적 Q&A)
__DeepDream 네트워크 만들기
__네트워크가 학습한 내용 검사
__비디오
____여섯 가지 방식으로 사전 훈련된 네트워크로 비디오 분류
__텍스트 문서
____감정 분석을 위한 CNN 사용
__오디오와 음악
____Dilated ConvNets, WaveNet 및 NSynth
__컨볼루션 작업 요약
____기본 CNN
____확장된 컨볼루션
____전치 컨볼루션
____분리 가능한 컨볼루션
____깊이별 컨볼루션
____깊이별 분리 가능한 컨볼루션
__캡슐 네트워크
____CNN의 문제점
____캡슐 네트워크의 새로운 기능
__요약
__참고문헌