Easy! 딥러닝

지은이의 말
이 책을 보는 방법

Chapter 1 – 왜 현재 AI가 가장 핫할까?
1.1 AI(Artificial Intelligence) vs ML(Machine Learning) vs DL(Deep Learning)
1.2 규칙 기반(Rule-Based) vs 데이터 기반(Data-Based)
1.3 AI는 어떻게 이미지를 분류할까?
1.4 AI는 어떻게 번역을 할까?
1.5 지도 학습(Supervised Learning)
1.6 자기 지도 학습(Self-Supervised Learning)
1.7 비지도 학습(Unsupervised Learning)
1.8 강화 학습(Reinforcement Learning)

Chapter 2 – 인공 신경망과 선형 회귀, 그리고 최적화 기법들
2.1 인공 신경: Weight와 Bias의 직관적 이해
2.2 인공 신경망과 MLP(Multi-Layer Perceptron)
2.3 인공 신경망은 함수다!
2.4 선형 회귀, 개념부터 알고리즘까지 step by step
2.5 경사 하강법(Gradient Descent)
2.5.1 경사 하강법의 두 가지 문제
2.6 웨이트 초기화(Weight Initialization)
2.7 확률적 경사 하강법(Stochastic Gradient Descent)
2.8 Mini-Batch Gradient Descent
2.8.1 Batch Size와 Learning Rate의 조절
2.9 Momentum
2.10 RMSProp(Root Mean Squared Propagation)
2.11 Adam(Adaptive Moment Estimation)
2.12 검증 데이터(Validation Data)
2.12.1 K-fold 교차 검증(K-fold Cross Validation)


Chapter 3 – 딥러닝, 그것이 알고 싶다.
3.1 MLP, 행렬과 벡터로 표현하기
3.2 비선형(Non-Linear) 액티베이션의 중요성
3.3 역전파(Backpropagation)
3.3.1 학습 과정에서 Forward Propagation이 필요한 이유

Chapter 4 – 이진 분류와 다중 분류
4.1 Unit Step Function을 이용한 이진 분류
4.1.1 Unit Step Function의 두 가지 문제와 Sigmoid
4.2 Sigmoid를 이용한 이진 분류
4.2.1 BCE(Binary Cross-Entropy) Loss
4.2.2 로지스틱 회귀(Logistic Regression)
4.3 MSE Loss vs BCE Loss
4.4 딥러닝과 MLE(Maximum Likelihood Estimation)
4.4.1 Loss 함수와 NLL(Negative Log-Likelihood)
4.5 다중 분류
4.5.1 Softmax
4.5.2 Cross-Entropy Loss
4.5.3 Softmax 회귀(Softmax Regression)

Chapter 5 – 인공 신경망, 그 한계는 어디까지인가?
5.1 Universal Approximation Theorem
5.2 Universal Approximation Theorem 증명
5.3 Universal Approximation Theorem 오해와 진실

Chapter 6 – 깊은 인공 신경망의 고질적 문제와 해결 방안
6.1 기울기 소실(Vanishing Gradient)과 과소적합(Underfitting)
6.1.1 ReLU(Rectified Linear Unit)
6.1.2 Sigmoid vs ReLU 실험 결과 분석
6.1.3 ReLU 그 후..
6.1.4 배치 정규화(Batch Normalization)
6.1.5 배치 정규화(Batch Normalization) 실험 결과 분석
6.1.6 레이어 정규화(Layer Normalization)
6.2 Loss landscape 문제와 ResNet의 Skip-Connection
6.3 과적합(Overfitting)
6.3.1 데이터 증강(Data Augmentation)
6.3.2 Dropout
6.3.3 오토인코더(Autoencoder)에 Dropout 적용, 실험 결과 분석
6.3.4 Regularization
6.3.5 Regularization과 MAP(Maximum A Posteriori)
6.3.6 L2-Regularization vs L1-Regularization 실험 결과 분석

Chapter 7 – 왜 CNN이 이미지 데이터에 많이 쓰일까?
7.1 CNN은 어떻게 인간의 사고방식을 흉내 냈을까?
7.2 이미지 인식에서 FC 레이어가 가지는 문제
7.3 컨볼루션(Convolution)의 동작 방식
7.3.1 컨볼루션은 어떻게 위치별 특징을 추출할까?
7.3.2 특징 맵(Feature Map)
7.3.3 어떤 특징을 추출할지 AI가 알아낸다!
7.4 다채널 입력에 대한 컨볼루션
7.5 1x1 컨볼루션의 의미
7.6 Padding & Stride
7.7 Pooling 레이어
7.8 CNN의 전체 구조: 특징 추출부터 분류까지
7.9 CNN의 특징 맵 실험 결과 분석
7.10 VGGNet 완벽 해부
7.10.1 Receptive Field 개념과 여러 번 컨볼루션 레이어를 통과하는 이유
7.11 CNN에 대한 추가적인 고찰

Chapter 8 – 왜 RNN보다 트랜스포머가 더 좋다는 걸까?
8.1 연속적인 데이터와 토크나이징(Tokenizing)
8.2 RNN의 동작 방식
8.3 다음 토큰 예측(Next Token Prediction)
8.4 RNN의 구조적 한계
8.5 RNN의 여러 가지 유형
8.6 Seq2seq 개념 및 문제점
8.7 Attention: 시점마다 다른 Context Vector의 사용
8.7.1 Attention: Context Vector 만들기
8.7.2 Attention의 학습 원리와 해석
8.7.3 RNN+Attention의 두 가지 문제점
8.8 트랜스포머의 Self-Attention
8.9 맺으며..

부록: 딥러닝을 위한 필수 기초 수학
1-1강. 함수
1-2강. 로그함수
2-1강. 벡터와 행렬
2-2강. 전치와 내적
3-1강. 극한과 입실론-델타 논법
3-2강. 미분과 도함수
3-3강. 연쇄 법칙
3-4강. 편미분과 그래디언트
4-1강. 랜덤 변수와 확률 분포
4-2강. 평균과 분산
4-3강. 균등 분포와 정규 분포
5-1강. MLE(Maximum Likelihood Estimation)
5-2강. MAP(Maximum A Posteriori)
6강. 정보 이론 기초

이 책의 가장 큰 특징은 복잡한 개념들을 직관적이고 비유적인 설명으로 최대한 쉽게 풀어냈다는 점입니다. 예를 들어, 기울기 소실 문제를 이해하기 위해 신경망을 '식당'에 비유했고, 배치 정규화를 '모래알의 재배치'로 설명했으며, Dropout을 '직원들의 휴가'에 빗대었습니다. 이러한 접근 방식은 어려운 개념들을 단순히 암기하는 것이 아니라, 그 본질과 의미를 더 깊이 이해할 수 있게 도와줍니다.

현재 AI만큼 뜨거운 분야가 있을까요? 인류 역사를 통틀어 이렇게까지 빠르게 발전한 분야는 찾아보기 힘듭니다. ChatGPT와 같은 대규모 언어 모델은 방대한 지식을 바탕으로 인간의 언어 능력을 뛰어넘는 모습을 보여주며 우리를 놀라게 했습니다. 또, 예술의 영역만큼은 AI가 절대 침범할 수 없을 것이라는 사람들의 생각을 비웃기라도 하듯 AI가 만든 작품이 미술 대회와 작곡 공모전을 휩쓸고 있습니다.

아이디어는 단순합니다. 노드 수가 줄어드는 레이어에서는 액티베이션을 하지 않음으로써 비선형성은 다소 포기하되 정보 손실을 막고, 반대로 노드 수가 늘어나는 레이어에서는 비선형 액티베이션을 사용함으로써 정보 손실을 최소화하면서 충분한 비선형성을 확보하자는 것입니다.