최적화 이론

1. 일 변수 함수의 최대최소 이론
1.1 일 변수 함수 미분
1.2 테일러 급수(Taylor Series)
1.3 Taylor 급수 보충설명[증명]

2. 다변수 함수
2.1 다변수 함수(Multi Variable Functions)의 정의:
2.2 다변수 함수의 미분
2.3 f: R^n -> R 의 테일러 급수(Taylor Series)
2.4 f: R^m -> R^n 의 테일러 급수(Taylor Series)
2.5 레벨집합과 그레디언트 방향

3. 컨벡스 함수(Convex function)
3.1 컨벡스 함수의 정의
3.1-11 정리(컨벡스 함수 핵심정리)

4. 제약 조건이 없는 최적화
4.1 기본개념
4.2-1 하강방향 찾기 1[Gradient Descent 탐색방법]
4.2-2 직선탐색(Line search) 알고리즘: 보폭(step size)결정하기
4.3 하강방향 찾기 2[Conjugate Gradient 탐색방법]
4.4 하강방향 찾기 3 [Newton 탐색방법]
4.4-1 Newton 탐색방법
4.4-2 Levenberg-Marquardt Type Damped
Newton Method
4.4-3: Quasi-Newton Method
4.5 비선형 최소자승법(non-linear least squares problem)
4.5-1: 다변수 함수의 국소 선형성질
4.5-2: 비선형 최소자승법(non-linear least squares problem)
4.5-3: Gauss-Newton 탐색방법
4.5-4: Levenberg-Marquardt 방법

5. 라그랑주 승수법(Lagrange multiplier method)
5.1 라그랑주 승수법(Lagrange multiplier method)
-등호 제약조건이 있는 경우-
5.2 라그랑주 승수법(Lagrange multiplier method)
-등호와 부등호 제약조건이 있는 경우-

6. 선형대수학
6.1 벡터공간 R^n (Vector space of R^n)
6.2 부분공간(Subspace): 벡터공간속의 벡터공간
6.3 일차결합(linear combination)의 기하학적인 의미:
평행사변형 법칙
6.4 일차독립, 일차종속
6.5 기저개념(Basis)과 벡터공간의 차원(Dimension)
6.6 내 적 (Inner product)
6.7 행 렬 (Matrices)
6.8 벡터공간과 행렬과의 관계
6.9 행렬에서 열벡터와 행벡터의 의미
6.10 고유치와 고유벡터의 기하학적인 의미
6.11 양 확정행렬에 대한 Gram-Schmidt(그람-슈미트)
직교화 과정
6.12 군론의 정의(Definition of Group)
6.13 R^3에서의 직교행렬(Orthogonal Matrix in R^3)
6.14 공간상의 물체의 회전과 군 이론: SO_3(R)
6.15 선형방정식의 해구하기: Ax=b

참고문헌
찾아보기