머신러닝을 위한 수학 길잡이

제1장 벡터공간과 행렬
1.1 벡터공간과 기저
1.2 선형사상과 행렬
1.3 내적공간
1.4 행렬의 대각화
1.5 여러 가지 행렬 분해
1.6 이산 푸리에 변환
제2장 다변수 함수의 미분과 최적화
2.1 다변수 (벡터)함수의 미분
2.2 최적화 기본 이론
2.3 최적화의 쌍대성 이론
2.4 최적화를 위한 반복 알고리즘
제3장 확률과 통계
3.1 확률의 기본 개념
3.2 조건화와 독립성
3.3 확률변수(벡터)의 함수
3.4 다변량 정규 분포
3.5 확률변수열의 수렴
3.6 통계적 추론

기계학습(머신러닝)이나 심층학습(딥러닝)에서 학습이 의미하는 것은 수집된 데이터를 바탕으로 이 데이터의 특성을 잘 표현하는 예측 모델을 매개변수(파라미터)를 이용하여 구성하고,수집된 데이터의 실제값과 예측모델로부터 얻은 예측값 사이의 평균오차가 최소가 되도록 매개변수를 결정하는 과정을 의미한다.
이때, 이미지, 텍스트, 음성 등 다양한 형태로 수집된 데이터는 적절한 전처리 과정을 통해 수치화한 다음 컴퓨터가 이해할 수 있는 배열 형태로 변환하게 되는데, 이런 배열에 대응되는 수학적 개념이 벡터와 행렬(좀 더 일반적으로 텐서)이다. 또 예측모델을 구성하는 것은 적절한 확률분포를 선택하는 것과 밀접하게 관련이 있고, 예측모델의 파라미터를 결정하는 것은어떤 다변수 (벡터)함수가 최소가 되는 파라미터를 구하는 것에 대응되는데, 이 과정에서 여러 최적화 방법이 사용된다.
따라서 행렬과 다변수 함수의 미분 정도만 이해하면, 손쉽게 접할 수 있는 다양한 머신러닝프레임워크나 라이브러리를 통해 머신러닝 알고리즘을 활용한 예측모델을 구성하는 것이 가능하다. 하지만, 단순히 흥미를 충족시키기 위한 것이 아니라, 어떤 목적을 갖고 실제 문제에활용하기 위해 머신러닝을 사용하길 원한다면, 적절한 예측모델을 구성하고 그 결과가 얼마나 신뢰할 만한지를 평가할 수 있도록 각각의 머신러닝 알고리즘을 깊이 있게 이해해야 한다.
머신러닝을 깊이 있게 이해하는데 도움이 되는 교재로는 [5], [13]등과 같이 좋은 교재들이 있지만, 일정한 수학적 지식을 전제로 머신러닝과 통계적 분석을 다루고 있으므로 일반인이나학부생이 읽고 이해하기에는 어려움이 있다.
이런 교재나 관련 논문을 읽기 위해서는 대학 1학년 수준의 미적분학 이외에 선형대수,약간의 해석학 지식을 포함한 최적화 이론, 확률 및 다변량 통계 등이 필수적인데, 지난 8년동안 대학에서 머신러닝을 강의하며 느낀 점은 학생들이 이 모든 것을 각각 공부한 뒤에 머신러닝을 공부하기에는 현실적으로 여러 가지 어려움이 있다는 점이었다. 이 책의 목적은 이런어려움을 최소화하면서, 머신러닝을 깊이 있게 이해하는데 필요한 수학을 압축해서 체계적으로 이해할 수 있도록 도와주는 길잡이 역할을 하는 것이다.이 책의 수준은 그 목적상 머신러닝을 위한 기초수학으로 많이 소개되는 미적분과 기초통계학보다는 그 수준이 다소 높다. 하지만, 대학 1학년 수준에서 배우는 다변수 함수에 대한 편미분을 할 수 있으면, 논리적으로 책의 내용을 따라가면서 이해하는데 어려움이 없도록쓰려고 노력했다. 따라서 이 책은 머신러닝을 깊게 공부하려는 일반인이나 공학 학부생이 필요한 수학을 보충하려는 목적으로 공부하기에 적합하며, 수학, 통계학 전공 학부생이 데이터과학이나 머신러닝과 관련이 있는 전공 과목의 내용을 체계적으로 정리하는 목적으로 공부하기에도 충분하다.
이 책의 구성은 1장에서 데이터의 표현 뿐 아니라 머신러닝의 여러 연산을 효율적으로 처리하고, 내재된 정보를 추출하는데 필수적인 여러가지 행렬 분해와 선형대수의 필수적인 내용을 소개하고, 2장에서는 1장의 내용을 바탕으로 다변수 함수에 대한 최적화를 이해하는데필수적인 내용을 다룬다. 특히 머신러닝의 학습에서 자주 나오는 볼록함수에 대한 최적화와반복 최적화 알고리즘을 자세하게 설명하고, 최적화의 쌍대성 이론과 KKT 최적 조건을 활용한 서포트 벡터 머신의 학습을 자세히 설명한다. 3장의 확률과 통계는 예측모델을 이해하는데 필요한 확률분포와, 예측모델의 학습과 평가에 필요한 통계적 추론을 선형대수를 이용하여설명하였다. 특히, 큰 수의 법칙과 중심극한정리는 머신러닝에서 중요하게 사용되는 도구인
데, 이를 충분히 이해하고 활용할 수 있도록 확률변수열의 수렴성을 포함한 몇 가지 주제를 좀더 자세하게 다루었다.
이 책에서 사용하는 표기법 중 언급할 점은 스칼라는 a, b, x, y 와 같은 일반 글자체의 소문자를 사용하고, 벡터는 a, b, x, y 와 같은 굵은 글자체를 사용한다. 같은 취지로 함숫값이실수인 함수는 f, g, 함숫값이 벡터인 함수는 f, g 로 쓴다. 또, 확률변수는 X, Y 와 같은 일반글자체의 대문자를 사용하고, 확률벡터는X,Y 와 같은 굵은 글자체를 사용한다. 행렬은 확률벡터와 구별하기 위해 X, Y, A와 같은 글자체를 사용하고, 집합이나 점을 표현하는 문자와구별하기 위해, 확률은 P, 기댓값은 E, 분산은 Var, 공분산은 Cov로 표기한다.
바라건대 이 책이 머신러닝과 관련된 이론 서적이나 관련 논문을 읽을 때 부딪힐 수 있는수학적 장벽을 낮추고, 좀 더 깊은 이해를 위해 어떤 수학을 좀 더 공부해야 하는지 그 방향을잡는데 도움이 되기를 희망한다. 끝으로 초고를 꼼꼼하게 검토하고 좋은 의견을 제시해 준 한경훈 교수에게 깊은 감사의 마음을 전한다.
-머리말