Spark와 머신 러닝

1 스파크의 시작과 구동
로컬 모드로 스파크 설치와 환경 설정
스파크 클러스터
스파크 프로그래밍 모델
__SparkContext와 SparkConf
__스파크 셸
__복구할 수 있는 분산 데이터 집합
____RDD 생성
____스파크 오퍼레이션
____RDD 캐싱
__브로드캐스트 변수와 누산기
스칼라를 이용한 스파크 프로그램의 첫 단계
자바로 개발하는 스파크 프로그램의 첫 단계
파이썬으로 스파크 프로그램 작성하는 첫 단계
아마존 EC2에서 스파크 구동
__EC2 스파크 클러스터 실행
정리

2 머신 러닝 시스템
무비스트림 소개
머신 러닝 시스템을 위한 비즈니스 유스케이스
__개인화
__타겟 마케팅과 사용자 분류
__예측 모델링과 해석학
머신 러닝 모델의 타입
데이터 기반의 머신 러닝 시스템 컴포넌트
__데이터 획득과 저장
__데이터 클렌싱과 변환
__모델 학습과 테스트 루프
__모델 적용과 정합
__모델 모니터링과 피드백
__배치 프로세스와 실시간 프로세스
머신 러닝 시스템의 아키텍처
__실습
정리

3 스파크를 이용한 데이터 수집, 프로세싱, 준비
공개적으로 가용한 데이터 집합 접근
__무비렌즈 100킬로바이트 데이터 집합
데이터 탐색과 가시화
__사용자 데이터 집합 탐색
__영화 데이터 집합 탐색
__평점 데이터 집합 탐색
데이터 처리와 변환
__부적절하거나 소실된 데이터로 채우기
데이터에서 유용한 특징 추출
__숫자 특징
__카테고리 특징
__파생 특징
____타임스탬프를 카테고리 특징으로 변환
__텍스트 특징
____단순 텍스트 특징 추출
__특징 정규화
____특징 정규화를 위한 MLlib 라이브러리 사용
__특징 추출을 위한 패키지 사용
정리

4 스파크를 이용한 추천 엔진 구현
추천 모델의 타입
__콘텐트 기반의 필터링
__공동 필터링
____행렬 인수분해
목표 데이터에서 적절한 특징 추출
__무비렌즈 100k 데이터 집합에서 특징 추출
추천 모델 트레이닝
__무비렌즈 100k 데이터 집합으로 모델 트레이닝
____암시적인 피드백 데이터를 이용한 모델 트레이닝
추천 모델 사용
__사용자 추천
____무비렌즈 100k 데이터 집합에서 영화 추천 생성
__제품 추천
____무비렌즈 100k 데이터 집합에서 유사 영화 생성
추천 모델의 성능 평가
__평균 제곱 오차
__K 평균 정확도의 평균
__MLlib 라이브러리의 내장 평가 메소드 사용
____RMSE와 MSE
____맵
정리

5 스파크를 이용한 분류 모델 구현
분류 모델의 타입
__선형 모델
____로지스틱 회귀
____선형 지원 벡터 머신
__나이브 베이즈 모델
__의사결정 트리
데이터 집합에서 적절한 특징 추출
__캐글/스텀블업온 에버그린 분류 데이터 집합에서 특징 추출
분류 모델 트레이닝
__캐글/스텀블업온 지속적인 분류 데이터 집합에 분류 모델을 트레이닝
분류 모델 사용
__캐글/스텀블업온 지속 가능한 분류 데이터 집합을 이용한 예측 생성
분류 모델의 성능 평가
__정확도와 예측 오차
__정확도와 회자
__ROC 곡선과 AUC
모델 성능을 향상하고 매개변수를 튜닝
__특징 표준화
__추가적인 특징
__정확한 형태의 데이터 사용
__모델 매개변수 튜닝
____선형 모델
____의사결정 트리
____나이브 베이즈 모델
__교차 검증
정리

6 스파크를 이용한 회귀 모델 구현
회귀 모델의 타입
__최소 제곱 회귀
__회귀에 대한 의사결정 트리
데이터 집합에서 적절한 특징 추출
__자전거 공유 데이터 집합에서 특징 추출
____선형 모델에 적용할 특징 벡터 생성
____의사결정 트리를 위한 특징 벡터 생성
회귀 모델 트레이닝과 사용
__자전거 공유 데이터 집합을 이용한 회귀 모델 트레이닝
회귀 모델의 성능 평가
__평균 제곱 에러와 루트 평균 제곱 에러
__평균 절댓값 에러
__루트 평균 제곱 로그 에러
__R 제곱 계수 값
__자전거 공유 데이터 집합을 이용한 성능 메트릭스 계산
____선형 모델
____의사결정 트리
모델 성능 향상과 매개변수 튜닝
__타겟 변수를 변환
____로그 변환한 타겟으로 트레이닝할 때의 영향
__모델 매개변수 튜닝
____매개변수를 평가하기 위한 데이터 집합 트레이닝과 테스트 생성
____선형 모델에 적용하는 매개변수 설정의 영향
____의사결정 트리에 매개변수 설정 값을 적용할 때의 영향
정리

7 스파크를 이용한 클러스터 구축 모델 구현
클러스터 모델의 타입
__K 평균 클러스터
____초기화 메소드
____변수
__혼합 모델
__계층적인 클러스터
데이터에서 적절한 특징 추출
__무비렌즈 데이터 집합에서 특징 추출
____영화 장르 레이블 추출
____추천 모델 트레이닝
____정규화
클러스터 모델 트레이닝
__무비렌즈 데이터 집합을 이용해 구성한 클러스터 모델 트레이닝
클러스터 모델을 이용한 예측
__무비렌즈 데이터 집합에 대한 클러스터 예측 해석
____영화 클러스터 해석
클러스터화한 모델의 성능 평가
__내부 평가 메트릭스
__외부 평가 메트릭스
__무비렌즈 데이터 집합에 적용한 메트릭스의 성능 계산
클러스터 모델에 적용하는 매개변수 튜닝
__교차 검증을 통한 K 값 선택
정리

8 스파크를 이용한 차원 축소
차원 축소의 타입
__주요 컴포넌트 분석
__단일 값 분해
__행렬 요소화를 가진 관계
__차원 축소와 같은 클러스터화
분석 데이터의 적절한 특징 추출
__LWF 데이터 집합의 특징 추출
____얼굴 데이터 분석
____얼굴 데이터의 가시화
____벡터 형태로 된 얼굴 이미지 추출
____정규화
차원 축소 모델 트레이닝
__LFW 데이터 집합에 주요 컴포넌트 분석 기법 적용
____아이겐페이스의 가시화
____아이겐페이스 해석
차원 축소 모델 적용
__LWF 데이터 집합에 적용한 주요 컴포넌트 분석을 이용한 데이터 주입
__주요 컴포넌트 분석과 단일 값 분해 간 관계
차원 축소 모델 평가
__LFW 데이터 집합에 단일 값 분해 적용을 위한 k 값 평가
정리

9 스파크를 이용한 고급 텍스트 프로세싱
텍스트 데이터의 중요한 면
데이터 집합에서 올바른 특징 추출
__용어 가중치 스킴
__특징 해싱
__20개 뉴스그룹 데이터 집합에서 TF-IDF 특징 추출
____20개 뉴스그룹 데이터 분석
____기본적인 토큰화 기능 적용
____토큰화 향상
____중지 단어 제거
____빈도수를 바탕으로 단어 제거
____스테밍에 대한 참고
____TF-IDF 모델 트레이닝
____TF-IDF 가중치 분석
TF-IDF 모델 사용
__20개의 뉴스그룹 데이터 집합과 TF-IDF 특징을 이용한 문서 유사성
__TF-IDF를 이용한 20개 뉴스그룹 데이터 집합의 텍스트 분류자 트레이닝
텍스트 프로세싱의 영향 평가
__20개의 뉴스그룹 데이터 집합을 이용해서 원본 특징과 프로세싱된 TF-IDF 특징 비교
Word2Vec 모델
__20개 뉴스그룹 데이터 집합에 Word2Vec 적용
정리

10 스파크 스트리밍을 이용한 실시간 머신 러닝
온라인 러닝
스트림 프로세싱
__스파크 스트리밍에 대한 소개
____입력 소스
____변환
____액션
____윈도우 연산자
__스파크 스트리밍을 이용한 캐싱과 고장 허용
스파크 스트리밍 애플리케이션 개발
__생산자 애플리케이션
__기본적인 스트리밍 애플리케이션 개발
__스트리밍 분석
__스테이트풀 스트리밍
스파크 스트리밍을 이용한 온라인 러닝
__스트리밍 회귀
__간단한 스트리밍 회귀 프로그램
____스트리밍 데이터 생산자 개발
____스트리밍 회귀 모델 생성
__스트리밍 K 평균
온라인 모델 평가
__모델 성능과 스파크 스트리밍 비교
정리