PySpark 배우기

1장. 스파크 이해하기
__아파치 스파크는 무엇인가?
__스파크 잡과 API
____실행 프로세스
____RDD
____데이터프레임
____데이터셋
____카탈리스트 옵티마이저
____프로젝트 텅스텐
__스파크 2.0의 구조
____데이터셋과 데이터프레임 통합
____스파크세션에 대한 소개
____텅스텐 페이스 2
____구조적 스트리밍
____지속적 애플리케이션
__요약

2장. RDD
__RDD의 내부 작동 원리
__RDD 생성하기
____스키마
____파일로부터 데이터 읽기
____람다 표현
__전역 범위 vs. 지역 범위
__트랜스포메이션
____map() 트랜스포메이션
____.filter() 트랜스포메이션
____.flatMap(...) 트랜스포메이션
____.distinct() 트랜스포메이션
____.sample(...) 트랜스포메이션
____.leftOuterJoin(...) 트랜스포메이션
____.repartition(...) 트랜스포메이션
__액션
____.take(...) 함수
____.collect(...) 함수
____.reduce(...) 함수
____.count(...) 함수
____.saveAsTextFile(...) 함수
____.foreach(...) 함수
__요약

3장. 데이터프레임
__파이썬에서의 RDD 커뮤니케이션
__카탈리스트 옵티마이저 리뷰
__데이터프레임을 이용한 파이스파크 스피드업
__데이터프레임 생성하기
____JSON 데이터 생성하기
____데이터프레임 생성하기
____임시 테이블 생성하기
__간단한 데이터프레임 쿼리
____데이터프레임 API 쿼리
____SQL 쿼리
__RDD로 연동하기
____리플렉션을 이용한 스키마 추측하기
____프로그래밍하는 것처럼 스키마 명시하기
__데이터프레임 API로 쿼리하기
____행의 개수
____필터문 실행하기
__SQL로 쿼리하기
____행의 개수
____필터문을 where 절을 사용해 실행하기
__데이터프레임 시나리오: 비행 기록 성능
____출발지 데이터셋 준비하기
____비행 성능 데이터셋과 공항 데이터셋 조인하기
____비행 성능 데이터 시각화하기
__스파크 데이터셋 API
__요약

4장. 데이터 모델링 준비하기
__중복, 미관찰 값, 아웃라이어 확인하기
____중복 값
____관찰되지 않은 데이터
____아웃라이어
__데이터에 친숙해지기
____기술 통계
____상관 계수
__시각화
____히스토그램
____피처 사이의 상호작용
__요약

5장. MLlib 소개하기
__패키지에 대한 개요
__데이터 로딩하기와 변형하기
__데이터에 대해 알아보기
____기술 통계
____상관 계수
____통계 값 테스트하기
__최종 데이터셋 생성하기
____LabeledPoint의 RDD 생성하기
____학습 데이터셋과 테스트 데이터셋으로 나누기
__유아 생존율 예측하기
____MLlib의 로지스틱 회귀
____가장 유용한 피처 선택하기
____MLlib에서의 랜덤 포레스트
__요약


6장. ML 패키지 소개하기
__패키지의 개요
____트랜스포머
____에스티메이터
____분류 모델
____회귀 모델
____군집화 모델
____파이프라인
__ML로 유아 생존율 예측하기
____데이터 로드하기
____트랜스포머 생성하기
____에스티메이터 생성하기
____파이프라인 생성하기
____모델 학습하기
____모델의 성능 측정하기
____모델 저장하기
__파라미터 하이퍼튜닝
____그리드 탐색
____학습/검증 데이터셋 쪼개기
____파이스파크 ML의 다른 피처 실습
____피처 추출
__요약

7장. 그래프프레임
__그래프프레임 소개
__그래프프레임 설치하기
____라이브러리 생성
__비행 데이터셋 준비하기
__그래프 생성하기
__간단한 쿼리 수행하기
____공항과 여행의 개수 확인하기
____데이터셋 내에서 가장 긴 지연 확인하기
____지연 비행 vs. 정각/이른 비행 확인하기
____시애틀에서 출발하는 어떤 비행기에서 지연이 발생할 확률이 높은가?
____시애틀에서 출발해 어떤 주로 향할 때 비행기의 지연 가능성이 높을까?
__노드 degree 이해하기
__상위 환승 공항 알아내기
__모티브 이해하기
__페이지랭크를 이용해 공항 순위 알아보기
__가장 인기 있는 논스톱 비행편 확인하기
__너비 우선 탐색 사용하기
__D3를 이용한 비행편 시각화
__요약

8장. 텐서프레임
__딥러닝이란 무엇인가?
____인공신경망과 딥러닝의 필요성
____피처 엔지니어링이란?
____데이터와 알고리즘 연결하기
__텐서플로우는 무엇인가?
____pip 설치하기
____텐서플로우 설치하기
____상수를 이용한 행렬 곱
____placeholder를 이용한 행렬 곱
____논의
__텐서프레임 소개하기
__텐서프레임: 퀵 스타트
____설정과 셋업
____기존 칼럼에 상수를 더하기 위해 텐서플로우 사용하기
____블록 단위 reduce 연산자 예제
__요약

9장. 블레이즈를 이용한 다언어 코드 지속성
__블레이즈 설치하기
__다언어 코드 지속성
__데이터 추상화하기
____NumPy 배열로 작업하기
____pandas 데이터프레임 사용하기
____파일로 작업하기
____데이터베이스로 작업하기
__데이터 연산
____칼럼 접근하기
____심볼릭 트랜스포메이션
____칼럼 연산자
____데이터 축소
____조인
__요약

10장. 구조적 스트리밍
__스파크 스트리밍은 무엇인가?
__스파크 스트리밍이 왜 필요한가?
__스파크 스트리밍 애플리케이션의 데이터 흐름은 어떠한가?
__DStream을 이용한 간단한 스트리밍 애플리케이션
__스파크 스트리밍의 글로벌 집계에 대한 기본
__구조적 스트리밍 소개하기
__요약

11장. 스파크 애플리케이션 패키지화하기
__spark-submit 명령어
명령행 파라미터
__애플리케이션 실행시키기
____SparkSession 설정하기
____SparkSession 생성하기
____코드 모듈화하기
____잡 서브밋하기
____실행 상태 모니터링하기
__데이터브릭스 잡
__요약