실무로 배우는 빅데이터 기술

▣ 01장: 빅데이터 이해하기
1.1 빅데이터의 개념
1.2 빅데이터의 목적
1.3 빅데이터 활용
1.4 빅데이터 프로젝트
1.5 빅데이터 기술의 변화
1.6 빅데이터 구현 기술
____수집 기술
____적재 기술
____처리/탐색 기술
____분석/응용 기술
1.7 빅데이터와 보안
____데이터 보안
____접근제어 보안
1.8 마치며

▣ 02장: 빅데이터
____파일럿 프로젝트
2.1 파일럿 프로젝트 도메인의 이해
____요구사항 파악
____데이터셋 살펴보기
2.2 빅데이터 파일럿 아키텍처 이해
____소프트웨어 아키텍처
____하드웨어 아키텍처
____구축 환경의 이해
2.3 빅데이터 파일럿 프로젝트용 PC 환경 구성
____자바 설치
____이클립스 설치
____오라클 버추얼 박스 설치
____기타 개발환경 구성
____리눅스 가상 머신 환경 구성
2.4 빅데이터 파일럿 서버 구성
____CentOS 설치
____CentOS 환경 구성
____가상 머신 복제
2.5 빅데이터 클러스터 구성
____클라우데라 매니저 설치
____빅데이터 기본 소프트웨어 설치 - 하둡, 주키퍼 등 기본 구성
____DataNode 추가 및 환경 설정
____HDFS 명령을 이용한 설치 확인
____주키퍼 클라이언트 명령을 이용한 설치 확인
2.6 스마트카 로그 시뮬레이터
____로그 시뮬레이터 설치
2.7 파일럿 환경 관리
2.8 마치며

▣ 03장: 빅데이터 수집
3.1 빅데이터 수집 개요
3.2 빅데이터 수집에 활용할 기술
____플럼
____카프카
3.3 수집 파일럿 실행 1단계 - 수집 아키텍처
____수집 아키텍처
3.4 수집 파일럿 실행 2단계 - 수집 환경 구성
____플럼 설치
____카프카 설치
3.5 수집 파일럿 실행 3단계 - 플럼 수집 기능 구현
____SmartCar 에이전트 생성
____SmartCar 에이전트에 Interceptor 추가
____DriverCarInfo 에이전트 생성
3.6 수집 파일럿 실행 4단계 - 카프카 기능 구현
____카프카 Topic 생성
____카프카 Producer 사용
____카프카 Consumer 사용
3.7 수집 파일럿 실행 5단계 - 수집 기능 테스트
____SmartCar 로그 시뮬레이터 작동
____플럼 에이전트 작동
____카프카 Consumer 작동
____수집 기능 점검
3.8 마치며

▣ 04장: 빅데이터 적재 I - 대용량 로그 파일 적재
4.1 빅데이터 적재 개요
4.2 빅데이터 적재에 활용하는 기술
____하둡
____하둡 아키텍처
____하둡 활용 방안
____주키퍼
____주키퍼 아키텍처
____주키퍼 활용 방안
4.3 적재 파일럿 실행 1단계 - 적재 아키텍처
____적재 요구사항
____적재 아키텍처
4.4 적재 파일럿 실행 2단계 - 적재 환경 구성
____하둡 설치
4.5 적재 파일럿 실행 3단계 - 적재 기능 구현
____SmartCar 에이전트 수정
4.6 적재 파일럿 실행 4단계 - 적재 기능 테스트
____플럼의 사용자 정의 Interceptor 추가
____플럼의 Conf 파일 수정
____SmartCar 로그 시뮬레이터 작동
____플럼 이벤트 작동
____HDFS 명령어 확인
4.7 마치며

▣ 05장: 빅데이터 적재 II - 실시간 로그/분석 적재
5.1 빅데이터 실시간 적재 개요
5.2 빅데이터 실시간 적재에 활용하는 기술
____HBase
____레디스
____스톰
____에스퍼
5.3 실시간 적재 파일럿 실행 1단계 - 실시간 적재 아키텍처
____실시간 적재 요구사항
____실시간 적재 아키텍처
5.4 실시간 적재 파일럿 실행 2단계 - 실시간 적재 환경 구성
____HBase 설치
____레디스 설치
____스톰 설치
5.5 실시간 적재 파일럿 실행 3단계 - 실시간 적재 기능 구현
____카프카 Spout 기능 구현
____Split Bolt 기능 구현
____HBase Bolt 기능 구현
____에스퍼 Bolt 기능 구현
____레디스 Bolt 기능 구현
____레디스 클라이언트 애플리케이션 구현
____HBase 테이블 생성
____스톰 Topology 배포
5.6 실시간 적재 파일럿 실행 4단계 - 실시간 적재 기능 테스트
____로그 시뮬레이터 작동
____HBase에 적재 데이터 확인
____레디스에 적재된 데이터 확인
____레디스 클라이언트 애플리케이션 작동
____실시간 개발 환경 구성
5.7 마치며

▣ 06장: 빅데이터 탐색
6.1 빅데이터 탐색 개요
6.2 빅데이터 탐색에 활용되는 기술
____하이브
____스파크
____우지
____휴
6.3 탐색 파일럿 실행 1단계 - 탐색 아키텍처
____탐색 요구사항
____탐색 아키텍처
6.4 탐색 파일럿 실행 2단계 - 탐색 환경 구성
____하이브 설치
____우지 설치
____휴 설치
____스파크 설치
____탐색 환경의 구성 및 설치 완료
6.5 탐색 파일럿 실행 3단계 - 휴를 이용한 데이터 탐색
____HDFS에 적재된 데이터 확인
____HBase에 적재된 데이터 확인
____하이브를 이용한 External 데이터 탐색
____하이브를 이용한 HBase 데이터 탐색
____데이터셋 추가
____스파크를 이용한 추가 데이터셋 탐색
6.6 탐색 파일럿 실행 4단계 - 데이터 탐색 기능 구현 및 테스트
____주제 영역 1. 스마트카 상태 정보 모니터링 - 워크플로 작성
____주제 영역 2. 스마트카 운전자 운행 기록 정보 - 워크플로 작성
____주제 영역 3. 이상 운전 패턴 스마트카 정보 - 워크플로 작성
____주제 영역 4. 긴급 점검이 필요한 스마트카 정보 - 워크플로 작성
____주제 영역 5. 스마트카 운전자 차량용품 구매 이력 정보 - 워크플로 작성
6.7 마치며

▣ 07장: 빅데이터 분석
7.1 빅데이터 분석 개요
7.2 빅데이터 분석에 활용 기술
____임팔라
____제플린
____머하웃
____머하웃 아키텍처
____스쿱
7.3 분석 파일럿 실행 1단계 - 분석 아키텍처
____분석 요구사항
____분석 아키텍처
7.4 분석 파일럿 실행 2단계 - 분석 환경 구성
____임팔라 설치
____스쿱 설치
____제플린 설치
____머하웃 설치
7.5 분석 파일럿 실행 3단계 - 임팔라를 이용한 데이터 실시간 분석
____하이브 QL를 임팔라에서 실행하기
____임팔라를 이용한 운행 지역 분석
7.6 분석 파일럿 실행 4단계 - 제플린을 이용한 실시간 분석
____제플린을 이용한 운행 지역 분석
7.7 분석 파일럿 실행 5단계 - 머하웃과 스파크ML을 이용한 머신러닝
____머하웃 추천 - 스마트카 차량용품 추천
____스파크ML 분류 - 스마트카 상태 정보 예측/분류
____머하웃과 스파크ML을 이용한 군집 - 스마트카 고객 정보 분석
7.8 분석 파일럿 실행 6단계 - 스쿱을 이용한 분석 결과 외부 제공
____스쿱의 내보내기 기능 - 이상 운전 차량 정보
7.9 마치며

▣ 08장: 분석 환경 확장
8.1 분석환경 확장 개요
8.2 R을 이용한 회귀분석 - 스마트카 배기량에 따른 운전자 연소득 예측
____R 설치 및 환경 구성
____R 활용 방안
____R 파일럿 실행 1단계 - 분석 데이터셋 생성
____R 파일럿 실행 2단계 - 하이브 클라이언트 라이브러리 구성
____R 파일럿 실행 3단계 - R에서 하이브 데이터 로드
____R 파일럿 실행 4단계 - 데이터 탐색 및 회귀모델 생성
8.3 텐서플로를 이용한 신경망 분석 - 주행 중 스마트카의 위험 징후 판별
____설치 및 환경 구성
____텐서플로 활용 방안
____텐서플로 파일럿 실행 1단계 - 텐서플로 개발 환경 실행
____텐서플로 파일럿 실행 2단계 - 텐서플로를 이용한 딥러닝 학습 및 평가
____텐서플로 파일럿 실행 3단계 - 텐서보드를 이용한 학습 결과 시각화
____텐서플로 파일럿 실행 4단계 - 플라스크를 이용한 웹 애플리케이션 구축

▣ 부록: 실무로 배우는 빅데이터 기술 - 확장하기 (유튜브 강의)