실무로 배우는 빅데이터 기술

▣ 01장: 빅데이터 이해하기
1.1 빅데이터의 개념
1.2 빅데이터 시장
1.3 빅데이터 기술의 변화
1.4 빅데이터 구현 기술
__수집 기술
__적재 기술
__처리/탐색 기술
__분석/응용 기술
1.5 마치며

▣ 02장: 빅데이터 파일럿 프로젝트
2.1 파일럿 프로젝트 도메인의 이해
__요구사항 파악
__데이터셋 살펴보기
2.2 빅데이터 파일럿 아키텍처 이해
__소프트웨어 아키텍처
__하드웨어 아키텍처
__구축 환경 이해
2.3 빅데이터 파일럿 프로젝트용 PC 환경 구성
__자바 설치
__이클립스 설치
__오라클 버추얼 박스 설치
__기타 개발환경 구성
__리눅스 가상 머신 환경 구성
2.4 빅데이터 파일럿 서버 구성
__CentOS 설치
__CentOS 환경 구성
__가상 머신 복제
2.5 클라우데라 매니저 설치
__빅데이터 기본 소프트웨어 설치 - 하둡, 주키퍼 등 기본 구성
__DataNode 추가 및 환경 설정
__HDFS 명령을 이용한 설치 확인
__주키퍼 클라이언트 명령을 이용한 설치 확인
2.6 스마트카 로그 시뮬레이터 설치
2.7 파일럿 환경 관리
2.8 마치며

▣ 03장: 빅데이터 수집
3.1 빅데이터 수집 개요
3.2 빅데이터 수집에 활용할 기술
__플럼
__카프카
3.3 수집 파일럿 실행 1단계 - 수집 아키텍처
__수집 아키텍처
3.4 수집 파일럿 실행 2단계 - 수집 환경 구성
__플럼 설치
__카프카 설치
3.5 수집 파일럿 실행 3단계- 플럼 수집 기능 구현
__SmartCar 에이전트 생성
__SmartCar 에이전트에 Interceptor 추가
__DriverCarInfo 에이전트 생성
3.6 수집 파일럿 실행 4단계 - 카프카 기능 구현
__카프카 Topic 생성
__카프카 Producer 사용
__카프카 Consumer 사용
3.7 수집 파일럿 실행 5단계 - 수집 기능 테스트
__SmartCar 로그 시뮬레이터 작동
__플럼 에이전트 작동
__카프카 Consumer 작동
__수집 기능 점검
3.8 마치며

▣ 04장: 빅데이터 적재 I - 대용량 로그 파일 적재
4.1 빅데이터 적재 개요
4.2 빅데이터 적재에 활용하는 기술
__하둡
__하둡 아키텍처
__하둡 활용 방안
__주키퍼
__주키퍼 아키텍처
__주키퍼 활용 방안
4.3 적재 파일럿 실행 1단계 - 적재 아키텍처
__적재 요구사항
__적재 아키텍처
4.4 적재 파일럿 실행 2단계 - 적재 환경 구성
__하둡 설치
4.5 적재 파일럿 실행 3단계 - 적재 기능 구현
__SmartCar 에이전트 수정
4.6 적재 파일럿 실행 4단계 - 적재 기능 테스트
__플럼의 사용자 정의 Interceptor 추가
__플럼의 Conf 파일 수정
__SmartCar 로그 시뮬레이터 작동
__플럼 이벤트 작동
__HDFS 명령어 확인
4.7 마치며

▣ 05장: 빅데이터 적재 II - 실시간 로그/분석 적재
5.1 빅데이터 실시간 적재 개요
5.2 빅데이터 실시간 적재에 활용하는 기술
__HBase
__레디스
__스톰
__에스퍼
5.3 실시간 적재 파일럿 실행 1단계 - 실시간 적재 아키텍처
__실시간 적재 요구사항
__실시간 적재 아키텍처
5.4 실시간 적재 파일럿 실행 2단계 - 실시간 적재 환경 구성
__HBase 설치
__레디스 설치
__스톰 설치
5.5 실시간 적재 파일럿 실행 3단계 - 실시간 적재 기능 구현
__카프카 Spout 기능 구현
__Split Bolt 기능 구현
__HBase Bolt 기능 구현
__에스퍼 Bolt 기능 구현
__레디스 Bolt 기능 구현
__레디스 클라이언트 애플리케이션 구현
__HBase 테이블 생성
__스톰 Topology 배포
5.6 실시간 적재 파일럿 실행 4단계 - 실시간 적재 기능 테스트
__로그 시뮬레이터 작동
__HBase에 적재 데이터 확인
__레디스에 적재된 데이터 확인
__레디스 클라이언트 애플리케이션 작동
__실시간 개발 환경 구성
5.7 마치며

▣ 06장: 빅데이터 탐색
6.1 빅데이터 탐색 개요
6.2 빅데이터 탐색에 활용되는 기술
__하이브
__스파크
__우지
__휴(Hue)
6.3 탐색 파일럿 실행 1단계 - 탐색 아키텍처
__탐색 요구사항
__탐색 아키텍처
6.4 탐색 파일럿 실행 2단계 - 탐색 환경 구성
__하이브 설치
__우지 설치
__휴 설치
__스파크 설치
__탐색 환경의 구성 및 설치 완료
6.5 탐색 파일럿 실행 3단계 - 휴를 이용한 데이터 탐색
__HDFS에 적재된 데이터 확인
__HBase에 적재된 데이터 확인
__하이브를 이용한 External 데이터 탐색
__하이브를 이용한 HBase 데이터 탐색
__데이터셋 추가
__스파크를 이용한 추가 데이터셋 탐색
6.6 탐색 파일럿 실행 4단계 - 데이터 탐색 기능 구현 및 테스트
__주제 영역 1. 스마트카 상태 정보 모니터링 - 워크플로 작성
__주제 영역 2. 스마트카 운전자 운행 기록 정보 - 워크플로 작성
__주제 영역 3. 이상 운전 패턴 스마트카 정보 - 워크플로 작성
__주제 영역 4. 긴급 점검이 필요한 스마트카 정보 - 워크플로 작성
__주제 영역 5. 스마트카 운전자 차량용품 구매 이력 정보 - 워크플로 작성
6.7 마치며

▣ 07장: 빅데이터 분석
7.1 빅데이터 분석 개요
7.2 빅데이터 분석에 활용 기술
__임팔라
__제플린
__머하웃
__머하웃 아키텍처
__스쿱
7.3 분석 파일럿 실행 1단계 - 분석 아키텍처
__분석 요구사항
__분석 아키텍처
7.4 분석 파일럿 실행 2단계 - 분석 환경 구성
__임팔라 설치
__스쿱 설치
__제플린 설치
__머하웃 설치
7.5 분석 파일럿 실행 3단계 - 임팔라를 이용한 데이터 실시간 분석
__하이브 QL를 임팔라에서 실행하기
__임팔라를 이용한 운행 지역 분석
7.6 분석 파일럿 실행 4단계 - 제플린을 이용한 실시간 분석
__제플린을 이용한 운행 지역 분석
7.7 분석 파일럿 실행 5단계 - 머하웃을 이용한 데이터 마이닝
__머하웃 추천 - 스마트카 차량용품 추천
__머하웃 분류 - 스마트카 상태 정보 예측
__머하웃 군집 - 스마트카 고객 정보 분석
7.8 분석 파일럿 실행 6단계 - 스쿱을 이용한 분석 결과 외부 제공
__스쿱의 내보내기 기능 - 이상 운전 차량 정보
7.9 마치며