빅데이터 큐레이터 가이드

제1부 빅데이터 기획

1장 빅데이터 분석을 위한 업무절차 ........................................................ 3
1.1 업무절차 범위 .................................................................................................... 3
1.2 업무절차 개요 ................................................................................................... 3
1.3 빅데이터 수집 ................................................................................................... 4
1.4 빅데이터 저장 ................................................................................................... 5
1.5 빅데이터 처리 ................................................................................................... 6
1.6 빅데이터 보안 .................................................................................................... 7
1.7 빅데이터 품질 ................................................................................................... 8

제2부 빅데이터 설계

2장 빅데이터 분석 비즈니스 .......................................................................... 11
2.1 데이터 비즈니스 ............................................................................................ 11
2.2 비즈니스와 시스템 ..................................................................................... 12
2.3 파레토 법칙(Pareto’s Law) .................................................................. 13
2.4 롱테일 이론(Long-Tail Theory) ...................................................... 15
3장 빅데이터 분석 주제와 시스템 기획 ........................................... 17
3.1 빅데이터 분석 주제 도출 ....................................................................... 17
3.2 구축하지 않고 시스템 만들기 .......................................................... 22
3.3 분석 시스템 개념 설계 .......................................................................... 25
4장 빅데이터 수집과 저장 .............................................................................. 37
4.1 분석을 먼저 생각해야 하는 이유 .................................................... 37
4.2 빅데[이터 수집 ............................................................................................. 39
4.3 빅데이터 저장 ............................................................................................... 42
4.4 데이터품질 ...................................................................................................... 52
4.5 데이터 수집 인터페이스와 인공지능 .......................................... 54
5장 빅데이터 처리 ................................................................................................... 57
5.1 분석을 위한 데이터와 데이터 처리 .............................................. 57
5.2 데이터마트와 분석지표 .......................................................................... 61
5.3 다차원 모델링의 적용 ............................................................................ 64
5.4 분석 모형을 위한 데이터 준비 ........................................................ 68
5.5 HDFS에서의 데이터 처리 ................................................................... 69
5.6 실시간, 배치, 스트리밍 .......................................................................... 70
6장 빅데이터 분석 제품과 변화하는 기술 .................................... 73
6.1 분석 제품의 선택 ........................................................................................ 73
6.2 제품의 대체와 변화 .................................................................................. 78
6.3 인공지능에 인한 제품의 변화 .......................................................... 79

제3부 빅데이터 분석

7장 빅데이터 분석 비즈니스 ........................................................................ 83
7.1 빅데이터의 실제 모습 .............................................................................. 83
7.2 정보와 데이터 ............................................................................................... 86
7.3 과거의 빅데이터 접근법 ....................................................................... 88
7.4 빅데이터에서 중요한 것 ....................................................................... 90
8장 빅데이터 분석 동향 ..................................................................................... 91
8.1 빅데이터 분석의 시대적 흐름 ............................................................ 91
8.2 플랫폼 관점의 동향 .................................................................................. 93
8.3 데이터 관점의 동향 .................................................................................. 95

8.4 알고리즘 관점의 동향 ............................................................................ 99
8.5 활용 관점의 동향 ....................................................................................... 99
8.6 공공 데이터 개방 동향 ......................................................................... 101
9장 빅데이터 분석 바라보기 ..................................................................... 103
9.1 책과 신문 기사에서 소개되는 분석 ............................................ 103
9.2 실제 기업에서 원하는 분석 .............................................................. 103
9.3 데이터에서 분석까지의 거리 .......................................................... 108
9.4 개념적인 분석 기법 리뷰 .................................................................... 110
10장 데이터 의미 표현을 위한 빅데이터 분석 ........................ 117
10.1 데이터 분석 방법의 구분 ................................................................... 117
10.2 OLAP과 Reporting ................................................................................ 117
10.3 대시보드 ....................................................................................................... 124
10.4 시각화 ............................................................................................................. 126
11장 추측과 의미 파악을 위한 빅데이터 분석 ...................... 131
11.1 통계 ...................................................................................................................... 131
11.2 기계학습과 딥러닝 ................................................................................. 155
11.3 오차 기반의 기계학습과 유사성 기반의 기계학습 ........ 166
11.4 정보 기반의 기계학습 .......................................................................... 172
11.5 베이즈정리 기반의 기계학습 ......................................................... 175
11.6 기계학습에서의 다양한 학습 방법 ............................................. 177
12장 의사결정에 직접 활용하기 위한 빅데이터 분석 .... 183
12.1 최적화 .............................................................................................................. 183
12.2 예측과 추정을 위한 확률과정 모형 ......................................... 194
12.3 시나리오 기반 시뮬레이션 ............................................................. 200

13장 데이터 과학자 ............................................................................................ 203
13.1 데이터 과학자의 모습 ........................................................................ 203
13.2 분석 필요성의 판단 ............................................................................. 204
13.3 분석 데이터 만들기 ............................................................................. 205
13.4 분석의 검증과 모니터링 .................................................................. 206
13.5 데이터 과학자로서의 견해 ............................................................. 212

제4부 빅데이터 융합

14장 빅데이터 분석 도구 (화수목 Analytics) ............................ 219
14.1 시스템 개요 ................................................................................................. 219
14.2 분석 워크플로우 .................................................................................... 220


국문색인 ............................................................................................................................ 273
영문색인 ............................................................................................................................ 276