빅데이터 분석과 활용

PART I 빅데이터가 열어 갈 4차 산업혁명 1
CHAPTER 01 빅데이터와 우리의 미래 3
1.1 2030년 어느 날 3
1.2 빅데이터란? 4
1.3 빅데이터와 4차 산업혁명 6
1.3.1 빅데이터와 자율주행 자동차 14
1.4 기업은 빅데이터를 어떻게 이용하고 있을까? 15
1.5 빅데이터가 열어 갈 미래를 어떻게 준비해야 하는가? 16
1.5.1 미래는 자율형 분산 조직화된다 17
1.5.2 변화의 시간은 점점 짧아진다 18
1.5.3 시장 창조형 혁신이 필요하다 19
1.5.4 결국 인재가 가장 중요하다 21
1.5.5 빅데이터 기반의 온라인 평생 교육 22

CHAPTER 02 빅데이터란 무엇인가? 24
2.1 데이터 분석의 지난날 24
2.1.1 CRM에서 빅데이터 분석으로 24
2.1.2 데이터 마이닝 기술에서 빅데이터 분석 기술로 26
2.2 빅데이터 분석을 위해 우리가 알아야 할 것들 28
2.2.1 빅데이터의 정의 28
2.2.2 빅데이터의 특징 29
2.2.3 데이터 폭증 시대, 진정한 빅데이터 분석 32
2.2.4 빅데이터 분석 4요소 33
2.2.5 데이터 분석가는 무엇을 해야 하는가? 34
2.2.6 빅데이터 기반 기술에는 무엇이 있는가? 35
2.2.7 분석 알고리즘 학습 39
2.2.8 데이터 인사이트를 기르는 방법 42
2.3 빅데이터 기술 섭렵하기 44
2.3.1 빅데이터 수집 45
2.3.2 빅데이터 저장 51
2.3.3 빅데이터 처리 57
2.3.4 빅데이터 분석 60

CHAPTER 03 빅데이터의 비즈니스 활용 사례 66
3.1 기업의 빅데이터 활용 방향 67
3.2 해외 사례 70
3.3 국내 사례 79

PART II 빅데이터 구축 실무 95
CHAPTER 04 빅데이터 구축 97
4.1 빅데이터 플랫폼 구축 개요 97
4.1.1 운영계 시스템(기간계) 97
4.1.2 분석계 시스템(데이터 웨어하우스) 98
4.1.3 데이터 레이크 98
4.2 빅데이터 플랫폼 구축을 위한 프로세스 98
4.3 요구사항 분석 102
4.3.1 개선 방향 작성 104
4.3.2 분석 목표 수립 106
4.3.3 프로젝트 계획 108
4.3.4 보유 데이터 자산 확인 109
4.4 개발 계획 수립 112
4.4.1 일정 계획 수립 112
4.4.2 인력 계획 수립 116
4.5 목표 시스템 정의 119
4.6 기초 설계 126
4.6.1 고가용성 구성 126
4.6.2 개발 표준 정의 130
4.6.3 모델링 표준 정의 136
4.7 데이터 수집 설계 138
4.7.1 데이터 수집 계획 수립 138
4.7.2 빅데이터 수집 시스템 설계 143
4.7.3 내/외부 데이터 수집 150
4.8 데이터 처리 설계 154
4.8.1 데이터 처리 계획 수립 155
4.8.2 데이터 처리 설계 156
4.9 플랫폼 구축 160
4.9.1 PMO 관리사항 161
4.9.2 하드웨어 조달 및 설치 164
4.9.3 소프트웨어 조달 및 설치 165
4.9.4 데이터 수집 166
4.9.5 업무 개발/테스트 167
4.9.6 통합 테스트 168
4.9.7 사용자 인수 테스트 171
4.9.8 오픈 및 완료 보고 171

CHAPTER 05 빅데이터 분석과 활용 172
5.1 왜 데이터 전처리가 중요할까? 172
5.1.1 데이터 전처리란? 173
5.1.2 전송 및 전처리 업무의 문제 175
5.1.3 전송 방법의 구분 176
5.1.4 비실시간 데이터 전송 176
5.1.5 실시간 데이터 전송 180
5.1.6 크롤링과 스크랩핑 181
5.1.7 데이터 전송을 잘 수행하기 위한 준비사항 182
5.1.8 데이터 전송 및 전처리 시스템 구축 182
5.1.9 데이터 전송 포맷 187
5.1.10 로그 수집과 크롤링 189
5.1.11 하둡 연동 192
5.1.12 데이터 스펙 검증 및 관계형 데이터베이스 연동 194
5.1.13 데이터 전처리 구현 195
5.2 머신러닝 기반 분석 프로세스 198
5.2.1 예측 모형 개발 프로세스 198
5.2.2 예측 모형 알고리즘 선정 프로세스 201
5.2.3 예측모형 알고리즘 종류 202
5.2.4 머신러닝 예측 모델 성능 평가 213

CHAPTER 06 빅데이터 운영 218
6.1 빅데이터 운영 기획 218
6.2 빅데이터 운영 228
6.3 운영 평가 235

PART III 빅데이터 활성화 산업혁명 기술 239
CHAPTER 07 빅데이터와 인공지능 241
7.1 인공지능에서의 빅데이터 활용 241
7.2 인공지능의 과거와 현재 241
7.2.1 고정관념의 변화 241
7.2.2 과거의 인공지능 243
7.3 쉬운 인공지능, 어려운 용어 245
7.4 인공지능의 개념 247
7.4.1 인공지능의 분류 249
7.5 인공지능 기초 알고리즘 251
7.5.1 퍼셉트론 251
7.5.2 퍼셉트론 활용 기초 253
7.6 인공지능 기술 분류 255
7.6.1 상황이해 259
7.6.2 언어이해 260
7.7 인공지능의 학습기법과 알고리즘 260

CHAPTER 08 빅데이터와 블록체인 262
8.1 비트코인의 탄생 262
8.2 비트코인에 코인은 없다 264
8.3 비트코인의 보상 265
8.4 블록체인의 구조 267
8.5 공개, 개인, 컨소시엄 블록체인 268
8.6 블록체인 기술의 산업적 활용 전망 272
8.7 빅데이터 활성화를 위한 블록체인 278

참고문헌 281
찾아보기 284

이 책의 시작을 4차 산업혁명으로 시작하는 이유가 여기에 있다. 빅데이터는 하나의 기술이고 트렌드일 뿐 더욱 중요한 것은 이러한 빅데이터를 얼마나 산업에 적용할 것인지를 고민하는 창업가의 의지와 모험심이라고 생각한다. 1부에서는 빅데이터로 인한 4차 산업혁명의 짧은 스냅샷을 보여 준다. 그리고 빅데이터가 무엇인가에 관한 사전적, 경험적 정의를 내려 준다. 아무리 실무가 중요하다고 해도 간단한 정의 정도는 내리고 출발하는 것이 좋겠다. 그리고 빅데이터가 현재 산업에 얼마나 사용되고 있는지 그 활용 사례를 보여 줌으로써 4차 산업혁명의 원유(原油)라고 하는 이유를 설명하고자 한다. 1부는 빅데이터를 그동안 잘 모르고 있었거나 피상적으로만 알고 있었던 분들이 읽으면, 짧지만 강한 여운을 남길 수 있을 것이다. 그럼, 4차 산업혁명의 미래 모습 속으로 잠시 여행을 다녀오자.

통계분석과 데이터 마이닝, 빅데이터의 차이점을 간단히 설명하면 다음과 같다. 통계분석은 모집단에서 집단의 대표성을 가지는 표본집단으로부터 데이터를 분석한다. 그러므로 모집단으로부터 집단의 대표성을 가지는 표본집단을 얼마나 잘 추출하는가에 따라 데이터의 분석 결과가 달라질 수 있다. 표본집단 추출의 한계가 곧 통계분석의 한계로 연결된다. 이러한 통계분석의 한계를 극복한 것이 데이터 마이닝이다. 데이터 마이닝은 모집단 전체를 대상으로 분석하게 된다. 또한, 통계분석은 가설 또는 가정을 검증하는 과정인 데 반해, 데이터 마이닝은 신경망 알고리즘, 연관분석, 회귀분석, K-평균(K-means) 알고리즘 등의 수학적 분석 방법론으로 데이터를 분석하게 된다. 통계에서는 대량의 데이터를 대상으로 했을 때 한계가 있다. 이는 통계가 전체 데이터 중 부분 데이터를 다루기 때문이다. 통계가 전체 데이터를 다룰 때도 있지만, 이는 정말 특별한 경우에만 그렇다.

빅데이터 플랫폼은 빅데이터를 생산?분석?유통시키는 시스템이다. 현대는 플랫폼 시대다. 단순히 하나의 시스템을 구축하는 것이 중요한 것이 아니라 지속적으로 개발?분석?유통할 수 있는 시스템이 필요하다. 빅데이터 역시 플랫폼을 구축하는 것이 중요하다. 빅데이터 플랫폼은 일반적인 전산 시스템 카테고리에 따라 크게 세 가지 유형으로 분류한다. 첫째, 운영계 시스템은 기간계 시스템이라고도 한다. 둘째, 분석계 시스템은 기업에서 데이터 웨어하우스라고 부르는 시스템이다. 분석계 시스템은 운영계 시스템에서 만들어진 빅데이터를 분석하는 시스템이다. 셋째, 데이터 레이크(Data Lake)는 데이터 소스가 제공하는 원시 데이터 그대로를 저장해놓은 시스템이다.