빅데이터, 돈을 읽다

머리글 4
개요 10

제1부 빅데이터의 이해
1장 • 빅데이터 이야기 16
2장 • 인공지능, 머신러닝 그리고 빅데이터 40
3장 • 빅데이터는 왜 유용한가? 53
4장 • (빅)데이터 애널리틱스의 사례 69
5장 • 빅데이터 생태계의 이해 94

제2부 빅데이터 생태계의 조성
6장 • 빅데이터와 비즈니스 전략 116
7장 • 빅데이터와 데이터 과학 전략의 수립 141
8장 • 데이터 과학의 활용 – 애널리틱스, 알고리즘, 머신러닝 - 167
9장 • 빅데이터 기술의 선택 200
10장 • 팀의 구성 218
11장 • 데이터 거버넌스와 법률 준수 246
12장 • 빅데이터 프로젝트의 성공적 도입을 위해 261

감사의 글 278
용어해설 279

데이터 저장 공간 문제는 항상 골칫거리였다. 불과 얼마 전까지만 해도 우리는 휴가지에서의 즐거운 시간을 장당 1달러짜리 폴라로이드 사진으로 남겼다. 최고의 TV쇼와 음악 프로그램은 오래된 비디오테이프에 반복 녹화해서 봐야만 했다. 컴퓨터 메모리 역시 항상 부족했다. 그러나 더 새롭고 더 저렴한 기술이 개발되면서, 수도꼭지에서 물이 나오듯 데이터가 콸콸 쏟아지기 시작했다. 사람들은 디지털 카메라를 장만했고 컴퓨터를 네트워크에 연결했으며 싼 가격에 전자기기를 구입해 대용량의 데이터를 저장했다. 그럼에도 불구하고 여전히 데이터를 저장하고 폐기하는 일은 계속됐다. 남길 데이터를 선별해야만 했다. 데이터의 양이 점점 많아짐에 따라 기술 개발의 흐름에도 박차가 가해졌다. 덕분에 모두가 아주 손쉽게 데이터를 생산할 수 있게 되었다. 필름 카메라는 디지털 비디오 카메라를 거쳐 종국에는 스마트폰 카메라로 대체됐다. 이 최신기기를 이용해 우리는 일평생 다시 보지도 않을 동영상을 녹화하고 있다.
- 빅데이터 이야기

인공지능을 학습시킬 때는 라벨이 달린 방대한 데이터가 반드시 필요하다. 충분하게 학습되지 않은 인공지능은 실수를 할 가능성이 크다. 이미 자율주행차가 드문 (예를 들어, 학습되지 않은) 조건에서 치명적인 오류를 일으키는 사례가 목격되었다. 이렇게 인공지능이 오류를 일으키면, 사람들은 이를 그냥 두고 넘어가지 않는다. 그래서 인공지능에는 가치 시스템이 필요하다. 즉, 자율주행차에 탑재된 인공지능은 사람을 치는 것이 도로를 벗어나는 것보다 더 나쁜 일임을 알아야 한다. 그리고 상업 시스템은 고객 만족과 매출과 리스크 감소의 균형을 유지할 수 있어야 한다.
- 인공지능, 머신러닝 그리고 빅데이터

타깃의 분석가들은 매출 기록, 출생 신고 그리고 제3자 제공 정보 등 활용할 수 있는 모든 데이터를 꼼꼼하게 살폈다. 몇 달 이내에 그들은 이전 구매 내역을 기본으로 임산부를 식별해내는 통계 모델을 개발했다. 이 통계 모델의 정확도는 상당했다. 그리고 심지어 출산 예정일까지 거의 정확하게 예측해냈다. 통계모델이 개발되고 1년 뒤 어느 날, 화가 잔뜩 난 한 남자가 타깃의 미니애폴리스 지점에 들이닥쳤다. 그는 지점장을 만나게 해달라고 요구하며 “내 딸은 이제 고등학생인데…, 아기 옷과 아기 침대 쿠폰 광고 메일을 보내다니! 지금 그 애한테 임신이라도 하라고 부추기는 거야?”라고 소리를 질렀다. 그러나 그 아버지는 곧 자기 딸이 진짜 임신했다는 사실을 알게 되었다. 이 이야기가 신문에 실렸고 세상은 타깃이 ‘금광’과 ‘PR 지뢰밭’을 동시에 찾은 것에 놀라워했다.
- 빅데이터는 왜 유용한가