빅데이터를 지배하는 통계의 힘 : 입문 편

| 추천의 말: 빅데이터 시대, 최강의 무기 통계학
| 저자의 말: 한국의 독자들에게

제1장 빅데이터, 통계학에서부터 시작하라
01 _ 실생활과 밀접한 통계 리터러시
02 _ 답을 알려주는 실용적인 학문, 통계학
03 _ 통계학은 모든 과학적 분석 방법의 기본
04 _ IT와 통계학의 기막힌 결혼

제2장 정보비용을 대폭 줄여주는 통계
05 _ 통계가가 본 빅데이터 광상곡
06 _ 뉴딜정책을 뒷받침한 통계가들
07 _ 의미 있는 오차범위와 비용

제3장 오차와 인과관계가 통계학의 핵심이다
08 _ 나이팅게일식 통계의 한계
09 _ 인과관계를 생각하지 않는 통계해석은 의미가 없다
10 _ ‘60억 엔을 버는 비결’이 담긴 리포트
11 _ 오바마가 선거에서 승리한 이유
12 _ 그것은 이익에 직결되는가?
13 _ ‘인과관계의 방향’을 밝혀내어야 한다

제4장 ‘임의화’라는 최강의 무기 활용하기
14 _ 우유가 먼저인가, 홍차가 먼저인가?
15 _ 임의화 비교실험이 사회과학을 가능하게 했다
16 _ ‘재봉틀 두 대 사면 10% 할인’으로 매출이 오를까
17 _ 임의화의 세 가지 한계

제5장 통계학은 계속 발전하고 있다
18 _ 역학의 발전이 증명한 담배의 위험
19 _ ‘평범으로의 회귀’를 분석하는 회귀분석
20 _ 천재 피셔의 또 다른 업적
21 _ 통계학의 이해도를 높여주는 단 한 장의 도표8
22 _ 다중회귀분석과 로지스틱 회귀
23 _ 통계학자가 극대화한 인과의 추론

제6장 통계학의 여섯 가지 활용 분야
24 _ 사회조사법 대 역학과 생물통계학
25 _ IQ를 탄생시킨 심리통계학
26 _ 마케팅 현장에서 생겨난 데이터마이닝
27 _ 문장을 분석하는 텍스트마이닝
28 _ ‘연역’의 계량경제학과 ‘귀납’의 통계학
29 _ 베이즈파와 빈도론파의 확률을 둘러싼 대립

제7장 에비던스 활용하기
30 _ 거인의 어깨 위에 서는 방법
31 _ 에비던스, 어떻게 찾을 것인가

| 맺음말
| 참고문헌
| 옮긴이의 말: 데이터 사회에서 살아남기 위한 무기와 교양

<실생활과 밀접한 통계 리터러시>
현재 ‘역학의 아버지’라 불리는 존 스노가 제시했던 ‘역학’ 관련 개념은 서서히 의학 전반에 없어서는 안 될 중요한 요소로 자리매김하게 되었다. 담배를 피우면 폐암을 비롯한 암에 걸릴 위험이 커지고, 혈압이 높으면 심장병이나 뇌졸중으로 발전될 가능성이 많아지는 것은 현대를 살아가는 우리들에게 당연한 상식이다. 그러나 불과 50년쯤 전에 미국의 프레이밍험이라는 작은 마을에서 이루어진 대규모 역학 연구 결과가 발표되기까지는 전혀 그렇지 않았다. 그때까지는 의사나 과학자 중에서도 담배나 고혈압이 건강에 어떤 영향을 미치는지에 대한 다양한 설이 있어서 저마다 각자의 주장을 굽히지 않았다. 그러나 요즘은 역학연구 결과가 그 모든 주장을 잠재워버리고 ‘암을 없애려면 우선 흡연율부터 낮춰라!’, ‘심장병을 줄이려면 혈압부터 관리해라!’라고 확실하게 말한다. 그에 따라 인간의 수명은 50년 전과 비교해 엄청나게 늘어났다.

<답을 알려주는 실용적인 학문, 통계학>
왜 통계학은 최강의 무기가 되었는가? 어떤 분야에서든 데이터를 모아 분석해 가장 올바르고 빠른 답을 제시해주기 때문이다. 여러분이 어떤 기업에서 일하고 있는 사원인데 어느 날 사장이 매출 증대 프로젝트를 실시하겠다며 직원들에게 아이디어를 내라고 했다고 가정해보자. 아마도 여러 부서에 포진하고 있는, 딴에는 날고 긴다는 베테랑 사원들이 ‘내 감각으로는……’이라든가 ‘오랜 경험에 비춰볼 때……’ 같은 주관적인 근거를 들먹이며 이런저런 제안들을 내놓을 것이다. 단언해도 좋다, 여러분의 회사에 충분한 데이터가 축적돼 있다면 데이터 분석도 없이 감과 경험만으로 논의를 거듭하는 것은 시간낭비일 뿐이다. 모여서 회의를 하면 할수록 인건비 낭비이고 시간만 헛되이 쓰는 것이다. 세상에는 종종 사소한 의사결정이 많은 사람의 목숨까지 좌지우지해 도저히 책임을 묻지 않고 그냥 넘어갈 수 없는 경우도 있다. 여러분의 의사결정에 수많은 목숨이 좌우된다고 가정해보다. 가령 일본에서는 해마다 약 35만 명, 10만 명 가량이 암과 심장병으로 죽고 있으며 3만 명 정도는 자살을 한다. 통계를 이용해 적절한 예방법이나 치료방법을 모색하면 이 가운데 수만 명 이상의 목숨을 건질 수 있다.

통계학의 기본 방식이나 기법 자체는 대부분 수십 년 전 완성되었지만 그것을 누구라도 언제든 손쉽게 사용할 수 있도록 만든 것은 20세기 말부터 시작된 IT혁명이다. 과거 종이와 펜의 통계학과 오늘날 IT에 의한 통계학 사이에는 이제 좁혀지지 않는 엄청난 간극이 존재하며 앞으로 통계학자들은 수학적 능력뿐 아니라 컴퓨터 활용 기술에까지 정통해야만 살아남을 수 있게 되었다. 최근 몇 년간 IT 분야는 눈 돌아가는 속도로 발전해왔다. 회사의 전 업무 과정이 디지털화되었다고 해도 과언이 아니다. 따라서 관련들은 이제 고객에게 더 뛰어난 새로운 기술을 팔기 위한 명분을 만들어내야 할 필요가 생겼다. 그 명분 중 하나가 이 뛰어난 성능을 활용해 ‘새로운 가치를 창출할 수 있다’는 식으로 접근하는 방식이다. 또 하나는 가치 창출과는 별개로 대령 처리의 필요성을 제안하고 ‘언뜻 보기만 해도 비즈니스에 도움이 된다는 확신’을 갖게 해 구매를 유도하는 것이다. 비로 이게 통계학이 IT를 장악하게 된 이유이다.