앞으로 데이터 분석을 시작하려는 사람을 위한 책

역자 서문
서문
제1장 왜 국내 기업은 데이터 분석에 취약한가?
일본식 데이터 분석이란 무엇인가
이제 데이터 활용은 상식이다.
턱없이 부족한 일본의 통계학 교육
개인 정보의 이·활용의 차이
의사 결정에 꼭 필요한 데이터 분석
실패하지 않는 데이터 분석의 요건
‘미국의 방식은 일본에서 통하지 않는다.’라는 오해
국내의 ‘현장력’을 활용하자.
미국이 가르쳐 준 데이터 분석
뉴욕에서 본 ‘애널리틱스(분석)’의 현장
PCIP가 가져온 것
데이터 공유를 통한 다각적인 접근
분석을 무기로 삼는 조직의 정공법 ① 처음부터 전체 최적을 지향한다.
분석을 무기로 삼는 조직의 정공법 ② 임팩트가 큰 부분부터 착수한다.
분석을 무기로 삼는 조직의 정공법 ③ 강력한 리더십의 존재
분석을 무기로 삼는 조직의 정공법 ④ 힘의 원천은 팀 편성에서 나온다.

제2장 이것만큼은 알아 두자! 기본적인 통계 지식
'평균', '분산', '표준 편차'를 이해한다.
숫자의 거짓말에 속지 않기 위해
그래프를 보는 법을 알자.
‘평균’, ‘분산’, ‘표준 편차’로 무엇을 알 수 있을까?
표준 편차로 특수 사례를 정확히 파악한다.
표준 편차로 과잉 발주를 방지한다.
변동 계수로 서로 다른 속성을 비교한다.
알아 두면 도움이 되는 분석 수법
요약 통계량
베이지안 확률
상관 분석
K-평균법
협업 필터링
분산 분석
다중 회귀 분석
로지스틱 회귀 분석
[칼럼] 데이터 분석의 공과 과

제3장 데이터 분석을 실천한다
데이터 분석의 실천 요건
“일단 해 보자”가 최악인 이유
중요한 것은 ‘발사대’와 ‘착지점’
전체 최적을 노리지 않으면 의미가 없다.
사람은 데이터가 올바르다고 해서 반드시 움직이지는 않는다.
데이터를 '활용할' 사람을 키운다.
[칼럼] 통계학을 공부한 엘리트 신입 사원이 제 몫을 못하는 이유
데이터 분석을 경영에 활용한다.
데이터 분석을 성공시키기 위한 5단계
|단계 1| 필요한 멤버를 모은다.
왜 팀이 필요한가
세 가지 리더십을 확보한다.
프로젝트 멤버에게 필요한 기술
아웃소싱도 염두에 둔다.
|단계 2| 목적을 정한다.
도착점과 목표는 비슷하면서도 다르다.
‘80:20의 법칙’으로 파급 효과를 노린다.
데이터는 무조건 많을수록 좋은가
|단계 3| 데이터를 처리한다.
반드시 데이터가 완벽할 필요는 없다.
멈출 것인가, 달려 나갈 것인가
모델을 구축하기 전에 리스크를 알아 놓는다.
|단계 4| 모델링을 한다.
데이터 분석만으로는 가설을 만들 수 없다.
해결의 실마리는 현장에 있다.
오차는 무엇을 말하는가
|단계 5| 운용을 최적화한다.
유의성을 시험하기 위해 다시 현장으로
검증과 개선의 사이클에 끝이란 없다!

마무리
확대되는 데이터 분석의 영역 224
데이터 분석이 안전과 풍요를 가져온다.
채산성인가, 평등인가
보편성을 담보한다.
다양한 분야의 과제 해결을 위해
236 에필로그

보편성을 담보한다.

제3장에서 설명한 ‘오더 오브 매그니튜드’의 개념과도 상통하는데, 예전에 내가 아버지의 말씀에 반발심을 느꼈던 이유는 공공 정책의 현장도 비즈니스식의 철저한 효율화를 꾀해야 한다고 생각했기 때문이다. 비즈니스 영역으로 한정하면 일어날 확률이 불과 몇 퍼센트밖에 안 되는 일에 시간과 예산, 인원을 할애하고 대책을 세운다고 해도 대부분의 경우는 얻을 수 있는 것이 거의 없을 것이다. 그보다는 긴급성이 높고 결과에 끼치는 영향이 큰 문제를 찾아내 대처하는 편이 경제 효율성의 측면에서도 훨씬 의미 있다. 그러나 공공 영역에서는 이런 판단이 반드시 옳다고는 단언할 수 없다. 아버지는 “눈앞에 지켜야 할 목숨이 둘 있다면 그 둘을 모두 구하는 것이 우리의 사명이야. 그것이 공직에 몸담은 사람의 임무란다.”라고 자랑스러운 표정으로 말씀하셨는데, 그것이 반평생을 인명 구조의 최전선에서 일해 온 당신의 순수한 신념이었다.
데이터 분석을 통해 얻은 힌트나 그것이 가져다주는 결과는 오직 하나의 길만을 가리키지 않는다. 최종적으로 의사 결정을 하는 주체는 사람이다. 설령 똑같은 분석 결과를 얻었다고 해도 비즈니스의 영역과 공공의 영역은 그 결과에서 도출되는 행동이 달라진다. 목적이 바뀌면 수단도 바뀜을 말해 주는 좋은 예이며, 데이터 분석에서 목적 설정이 얼마나 중요한지를 여기에서도 알 수 있다.

“노력이나 용기 있는 한발을 내디뎠다고 해도 목적이나 착지점에 대한 방향성이 없다면 (그 노력이나 행동의 결과는) 충분하지 못한 것이 될 것이다.”

- 존 F. 케네디-


JFK가 남긴 이 말에는 이 책에서 내가 전하고 싶었던 메시지가 집약되어 있다. 통계나 기계 학습 등의 집단 지성 프로그래밍 자체가 의사 결정을 하는 것이 아니다. 이 책에서 이야기했듯이 데이터 분석을 활용해 최종적으로 의사 결정을 하는 주체는 데이터 과학자가 아니라 독자 여러분 자신이다.
2011년 3월 11일에 일어난 동일본 대지진은 도호쿠 지방의 태평양 연안부를 중심으로 막대한 피해를 가져왔다. 의사 결정에는 반드시 사람의 의사가 존재한다. 나도 2011년의 지진을 보고 그때까지 살던 뉴욕을 떠나 조국으로 귀국한다는 중대한 의사 결정을 했는데, 이것은 지진 피해를 입은 조국을 보고 국내 경제를 재건하는 데 조금이나마 도움이 되고 싶다는 강한 의사에 따른 것이었다.
귀국을 결정한 계기는 자신 역시 이재민이면서도 쉬지도 않고 행방불명된 사람들을 찾기 위해 뛰어다니는 구조대원이나 오랫동안 함께 살아온 남편을 쓰나미에 잃었음에도 구조하러 온 젊은 자원 봉사자에게 자신이 배급받은 단 하나의 주먹밥을 건네려 하는 나이 든 여성의 모습을 본 것이었다. 그런 장면 하나하나에서 나는 그들의 확고한 의사를 볼 수 있었다. 이타적 정신에서 우러나오는 헌신적인 활동과 자제심 넘치는 시민의 행동에서 미덕이 올바른 의사 결정을 뒷받침하는 한다는 것을 느꼈다. 그러나 한편으로 현장의 힘만으로는 재해 지역의 복잡한 상황을 파악하고 문제를 해결하는 데 한계가 있음도 드러났다.
전체 최적으로 의사 결정을 해 나가려면 다양한 기관의 전문 분야를 하나로 묶고 통합된 팀워크로 최적의 답을 구해 복구에 힘써야 한다. 그러나 당시의 국내에는 미합중국 연방 긴급 사태 관리청(FEMA: Federal Emergency Management Agency)처럼 모든 부처를 신속히 연계하고 긴급 상황이 발생했을 때 의사 결정을 할 수 있는 조직이 없었다. 이 때문에 재해 지역에서는 복잡화된 재해 지역별 수요를 파악하고 의사 결정과 대응을 하는 데 예상 이상으로 시간이 걸렸고, 전 세계가 애타는 마음으로 정부 기관의 의사 결정을 지켜봤다.
이 광경을 보고 나는 내가 할 수 있는 일이 무엇인지 냉정하게 생각해 봤는데, 그중 하나가 내가 뉴욕 시 정부에서 담당했던 데이터 과학을 의사 결정의 최적화에 활용하는 방식을 국내에 도입하는 것이었다. 그러나 막상 귀국해 보니 지금의 나는 아직 그것을 실행할 수 있는 수준과는 거리가 먼 상태임을 통감했다.
국내 현장의 재량으로 할 수 있는 개선형 의사 결정에는 뛰어나지만 전수 조사나 조직 횡단, 혹은 전체 최적을 지향하는 데는 매우 서투르다. 나는 이것이 국내의 행정 기관뿐만 아니라 비즈니스도 마찬가지라고 확신한다. 국내 기업은 단일 시점에서 제품화를 하거나 연구 개발을 하는 데는 강점을 발휘하지만, 전혀 다른 분야의 사람들과 함께 물건을 만들어 내거나 다른 시장의 특성을 이해하려고 하는 부분이 매우 취약하다는 느낌을 받는다. 그래서 나는 지금 데이터 분석이라는 집단 지성을 축으로 이런 생각과 자세를 널리 공유하려 하고 있다. 한 명이라도 더 많은 사람이 데이터 분석이라는 집단 지성의 훌륭함을 알고 활용하도록 이끈다면 국민들에게 작게나마 강한 인상을 줄 수 있을 것으로 믿는다.

통계학을 공부한 엘리트 신입 사원이 제 몫을 못하는 이유


이번에는 직업으로서도 주목받고 있는 ‘데이터 과학자’에 대해 잠시 이야기하고 넘어가려 한다.
이른바 통계학이나 수학에 뛰어난 인재가 데이터 분석 영역에서 활약할 기회가 많은 것은 사실이다. 대학이나 대학원 등에서 전문 교육을 받은 인재는 매우 적기 때문에 당분간은 여기저기서 모셔가려고 난리인 상황이 계속될 것이다.
요컨대 ‘데이터 과학자=수학이나 통계의 전문가’라는 인식이 반드시 틀렸다고는 할 수 없지만, 수학이나 통계에서밖에 전문성을 발휘하지 못하는 인재에게 데이터 분석 전반을 맡기는 것은 커다란 리스크가 따른다. 무엇보다 ‘운용’이 라는 마지막 관문을 극복하기는 내 경험에 비추어 봐도 상당히 어려운 일이다.
프로젝트를 진행하는 과정에서 단독으로 수학이나 통계에 관한 전문 지식을 활용하며 진행할 수 있는 것은 수리 모델링 정도다. 데이터 분석 전체에서 이 작업이 차지하는 시간과 노력의 비율이 얼마나 될 것 같은가? 많이 잡아야 10퍼센트에서 20퍼센트에 불과하다. 그 외의 대부분은 경영 간부나 현장 사람들과 밀착해야 하는 작업들이다.