빅 데이터가 만드는 세상

Chapter 1 현재
데이터로 하여금 말하게 하라｜들쭉날쭉하지만 더 많아서 괜찮은 데이터

Chapter 2 많아진 데이터
일부에서 전체로

Chapter 3 들쭉날쭉한 데이터
질보다 양｜들쭉날쭉한 데이터의 실제 모습

Chapter 4 인과성과 상관성
예측과 선호｜환영과 깨달음｜폭발하는 맨홀｜이론의 종말?

Chapter 5 데이터화
세상의 수량화｜단어들이 데이터가 될 때｜위치가 데이터가 될 때｜소통이 데이터가 될 때｜모든 것의 데이터화

Chapter 6 가치
데이터의 ‘옵션 가치’｜데이터의 재사용｜재조합형 데이터｜확장 가능한 데이터｜가치가 하락하는 데이터｜데이터 잔해의 가치｜오픈 데이터의 가치｜값을 매길 수 없는 가치

Chapter 7 영향
빅 데이터의 가치 사슬｜새로운 데이터 중개인｜전문가의 종말｜효용의 문제

Chapter 8 리스크
사생활 마비｜확률과 처벌｜데이터의 독재｜빅 데이터의 어두운 면

Chapter 9 통제
동의에서 책임으로｜사람 vs 예측｜블랙박스 깨기｜알고리즈미스트의 부상｜외부 알고리즈미스트｜내부 알고리즈미스트｜데이터 왕에 대한 규제

Chapter 10 다음
데이터가 말을 할 때｜빅 데이터보다 더 큰 데이터

감사의 말
옮긴이의 말
주석

무작위 샘플링은 엄청난 성공을 거두었고 현대적인 대규모 조사의 근간이 됐다. 하지만 이것은 어디까지나 전체 데이터를 수집하고 분석하는 것에 대한 차선의 대안일 뿐이다. 무작위 샘플링은 수많은 약점을 동반한다. 무작위 샘플링 조사의 정확성은 샘플 데이터를 수집할 때 무작위성을 얼마나 확보할 수 있는지에 달려 있다. 그런데 이 무작위성을 얻는 것은 쉬운 일이 아니다. 데이터를 수집하는 방식에 체계적 편향이 있을 경우 산정된 결과치는 완전히 다른 수치가 나올 수도 있다.

우리는 일상생활에서 워낙 자주 인과적으로 생각하다 보니 인과성을 밝히는 일이 쉽다고 믿을지 모른다. 하지만 진실은 그렇게 안이하지 않다. 상관성을 계산하는 수학은 상대적으로 간단하다. 하지만 인과성을 ‘증명’하는 뚜렷한 수학적 방법이란 없다. 심지어 인과적 관계는 기본적 등식으로 표현조차 안 된다. 그러니 힘들게 천천히 생각하더라도 확정적인 인과적 관계를 찾는 일은 쉽지 않다. 우리는 정보가 부족한 세상에 익숙해져 있기 때문에 제한된 데이터로도 추론을 해보려는 유혹을 느낀다. 하지만 어느 결과를 특정 원인 탓으로 돌리기에는 지나치게 많은 요소가 개입되어 있는 경우가 너무 많다.

궁극적으로 데이터의 가치는 그것을 이용하는 사람에 달려 있다. 어떤 방식이 되었건 가능한 쓰임새를 찾아내 가치를 끌어내면 그것이 곧 그 데이터의 가치다. 무한한 듯 보이는 이 잠재적 용도는 마치 옵션과 같다. 금융 상품을 말하는 것이 아니라 선택 가능성을 뜻하는 일상적 의미의 옵션 말이다. 데이터의 가치는 이런 선택 가능성들의 총계이고, 이것이 말하자면 데이터의 ‘옵션 가치’다. 과거에는 데이터의 주된 용도가 달성되고 나면 그 데이터는 임무를 다한 것으로, 그래서 지우면 되는 것으로 생각한 경우가 많았다. 핵심적 가치를 뽑아낸 걸로 보였으니까 말이다. 하지만 빅 데이터 시대에 데이터는 마치 마법의 다이아몬드 광산과 같다. 주된 가치는 이미 다 꺼내 쓴 지 오래지만 아직도 파면 팔수록 계속 뭔가 나오는 다이아몬드 광산 말이다. 데이터의 옵션 가치를 깨우는 강력한 방법이 세 가지 있다. 바로 기본적 재사용, 데이터 집합 합치기, ‘반값 할인’ 찾기다.