숫자에 속지 않고 숫자 읽는 법

서문

1장 숫자는 어떻게 본질을 호도하는가
2장 일화적 증거
3장 표본 크기
4장 편향된 표본
5장 통계적 유의성
6장 효과크기
7장 교란변수
8장 인과관계
9장 이것이 큰 수인가
10장 베이즈 정리
11장 절대위험과 상대위험
12장 측정대상이 바뀌었는가
13장 순위 매기기
14장 이것이 문헌을 대표하는가
15장 새로움에 대한 요구
16장 체리피킹
17장 예측
18장 모형 속 가정들
19장 텍사스 명사수 오류
20장 생존자 편향
21장 충돌 편향
22장 굿하트의 법칙
결론 및 통계 스타일 가이드

감사의 말
옮긴이의 말
주
찾아보기

2019년 영국 총선거 준비 기간에 당시 노동당 당수였던 제러미 코빈과 영국 총리이자 토리당 당수였던 보리스 존슨이 TV 토론회를 했다. 정치 여론조사 회사인 유고브YouGov가 토론회가 끝나고 여론조사를 해보았더니 존슨이 잘했다는 사람은 48퍼센트, 코빈이 잘했다는 사람은 46퍼센트, 잘 모르겠다는 사람은 7퍼센트로(모두 합치면 101퍼센트가 나온다. 이것은 반올림 때문에 생긴 것이다), 토론회의 승자가 누구인지를 두고 의견이 거의 반으로 나뉜 것으로 보고되었다. 이것을 두고 온라인에서 논쟁이 벌어졌다. 빠른 속도로 퍼져나간 한 트윗에서(이 글을 쓰고 있는 시점에서 리트윗이 1만 6,000건을 넘고 있다) 다른 여론조사에서는 아주 다른 결과가 나왔음을 지적한 것이다(다음 쪽 그림 참고). 5건의 여론조사 중 4건에서 코빈이 토론회에서 손쉽게 승리를 거둔 것으로 나왔다. 그와 반대의 결과가 나온 여론조사는 하나밖에 없었고, 표본의 크기도 다른 여론조사에 한참 못 미쳤다. 그런데도 공중파 뉴스 채널에서는 이 여론조사만 인용했다. 이 뉴스 채널이 코빈에게 불리하게 편향되어 있다는 의미일까?

통계적인 마인드를 갖춘 양심적인 연구자와 경험 많은 과학기자들이 완싱크의 행동을 밝히는 데는 몇 달의 시간이 걸렸다. 과학에 대한 기사를 쓰는 기자들은 대부분 언론을 대상으로 나오는 보도자료의 뉴스거리를 그때그때 받아서 쓴다. 그래서 이들이 데이터 세트를 확보한다고 해도 p-해킹을 찾아낼 수 없다. 그리고 보통은 데이터 세트를 확보하지도 못한다. p-해킹을 한 연구는 불공평한 이점을 누린다. 연구 결과가 참일 필요가 없기 때문에 흥미진진한 내용으로 채우기가 더 쉽고, 그렇다 보니 뉴스에서도 잘 다뤄준다. 독자들이 뉴스를 보고 이런 p-해킹을 찾아내기는 쉽지 않다. 하지만 무언가가 통계적으로 유의하다고 해서 그것이 곧 의미 있고 중요하다거나 진실이라는 의미는 아님을 유념해야 한다.

수가 얼마나 커야 큰 수일까? 사실 그런 기준은 존재하지 않는다. 사실 수의 크기나 다른 속성은 맥락에 따라 달라진다. 100은 집 안에 들어갈 사람의 수로는 아주 큰 수지만, 은하에 있는 항성의 수로는 아주 작은 수다. 2는 머리카락 개수로는 작은 수지만, 평생 받은 노벨상, 혹은 복부에 맞은 총상의 개수 로는 큰 수다. 하지만 뉴스에 등장하는 수는 맥락 없이 제시될 때가 많아 서 이것이 큰 수인지 아닌지 스스로 파악해야 한다. 맥락에서 가장 중요한 부분은 분모다. 분모는 분수의 가운데 선 아래의 수다. 3?4에서 4, 5?8에서 8이 분모다(선 위의 수는 분자라고 한다). 학교에서 수학을 배우던 시절 이후로 분모라는 용어를 사용할 일이 많지는 않았을 테지만, 뉴스에 나오는 수를 이해할 때는 대단히 중요한 부분이다. 어떤 수가 크고 작은지 알아내는 일은 결국 가장 적당한 분모가 무엇인지 알아내는 일로 귀결된다.