사이언스 픽션

서문_과학은 사회적 활동이자 인간의 실수를 드러내는 도구

제1부_픽션을 닮은 과학
제1장_과학은 어떻게 작동하는가
논문 출판과 동료 평가의 세계
과학은 사회적 활동이다
제2장_반복 재현의 위기 - 과학의 위기를 자초한 학자들
짐바르도와 밀그램의 실험
과학의 위기
과학계를 위협하는 불확실성
출판된 논문이 거짓으로 판명되다

제2부_실수와 오류를 은폐하는 학자들의 속마음
제3장_조작 - 논문 사기가 만들어낸 새로운 진실
최악의 과학 사기 사건 - 파올로 마키아리니의 인공 기관지 이식
놀랍도록 간단한 과학 사기 - 조작
얼마나 많은 논문이 철회되는가
측정 오차와 샘플링 오류
과학 사기가 어려울까, 진짜 연구가 어려울까
과학계에서 얼마나 많은 조작이 이뤄지는가
과학 사기꾼들의 프로필
무엇이 조작을 하게 만드는가
논문 조작의 파급 효과
과학 사기의 패착, 신뢰를 무너뜨리다
제4장_편향 - 실패한 실험 결과가 사라지다
확률과 p-값
출판 편향과 메타 분석
p-해킹
데이터 오버피팅과 결과 스위칭
이해충돌, 선한 의도 편향 - 과학의 사회정치적 성격
새뮤얼 모턴과 스티븐 제이 굴드의 반전
편향이라는 인간의 본성
제5장_부주의 - 통계에 감춰진 명백한 실수들
통계 불일치와 불가능한 계산값
모든 숫자에는 노이즈가 포함돼 있다 - 무작위화의 실패
오류를 알면서도 공유하는 환경
연구 설계의 기본 원칙 - 무작위화와 블라인딩
통계적 검정력
통계적 검정력이 후속 연구에 미치는 영향
낮은 통계적 검정력의 위험성 - 후보 유전자의 사례
과학의 역할에 관한 고찰
제6장_과장 - 그들의 언어를 알면 진실이 보인다
과장 보도 자료
대중 과학 서적의 함정
과장으로 넘치는 과학 저널
마이크로바이옴의 속사정
우리가 먹는 모든 것이 암과 관련이 있는가 - 영양학의 진실
예상치 못한 결과를 처리하는 방식

제3부_잃어버린 과학의 정신을 되찾는 길
제7장_비뚤어진 인센티브 - 논문 대량 생산의 시대
출판물과 연구 지원금과 고용 기준
살라미 슬라이싱 현상과 미끼 저널
h-지수와 자기 인용, 자기 표절
수단이 목표가 되면 길을 잃고 만다 - 굿하트의 법칙
나쁜 과학의 자연 선택
‘발표하지 않으면 사라진다’는 논문 발표 시스템
제8장_과학을 고치기 위한 시작
모든 연구에는 오류가 있다
재현 연구의 투고 - 통계적 유의성에 대해 편견 없이 판단하기
p-값을 없애면 모든 문제가 사라질까
다중 우주 분석의 보완 - 연구 사전 등록 제도
모두가 자유롭게 참여하는 과학 - 오픈 사이언스
저널 출판 시스템의 변화 - 사전 인쇄
건강한 과학 커뮤니티를 만드는 데 필요한 연구 성과 평가 제도
유레카에 대한 환상 - 학문은 원래 지루한 법이다
과학의 진짜 위기는 따로 있다 - 과학자와 회의주의자

에필로그_우리에게 필요한 것은 진리다
감사의 글
부록_학술 논문 읽는 법

모든 과학적 연구가 미래에 결코 뒤집을 수 없을 만큼 확고한 사실들에 기반하고 있기를 바라는 것은 순진한 생각이다. 세상은 그러기에는 너무 어지러운 곳이기 때문이다. 우리가 할 수 있는 일이라고는 단지 과학적 연구들을 어느 정도는 신뢰할 수 있기를 바라는 것뿐이다. 과학자들이 연구 과정에서 일어난 일을 정직하게 보고하고 있길 기대할 뿐이다. 만약 과학계가 자랑하고 있는 동료 평가 시스템이 이러한 신뢰를 보장하지 못한다면, 과학은 가장 기본적이고 중요한 것을 잃어버리는 것이다. 그럴 경우 과학이 가장 잘하는 능력인 꾸준한 새로운 발견, 신기술, 치료법, 신약의 진보로 우리 세계를 개혁시키는 것도 불가능하게 된다
--- 서문 ‘과학은 사회적 활동이자 인간의 실수를 드러내는 도구’ 중에서

그 후 반복 재현성은 오랜 기간 과학이 제대로 작동하는지 확인하는 데 중요한 역할을 해왔다. 이것은 또한 과학의 사회적 측면이기도 하다. 과학적 결과는 여러 관찰자들에 의해 확인된 후에라야 진지하게 받아들여지기 때문이다. 하지만 보일에서 현대 과학계로 넘어오는 과정 어딘가에서 많은 과학자들이 반복 재현성의 중요성에 대해 망각하게 된 것 같다. 인간 본성의 한계로 오염된 과학 출판 시스템이 직면한 현실과 머튼적 이상주의가 충돌하면서 이상이라는 것이 현실보다는 너무나도 허약하다는 것이 증명됐다. 그 결과 어떤 깨달음을 주기보다는 신뢰할 수 없고 믿기 어려우며 우리를 혼란스럽게 만드는 재현 불가능한 연구들로 과학 문헌이 가득 차게 됐다.
--- 제1장 ‘과학은 어떻게 작동하는가’ 중에서

예를 들면 세금 정책과 그것이 국가의 경제 성장에 어떤 영향을 미치는가를 연구하는 학문인 거시경제학 분야에서 발표된 67편의 논문 중 동일한 데이터 세트를 재분석했을 때 원본 논문과 결과가 일치한 경우는 22편에 불과했다. 심지어 원저자로부터 도움을 받더라도 그 성공률은 아주 미소하게 향상되는 정도에 그쳤다. 지구과학 분야에서는 조사한 39편의 논문 중 동일한 결과를 얻는 데 어려움을 보인 것이 무려 37편이었다. 머신러닝 연구자들은 ‘추천 알고리듬’에 관한 과거 논문들을 분석했다. 아마존이나 넷플릭스 같은 웹사이트에서 여러분과 비슷한 사람들이 과거에 선택한 것을 바탕으로 유추해 미래의 고객들이 무엇을 사고 무엇을 보고 싶을지 먼저 제안하는 용도로 사용하는 컴퓨터 프로그램을 대상으로 진행됐다. 최근 권위 있는 컴퓨터 과학 콘퍼런스에서 발표됐던 18개의 연구를 조사한 결과 7개만이 재현 가능했다.
--- 제2장 ‘반복 재현의 위기 – 과학의 위기를 자초한 학자들’ 중에서