증거의 오류

1부 데이터, 증거, 이론의 모든 것
1장 연구 모형의 몇 가지 역사적 배경
2장 데이터가 증거가 되기까지
3장 자연 과학자들은 어떻게 연구하는가

2부 누가 어떤 방법으로 데이터를 수집하는가
4장 모든 데이터 수집의 표본, 인구 조사
5장 공무원들이 증거로 수집하는 데이터
6장 ‘고용인’과 비과학자가 수집하는 데이터
7장 수석 연구자와 보조 연구원의 데이터
8장 정성 연구에 나타날 수 있는 부정확성

맺음말 - 마지막으로 덧붙이는 생각
감사의 말

그러나 내가 자료 검색 도중에 발견한 일부 사례를 보면, 데이터의 진실성과 신뢰성에 대한 책임이 직급이 매우 낮은 직원에게 떨어지는 일이 허다하다. 어떤 저자가 “해당 데이터가 알려주는 바는”이라고 할 때, 우리는 그 데이터를 수집하여 무엇인가를 알려줄 수 있는 형태로 최종 해석자에게 제공하는 이가 누구인지를 반드시 알아내야 한다.
다음과 같은 상황을 가정해보자. 시급을 받는 시간제 면담자인 해리엇이 설문 응답자와 대화한 후에 완성된 설문지를 짐에게 건네면, 짐은 응답을 코딩coding(부호화)하고 그 결과를 컴퓨터에 입력한다. 짐의 컴퓨터는 연구에 대한 지식이 전혀 없는 해롤드가 만든 프로그램을 이용하여 데이터를 축적한다. 그렇게 요약된 결과는 연구를 기획했지만 해리엇의 질문에 응답한 사람과 한 번도 대화를 나눈 적이 없으며 평생 한 번도 설문을 코딩해본 적이 없는 베커 박사에게 전달된다.
이 사슬(진짜 사슬과 같이 뒤로 갈수록 대개 길어지는 구조)에 속한 각각의 사람은 여정의 다음 단계로 나아가기 위해 데이터 준비 작업을 했다. 베커 박사는 그러한 활동에 대해 아는 것이 전혀 없다시피 하지만 (그가 알든 모르든 간에) 그 모든 활동은 그가 제공하는 증거로서 데이터가 지니는 가치에 영향을 끼친다. 연구 유형에 따라 연구에 참여하는 사람은 물론 그들이 하는 작업과 조직 환경도 달라진다. 그러한 차이가 연구 방향을 결정짓는 동기에도 영향을 준다.
_ <누가 데이터를 수집하는 것인가?> 중에서

국립과학재단의 보고서가 나온 1972년으로부터 몇 년 후에 똑같은 문제가 이름만 달리하여 다시 불거졌다. ‘노숙자’라는 명칭을 얻은 인구 집단의 숫자를 어떻게 산출해야 하는가(또한 그들을 어떠한 범주로 분류해야 할까) 하는 문제였다. 어쨌든 인구 조사는 노숙자를 ‘특정 장소’에 거주하는 사람으로 집계해야 한다. 그렇다면 인구 조사 양식의 거주지 항목에 이들의 주소를 무엇이라 적을 것인가? 주거지가 없어 인구 조사 양식을 받을 수 없는 사람들의 숫자를 어떻게 산출해야 하는가?
조사 연구자로 기량과 경험이 풍부한 피터 로시Peter Rossi는 문제의 일부를 해결하기 위해 최대한도로 숫자를 정확히 산출하고, 어디서든 마지막 한 사람까지 파악하는 데 수고나 비용을 아끼지 않기로 결심했다. 정해진 집이 없는 사람들의 숫자를 산출하려면 일부 전통적인 개념과 일반적이지 않은 통계 데이터 수집 개념을 혼합해야 했다. 그는 그때의 경험을 쓴 저서에서, 전략의 첫 단계가 노숙자에게 ‘어젯밤에 지낸 곳’을 묻는 식으로 질문을 바꿔서, 거주하는 곳의 의미를 재정의하는 작업이었음을 밝혔다. 그렇게 하지 않으면 ‘평소’ 밤잠을 자는 ‘집’이 없는 노숙자는 다른 사람들이 하듯이 질문에 제대로 대답할 수 없기 때문이었다.
이를 통해 우리는 이번 장 전체에 걸쳐 재차 다룰 중요한 방법론적 문제를 인식하게 된다. 유달리 투명하고 명백해 보이는 개념이라 해도 어김없이 모호한 부분을 포함하고 있다. 그러한 모호성은 대개 간과될 뿐 아니라 인식조차 되지 않지만, 그럼에도 예기치 않게 나타나서 측정과 결론 도출까지 연구 대상의 불변성을 유지하려는 우리의 시도를 망칠 수 있다.
_ <산출 불가능한 수치를 산출하는 법: 주거 부정인 사람들> 중에서