[큰글자책] 설문지 작성법

생각을 측정하는 도구의 진화

01 좋은 질문의 목표와 기본 원칙
02 질문에 답하는 4단계 인지 과정
03 개방형 질문과 폐쇄형 질문
04 객관식 보기의 원칙
05 효과적인 평가 척도 설계하기
06 나쁜 질문 피하기
07 민감한 주제에 대한 응답률 높이기
08 문항 순서의 마법
09 질문지 검증과 실패 예방, 사전조사
10 질문의 윤리

결국 이 모든 원칙들이 지향하는 단 하나의 목표는 바로 ‘측정의 표준화(Standardization)’다. 이는 설문조사가 과학으로 인정받기 위한 가장 근본적인 전제 조건이다. 플로이드 파울러는 표준화된 측정이란 “서로 다른 응답자들에게서 나온 응답의 차이가, 그들이 질문을 다르게 해석했기 때문이 아니라, 측정하려는 속성 자체의 실제 차이를 반영하는 것”이라고 정의한다.

“01_좋은 질문의 목표와 기본 원칙” 중에서

두 번째 단계는 정보의 인출(Retrieval)이다. 질문을 이해한 응답자는 자신의 장기 기억(long-term memory) 속에서 관련 정보를 검색하고 끄집어내는 과정을 시작한다. 하지만 인간의 기억은 완벽한 비디오테이프가 아니라 시간이 지나면서 희미해지고(fading), 다른 기억과 뒤섞이며(interference), 현재의 시점에서 재구성되는 불완전한 기록이다. “지난 1년간 치약을 몇 개나 구매하셨습니까?”와 같이 사소하고, 반복적이며, 오래된 사건일수록 정확한 기억을 인출하기는 극도로 어려워진다. 이때 응답자들은 기억에 의존하는 대신 ‘보통 한 달에 치약을 하나 정도 쓰니까, 작년에는 열두 개쯤 썼겠군’과 같이 어림짐작(estimation)이라는 인지적 전략을 사용하게 되며, 이 추정 과정은 필연적으로 오차를 동반한다. 연구자는 응답자의 기억 부담을 최소화할 수 있도록 질문의 기간을 합리적인 수준(예: 지난 한 달)으로 좁혀 주거나, ‘이사를 오신 이후로’와 같이 특정 기준점을 제시하여 기억을 더듬을 수 있는 단서를 제공하는 노력을 기울여야 한다.

“02_질문에 답하는 4단계 인지 과정 ” 중에서

개방형 질문은 바로 이 폐쇄형 질문의 위험을 보완하는 중요한 역할을 한다. 가장 큰 장점은 연구자가 미처 예상하지 못했던 새롭고 풍부한 답변을 얻을 수 있다는 점이다. 응답자는 자신의 언어로 생각의 결을 섬세하게 표현할 수 있으며, 연구자는 이를 통해 현상에 대한 깊이 있는 통찰을 얻게 된다. 특히, 특정 주제에 대한 사전 정보가 부족한 탐색적 연구(Exploratory research) 초기 단계나, 특정 행동의 ‘왜(Why)’에 해당하는 이유나 동기를 파악하고자 할 때 개방형 질문은 탁월한 힘을 발휘한다. 예를 들어 “A 제품을 구매한 이유가 무엇입니까?”라는 개방형 질문은 마케팅 담당자가 전혀 생각지 못했던 새로운 고객 가치를 발견하게 해 줄 수 있다. 또한 응답자의 생생한 언어는 통계 수치만으로는 전달할 수 없는 강력한 설득력을 가지며, 보고서의 질을 높이는 데 기여한다.

“03_개방형 질문과 폐쇄형 질문” 중에서