문항반응모형을 적용한 척도개발

역자 서문
저자 서문

1부 측정에 대한 구성적 접근법
1. 구인 설계: 네 가지 구성 요소 접근법
1.0 개관 및 주요 개념
1.1 측정이란 무엇인가?
1.2 구인지도(The Construct Map)
1.3 문항 설계(The Item Design)
1.4 반응공간(The Outcome Space)
1.5 측정 모형(The Measurement Model)
1.6 검사도구 개발을 위한 네 가지 구성 요소 활용
1.7 참고자료


2부 네 가지 구성 요소
2. 구인지도(The Construct Map)
2.0 개관 및 주요 개념
2.1 구인지도
2.2 구인지도 예시
2.3 검사도구 개발을 위한 구인지도 활용
2.4 참고자료

3. 문항 설계(The Item Design)
3.0 개관 및 주요 개념
3.1 문항 구상
3.2 문항 설계 구성 요소
3.3 문항 개발에 있어서의 문항 형식과 절차
3.4 응답자에게 귀 기울이기
3.5 참고자료

4. 반응공간(The Outcome Space)
4.0 개관 및 주요 개념
4.1 반응공간의 특성
4.2 반응공간과 구인지도
4.3 반응공간 구성의 일반적 방법
4.4 참고자료

5. 측정 모형(The Measurement Model)
5.0 개관 및 주요 개념
5.1 두 가지 접근법의 결합
5.2 구인지도와 Rasch 모형
5.3 두 개 이상의 점수 범주
5.4 참고자료

3부 질관리 방안
6. 측정 모형 선택 및 평가
6.0 개관 및 주요 개념
6.1 측정 모형의 요구조건
6.2 측정
6.3 참고자료
7. 신뢰도
7.0 개관 및 주요 개념
7.1 측정 오차
7.2 측정 오차에 대한 요약
7.3 채점자 간 일치도
7.4 참고자료

8. 타당도
8.0 개관 및 주요 개념
8.1 도구 내용에 기반한 증거
8.2 반응 절차에 기반한 증거
8.3 내적 구조에 기반한 증거
8.4 다른 변인들과의 관계에 기반한 증거
8.5 도구 사용의 결과에 근거한 증거
8.6 타당한 주장 만들기
8.7 참고자료


4부 새로운 출발을 위한 제언
9. 측정이 나아가야 할 길
9.0 개관 및 주요 개념
9.1 구인지도를 넘어 : 인지심리학과의 연계
9.2 측정모형의 가능성: 통계적 모형 자료
9.3 특정한 적용 영역에 대한 더 깊은 인식: 교육평가
9.4 참고 자료 : 폭넓은 이론적 관점

참고문헌
찾아보기

1.0 개관 및 주요 개념

이 장에서는 측정(measurement)이 의미하는 바가 무엇인지에 대해 기술하고, 구인 설계(construct modeling)에 대한 개괄적 설명을 통해 측정 도구(instrument)가 어떻게 설계되고 다루어지는지에 대한 이해를 돕고자 한다. 구인 설계는 네 가지 구성 요소(four building blocks)를 차례대로 이용하여 측정 도구를 개발하는 틀을 의미한다. 이 장에서는 네 가지 구성 요소를 요약하여 설명하고 각각에 대한 상세한 설명은 다음 장들에서 제시하고자 한다. 이 책에서 측정 도구(instrument)는 ‘실제 세계에서 관찰되는 것을 이론적으로 존재하는 것과 연결시키는 기술’로 정의하였다. 이러한 정의는 물론 문항과 같이 명백한 형태의 도구를 지칭하는 것보다는 광범위한 개념이라고 할 수 있지만, 측정(measurement)에 대해 잘 알려지지 않은 부분을 다루고자 하는 것이 이 책의 목적이기 때문에 도구에 대한 광범위한 개념을 선택하였다. 도구의 유형과 형태에 대한 예시는 이 장과 다음 몇 몇 장을 통해 소개할 것이다. 일반적으로 측정(measurement)에는 측정의 대상이 되는 응답자(respondent)와 측정을 실시하는 평가자(measurer)가 있다. 독자는 평가자의 입장에서 이 책을 접근할 필요가 있으나, 동시에 응답자의 역할에 대해 생각해 보는 것도 매우 유용할 것이다. 다음 네 개의 장에서는 네 가지 구성 요소(four building blocks)에 대한 자세한 설명과 예시, 그리고 아이디어를 도구 개발에 적용하는 방법에 대해 차례대로 다룰 것이다.


1.1 측정이란 무엇인가?

대부분, 측정(measurement)은 관찰된 범주(현상)에 숫자를 부여하는 것으로 정의된다. 따라서 명명, 서열, 동간(혹은 등간), 비율과 같은 숫자의 특성이 곧 측정의 특성이 된다(Stevens, 1946). 범주에 특성을 지닌 숫자를 부여하는 것 또한 이 책에서 다루고자 하는 내용에 해당된다. 하지만, 숫자를 부여하는 작업은 측정의 한 측면에 지나지 않는다는 것을 알아야한다. 즉, 측정의 기초를 마련하기 위해서 숫자를 부여하는 작업 이전에 진행해야 하는 단계가 있고, 숫자를 부여한 후에는 (a) 숫자를 부여하는 작업이 적절하게 이루어졌는지와 (b) 측정(measurement)이 잘 이루어졌는지 점검해야 하는 단계가 있다.
측정의 주요 목적은 검사지나 설문지와 같은 측정 도구를 통해 얻어진 피험자들의 성취, 태도, 의견 등을 요약할 수 있는 합리적이고 일관된 방법을 제공하는 데 있다. 또한 측정에 사용되는 도구들(attitude scales, achievement tests, questionnaires, surveys, and psychological scales)은 주로 복잡한 구조를 띄고 있기 때문에 측정을 함에 있어 적절한 절차(procedures)를 미리 생각해 두는 것이 필요하다. 하나의 질문으로 이루어진 단순한 구조의 측정도구라면 당연히 측정절차는 단순할 것이다. 하지만, 대부분의 측정도구는 하나 이상의 질문으로 이루어진 복잡한 구조를 띄고 있으며, 복잡한 구조를 가질 수밖에 없는 이유를 다음 장에서 논의하고자 한다.
이 책에서는 많은 검사지나 설문지가 어떤 특성을 측정하기 위해 고안되었다고 가정하며, 여러 가지 특성이 측정도구들을 통해 측정 가능하다는 것을 전제하고 있다. 그리고 이 책에서는 구인(construct)이라고 불리는 어떤 특성을 측정하기 위해 도구를 설계하고 개발하는 사람을 평가자(measurer)라 칭하고자 한다. 그리고 측정도구는 구인을 파악하기 위한 논리적 전제(근거)라고 여겨지기 때문에 결과적으로 평가자가 의도한 목적을 돕는 역할을 수행하게 된다. 다음 장들에서는 그러한 논리적 전제(근거)의 바탕이 되는 일련의 단계들에 대해 설명하고 있다. 참고로 이 책에서 강조하는 첫 번째 전제(argument)는 구성적(constructive)이다?즉, 특정한 논리에 따라 도구를 구성하는 것을 의미한다(2장~5장 참조). 그리고 두 번째 전제는 반추적(reflective)이다?즉, 도구가 계획한 대로 기능을 수행하였는지에 관한 정보를 수집하는 것을 의미한다(6장~8장에 참조). 그리고 이 책의 결론 부분에서는 평가자가 추가적으로 고려해야 할 단계에 대해 논의할 것이다.
이 책에서는 측정을 명사 형태가 아닌 동사 형태, 즉 “측정하다”에 치중하여 설명하고자 한다. 더불어 이 책에서 다루고 있는 측정의 과정이 유일한 방법은 아니며 다른 접근 방법도 있음을 미리 밝히고자 한다(일부 다른 방법들에 대해서는 6장과 9장에서 논의될 것이다). 이 책의 목표는 저자가 지난 20년 동안 University of California, Berkeley에서 학생들에게 측정(measurement)을 가르치고, 다양한 방면에서 측정도구 개발을 필요로 하는 사람과의 만남을 통해 얻은 특정한 접근법에 대해 논의하고자 하는 것이다.