언어평가 : 사회적 단면

차례
편집자 서문
감사의 글
차례

01 도입
1.1 이 책의 구성
1.2 결론

02 타당도와 언어평가의 사회적 단면
2.1 Cronbach
2.2 Messick
2.2.1 Messick의 구인 타당도
2.2.2 구인에 대한 정의와 타당화: Mislevy
2.3 Kane의 시험 점수 타당화에 대한 접근법
2.4 언어평가 타당도에 나타난 사회적 단면
2.5 폭넓은 사회적 맥락: 타당도의 한계
2.6 결론

03 능숙도의 사회적 단면: 어느 정도까지 평가할 수 있을까?
3.1 면대면 상호작용 평가하기
3.2 제2언어 화용능력 평가하기
3.2.1 제2언어의 화용론
3.2.2 제2언어 화용능력 시험
3.2.3 사회화용능력평가하기
3.2.4 함축의미 평가하기
3.2.5 화용언어적 능력 평가하기
3.2.6 중국인 EFL 학습자의 사과 및 요청 화행
3.3 화용능력 평가의 과제: 사회적 측면을 강조하면서도 실용적인 시험
3.4 DCT를 활용한 화용능력평가: 목적에 따른 시험 사례연구
3.5 DCT 시험의 방법론적 문제
3.6 사회화용능력 평가하기: 역할극과 적절성 판단
3.7 외국인에 대한 특별 규범
3.8 화용적 적성평가
3.9 나아갈 길
3.10 결론

04 공정성에 대한 심리측정학적 접근:
편파성과 차별기능 문항 연구
4.1 편파성과 차별기능 문항: 정의 및 역사
4.1.1 편파성
4.1.2 차별기능 문항
4.1.3 차별기능 문항의 역사
4.2 차별기능 문항의 발생과 원인
4.3 차별기능 문항을 찾아낼 수 있는 연구방법
4.4 차별기능 문항에 관한 초기 방법: 집단에 따른 문항 난이도의 차이
4.5 분석표 방법과 다른 비모수적 접근
4.5.1 문항 난이도와 대응집단: 표준화 절차
4.5.2 언어시험에서 분할표 방법
4.6 DIF와 문항반응이론
4.6.1 문항반응 모형에서 차별기능 문항 계산하기
4.6.2 문항반응이론과 차별기능 문항에 관한 언어평가 연구
4.7 차별문항 기술 비교
4.8 다른 방법들
4.8.1 로지스틱 회귀분석
4.8.2 언어평가 DIF 연구에서 로지스틱 회귀분석
4.8.3 일반화가능도 이론
4.8.4 다면적 Rasch 측정
4.9 차별기능 문항 분석의 문제점
4.10 차별기능 문항과 편파성: 가치판단의 개입
4.11 결론

05 공정성 검토와 윤리규범
5.1 차별기능 문항 사전검출: 공정성 검토
5.1.1 Cambridge 대학교 ESOL 시험
5.1.2 ETS
5.2 전문가 의무로써의 공정성: 윤리 및 실행규범
5.3 언어평가분야의 윤리규범 및 실행규범
5.3.1 ILTA 윤리규범 및 실행규범
5.3.2 ALTE 실행규범 및 시험품질관리 점검표
5.4 윤리규범과 관련된 분야
5.5 앞으로의 방향
5.6 요약

06 언어시험과 사회적 신원
6.1 쉬볼렛 시험
6.2 언어시험, 신원, 권리의 부인
6.3 언어시험과 망명 요청
6.4 언어시험과 이민
6.5 언어시험과 시민권
6.6 캐나다: 언어시험과 공용어 정책
6.7 결론: 언어시험과 종속적 주체감

07 학교의 언어평가: 사회적 가치와 정책
7.1 시험 구인의 가치와 정책적 단면
7.1.1 일본 고교 입학을 위한 영어시험
7.1.2 유럽공통언어참조기준
7.2 기준을 통한 정책 이행
7.3 기준: 형식과 구조
7.4 기준: 개념적 구성(구인)
7.4.1 구인에 대한 상반된 관점: 문해력
7.4.2 제2언어 학습자를 고려한 정책 기반 문해력 평가
7.5 기준: 기술 과정
7.6 기준: 근거자료의 수집?교사 평가 및 정규시험
7.6.1 교사 평가
7.6.2 정규시험
7.6.3 정책에 대한 평가 및 정규시험
7.6.4 호주의 아시아언어 장려정책에 대한 정책 개선 방안연구
7.6.5 정책 기반 국제학업성취도의 비교평가 예: PISA 시험
7.7 기준과 영향: 낙오아동방지법과 ESL 학습자
7.7.1 낙오아동방지법
7.7.2 낙오아동방지법의 영향: 의도한 결과 및 의도하지 않은 결과
7.7.3 일반 학생과 동일하게 취급받는 ESL 학습자
7.8 결론

08 이제 어디로 가야 하는가? 연구와 인력양성을 위한 시사점
8.1 연구의 방향
8.2 인력 양성을 위한 시사점

참고 문헌
찾아보기(색인)
인명(색인)
옮긴이의 말

? 옮긴이의 말
문항 개발이든 채점자 교육이든 시험 만드는 일이 즐겁지 않은 건 아니다. 그러나 난 좀 더 통찰의 힘을 갖고 싶었다. 언젠가부터 평면적인 수치가 답답했고 좀 더 입체적인 실체로 내가 오랫동안 일했던 ‘언어평가’ 현장을 이해하고 싶었다. 본 번역서의 구상과 실천 역시 그와 같은 맥락에서 시작되었다.
2009년에 한국문화사를 통해 본 번역서의 원저자인 McNamara교수, 그리고 Blackwell Publishing으로부터 번역서를 출간할 권한을 부여받았다. 2009년 동안 동료 옮긴이들과 전체 원고를 강독하고 초벌 번역을 완성했다. 그러나 다음 해에 나는 미국에서 안식년을 보냈고 동료 옮긴이들은 해외에서 대학원 공부를 마치기 위해 출국했다. 강독 모임부터 참여한 박윤규 번역가가 2010년부터 책임 역자 역할을 맡았지만 다른 번역 일에 집중해야 하는 상황이 발생해서 본 번역본 작업이 수년 동안 느리게 진행되었다. 결국 2013년을 시작하면서 내가 다시 책임 역자 역할을 맡았고 드디어 수년을 붙들고 작업해온 최종 번역본을 출간하게 되었다.
번역의 여정은 지루했고 번역의 결과물 역시 온전할 수 없겠지만 책임 역자로서 Melbourne 대학교의 McNamara, Roever교수의 언어평가 서적을 번역할 수 있어 참 기쁘다. 언어평가 분야에서 연구자 활동을 하면서 나는 Fred Davidson, Brian Lynch, Elana Shohamy, Glenn Fulcher 등이 출간한 연구물을 자주 인용했는데 그런 중에 그들의 책을 직접 번역할 수 있는 행운도 있었다. 무엇보다도 내가 가장 자주 인용하면서도 동료 연구자로서의 존경심마저 품고 있는 McNamara교수의 핵심 저술물을 한국어로 번역할 수 있는 기회는 내게 영광이고 즐거움이었다. (언어)시험에 관한 그의 폭넓은 생각과 실천은 내가 10년 넘게 언어평가 연구자로서 한국 땅에서 그려가고 있는 전문가 활동의 궤적이나 다름없기 때문이다. 특별히 본 번역서의 원본은 2009년에 SAGE 출판사와 ILTA(세계언어평가협회)에 의해 ‘최고의 책’으로 선정되기도 했다.
내가 보기엔 지금은 언어의 위기 시대이다. 그리고 고부담 언어시험을 통한 언어(교육)의 위생화 문화의 확장이 언어의 위기를 고착시키고 있다. 고부담 언어시험은 여전히 국내에서 눈에 띄는 근대적 횡포임에도 불구하고 최근 들어서는 시험의 사회정치적 담론이 경제주의, 기술만능주의, 공리주의 등의 시대 풍조에 가려져 학술적 쟁점조차 제대로 구성되지 못하고 있다. 이 책의 번역본을 통해 보다 많은 독자가 언어시험의 근대적 가치를 새롭게 이해하길 기대한다. 시험은 시장 안에서 상품이 될 수도 있으며 정치와 권력의 담론 안에서도 다뤄질 수 있다. 학계는 예지와 저항이 넘치는 언어시험의 다양하고 유연한 사회정치적 담론을 주도할 필요가 있다.
본 번역서의 옮긴이들은 다음과 같다. 신동일은 중앙대학교 영어영문학과 교수로 재직 중이며 번역의 시작과 끝을 책임졌다. 함께 강독에 참여하고 번역에 참여한 역자들은 호주 Melbourne 대학교 대학원에서 수학 중인 임관혁, 번역가 박윤규, 캐나다 Toronto 대학교 대학원과 영국 Leicester 대학원에서 각각 박사논문을 준비 중인 박진아, 김나희, 장안대학교와 군산대학교에서 강의교수로 재직 중인 김종국박사, 장소영박사이다. 예전에는 내가 가르쳤던 학생들이었지만 이제는 모두 독립적인 연구자가 되었고 동료가 되었다. 함께 참여하고 헌신해준 것에 대해 심심한 감사의 인사를 드린다. 본 번역서는 언어평가에 관한 총론 수준을 다루지 않고 있다. 인식론적 고민, 역사적 사례, 심리측정학 기반의 실증연구물 등 매우 폭넓은 내용을 다루고 있었기 때문에 옮긴이들의 수고가 많았다. 아울러 책임 역자와 초벌 원고를 수차례 함께 읽고 교정과 교열 작업을 해준 중앙대학교 영어영문학과 심우진, 박성원 박사과정 대학원생에게도 깊은 감사를 전한다. 앞으로 이 번역본을 볼 때마다 2009년 옮긴이들과 이른 아침마다 영어영문학과 세미나실에 앉아 번역본 내용을 두고 진지하게 토론했던 기억과, 2013년 화창한 봄날을 창밖으로 바라보며 교정지를 읽고 수정 작업을 했던 기억이 교차할 것 같다.


2013년 6월
함께 작업한 동료들을 기억하고 대신하며
신동일 올림