[큰글자책] 인간-AI 협업 체계적 문헌 고찰

AI 시대 문헌 연구 방법의 혁신

01 체계적 문헌 고찰 원리와 유형
02 생성형 AI와 문헌 고찰의 변화
03 연구 질문 설정과 프로토콜 설계
04 인간-AI 협업 검색 전략 탐색
05 문헌 검색과 선별
06 자료 추출과 구조화
07 문헌 질 평가와 편향 위험
08 연구 결과 분석과 종합
09 AI 활용 기록과 보고
10 인간-AI 협업 문헌 고찰 책임성

체계적 문헌 고찰은 연구 질문 설정부터 검색, 선별, 질 평가, 자료 추출, 결과 종합과 보고에 이르는 전체 연구 과정을 포괄한다. 메타분석은 이 과정에서 정량적 결과를 통계적으로 결합하는 분석 방법이다. 통계 자료가 부족하거나 연구 간 비교 가능성이 낮다면 체계적 문헌 고찰에서도 메타분석을 적용하지 않을 수 있다. 메타분석의 통계적 정교성은 체계적인 문헌 검색과 편향 위험 평가를 전제로 의미를 갖는다. 메타합성은 체계적으로 선정된 질적연구에서 경험, 의미와 과정을 해석적으로 종합한다. 메타분석과 메타합성은 개별 연구를 나열하는 수준을 넘어 연구 간 관계를 탐색하고 상위 수준의 결론을 구성한다는 공통점을 지닌다. 체계적 매핑은 효과나 경험의 의미를 심층적으로 통합하기보다 문헌의 분포와 연구 영역의 구조를 제시하며, 후속 체계적 문헌 고찰과 메타분석 또는 메타합성의 질문을 구체화하는 기초 자료가 된다.

－01_“체계적 문헌 고찰 원리와 유형” 중에서

체계적 문헌 고찰 프로토콜은 문헌 고찰의 절차와 방법을 사전에 제시하는 구조화된 계획서다. 본 검색에 앞서 연구 질문과 적격성 기준부터 문헌 검색과 선별, 질 평가, 자료 추출과 분석 방법을 명시함으로써 연구의 일관성을 유지하고, 결과에 따라 검색 방법을 임의로 변경하는 것을 방지한다. (…) 인간-AI 협업 체계적 문헌 고찰에서는 AI의 역할과 인간의 검증 절차도 프로토콜에 포함해야 한다. AI를 검색어 탐색, 검색식 작성, 문헌 선별, 자료 추출, 질 평가, 분석과 보고 중 어느 단계에서 사용할 것인지 명시하고, 도구의 명칭과 버전, 사용 시점, 입력 자료, 주요 프롬프트와 산출물의 저장·수정 방법을 기록한다. 또한 AI의 판단을 누가 어떤 기준으로 검토할지, 인간과 AI의 판단이 불일치할 때 어떻게 조정할지, AI가 생성한 인용과 요약을 원문과 어떻게 대조할지를 사전에 정해야 한다.

－03_“연구 질문 설정과 프로토콜 설계” 중에서

AI가 추출한 결과는 검증을 기다리는 초안이다. 검증은 두 층위의 대조로 이루어진다. 첫 번째 층위는 사실의 대조다. 숫자와 단위, 표본 수, 결과의 방향을 원문과 하나씩 맞춰 본다. 두 번째 층위는 사실과 추론의 구분이다. AI의 출력에는 원문에 명시된 내용과 추론으로 메운 내용이 뒤섞여 있기 때문이다. 이 둘을 가려내는 일은 연구자의 몫이다. 검증을 마친 출력에 대해 연구자는 네 가지 판단 중 하나를 내린다. 그대로 받아들이는 수용, 표현이나 범위를 손보는 부분 수정, 해석을 다시 세우는 전면 수정, 근거가 없어 받아들이지 않는 기각이다. 이때 판단의 결과만 남겨서는 안 되며, 그 근거를 함께 기록해야 한다. 이 판단 로그가 프롬프트 로그, 출력 로그, 검증 로그와 결합될 때, 4중 기록 체계가 완성된다.

－06_“자료 추출과 구조화” 중에서