보이는 대화, 들리는 제스처

여는 글

제1장 서론
1.1. 연구 배경 및 문제 제기
1.2. 연구 목적 및 범위

제2장 멀티모달 말뭉치의 발전 양상과 현황
2.1. 시대별 발전 과정
2.1.1. 제1세대: 태동기(1990년대 후반) - 제어된 환경에서의 멀티모달 융합 가능성 탐색
2.1.2. 제2세대: 확장기(2000년대 중반) - 복잡한 상호작용 분석으로의 전환
2.1.3. 제3세대: 심화기(2000년대 후반) - 감성 및 비언어적 표현의 정밀 측정
2.1.4. 제4세대: 자연성 추구(2010년대) - '현실 세계' 데이터로의 회귀
2.1.5. 제5세대: 대규모화 및 현실 세계 문제 해결(2020년대 초반) - 규모, 심리, 그리고 강건성
2.2. 연구 분야별 진화 패턴
2.2.1. 전산학 분야: 기술적 합리성과 측정 가능성의 추구
2.2.2. 심리학 분야: 인간 행동의 과학적 측정에서 사회적 상호작용 이해로
2.2.3. 언어학 분야: 언어 현상의 정밀한 기술에서 상호작용 이론으로
2.2.4 융합 연구: 단일 학문 → 학제간 협력 → 통합 플랫폼
2.2.5. 한국어 멀티모달 말뭉치 구축을 위한 시사점
2.3. 지역적 연구 동향
2.3.1. 유럽: CLARIN 인프라 중심의 표준화와 보존 전략
2.3.2. 북미: 대규모 데이터와 자동화 기술 선도
2.3.3. 아시아: 언어적 다양성과 문화적 맥락 반영
2.3.4. 한국: AI 우선 구축 패러다임과 그 한계 분석

제3장 연구 분야별 말뭉치 특성 분석
3.1. 전산학 분야 말뭉치: 기술적 도전에서 실용적 응용으로
3.1.1. M2VTS(1997): 멀티모달 융합 패러다임의 확립
3.1.2. AMI 회의 말뭉치(2006): 복잡한 상호작용으로의 확장
3.1.3. CANDOR(2023, 2025): 대규모 자연 대화와 자동화 패러다임
3.1.4. MISP(2025): 실세계 강건성과 기술적 도전
3.2. 심리학 분야 말뭉치: 인간 행동의 과학적 측정에서 사회적 상호작용 이해로
3.2.1. Belfast Naturalistic Database(2005): 자연적 감정 유도와 생태학적 타당성의 추구
3.2.2. IEMOCAP(2008): 통제된 환경에서의 정밀한 멀티모달 측정
3.2.3. SEMAINE(2012): 인간-에이전트 상호작용과 연속적 감정 모델링
3.2.4. CANDOR의 심리학적 기여(2023): 대규모 개인차 연구와 관계 형성 분석
3.2.5 심리학 분야 말뭉치의 일상대화 구축에 대한 시사점
3.3. 언어학 분야 말뭉치: 언어 현상의 정밀한 기술에서 상호작용 이론으로
3.3.1. FOLK(2014-): 독일어 구어의 체계적 변이와 자연 발생 대화
3.3.2. CEJC(2022): 일본어 일상대화와 동아시아적 상호작용 패턴
3.3.3. GEHM Zoom(2024): 온라인 환경에서의 멀티모달 대화분석
3.3.4. 언어학 분야 말뭉치의 일상대화 구축에 대한 시사점


제4장 비판적 성찰
4.1. 서론
4.2. 기초의 딜레마: 대표성, 균형성, 자연성
4.2.1. 제어된 환경의 선택: 자연성과 통제의 상충관계
4.2.2. ‘현실 세계’로의 회귀: 자연성 추구와 그 대가
4.2.3. 규모의 역설: 대규모 데이터와 새로운 불균형
4.3. 기술적 성취와 한계: 동기화, 일관성, 그리고 품질의 문제
4.3.1. 동기화 기술의 비약적 발전
4.3.2. ‘기술적 품질’에 대한 근시안적 정의와 그 대가
4.4. 지속가능성의 실패: 확장성, 재사용성, 안정성의 부재
4.4.1. 디지털 유물의 탄생: 원인과 결과
4.4.2. 지속가능성을 위한 제도적 해법: CLARIN의 교훈
4.5. 우리는 무엇을 위해, 누구를 위해 작업하는가?
4.5.1. 목적의 딜레마: 특화와 범용 사이의 긴장
4.5.2. 윤리 의식의 진화: ‘데이터 소스’에서 ‘연구 협력자’로
4.6. 한국어 멀티모달 말뭉치의 현주소: 국가 주도 패러다임의 성취와 과제
4.6.1. 서론: 두 개의 축, 국립국어원과 AI Hub
4.6.2. 언어 자원의 기록과 보존을 향하여: 국립국어원의 말뭉치
4.6.3. AI 기술 개발의 시험대: AI Hub의 목적 특화 말뭉치
4.6.4. 종합 평가 및 미래 과제
4.7. 소결: 30년의 교훈과 새로운 질문

제5장 기술 변화의 전망과 전략
Part 1. 기술변화의 전망
5.1. 포착 기술의 미래: 현실을 복제하다
5.2. 분석 기술의 미래: 무엇을 넘어 왜를 추론하다
5.2.1. 인체 포즈 추정의 현재 수준과 기술 발전 동향
5.2.2. 멀티모달 상호작용 분석의 핵심 분류 체계 및 분석 적용 방식
5.2.3. 의미 추론 기술의 종합적 전망
5.3. 상호작용 양식의 미래: 현실이 확장되다
Part 2. 현재의 실천과 미래를 위한 전략
5.4. 이중 트랙 전략: 현재를 위한 실천과 미래를 위한 보존
5.5. 실천 방법론 1: 이중 산출물의 원칙
5.6. 실천 방법론 2: 분리 가능한 분석의 원칙
5.7. 실천 방법론 3: 최대 해상능의 원칙
5.8. 소결: 변화의 파도 속에서 길을 찾는 전략

제6장 결론 및 제언
6.1. 연구의 종합과 성찰
6.2. 한국어 멀티모달 일상대화 말뭉치 구축
6.3. 맺음말

부록 A: 멀티모달 말뭉치 연구 용어 해설
부록 B: 뇌·생리신호 기반 멀티모달 공개 데이터셋 개관
부록 C: 멀티모달 대화 말뭉치 프로젝트 착수 체크리스트
부록 D: IAA 프로토콜과 계산 템플릿
부록 E: 주요 축약어 목록

참고문헌
찾아보기