언어학이 만나는 인공 신경망 언어모델

서 문 _ 4

1부 신경망 언어 모델의 현재의 위상

1장 언어(학)과 언어 인지과학을 재현하는 신경망 언어────── 19

1. 서론 _ 21
2. 언어 구조와 패턴 학습 _ 24
2.1 문법과 통사 구문 구조 _ 24 2.2 의미론적 관계와 의미 학습 _ 32
3. 맥락 이해와 예측 _ 43
3.1 문맥 기반 이해 _ 43 3.2 문맥 이해 _ 44
3.3 문장 예측과 완성 _ 45 3.4 실용적 응용 _ 46
4. 최근 대형 언어 모델 LLM의 평가 _ 47
4.1 들어가는 말 _ 47
4.2 형식적 언어 능력에 대한 LLM의 평가 _ 47
4.3 기능적 언어 능력과 그 한계 _ 49
4.4 향후 신경망 언어 모델 개발을 위한 프레임워크 _ 50
5. 신경망 언어 모델의 언어 학습과 추론의 특징 _ 54
5.1 데이터 기반 학습(data-driven learning) _ 54
5.2 비지도 학습 _ 55
5.3 추론 능력 _ 56
5.4 텍스트 이해와 추론 _ 57
6. 언어 생성과 창의성 _ 59
6.1 텍스트 생성 _ 59
6.2 신경망 언어 모델의 창의성 _ 59
6.3 창의적 응용 _ 61
7. 언어 인지과학의 모형화 _ 64
7.1 언어 인지 모델링 _ 64 7.2 인간의 언어 처리 모델의 시뮬레이션 _ 66
7.3 심리언어학적 현상 재현 _ 68
8. 한계와 도전 과제 _ 70
8.1 기계와 인간의 차이 _ 70 8.2 보완 연구 _ 71
8.3 윤리적 문제와 편향성 _ 72
9. 결론 _ 73

부록 신경망 언어 모델의 구조 _ 75
■ 신경망 언어 모델 구조의 주요 요소 _ 75
■ 신경망 언어 모델에서 모델 아키텍처와 알고리즘의 기능적 차이 _ 76
■ 신경망 언어 모델의 모델 아키텍처 및 알고리즘과 인간 신경망의 대응 요소 _ 79
■ 추가: 하이퍼파라미터 튜닝 _ 80
■ 하이퍼파라미터 튜닝과 사람의 인지 기능의 대비 _ 82


2장 신경망 언어 모델과 인간의 언어 처리 비교 ────── 85
1. 서론 _ 87
2. 인간의 언어 처리 과정 _ 89
2.1 언어 인지 과정 _ 89 2.2 뇌의 언어 처리 메커니즘 _ 91
3. 신경망 언어 모델의 언어 처리 메커니즘 _ 97
3.1 신경망 언어 모델 아키텍처 _ 97
3.2 모델 학습 과정 _ 99
3.3 신경망 언어 모델 성능 평가 _ 100
4. 인간 언어 처리와 신경망 모델의 비교 _ 103
4.1 언어 습득과 학습 _ 103 4.2 문맥 이해와 예측 _ 104
4.3 추론과 문제 해결 _ 105 4.4 생물학적 차이 _ 105
5. 신경망 언어 모델의 한계와 개선 방안_110
5.1 신경망 언어 모델의 한계 _ 110 5.2 개선 방안 _ 111
6. 신경망 언어 모델에 구현되는 언어학, 심리언어학, 인지과학 _ 113
6.1 언어학의 구현 _ 113 6.2 심리언어학의 구현 _ 115
6.3 언어 인지 신경과학의 구현 _ 119
7. 미래 연구 방향 _ 121
7.1 융합 연구의 중요성 _ 121 7.2 실용적 응용 가능성 _ 122
8. 결론 _ 124

3장 언어와 인지 vs. 초대형 신경망 언어 모델 ─────── 127
1. 서론 _ 129
2. 초대형 신경망 언어 모델 소개 _ 131
2.1 언어 모델과 그 발전의 개요 _ 131
2.2 최근의 주요 초대형 신경망 언어 모델 소개: ChatGPT, Bard, Sydney _ 133
2.3 초대형 신경망 언어 모델의 발전의 약속과 위험 _ 134
3. 인간의 언어와 인지 _ 137
3.1 인간 언어의 본질: 문법과 구문 _ 137
3.2 언어 습득(language acquisition)의 인지 과정 _ 138
3.3 보편 문법의 역할과 인간 인지 _ 139
4. 인간 인지와 신경망 언어 모델의 근본적인 차이 _ 142
4.1 인간 지능: 설명 vs. 기술과 예측 _ 142
4.2 신경망 언어 모델의 문법 및 의미 이해의 한계 _ 148
4.3 신경망 언어 모델의 언어 처리(발화 및 이해) _ 150
4.4 언어 처리에서 차이를 강조하는 사례 연구 _ 153
4.5 인간 인지와 신경망 언어 모델의 학습 방식 비교 _ 154

4.6 인지적 한계와 윤리적 함의 _ 156
5. 신경망 언어 모델의 윤리적 및 사회적 함의 _ 157
5.1 AI 개발 및 배포의 윤리적 문제 _ 157
5.2 신경망 언어 모델 편향성의 사회적 영향 _ 158
5.3 사례 연구: ChatGPT와 논란이 된 출력 _ 159
5.4 AI 개발자의 책임과 윤리적 고려 사항 _ 160
5.5 윤리적 AI 개발을 위한 정책 및 규제 _ 161
6. 신경망 언어 모델의 미래 발전 방향 _ 162
7. 결론 _ 163



2부 신경망 언어 모델을 개선하기

4장 인간 뇌의 인지 과정에 대한 역공학적 접근 ───────── 169

1. 서론 _ 171
2. 인간 뇌의 역공학 _ 172
2.1 도입 _ 172 2.2 역공학과 인간 뇌의 이해 _ 173
2.3 인공지능의 기초와 발전 _ 176 2.4 인공 신경망(ANN)과 합성곱 신경망(CNN) _ 180
2.5 역공학의 결과와 미래 전망 _ 183 2.6 종합 _ 186
3. 역공학을 통한 인간 인지의 주요 요소로서의 상식 이해에 접근하기 _ 187
3.1 도입 _ 187
3.2 기존 기계 학습의 도전 과제 _ 188
3.3 인지 과학에 영감을 받은 AI 접근 방식 _ 190
3.4 Rule et al.(2020)에서의 성과 _ 194
3.5 종합 _ 196
4. 역공학을 통해 신경계를 재현하는 목표와 필요성 _ 197
4.1 도입 _ 197
4.2 신경과학의 주요 목표 _ 199
4.3 신경계 시뮬레이션의 중요성 _ 200
4.4 현재의 역공학 노력과 그 한계 _ 202
4.5 데이터 통합과 머신러닝 _ 204
4.6 종합 _ 205
5. 결론 _ 207

5장 언어 처리/습득하는 뇌의 역공학 ──────── 209

1. 서론 _ 211
2. 역공학적 접근을 통한 언어 처리 및 예측 메커니즘 연구 _ 212
2.1 도입 _ 212 2.2 연구 방법 및 데이터셋 _ 213
2.3 주요 발견 _ 216 2.4 모델 성능 분석 _ 217
2.5 연구 방법론 _ 218 2.6 성능 평가 및 통계적 검정 _ 218
2.7 종합 _ 219

3. 언어 습득/발달의 역공학 _ 220
3.1 도입 _ 220 3.2 역공학 접근법 _ 221
3.3 장기 녹음의 중요성 _ 223 3.4 입력 제어 및 결과 측정 _ 228
3.5 종합 _ 233
4. 생태적으로 타당한 학습 자료로의 신경망 언어 모델 훈련 _ 235
4.1 도입 _ 235 4.2 역공학의 정의와 중요성 _ 235
4.3 연구 방법 _ 237 4.4 실험 및 평가 _ 239
4.5 결과 및 논의 _ 241 4.6 종합 _ 243
5. 결론 _ 244


6장 인간의 언어, 언어학에 대한 역공학적 접근 ───── 247

1. 서론 _ 249
2. 인간 언어의 상징적 역공학(symbolic reverse engineering) _ 250
2.1 서론 _ 250 2.2 LLM의 한계 _ 252
2.3 상징적 역공학 제안 _ 254 2.4 실용적 응용 _ 258
2.5 종합 _ 262
3. 인간의 사고 언어에 대한 역공학적 접근 _ 263
3.1 도입 _ 263 3.2 문제 정의 _ 264
3.3 데이터 기반 접근 _ 265 3.4 언어 모델 평가 _ 268
4. 인간 언어의 통사 구조에 대한 역공학적 접근 _ 270
4.1 도입 _ 270 4.2 새로운 통사 모델링 접근: synapper _ 271
4.3 기존 기법과의 차별성 _ 273 4.4 사례 연구: 영어와 한국어 _ 274
4.5 통사 구조의 역공학적 측면 _ 275 4.6 다국어 번역 시스템에서의 활용 _ 276
4.7 종합 _ 277
5. 인간의 의미 사용에 대한 역공학적 접근 _ 278
5.1 도입 _ 278 5.2 의미 인지 시스템의 필수 기능 _ 279
5.3 제어된 의미 인지의 모델링 _ 282 5.4 종합 _ 284
5. 결론 _ 285