LUVIT♥ 파이썬으로 만드는 초경량 한국어 LLM 챗봇

머리말 xi
베타리더 후기 xii
이 책을 읽는 법 xiv
학습 가이드 xvi
로드맵 xviii

CHAPTER 1 인공지능과 ChatGPT
1.1 자연에서 모방하라 2
1.2 신경계의 가장 기본 단위 5
1.3 ChatGPT 알아보기 10
돌아보기/쪽지시험 17

CHAPTER 2 구글 코랩과 파이썬
2.1 취미로 만들어진 언어: 파이썬 20
2.2 구글 코랩 사용방법 23
2.3 파이썬 문법 29
돌아보기/쪽지시험 74

CHAPTER 3 챗봇과 ChatGPT
3.1 챗봇의 특징 및 활용 78
3.2 ChatGPT의 특징과 활용 89
3.3 챗봇과 ChatGPT의 차이 97
돌아보기/쪽지시험 99

CHAPTER 4 자연어 처리의 이해
4.1 자연어 처리란? 102
4.2 라이브러리 활용: spaCy 111
4.3 라이브러리 활용: KoNLPy 120
돌아보기/쪽지시험 126

CHAPTER 5 정형 데이터
5.1 정형 데이터란? 130
5.2 정형 데이터 직접 만들어보기 133
5.3 정형 데이터의 활용 140
5.4 Open API 활용하기 149
돌아보기/쪽지시험 156

CHAPTER 6 비정형 데이터
6.1 비정형 데이터 160
6.2 비정형 데이터의 수집 164
돌아보기/쪽지시험 174

CHAPTER 7 데이터 시각화
7.1 데이터 시각화의 종류 180
7.2 데이터 시각화의 활용 198
돌아보기/쪽지시험 205

CHAPTER 8 데이터 분석하기 I
8.1 데이터의 전처리 210
8.2 데이터의 기술통계량 산출하기 219
돌아보기/쪽지시험 226

CHAPTER 9 데이터 분석하기 II
9.1 상관분석의 정의 및 활용 230
9.2 회귀분석의 정의 및 활용 240
돌아보기/쪽지시험 246

CHAPTER 10 데이터 분류하기
10.1 분류 방법론의 정의 250
10.2 분류 방법론의 활용 및 해석 269
돌아보기/쪽지시험 273

CHAPTER 11 데이터 예측하기 I
11.1 전통적인 시계열 분석 방법론의 정의 및 활용 278
11.2 ARIMA의 활용 283
돌아보기/쪽지시험 291

CHAPTER 12 데이터 예측하기 II
12.1 머신러닝 기반의 시계열 분석 296
12.2 딥러닝 기반의 시계열 예측 300
돌아보기/쪽지시험 309

CHAPTER 13 LLM과 허깅 페이스 생태계 이해하기
13.1 ChatGPT의 등장과 LLM 시대 314
13.2 LLM의 작동 원리 317
13.3 허깅 페이스란 무엇인가? 321
13.4 허깅 페이스의 핵심 도구 324
13.5 구글 코랩에서 LLM 실행하기 328

CHAPTER 14 초경량 한국어 LLM 챗봇 만들기: KoGPT2 파인튜닝 실습
14.1 실습 개요 334
14.2 코랩 준비와 필수 라이브러리 설치 336
14.3 모델과 토크나이저 로딩 337
14.4 훈련 데이터 정의 및 전처리 338
14.5 데이터 토큰화 및 입력/정답 생성 340
14.6 학습 설정 및 Trainer 구성 341
14.7 학습 실행 및 모델 저장 342
14.8 CLI 챗봇 실행 및 테스트 343
14.9 최종 코드 345

찾아보기 347

인류는 오랫동안 사람의 뇌를 모방한 기술을 개발하려 노력했고, 그 결과가 바로 인공지능(artificial intelligence, AI)입니다. 인공지능을 이해하려면, 모든 분야를 깊이 파고들 필요는 없지만 인공지능 발전의 기초가 되는 지식을 알아두면 좋습니다. 이를 통해 인간 지능의 진화 과정과 미래 방향을 더 잘 이해할 수 있기 때문이죠. 대표적으로 자연 지능(natural intelligence, NI)과 인간 지능(human intelligence, HI)에 대해 이야기할 수 있습니다. 인간지능은 다양한 의미로 해석이 가능하지만 본문에서는 ‘인간이 문제를 해결하는 능력’을 인간지능으로 해석의 폭을 규정하겠습니다.

챗봇은 기존의 방식처럼 단순히 정보를 보여주는 것을 넘어, 사용자가 대화라는 자연스러운 방법으로 정보를 탐색하고 얻을 수 있도록 돕습니다. 또한, 챗봇은 초기 개발 상태에 머무르지 않고 지속적인 관리와 업데이트를 통해 점차 제공하는 정보의 범위를 확장합니다.