책 이미지
책 정보
· 분류 : 국내도서 > 컴퓨터/모바일 > 인공지능
· ISBN : 9791194587347
· 쪽수 : 516쪽
· 출판일 : 2025-09-11
책 소개
목차
지은이·옮긴이 소개 xi
옮긴이 머리말 xiii
추천의 글 xv
베타리더 후기 xvii
추천사 xix
시작하며 xxii
감사의 글 xxvii
이 책에 대하여 xxviii
CHAPTER 1 LLM 소개 1
1.1 언어 모델의 짧은 역사 1
1.2 LLM이란 무엇인가? 2
1.3 LLM의 기본 구성 요소 3
1.4 실습 ❶ LLM을 활용한 번역(GPT-3.5 API) 19
1.5 실습 ❷ 퓨샷 학습을 통한 LLM 출력 제어 20
1.6 요약 22
CHAPTER 2 LLM 아키텍처와 환경 23
2.1 트랜스포머 이해하기 23
2.2 트랜스포머 모델의 설계와 선택 33
2.3 트랜스포머 아키텍처 최적화 기법 41
2.4 GPT 아키텍처 43
2.5 대형 멀티모달 모델 소개 46
2.6 상용 모델 vs. 공개 모델 vs. 오픈소스 언어 모델 52
2.7 LLM의 응용 및 사용 사례 59
2.8 요약 67
CHAPTER 3 LLM의 실제 응용 69
3.1 환각과 편향 이해하기 69
3.2 LLM 출력에서 환각을 줄이는 방법 71
3.3 LLM 성능 평가 79
3.4 요약 84
CHAPTER 4 프롬프트 엔지니어링 소개 86
4.1 프롬프팅과 프롬프트 엔지니어링 86
4.2 프롬프트 테크닉 91
4.3 프롬프트 인젝션과 보안 97
4.4 요약 100
CHAPTER 5 RAG 102
5.1 왜 RAG인가? 102
5.2 밑바닥부터 시작하는 기본 RAG 파이프라인 구축 106
5.3 요약 119
CHAPTER 6 LangChain 및 LlamaIndex 소개 120
6.1 LLM 프레임워크 120
6.2 LangChain 소개 121
6.3 실습 ❶ LangChain을 사용한 LLM 기반 애플리케이션 구축 126
6.4 실습 ❷ 뉴스 기사 요약기 구축 130
6.5 LlamaIndex 소개 137
6.6 LangChain vs. LlamaIndex vs. OpenAI Assistant 145
6.7 요약 147
CHAPTER 7 LangChain을 사용한 프롬프트 작성 148
7.1 LangChain 프롬프트 템플릿이란 148
7.2 퓨샷 프롬프트와 예시 선택기 156
7.3 LangChain에서 체인이란 163
7.4 실습 ❶ 출력 파서를 사용한 출력 관리 171
7.5 실습 ❷ 뉴스 기사 요약기 개선 183
7.6 실습 ❸ 텍스트 데이터를 활용한 지식 그래프 생성: 숨겨진 연결 고리 발견하기 191
7.7 요약 197
CHAPTER 8 인덱스, 검색기, 그리고 데이터 준비 199
8.1 LangChain의 인덱스와 검색기 199
8.2 데이터 수집 205
8.3 텍스트 분할기 209
8.4 유사도 검색과 벡터 임베딩 219
8.5 실습 ❶ 고객 지원 Q&A 챗봇 225
8.6 실습 ❷ Whisper와 LangChain을 이용한 유튜브 비디오 요약기 232
8.7 실습 ❸ 지식 베이스를 위한 음성 비서 243
8.8 실습 ❹ 자기 비판 체인을 사용한 원치 않는 출력 방지 255
8.9 실습 ❺ 고객 서비스 챗봇에서 부적절한 출력 방지 260
8.10 요약 265
CHAPTER 9 고급 RAG 268
9.1 개념 증명에서 제품으로: RAG 시스템의 도전 과제 268
9.2 고급 RAG 기법과 LlamaIndex 269
9.3 RAG의 지표 및 평가 284
9.4 LangChain, LangSmith 및 LangChain Hub 299
9.5 요약 304
CHAPTER 10 에이전트 306
10.1 에이전트: 추론 엔진으로서의 대형 모델 306
10.2 AutoGPT와 BabyAGI 한 눈에 보기 312
10.3 LangChain의 에이전트 시뮬레이션 프로젝트 327
10.4 실습 ❶ 분석 보고서 작성 에이전트 구축 332
10.5 실습 ❷ LlamaIndex를 사용한 데이터베이스 쿼리 및 요약 340
10.6 실습 ❸ OpenAI 어시스턴트를 활용한 에이전트 구축 350
10.7 실습 ❹ LangChain OpenGPTs 354
10.8 실습 ❺ 멀티모달 금융 문서 분석기로 PDF 파일 분석하기 357
10.9 요약 371
CHAPTER 11 파인튜닝 372
11.1 파인튜닝에 대한 이해 372
11.2 LoRA 373
11.3 실습 ❶ LoRA를 활용한 SFT 376
11.4 실습 ❷ SFT 및 LoRA를 활용한 금융 감정 분석 389
11.5 실습 ❸ 의료 데이터를 활용한 Cohere LLM 파인튜닝 398
11.6 RLHF 408
11.7 실습 ❹ RLHF를 통한 LLM 성능 향상 411
11.8 요약 433
CHAPTER 12 배포 및 최적화 435
12.1 모델 증류와 교사-학생 모델 435
12.2 LLM 배포 최적화: 양자화, 가지치기, 추측적 디코딩 441
12.3 실습: GCP에서 CPU로 양자화된 LLM 배포하기 452
12.4 오픈소스 LLM을 클라우드 환경에 배포하기 461
12.5 요약 463
나가며 465
용어집 468
찾아보기 472
리뷰
책속에서
GPT 아키텍처는 다양한 목적에 맞게 여러 버전이 존재한다. 이후 장에서 프로덕션 환경에 더 적합한 다른 라이브러리들을 다룰 예정이지만, 여기서는 안드레이 카르파트히가 개발한 OpenAI의 GPT-2 모델의 간소화 버전, minGPT를 소개한다. minGPT는 저장소에서 직접 구현하고 실험해볼 수 있는 가벼운 버전의 GPT 모델이다. / minGPT는 GPT 구조를 간단히 설명하기 위해 개발된 교육용 도구로, 약 300줄의 코드로 축약되었으며 파이토치 라이브러리를 사용한다. 단순한 구조 덕분에 GPT 계열 모델의 내부 작동 방식을 깊이 이해하는 데 유용하며, 코드에 각 과정에 대한 명확한 설명이 포함되어 있어 학습에 도움이 된다.
ICL(문맥 학습, in-context learning)은 프롬프트에 예제나 시연을 포함시켜 모델이 학습하는 접근 방식이다. 퓨샷 프롬프팅(few-shot prompting)은 문맥 학습의 하위 집합으로, 모델에 관련된 예제나 시연의 작은 집합을 제공한다. 이 전략은 모델이 일반화하고 더 복잡한 작업에서 성능을 향상시키는 데 도움을 준다. 퓨샷 프롬프팅은 언어 모델이 소수의 샘플로부터 학습할 수 있게 한다. 이 적응력 덕분에 모델은 소수의 훈련 샘플만으로 다양한 작업을 처리할 수 있다. / 제로숏 프롬프팅에서는 모델이 완전히 새로운 작업에 대해 출력을 생성하지만, 퓨샷 프롬프팅은 문맥 내 예제를 활용해 성능을 향상시킨다. 이 기법에서 프롬프트는 종종 여러 샘플이나 입력과 그에 따른 답변으로 구성된다. 언어 모델은 이러한 예제들로부터 학습하고 유사한 질문에 답변하는 데 이를 적용한다.
RAG 파이프라인 설정의 마지막 단계는 프롬프트를 준비해 LLM이 내재된 지식에 의존하지 않고 검색된 정보를 활용하도록 유도하는 것이다. 이 단계에서 모델은 편집자의 역할을 하며, 주어진 정보를 검토하고 프롬프트에 적합하게 답변을 정리하거나 생성한다. 마치 변호사가 모든 답변을 암기하고 있지 않을 때 질문에 답하기 위해 문서, 책, 데이터베이스를 찾아보고 정보를 ‘소화’해 답변을 제시하는 것과 유사하다. 변호사처럼 LLM이 주어진 리소스를 참조하게 해 오류(환각)를 줄이고자 하는 경우가 많다. / 이 작업을 위해 system_prompt와 user_prompt 두 가지 인수를 조정해야 한다. system_prompt의 주요 변경 사항은 모델이 제공된 특정 청크 정보를 이용해 질문에 답하도록 지시하는 것이다. user_prompt는 모델이 〈START_OF_CONTEXT〉와 〈END_OF_CONTEXT〉 태그 사이에 제공된 데이터만을 참조해 답변하도록 신호를 보낸다. 여기서 .join() 메서드를 사용해 검색된 청크들을 하나의 긴 문자열로 연결하고, .format() 함수를 통해 prompt 변수의 첫 번째와 두 번째 { } 자리 표시자를 각각 결합된 콘텍스트와 사용자의 질문으로 대체한다.
