실무로 통하는 LLM 애플리케이션 설계

[PART 1 LLM의 구성 요소]

CHAPTER 1 LLM의 개념과 첫걸음
_1.1 LLM의 정의
_1.2 LLM의 간략한 역사
_1.3 LLM의 영향
_1.4 기업 내 LLM 활용
_1.5 프롬프팅
_1.6 API를 통한 LLM 접근 방법
_1.7 LLM의 강점과 한계
_1.8 첫 번째 챗봇 프로토타입 만들기
_1.9 프로토타입에서 제품화까지
_1.10 마치며

CHAPTER 2 사전 훈련 데이터
_2.1 LLM을 만드는 구성 요소
_2.2 사전 훈련 데이터 요구 사항
_2.3 대표적인 사전 훈련 데이터셋
_2.4 합성 사전 훈련 데이터
_2.5 훈련 데이터 전처리
_2.6 사전 훈련 데이터가 후속 작업에 미치는 영향
_2.7 사전 훈련 데이터셋의 편향과 공정성 문제
_2.8 마치며

CHAPTER 3 어휘와 토큰화
_3.1 어휘
_3.2 토크나이저
_3.3 토큰화 파이프라인
_3.4 마치며

CHAPTER 4 아키텍처와 학습 목표
_4.1 기본 개념
_4.2 의미 표현하기
_4.3 트랜스포머 아키텍처
_4.4 손실 함수
_4.5 내재적 모델 평가
_4.6 트랜스포머 백본
_4.7 학습 목표
_4.8 사전 훈련 모델
_4.9 마치며

[PART 2 LLM 활용하기]

CHAPTER 5 사용 목적에 맞게 LLM 활용하기
_5.1 LLM 생태계 탐색하기
_5.2 적합한 LLM을 선택하는 방법
_5.3 LLM 로딩 방법
_5.4 디코딩 전략
_5.5 LLM에서 추론 실행하기
_5.6 구조화된 출력
_5.7 모델 디버깅 및 해석 가능성
_5.8 마치며

CHAPTER 6 파인 튜닝
_6.1 파인 튜닝의 필요성
_6.2 파인 튜닝: 전체 예제
_6.3 파인 튜닝 데이터셋
_6.4 마치며

CHAPTER 7 고급 파인 튜닝 기법
_7.1 지속적 사전 훈련
_7.2 파라미터 효율적 파인 튜닝(PEFT)
_7.3 여러 모델 결합하기
_7.4 마치며

CHAPTER 8 정렬 훈련과 추론
_8.1 정렬 훈련의 정의
_8.2 강화 학습
_8.3 환각
_8.4 환각 완화 전략
_8.5 인컨텍스트 환각
_8.6 관련 없는 정보로 인한 환각
_8.7 추론
_8.8 LLM에서 추론 유도하기
_8.9 마치며

CHAPTER 9 추론 최적화
_9.1 LLM 추론의 도전 과제
_9.2 추론 최적화 기법
_9.3 연산량 감소 기법
_9.4 디코딩 가속화 기법
_9.5 저장 공간을 절약하는 기법
_9.6 마치며

[PART 3 LLM 애플리케이션 활용 패러다임]

CHAPTER 10 LLM과 외부 도구의 인터페이스
_10.1 LLM 상호작용 패러다임
_10.2 에이전트 정의
_10.3 에이전트 기반 워크플로
_10.4 에이전트 시스템 구성 요소
_10.5 마치며

CHAPTER 11 표현 학습과 임베딩
_11.1 임베딩 소개
_11.2 의미 검색
_11.3 유사도 측정법
_11.4 임베딩 모델 파인 튜닝
_11.5 지시 임베딩
_11.6 임베딩 크기 최적화
_11.7 청킹
_11.8 벡터 데이터베이스
_11.9 임베딩 해석하기
_11.10 마치며

CHAPTER 12 검색 증강 생성(RAG)
_12.1 RAG의 필요성
_12.2 대표적인 RAG 활용 시나리오
_12.3 검색 여부 판단하기
_12.4 RAG 파이프라인
_12.5 메모리 관리를 위한 RAG
_12.6 RAG로 인컨텍스트 학습 예시 선택하기
_12.7 모델 훈련에 RAG 활용하기
_12.8 RAG의 한계
_12.9 RAG 대 긴 컨텍스트
_12.10 RAG 대 파인 튜닝
_12.11 마치며

CHAPTER 13 디자인 패턴과 시스템 아키텍처
_13.1 다중 LLM 아키텍처
_13.2 프로그래밍 패러다임
_13.3 마치며