LLM 디자인 패턴

[1부] 소개 및 데이터 준비

▣ 01장: LLM 디자인 패턴 소개
1.1 LLM 이해하기
__1.1.1 언어 모델의 진화
__1.1.2 LLM의 핵심 기능
1.2 디자인 패턴 이해하기
__1.2.1 기원과 진화
__1.2.2 디자인 패턴의 핵심 원칙
1.3 LLM 개발을 위한 디자인 패턴
__1.3.1 LLM 디자인 패턴의 이점
__1.3.2 LLM에 디자인 패턴을 적용할 때의 도전 과제
1.4 요약

▣ 02장: LLM 훈련 데이터 정제
2.1 데이터 정제의 중요성
2.2 언어 데이터셋에서 일반적으로 나타나는 데이터 품질 문제
2.3 LLM을 위한 텍스트 전처리 기법
2.4 다국어 및 부호혼용 데이터 처리
2.5 대규모 텍스트 말뭉치의 중복 제거 전략
__2.5.1 정확한 일치 중복 제거
__2.5.2 근사 중복 탐지
__2.5.3 싱글링
__2.5.4 지역 민감 해싱(LSH)
2.6 데이터 정제 파이프라인 자동화
2.7 데이터 검증 및 품질 보증
2.8 요약

▣ 03장: 데이터 증강
3.1 텍스트 데이터 증강 기법
__3.1.1 동의어 대체
__3.1.2 역번역
__3.1.3 T5를 사용한 텍스트 생성
3.2 기존 LLM을 활용한 데이터 생성
3.3 다국어 데이터 증강 전략
__3.3.1 언어 간 역번역
__3.3.2 다국어 T5 증강
3.4 텍스트 증강 시 의미 보존
__3.4.1 문장 임베딩 사용
__3.4.2 동의어 대체를 위한 문맥적 단어 임베딩
3.5 증강과 데이터 품질의 균형
__3.5.1 품질 필터링
__3.5.2 휴먼 인 더 루프(HITL) 검증
3.6 데이터 증강의 영향 평가
__3.6.1 당혹도
__3.6.2 과업별 지표
__3.6.3 다양성 지표
3.7 요약

▣ 04장: LLM 훈련을 위한 대규모 데이터셋 처리
4.1 대용량 데이터셋의 도전 과제
4.2 데이터 샘플링 기법
4.3 분산 데이터 처리
4.4 데이터 샤딩 및 병렬화 전략
4.5 효율적인 데이터 저장 형식
4.6 연속적인 LLM 훈련을 위한 스트리밍 데이터 처리
4.7 메모리 효율적인 데이터 로딩 기법
4.8 요약

▣ 05장: 데이터 버전 관리
5.1 데이터 버전 관리의 필요성 이해
5.2 대규모 언어 데이터셋을 위한 데이터 버전 관리 전략
5.3 데이터 버전 관리를 위한 도구
5.4 훈련 워크플로에 데이터 버전 관리 통합
5.5 텍스트 말뭉치의 버전 관리
5.6 데이터셋 변형 및 실험 관리
5.7 데이터 버전 관리의 모범 사례
5.8 요약

▣ 06장: 데이터셋 주석과 라벨링
6.1 고품질 주석의 중요성
6.2 다양한 과업별 주석 전략
6.3 대규모 텍스트 주석을 위한 도구와 플랫폼
6.4 주석 품질 관리
6.5 크라우드 소싱 주석의 장단점
6.6 반자동 주석 기법
6.7 대규모 언어 데이터셋 주석 처리 기법
6.8 주석 편향과 완화 전략
6.9 요약

[2부] 대규모 언어 모델의 훈련과 최적화

▣ 07장: 훈련 파이프라인
7.1 훈련 파이프라인의 구성 요소
7.2 데이터 입력 및 전처리
7.3 LLM 아키텍처 설계 고려 사항
7.4 손실 함수와 최적화 전략
7.5 로깅
7.6 파이프라인 모듈성과 재사용성
7.7 더 큰 모델을 위한 훈련 파이프라인 확장
7.8 요약

▣ 08장: 하이퍼파라미터 튜닝
8.1 하이퍼파라미터 이해하기
8.2 수동 튜닝과 자동 튜닝
__8.2.1 수동 튜닝
__8.2.2 자동 튜닝
8.3 격자 탐색과 랜덤 탐색
8.4 베이즈 최적화
8.5 개체군 기반 방법
8.6 다목표 하이퍼파라미터 최적화
8.7 대규모 하이퍼파라미터 튜닝의 과제와 해법
8.8 요약

▣ 09장: 정규화
9.1 L2 정규화(리지 회귀)
9.2 드롭아웃
9.3 레이어별 적응형 정규화
9.4 경사 클리핑과 노이즈 주입
9.5 전이학습 및 파인튜닝 시나리오에서의 정규화
9.6 새로운 정규화 기법
__9.6.1 확률적 가중치 평균화(SWA)
__9.6.2 날카로움을 고려한 최소화(SAM)
__9.6.3 차분 프라이버시 기반 정규화
__9.6.4 빠른 경사 부호 방법(FGSM)
__9.6.5 룩어헤드 옵티마이저
9.7 요약

▣ 10장: 체크포인팅과 복구
10.1 체크포인팅이 왜 중요한가?
10.2 체크포인트 빈도 및 저장 전략
10.3 효율적인 체크포인트 저장 방식
10.4 실패에서 회복하기
10.5 분산 LLM 훈련에서의 체크포인팅
10.6 LLM 체크포인트의 버전 관리
10.7 자동화된 체크포인팅 및 복구 시스템
10.8 요약

▣ 11장: 파인튜닝
11.1 전이학습과 파인튜닝 구현
11.2 레이어의 동결 및 해동 전략
11.3 학습률 스케줄링
11.4 도메인 특화 파인튜닝 기법
11.5 퓨샷·제로샷 파인튜닝
11.6 지속적 파인 튜닝과 파국적 망각
11.7 요약

▣ 12장: 모델 프루닝
12.1 크기 기반 프루닝
12.2 구조적 프루닝과 비구조적 프루닝
12.3 반복적 프루닝 기법
12.4 훈련 중 프루닝과 훈련 후 프루닝
12.5 프루닝과 모델 성능의 균형
12.6 프루닝과 다른 압축 기법 결합하기
__12.6.1 프루닝과 양자화
__12.6.2 프루닝과 지식 증류
12.7 요약

▣ 13장: 양자화
13.1 기본 개념 이해
__13.1.1 훈련 후 양자화(PTQ)
13.2 혼합 정밀도 양자화
13.3 하드웨어 관련 고려 사항
13.4 양자화 전략 비교
13.5 양자화와 다른 최적화 기법 결합
__13.5.1 프루닝과 양자화
__13.5.2 지식 증류 및 양자화
13.6 요약

[03부] 대규모 언어 모델의 평가 및 해석

▣ 14장: 평가 지표
14.1 NLU 벤치마크
__14.1.1 MMLU
__14.1.2 SuperGLUE
__14.1.3 TruthfulQA
14.2 추리 및 문제 해결 지표
__14.2.1 AI2 추리 챌린지
__14.2.2 GSM8K
14.3 코딩 및 프로그래밍 평가
14.4 대화 능력 평가
14.5 상식 및 일반 지식 벤치마크
14.6 그 밖의 주요 벤치마크
14.7 맞춤형 지표와 벤치마크 개발
14.8 LLM 평가 결과 해석 및 비교
14.9 요약

▣ 15장: 교차 검증
15.1 사전 훈련 및 파인 튜닝 데이터 분할
__15.1.1 사전 훈련 데이터에 대한 층화 샘플링
__15.1.2 파인튜닝 데이터를 위한 시간 기반 분할
__15.1.3 데이터 균형을 위한 오버샘플링 및 가중치 부여 기법
15.2 퓨샷 및 제로샷 평가 전략
__15.2.1 퓨샷 평가
__15.2.2 제로샷 평가
15.3 도메인 및 과업 일반화
__15.3.1 도메인 적응 평가
__15.3.2 과업 일반화 평가
15.4 연속 학습 평가
15.5 교차 검증의 과제와 모범 사례
15.6 요약

▣ 16장: 해석 가능성
16.1 어텐션 시각화 기법
16.2 탐침법
16.3 기여도 분석 기법을 사용해 LLM 예측을 설명하기
16.4 트랜스포머 기반 LLM의 해석 가능성
16.5 기계론적 해석 가능성
16.6 해석 가능성과 성능 간의 균형
16.7 요약

▣ 17장: 공정성 및 편향 탐지
17.1 편향의 유형
17.2 LLM 텍스트 생성 및 이해를 위한 공정성 지표
17.3 편향 감지
17.4 편향 제거 전략
17.5 공정성을 고려한 훈련
17.6 윤리적 고려 사항
17.7 요약

▣ 18장: 적대적 강건성
18.1 텍스트 적대 공격의 유형
18.2 적대 훈련 기법
18.3 강건성 평가
18.4 LLM의 적대 훈련에서의 절충점
18.5 실제 세계에서의 함의
18.6 요약

▣ 19장: 인간 피드백을 통한 강화학습
19.1 RLHF 시스템의 구성 요소
__19.1.1 보상 모델
__19.1.2 정책 최적화
19.2 RLHF 확장하기
19.3 언어 모델링에서 RLHF의 한계
19.4 RLHF 응용
19.5 요약

[04부] 고급 프롬프트 엔지니어링 기술

▣ 20장: 사고 연쇄(CoT) 프롬프팅
20.1 효과적인 CoT 프롬프트 디자인
20.2 문제 해결을 위한 CoT 프롬프팅 사용
20.3 CoT 프롬프팅을 다른 기법과 결합하기
20.4 CoT 프롬프팅 출력을 평가하기
20.5 CoT 프롬프팅의 한계
20.6 미래 방향
20.7 요약

▣ 21장: 사고 트리(ToT) 프롬프팅
21.1 ToT 프롬프트 설계
21.2 탐색 전략
21.3 프루닝과 평가
21.4 다단계 문제를 해결하기 위해 ToT 적용
21.5 구현의 도전 과제
21.6 미래 방향
21.7 요약

▣ 22장: 추리 및 실행(ReAct)
22.1 랭체인으로 ReAct 구현
__22.1.1 ReAct 문서 저장소
22.2 LCEL로 ReAct 에이전트 구축하기
__22.2.1 ReActSingleInputOutputParser 설명
__22.2.2 AgentExecutor로 에이전트를 실행
22.3 과업을 완료하고 문제를 해결하기
22.4 ReAct의 성능 평가
22.5 안전, 제어, 윤리적 고려 사항
22.6 한계 및 향후 방향
22.7 요약

▣ 23장: 무관찰 추리(ReWOO)
23.1 랭그래프로 ReWOO 구현하기
23.2 ReWOO의 장점
23.3 품질 평가와 윤리적 고려 사항
23.4 미래 방향
23.5 요약

▣ 24장: 반성 기법
24.1 자기반성을 위한 프롬프트 디자인
24.2 반복적 개선 구현
24.3 오류 수정
24.4 반성의 영향 평가
24.5 효과적인 반성 구현의 과제
24.6 미래 방향
24.7 요약

▣ 25장: 자동 다단계 추리와 도구 사용
25.1 복잡한 과업 분해를 위한 프롬프팅 설계
25.2 외부 도구 통합
25.3 자동 도구 선택 및 사용 구현
25.4 복잡한 문제 해결
25.5 다단계 추리와 도구 사용 평가
25.6 도전 과제와 미래 방향
25.7 요약

[05부] 대규모 언어 모델에서 검색 및 지식 통합

▣ 26장: 검색 증강 생성
26.1 간단한 RAG 시스템 구축
26.2 검색을 위한 임베딩과 색인 기법
__26.2.1 임베딩
__26.2.2 색인
__26.2.3 임베딩, 색인, 검색을 시연하는 예제 코드
26.3 검색 질의 작성 전략
26.4 검색된 정보를 LLM 생성과 통합하기
26.5 RAG의 도전 과제와 발전 방향
26.6 요약

▣ 27장: 그래프 기반 RAG
27.1 그래프 기반 지식 표현 개요
27.2 그래프 기반 RAG 아키텍처 설계
27.3 그래프 임베딩을 활용한 검색 성능 향상
27.4 그래프 구조를 사용한 질의 확장과 생성 통합
27.5 그래프 RAG 활용 사례
27.6 그래프 기반 RAG의 과제와 해결 방안
27.7 요약

▣ 28장: 고급 RAG
28.1 다단계 및 반복 검색 기법
28.2 컨텍스트와 과업에 기반한 적응형 검색
28.3 메타학습을 통한 검색 개선
28.4 RAG와 다른 프롬프팅 기법의 결합
28.5 RAG의 모호성과 불확실성 처리
28.6 RAG의 대규모 지식 기반 확장
28.7 RAG 연구의 미래 방향
28.8 요약

▣ 29장: RAG 시스템 평가
29.1 RAG 시스템 평가의 도전 과제
__29.1.1 검색과 생성의 상호작용
__29.1.2 컨텍스트 민감형 평가
__29.1.3 사실적 정확성을 넘어서
__29.1.4 자동화된 지표의 한계점
__29.1.5 오류 분석의 어려움
__29.1.6 다양한 평가 시나리오의 필요성
__29.1.7 동적 지식과 진화하는 정보
__29.1.8 계산 비용
29.2 검색 품질 평가 지표
__29.2.1 Recall@k
__29.2.2 Precision@k
__29.2.3 평균 역순위(MRR)
__29.2.4 정규화된 할인 누적 이득(NDCG@k)
29.3 검색 지표에 관한 고려 사항
29.4 검색된 정보의 관련성 평가
__29.4.1 검색된 정보의 관련성을 평가하는 방법
__29.4.2 RAG 관련성 평가의 과제
29.5 검색이 생성 성능에 미치는 영향 측정
__29.5.1 검색 영향 평가를 위한 주요 지표
__29.5.2 검색의 영향 측정에서의 도전 과제
29.6 RAG 시스템의 종단 간 평가
__29.6.1 평가 전략
__29.6.2 종단 간 평가의 도전 과제
29.7 RAG에 대한 인간 평가 기법
__29.7.1 인간 평가를 위한 모범 사례
__29.7.2 인간 평가의 도전 과제
29.8 RAG 평가용 벤치마크와 데이터셋
29.9 요약

▣ 30장: 에이전틱 패턴
30.1 LLM 기반 에이전틱 AI 시스템 소개
30.2 LLM 기반 에이전트에서의 목표 설정과 계획
30.3 LLM 에이전트를 위한 메모리 구현 및 상태 관리
30.4 LLM 기반 에이전트의 의사결정 및 행동 선택
30.5 에이전틱 LLM 시스템에서의 학습과 적응
30.6 LLM 기반 에이전틱 AI의 윤리적 고려 사항과 안전
30.7 LLM을 사용하는 에이전틱 AI의 미래 전망
30.8 요약
30.9 LLM 패턴의 미래 방향과 개발