LLM의 시대 언어모델의 혁신과 진화

Chapter 1. Transformer에서 BERT, GPT까지
1. Attention is all you need, Transformer
1-1 Transformer 등장 배경
1-2 Transformer 구조
1-3 Transformer 특징
2. BERT
2-1 BERT 등장 배경
2-2 BERT 구조
2-3 BERT 입력
2-4 BERT 학습
2-5 BERT 파생 모델
3. GPT
3-1 GPT 등장 배경
3-2 GPT 구조
3-3 GPT 학습
3-4 GPT vs BERT
3-5 GPT 후속 모델 (GPT-2)

Chapter 2. 혁신적인 LLM의 등장
1. LLM 개요
1-1 LLM 등장 배경
1-2 혁식적인 LLM, GPT-3
1-3 LLM 활용
2. LLM 종류
2-1 LLaMA
2-2 LaMDA
2-3 기타 LLM

Chapter 3. 효율적인 파라미터 미세 조정 ? PEFT
1. PEFT(Parameter-Efficient Fine-Tuning) 개요
1-1 PEFT 등장배경
1-2 PEFT 개념
1-3 PEFT 종류
2. Soft Prompt-based Fine-tuning
2-1 소프트 프롬프트 개념
2-2 Prefix-tuning
2-3 Prompt tuning
2-4 P-tuning
3. Low-rank Decomposition
3-1 Low-rank
3-2 LoRA
3-3 LoRA 종류

Chapter 4. 경량화
1. 학습 비용의 문제 및 모델 크기 측면의 한계
1-1 LLM의 거대화
1-2 거대화된 모델 크기로 인한 한계
2. 경량화
3. 지식 증류(Knowledge Distillation)
3-1 지식 증류란
3-2 Knowledge Distillation Approaches in LLM
4. 양자화(Quantization)
4-1 양자화란
4-2 Quantization Approaches in LLM
5. 가지치기(Prunning)
5-1 가지치기란
5-2 Pruning Approach in LLM

Chapter 5. Hallucination
1. Hallucination의 정의
1-1 Hallucination의 개념
1-2 Hallucination의 유형
1-3 Hallucination의 문제점
2. Hallucination의 원인과 완화 : 데이터
2-1 Hallucination의 원인 : 데이터
2-2 Reverse Training
2-3 RAG(Retrieval-Augmented Generation)
3. Hallucination의 원인과 완화 : 추론
3-1 Hallucination의 원인 : 추론
3-2 CoVe(Chain-of-Verificaion)

Chapter 6. LLM의 발전 방향
1. LLM의 발전 방향
2. 윤리적 문제
2-1 편향
2-2 보안
3. 설명 불가능
3-1 설명 가능한 인공지능, XAI
3-2 프롬프트 엔지니어링
4. LLM의 비즈니스적 활용
4-1 멀티모달
4-2 도메인 특화 LLM
4-3 온디바이스