자연어 처리를 위한 허깅페이스 트랜스포머 하드 트레이닝

1 자연어 처리와 허깅페이스
_1.1 허깅페이스 소개
__1.1.1 Datasets
__1.1.2 Models
__1.1.3 Spaces
__1.1.4 Docs
_1.2 자연어 처리와 허깅페이스의 관계

2 환경 구축
_2.1 구글 코랩 환경 구축
__2.1.1 계정 생성
__2.1.2 새 노트북 만들기
__2.1.3 코드 실행
__2.1.4 파일 저장
__2.1.5 깃 코드 열기
_2.2 구글 드라이브 마운트

3 허깅페이스 주요 라이브러리
_3.1 Datasets 라이브러리
__3.1.1 Datasets 설치
__3.1.2 Datasets 실습
_3.2 Transformers 라이브러리
__3.2.1 Transformers 설치
__3.2.2 Tokenizer
__3.2.3 DataCollator
__3.2.4 Model
__3.2.5 AutoClass
__3.2.6 Trainer, TrainingArguments
__3.2.7 Pipeline
_3.3 미세조정
__3.3.1 토크나이저와 모델 준비
__3.3.2 데이터 준비 및 전처리
__3.3.3 학습 파라미터 선정
__3.3.4 학습 진행
__3.3.5 성능 평가
__3.3.6 모델 저장
_3.4 허깅페이스 허브 등록
__3.4.1 push_to_hub()
__3.4.2 CLI
__3.4.3 huggingface-hub

4 보조 라이브러리
_4.1 Tokenizers 라이브러리
__4.1.1 Tokenizer 학습
__4.1.2 모델 초기화 후 학습
_4.2 Evaluate 라이브러리
__4.2.1 Evaluate 평가
__4.2.2 커스텀 메트릭 만들기
__4.2.3 Trainer 적용

5 언어 모델 구조 및 학습
_5.1 트랜스포머 모델
_5.2 인코더 기반 모델
__5.2.1 기본 구조
__5.2.2 Sequence Classification
__5.2.3 Multiple Choice
__5.2.4 Token Classification
__5.2.5 Question Answering
_5.3 디코더 기반 모델
__5.3.1 기본 구조
__5.3.2 Causal LM
__5.3.3 Question Answering
__5.3.4 Sequence Classification
_5.4 인코더-디코더 기반 모델
__5.4.1 기본 구조
__5.4.2 Conditional Generation
__5.4.3 Sequence Classification
__5.4.4 Question Answering

6 모델 활용
_6.1 모델 미세조정
__6.1.1 인코더 - Sequence Classification
__6.1.2 디코더 - Causal LM
__6.1.3 인코더-디코더 - Conditional Generation
__6.1.4 언어 모델 문장 생성
_6.2 모델 서빙

7 모델 경량화
_7.1 모델 경량화 개요
_7.2 PEFT
_7.3 양자화
_7.4 QLoRA 미세조정

8 TRL
_8.1 TRL 라이브러리 개요
_8.2 RLHF
_8.3 보상 모델 트레이닝
_8.4 SFT
_8.5 PPO
_8.6 Best-of-N 샘플링
_8.7 DPO
_8.8 KTO
_8.9 CPO
_8.10 ORPO