LLM 미세 튜닝, 핵심만 빠르게!

옮긴이의 글
지은이의 글

0장 대규모 언어 모델 미세 튜닝 레시피
들어가며
0.1 양자화된 베이스 모델 로드하기
0.2 LoRA 설정하기
0.3 데이터셋 포매팅하기
0.4 SFTTrainer를 사용하여 미세 튜닝하기
0.5 모델에 질의하기

1장 대규모 언어 모델
들어가며
1.1 대규모 언어 모델과 소규모 언어 모델
1.2 트랜스포머
1.3 어텐션이 전부입니다
1.4 미세 튜닝의 종류

2장 양자화된 모델 로드하기
들어가며
2.1 양자화 방법
2.2 반정밀도 가중치
2.3 브레인 플로트
2.4 모델 로드하기
2.5 혼합 정밀도
2.6 BitsAndBytes
다음 장에서는

3장 LoRA
들어가며
3.1 파라미터 타입과 그레이디언트
3.2 PEFT
다음 장에서는

4장 데이터셋 포매팅
들어가며
4.1 템플릿 적용
4.2 토크나이저
4.3 데이터 콜레이터
4.4 패킹된 데이터셋
4.5 고급 방법 - BYOT(Bring Your Own Template)
다음 장에서는

5장 SFTTrainer로 미세 튜닝하기
들어가며
5.1 SFTTrainer 미세 튜닝
5.2 SFTConfig
5.3 (진짜) 실제 훈련
5.4 어텐션
5.5 실험 결과, 어블레이션 스타일
다음 장에서는

6장 로컬에 배포하기
들어가며
6.1 모델과 어댑터 로드하기
6.2 모델 쿼리
6.3 llama.cpp
6.4 모델 서빙

-1장 문제 해결
오류
경고

부록 A GPU 포드 설정하기
A.1 runpod.io 활용 주피터 랩 실행
A.2 포드 중지 및 종료
A.3 플래시 어텐션 2 설치

부록 B 데이터 타입의 내부 표현
B.1 정수
B.2 부동소수점 수

찾아보기

"2022년 11월 챗GPT가 출시된 이후로 LLM 분야의 발전 속도가 빨라져 따라가는 것이 거의 불가능하게 느껴집니다. 매일 새로운 기술, 새로운 모델, 또는 획기적인 발표가 있습니다. 분명히 흥미로운 시기이지만, 동시에 압도적이고, 지치며, 때로는 좌절감을 느끼게 할 수도 있습니다. "이걸 어디서부터 배워야 하지?"라는 질문이 생기는 것이 너무 당연하며, 이는 혼자서 답을 찾기 어려운 질문입니다. 그래서 그 질문의 답변으로 이 책을 썼습니다. 이 책은 안정성이 입증되었고 가까운 미래에도 미세 튜닝 과정의 핵심으로 남을 수 있는 개념 설명에 초점을 맞춥니다. 양자화, LoRA, 그리고 템플릿 포매팅이 바로 그것입니다. 이런 개념들을 마스터하는 것은 현재 상황을 이해하는 데 중요하며, 앞으로의 발전을 따라갈 수 있는 능력도 갖추게 해줄 것입니다. 이 개념들은 언어 모델뿐 아니라 다양한 대규모 모델을 훈련하거나 미세 튜닝하는 데에도 유용할 수 있습니다. 즉, 모든 데이터 과학자의 툴킷에 필요한 도구라고 할 수 있습니다.
이 책은 허깅 페이스 생태계를 기반으로 합니다. 그 이유는 언어 모델이든 아니든 허깅 페이스가 딥러닝 모델 작업을 위한 사실상의 표준이기 때문입니다. 이 책에서 소개하는 개념(양자화, 어댑터, 템플릿)이 이 생태계 안에서 깔끔하게 구현되고 통합되어 있기 때문에 비교적 사용하기 쉽습니다. 하지만 효과적으로 설정하는 방법과 그 설정이 실제로 내부에서 무엇을 하는지 이해해야 합니다. 이런 정보를 찾는 것은 쉽지 않습니다. 특히 GPU에서 LLM을 미세 튜닝할 때 이런 기술들이 실제로 어떻게 함께 작동하는지 설명하는 포괄적인 자료가 부족합니다. 이 책으로 그 간극을 메우려고 합니다."
- '지은이의 글' 중에서