대규모 언어 모델, 핵심만 빠르게!

옮긴이의 글
추천의 글
지은이의 글

1장 머신러닝 기초
1.1 AI와 머신러닝
1.2 모델
1.3 네 단계 머신러닝 프로세스
1.4 벡터
1.5 신경망
1.6 행렬
1.7 경사 하강법
1.8 자동 미분

2장 언어 모델링 기초
2.1 BoW
2.2 단어 임베딩
2.3 바이트 페어 인코딩
2.4 언어 모델
2.5 카운트 기반 언어 모델
2.6 언어 모델 평가
2.6.1 혼잡도
2.6.2 ROUGE
2.6.3 사람의 평가

3장 순환 신경망
3.1 엘만 RNN
3.2 미니 배치 경사 하강법
3.3 RNN 구현하기
3.4 RNN 언어 모델
3.5 임베딩 층
3.6 RNN 언어 모델 훈련시키기
3.7 Dataset과 DataLoader
3.8 훈련 데이터와 손실 계산

4장 트랜스포머
4.1 디코더 블록
4.2 셀프 어텐션
4.3 위치별 다층 퍼셉트론
4.4 로터리 위치 임베딩
4.5 멀티헤드 어텐션
4.6 잔차 연결
4.7 RMS 정규화
4.8 키-값 캐싱
4.9 트랜스포머 구현

5장 대규모 언어 모델
5.1 규모가 클수록 좋은 이유
5.1.1 대규모 파라미터 개수
5.1.2 큰 문맥 크기
5.1.3 대규모 훈련 데이터셋
5.1.4 대량의 계산량
5.2 지도 학습 미세 튜닝
5.3 사전훈련된 모델 미세 튜닝하기
5.3.1 기준 감정 분류기
5.3.2 감정 레이블 생성하기 |
5.3.3 지시를 따르도록 미세 튜닝하기
5.4 언어 모델의 샘플링
5.4.1 온도를 사용한 기본 샘플링
5.4.2 탑-k 샘플링
5.4.3 뉴클리어스(탑-p) 샘플링
5.4.4 페널티
5.5 LoRA
5.5.1 핵심 아이디어
5.5.2 PEFT
5.6 분류용 LLM
5.7 프롬프트 엔지니어링
5.7.1 좋은 프롬프트의 특징
5.7.2 행동에 대한 후속조치
5.7.3 코드 생성
5.7.4 문서 동기화
5.8 환각 182
5.8.1 환각의 원인
5.8.2 환각 방지
5.9 LLM, 저작권, 윤리
5.9.1 훈련 데이터
5.9.2 생성된 콘텐츠
5.9.3 오픈 웨이트 모델
5.9.4 광범위한 윤리적 고려사항

6장 추가 자료
6.1 MoE
6.2 모델 병합
6.3 모델 압축
6.4 선호도 기반 정렬
6.5 고급 추론
6.6 언어 모델 보안
6.7 비전 언어 모델
6.8 과대적합 방지
6.9 맺음말
6.10 저자의 다른 책