핸즈온 LLM

1부 언어 모델 이해하기
1장 대규모 언어 모델 소개
_1.1 언어 AI란?
_1.2 언어 AI의 최근 역사
_1.3 '대규모 언어 모델'의 정의
_1.4 대규모 언어 모델의 훈련 패러다임
_1.5 대규모 언어 모델 애플리케이션: 왜 유용한가요?
_1.6 책임 있는 LLM 개발과 사용
_1.7 자원이 부족해도 괜찮습니다.
_1.8 대규모 언어 모델 인터페이스
_1.9 첫 번째 텍스트 생성하기
_1.10 요약

2장 토큰과 임베딩
_2.1 LLM 토큰화
_2.2 토큰 임베딩
_2.3 텍스트 임베딩(문장과 전체 문서)
_2.4 LLM을 넘어 활용되는 단어 임베딩
_2.5 추천 시스템을 위한 임베딩
_2.6 요약

3장 대규모 언어 모델 자세히 살펴보기
_3.1 트랜스포머 모델 개요
_3.2 트랜스포머 아키텍처의 최근 발전 사항
_3.3 요약

2부 사전 훈련된 언어 모델 사용하기

4장 텍스트 분류
_4.1 영화 리뷰 데이터셋
_4.2 표현 모델로 텍스트 분류하기
_4.3 모델 선택
_4.4 작업에 특화된 모델 사용하기
_4.5 임베딩을 활용하여 분류 작업 수행하기
_4.6 생성 모델로 텍스트 분류하기
_4.7 요약

5장 텍스트 클러스터링과 토픽 모델링
_5.1 아카이브 논문: 계산 및 언어
_5.2 텍스트 클러스터링을 위한 파이프라인
_5.3 텍스트 클러스터링에서 토픽 모델링으로
_5.4 요약

6장 프롬프트 엔지니어링
_6.1 텍스트 생성 모델 사용하기
_6.2 프롬프트 엔지니어링 소개
_6.3 고급 프롬프트 엔지니어링
_6.4 생성 모델을 사용한 추론
_6.5 출력 검증
_6.6 요약

7장 고급 텍스트 생성 기술과 도구
_7.1 모델 I/O: 랭체인으로 양자화된 모델 로드하기
_7.2 체인: LLM의 능력 확장하기
_7.3 메모리: 대화를 기억하도록 LLM 돕기
_7.4 에이전트: LLM 시스템 구축하기
_7.5 요약

8장 시맨틱 검색과 RAG
_8.1 시맨틱 검색과 RAG 소개
_8.2 언어 모델을 사용한 시맨틱 검색
_8.3 RAG
_8.4 요약

9장 멀티모달 대규모 언어 모델
_9.1 비전 트랜스포머
_9.2 멀티모달 임베딩 모델
_9.3 텍스트 생성 모델을 멀티모달로 만들기
_9.4 요약

3부 언어 모델 훈련 및 미세 튜닝

10장 텍스트 임베딩 모델 만들기
_10.1 임베딩 모델
_10.2 대조 학습이란?
_10.3 SBERT
_10.4 임베딩 모델 만들기
_10.5 임베딩 모델 미세 튜닝
_10.6 비지도 학습
_10.7 요약

11장 분류용 표현 모델 미세 튜닝하기
_11.1 지도 분류
_11.2 퓨샷 분류
_11.3 마스크드 언어 모델링으로 미세 튜닝 계속하기
_11.4 개체명 인식
_11.5 요약

12장 생성 모델 미세 튜닝하기
_12.1 LLM 훈련의 세 단계: 사전 훈련, 지도 학습 미세 튜닝, 선호도 튜닝
_12.2 지도 학습 미세 튜닝
_12.3 QLoRA를 사용한 지시 기반 튜닝
_12.4 생성 모델 평가
_12.5 선호도 튜닝/정렬/RLHF
_12.6 보상 모델을 사용한 선호도 평가 자동화
_12.7 DPO를 사용한 선호도 튜닝
_12.8 요약

마치며