25가지 문제로 배우는 LLM 입문 with 파이썬

Chapter 1 생성 AI
__01-1 _ 생성 AI란?
__01-2 _ 튜링 테스트
______실습01 챗GPT의 튜링 테스트
__01-3 _ AI의 정의
__01-4 _ 검색 엔진 빙 코파일럿
______실습02 질의 응답하기
______실습03 이미지 생성하기
______실습04 이미지로 질의 응답하기
__01-5 _ AI의 역사와 생성 AI
__01-6 _ 파이썬 프로그램 환경
______실습05 첫 파이썬 코딩
__01-7 _ AI 다트머스 회의
______실습06 숫자 이미지 그리기
______실습07 전결합형 신경망 정의하기
______실습08 학습 전 추론: 더미 데이터
______실습09 학습 전 추론: 테스트 데이터
______실습10 전처리: 데이터 정규화
______실습11 학습 데이터 및 테스트 데이터 분할
______실습12 신경망 학습시키기
______실습13 성과 평가하기
______실습14 추론 및 시각화하기
__01-8 _ 머신러닝
__01-9 _ Word2Vec으로 King-Man+Woman 계산
______실습15 Word2Vec, 유사한 단어 찾아 정렬하기
__01-10 _ 딥러닝
______실습16 Sentence-Transformer를 활용한 문장의 유사도 측정하기
__01-11 _ 디퓨전 모델과 MMM
______실습17 텍스트로 이미지 생성하기

Chapter 2 LLM 기본 편
__02-1 _ 언어 모델이란?
__02-2 _ n-gram 언어 모델
______실습18 n-gram 언어 모델 기본형 만들기
______실습19 응용 n-gram 언어 모델 만들기
__02-3 _ RNN 언어 모델
______실습20 RNN 언어 모델
__02-4 _ Seq2Seq 모델과 셀프 어텐션 메커니즘
__02-5 _ 트랜스포머
______실습21 트랜스포머를 이용한 신경망 기계 번역하기

Chapter 3 LLM 심화 편
__03-1 _ GPT
______실습22 GPT, picoGPT 실행하기
______실습23 GPT로 한국어 문장 생성하기
__03-2 _ BERT
______실습24 BERT 파인튜닝으로 영문 뉴스 기사 분류하기
__03-3 _ Text-to-Text 트랜스포머, T5
__03-4 _ 스케일링 법칙
__03-5 _ 언어 모델 퓨샷 학습기
__03-6 _ FLAN
__03-7 _ InstructGPT(RLHF, PPO)
__03-8 _ RLHF에서 DPO로
__03-9 _ MoE
__03-10 _ Sparse MoE
______실습25 나만의 LLM 파인튜닝하기