10가지 프로젝트로 끝내는 트랜스포머 활용 가이드 with 파이토치

01장 트랜스포머 아키텍처
_01.1 NLP 모델 발전사
__01.1.1 순환 신경망(RNN)
__01.1.2 LSTM
__01.1.3 RNN 인코더-디코더
__01.1.4 어텐션 메커니즘
_01.2 트랜스포머 아키텍처
__01.2.1 임베딩
__01.2.2 위치 인코딩
__01.2.3 모델 입력
__01.2.4 인코더 층
__01.2.5 어텐션 메커니즘
_01.3 트랜스포머 학습 프로세스
_01.4 트랜스포머 추론 프로세스
_01.5 트랜스포머 종류와 애플리케이션
__01.5.1 인코더 전용 모델
__01.5.2 디코더 전용 모델
__01.5.3 인코더-디코더 모델

02장 허깅페이스 생태계
_02.1 허깅페이스 개요
__02.1.1 주요 구성 요소
__02.1.2 토크나이저
__02.1.3 커스텀 토크나이저 생성
__02.1.4 허깅페이스 사전 학습 토크나이저 사용
_02.2 Datasets 라이브러리
__02.2.1 허깅페이스 데이터셋 사용
__02.2.2 파이토치에서 허깅페이스 데이터셋 사용
_02.3 모델 파인튜닝
__02.3.1 환경 설정
__02.3.2 학습
__02.3.3 추론
_02.4 허깅페이스 모델 공유
__02.4.1 모델(Model) 공유
__02.4.2 스페이스(Spaces) 사용

03장 파이토치 트랜스포머 모델
_03.1 파이토치 트랜스포머 구성 요소
_03.2 임베딩
__03.2.1 임베딩 층 구현
_03.3 위치 인코딩
_03.4 마스킹
_03.5 트랜스포머 인코더 구성 요소
_03.6 트랜스포머 디코더 구성 요소
_03.7 파이토치 트랜스포머 층

04장 파이토치와 허깅페이스를 사용한 전이 학습
_04.1 전이 학습 필요성
_04.2 전이 학습 사용법
_04.3 사전 학습 모델 저장소
_04.4 사전 학습 모델
__04.4.1 자연어 처리(NLP)
__04.4.2 컴퓨터 비전
__04.4.3 음성 처리
_04.5 프로젝트 1: BERT-base-uncased 모델 파인튜닝으로 분류기 생성
__04.5.1 커스텀 데이터셋 클래스
__04.5.2 DataLoader 생성
__04.5.3 추론

05장 대규모 언어 모델
_05.1 대규모 언어 모델(LLM)
_05.2 성능을 결정하는 핵심 요인
__05.2.1 네트워크 사이즈: 인코더 층과 디코더 층 개수
_05.3 선도적인 LLM
__05.3.1 BERT 및 계열 모델
__05.3.2 GPT
__05.3.3 BART
_05.4 커스텀 LLM 생성
__05.4.1 Clincal-BERT 구현

06장 트랜스포머 NLP 작업
_06.1 NLP 작업
_06.2 텍스트 분류
__06.2.1 텍스트 분류에 알맞은 아키텍처
__06.2.2 트랜스포머 파인튜닝으로 텍스트 분류하기
__06.2.3 긴 시퀀스 처리
__06.2.4 문서 청킹 구현 예제
__06.2.5 계층적 어텐션 구현 예제
_06.3 텍스트 생성
__06.3.1 프로젝트 2: 셰익스피어가 쓴 것 같은 텍스트 생성
_06.4 트랜스포머 챗봇
__06.4.1 프로젝트 3: 클리닉 질의 응답(AI 의사) 트랜스포머
_06.5 PEFT 및 LoRA로 학습하기

07장 컴퓨터 비전(CV) 모델
_07.1 이미지 전처리
__07.1.1 이미지 전처리 예제
_07.2 Vision 트랜스포머 아키텍처
__07.2.1 프로젝트 4: AI 안과 의사
_07.3 Distillation 트랜스포머
__07.3.1 DeiT의 사전 학습 과정
__07.3.1 DeiT의 장점
_07.4 Detection 트랜스포머
__07.4.1 프로젝트 5: 객체 탐지 모델

08장 트랜스포머 컴퓨터 비전 작업
_08.1 컴퓨터 비전 작업
__08.1.1 이미지 분류
__08.1.2 이미지 세그멘테이션
__08.1.3 프로젝트 6: 다이어트 계산기용 이미지 세그멘테이션
_08.2 디퓨전 모델: 비조건부 이미지 생성
__08.2.1 포워드 디퓨전
__08.2.2 백워드 디퓨전
__08.2.3 추론 프로세스
__08.2.4 학습 가능(Learnable) 파라미터
__08.2.5 DogGenDiffuion 프로젝트 구현

09장 음성 처리 모델
_09.1 음성 처리
__09.1.1 음성 전처리 예제
_09.2 Whisper 모델
__09.2.1 Whisper_Nep 모델 개발 과정
_09.3 Wav2Vec 모델
__09.3.1 Wav2Vec 애플리케이션
_09.4 Speech T5 모델
__09.4.1 입출력 표현(Representation)
__09.4.2 크로스 모달 표현
__09.4.3 인코더-디코더 아키텍처
__09.4.4 사전 학습
__09.4.5 파인튜닝 및 애플리케이션
_09.5 Whisper, Wav2Vec 2.0, SpeechT5 비교

10장 트랜스포머 음성 처리 작업
_10.1 음성 처리 작업
__10.1.1 음성 to 텍스트(Speech to text)
__10.1.2 프로젝트 7: Whisper를 사용한 음성 to 텍스트 변환
_10.2 텍스트 to 음성 변환
__10.2.1 프로젝트8: 텍스트 to 음성 변환
_10.3 오디오 to 오디오 변환
__10.3.1 프로젝트9: 노이즈 제거로 오디오 품질 개선

11장 테이블 데이터 처리를 위한 트랜스포머
_11.1 트랜스포머를 사용한 테이블 데이터 처리
__11.1.1 TAPAS 아키텍처
_11.2 TabTransformer 아키텍처
_11.3 FT Transformer 아키텍처
__11.3.1 피처 토크나이저
__11.3.2 수치형과 범주형 특성 병합
__11.3.3 트랜스포머

12장 테이블 데이터 회귀 및 분류 작업용 트랜스포머
_12.1 분류 작업용 트랜스포머
__12.1.1 데이터셋
__12.1.2 타깃 변수
__12.1.3 데이터 전처리
__12.1.4 설정
__12.1.5 세 모델로 학습 및 평가
__12.1.6 평가 결과
__12.1.7 분석
_12.2 회귀 작업용 트랜스포머
__12.2.1 데이터셋
__12.2.2 데이터 전처리
__12.2.3 설정
__12.2.4 학습 및 평가

13장 멀티모달 트랜스포머
_13.1 멀티모달 아키텍처
__13.1.1 ImageBind
__13.1.2 CLIP
_13.2 멀티모달 작업
__13.2.1 피처 추출
__13.2.2 텍스트 to 이미지
__13.2.3 이미지 to 텍스트
__13.2.4 비주얼 질의 응답

14장 트랜스포머 강화 학습
_14.1 강화 학습
_14.2 강화 학습용 파이토치 테크닉(모델)
__14.2.1 Stable Baseline3
__14.2.2 Gymnasium
_14.3 강화 학습 수행 방법
_14.4 강화 학습용 트랜스포머
__14.4.1 Decision 트랜스포머
__14.4.2 Trajectory 트랜스포머

15장 모델 내보내기, 서빙, 배포
_15.1 프로젝트 10: 모델 내보내기 및 직렬화
__15.1.1 파이토치 모델 내보내기 및 불러오기
__15.1.2 여러 모델 저장
_15.2 모델 ONNX 포맷으로 모델 내보내기
_15.3 FastAPI로 모델 서빙하기
__15.3.1 FastAPI의 장점
__15.3.2 모델 서빙용 FastAPI 애플리케이션
__15.3.3 시맨틱 세그멘테이션 모델 서빙용 FastAPI
_15.4 모바일 디바이스에서 파이토치 모델 서빙하기
_15.5 AWS에서 허깅페이스 트랜스포머 모델 배포하기
__15.5.1 아마존 SageMaker를 통한 배포
__15.5.2 AWS Lamda 및 아마존 API Gateway를 통한 배포

16장 트랜스포머 모델 해석가능성 및 시각화
_16.1 설명가능성 vs 해석가능성 개념
__16.1.1 해석가능성
__16.1.2 설명가능성
_16.2 설명가능성 및 해석가능성 툴
_16.3 트랜스포머 예측 해석 용도의 CAPTUM
__16.3.1 모델 불러오기
__16.3.2 입력 준비
__16.3.3 층(레이어) 적분 그레이디언트
__16.3.4 시각화
_16.4 파이토치 모델용 텐서보드

17장 파이토치 모델의 모범 사례 및 디버깅
_17.1 트랜스포머 모델 구현 모범 사례
__17.1.1 허깅페이스 활용
__17.1.2 파이토치 모델에 대한 일반적인 고려 사항
_17.2 파이토치 디버깅 기술
__17.2.1 구문 에러
__17.2.2 런타임 에러
__17.2.3 논리적(Logical) 에러
__17.2.4 파이토치 ML 모델 디버깅에 대한 일반 가이드라인