머신 러닝 Q & AI

1부 | 신경망과 딥러닝

1장 임베딩, 잠재 공간, 표현
1.1 임베딩
1.2 잠재 공간
1.3 표현
1.4 연습문제
1.5 참고

2장 자기 지도 학습
2.1 자기 지도 학습 vs 전이 학습
2.2 레이블이 없는 데이터 활용하기
2.3 자기 예측 및 대조적 자기 지도 학습
2.4 연습문제
2.5 참고

3장 퓨-샷 학습
3.1 데이터셋과 용어
3.2 연습문제

4장 로터리 티켓 가설
4.1 로터리 티켓 훈련 과정
4.2 실제적 영향과 한계
4.3 연습문제
4.4 참고

5장 데이터로 과대적합 줄이기
5.1 대표적인 방법
__5.1.1 추가 데이터 수집
__5.1.2 데이터 증강
__5.1.3 사전 훈련
5.2 다른 방법
5.3 연습문제
5.4 참고

6장 모델을 변경하여 과대적합 줄이기
6.1 일반적인 방법
__6.1.1 규제
__6.1.2 작은 모델
__6.1.3 작은 모델에 대한 주의 사항
__6.1.4 앙상블 방법
6.2 다른 방법
6.3 규제 기법 선택하기
6.4 연습문제
6.5 참고

7장 다중 GPU 훈련 패러다임
7.1 훈련 패러다임
__7.1.1 모델 병렬화
__7.1.2 데이터 병렬화
__7.1.3 텐서 병렬화
__7.1.4 파이프라인 병렬화
__7.1.5 시퀀스 병렬화
7.2 추천
7.3 연습문제
7.4 참고

8장 트랜스포머의 성공
8.1 어텐션 메커니즘
8.2 자기 지도 학습을 통한 사전 훈련
8.3 많은 수의 파라미터
8.4 손쉬운 병렬화
8.5 연습문제
8.6 참고

9장 생성 AI 모델
9.1 생성 모델링 vs 판별 모델링
9.2 심층 생성 모델의 종류
__9.2.1 에너지 기반 모델
__9.2.2 변분 오토인코더
__9.2.3 생성적 적대 신경망
__9.2.4 흐름 기반 모델
__9.2.5 자기회귀 모델
__9.2.6 디퓨전 모델
__9.2.7 일관성 모델
9.3 추천
9.4 연습문제
9.5 참고

10장 무작위성의 원인
10.1 모델 가중치 초기화
10.2 데이터셋 샘플링과 셔플링
10.3 비결정론적인 알고리즘
10.4 여러 가지 런타임 알고리즘
10.5 하드웨어와 드라이버
10.6 무작위성과 생성 AI
10.7 연습문제
10.8 참고

2부 | 컴퓨터 비전

11장 파라미터 개수
11.1 파라미터 개수를 계산하는 방법
__11.1.1 합성곱 층
__11.1.2 완전 연결 층
11.2 현실적인 이유
11.3 연습문제

12장 완전 연결 층과 합성곱 층
12.1 커널 크기와 입력 크기가 같을 때
12.2 커널 크기가 1일 때
12.3 추천
12.4 연습문제

13장 비전 트랜스포머를 위한 대규모 훈련 세트
13.1 CNN의 귀납적 편향
13.2 CNN을 능가할 수 있는 ViT
13.3 ViT의 귀납적 편향
13.4 추천
13.5 연습문제
13.6 참고

3부 | 자연어 처리

14장 분포 가설
14.1 Word2vec, BERT, GPT
14.2 가설이 유효한가요?
14.3 연습문제
14.4 참고

15장 텍스트 데이터 증강
15.1 동의어 교체
15.2 단어 삭제
15.3 단어 위치 변경
15.4 문장 섞기
15.5 잡음 추가
15.6 역번역
15.7 합성 데이터
15.8 추천
15.9 연습문제
15.10 참고

16장 셀프 어텐션
16.1 RNN의 어텐션 메커니즘
16.2 셀프 어텐션 메커니즘
16.3 연습문제
16.4 참고

17장 인코더 기반 트랜스포머와 디코더 기반 트랜스포머
17.1 원본 트랜스포머
17.2 인코더
17.3 디코더
17.4 인코더-디코더
17.5 용어에 대한 주의 사항
17.6 최신 트랜스포머 모델
17.7 연습문제
17.8 참고

18장 사전 훈련된 트랜스포머 모델의 사용과 미세 튜닝 방법
18.1 분류 작업에 트랜스포머 사용하기
18.2 문맥 내 학습, 인덱싱, 프롬프트 튜닝
18.3 PEFT
18.4 RLHF
18.5 사전 훈련된 모델 적용하기
18.6 연습문제
18.7 참고

19장 생성형 대규모 언어 모델의 평가
19.1 LLM을 위한 평가 지표
19.2 혼잡도
19.3 BLEU 점수
19.4 ROUGE 점수
19.5 BERTScore
19.6 대리 평가 지표
19.7 연습문제
19.8 참고

4부 | 제품화와 배포

20장 상태 비저장 훈련과 상태 저장 훈련
20.1 상태 비저장 훈련
20.2 상태 저장 훈련
20.3 연습문제

21장 데이터 중심 AI
21.1 데이터 중심 AI vs 모델 중심 AI
21.2 추천
21.3 연습문제
21.4 참고

22장 추론 속도 높이기
22.1 병렬화
22.2 벡터화
22.3 루프 타일링
22.4 연산자 융합
22.5 양자화
22.6 연습문제
22.7 참고

23장 데이터 분포 변화
23.1 공변량 변화
23.2 레이블 변화
23.3 개념 변화
23.4 도메인 변화
23.5 데이터 분포 변화의 종류
23.6 연습문제
23.7 참고

5부 | 예측 성능과 모델 평가

24장 푸아송 회귀와 서열 회귀
24.1 연습문제

25장 신뢰 구간
25.1 신뢰 구간의 정의
25.2 방법
__25.2.1 방법 1: 정규 근사 구간
__25.2.2 방법 2: 훈련 세트 부트스트래핑하기
__25.2.3 방법 3: 테스트 세트 예측 부트스트래핑하기
__25.2.4 방법 4: 다른 랜덤 시드로 모델을 재훈련하기
25.3 추천
25.4 연습문제
25.5 참고

26장 신뢰 구간 vs 컨포멀 예측
26.1 신뢰 구간과 예측 구간
26.2 예측 구간과 컨포멀 예측
26.3 예측 영역, 예측 구간, 예측 집합
26.4 컨포멀 예측 계산하기
26.5 컨포멀 예측의 예시
26.6 컨포멀 예측의 장점
26.7 추천
26.8 연습문제
26.9 참고

27장 적절한 측정 지표
27.1 조건
27.2 평균 제곱 오차
27.3 크로스 엔트로피 손실
27.4 연습문제

28장 k-폴드 교차 검증의 k
28.1 k 값 선택의 트레이드오프
28.2 적절한 k 값 결정하기
28.3 연습문제
28.4 참고

29장 훈련 세트와 테스트 세트 불일치
29.1 연습문제

30장 제한적인 레이블 데이터
30.1 제한적인 레이블 데이터로 모델 성능 향상
__30.1.1 더 많은 데이터에 레이블 부여하기
__30.1.2 데이터 부트스트래핑
__30.1.3 전이 학습
__30.1.4 자기 지도 학습
__30.1.5 능동 학습
__30.1.6 퓨-샷 학습
__30.1.7 메타 학습
__30.1.8 약지도 학습
__30.1.9 준지도 학습
__30.1.10 자기 훈련
__30.1.11 다중 작업 학습
__30.1.12 멀티모달 학습
__30.1.13 귀납적 편향
30.2 추천
30.3 연습문제
30.4 참고

부록 연습문제 해답

찾아보기