트랜스포머로 시작하는 언어 모델과 생성형 인공지능

제1장 인공지능의 혁신 트랜스포머
01 트랜스포머가 바꾼 인공지능
02 트랜스포머의 개념적 이해
03 언어 모델의 이해
04 언어 모델과 데이터
05 언어 모델 구현 방법의 변화
06 사전 학습 언어 모델
07 거대 언어 모델
08 기반 모델과 생성형 인공지능

제2장 트랜스포머의 구조와 분석
01 딥러닝과 트랜스포머
02 인공지능 모델의 트랜스포머
03 트랜스포머의 구조
04 트랜스포머의 입력 – 토큰화
05 트랜스포머의 입력 – 토큰간 관계 설정
06 원 핫 인코딩과 토큰 임베딩(CBOW)
07 토큰 임베딩과 토큰 임베딩 차원
08 위치 인코딩 - 토큰의 위치와 접근법
09 위치 인코딩 – 토큰 임베딩 벡터
10 트랜스포머의 인코더
11 멀티헤드 어텐션의 입력과 쿼리
12 멀티헤드 어텐션의 키와 점곱 어텐션
13 멀티헤드 어텐션의 가치와 어텐션 헤드
14 정규화와 앞먹임신경망
15 셀프 어텐션
16 인코더의 반복과 초모수
17 트랜스포머의 디코더
18 트랜스포머의 인코더와 디코더 결합
19 트랜스포머의 출력

제3장 사전 학습 언어 모델
01 사전 학습 언어 모델의 개요
02 사전 학습 언어 모델의 접근 방법
03 다양한 자연어 처리 과업
04 전형적인 자연어 처리 과업
05 BERT의 구조와 특징
06 OpenAI의 GPT 구조
07 GPT-2의 개념과 구조
08 RoBERTa의 성능과 구조
09 ALBERT의 접근과 구조
10 DistilBERT의 접근과 성능
11 MobileBERT의 개념과 특징
12 SpanBERT의 개념과 특징
13 ELECTRA의 개념과 활용
14 DeBERTa의 개념과 기능
15 TransformerXL의 등장과 성능
16 XLNet의 개념과 성능
17 BART의 개념과 특징
18 CTRL의 개념과 특징
19 T5의 구조와 성능
20 HuggingFace와 Transformers

제4장 거대 언어 모델
01 거대 언어 모델의 개요
02 거대 언어 모델의 규모
03 거대 언어 모델의 구조
04 거대 언어 모델의 특징과 재학습 방법
05 거대 언어 모델의 한계
06 계산적 관점에서의 딥러닝
07 행렬곱 연산
08 거대 언어 모델의 계산량과 효과
09 거대 언어 모델의 활용
10 GPT-3의 구조와 성능
11 LaMDA의 구조와 특징
12 MT NLG의 개념과 성능
13 Gopher의 등장과 접근법
14 InstructGPT의 접근법과 특징
15 PanGu 알파의 배경과 특징
16 PaLM의 개념과 특징
17 OPT 175B의 시작과 특징
18 BLOOM의 배경과 특징
19 HyperCLOVA의 개념과 특징
20 규모 경쟁과 ChatGPT의 등장

제5장 ChatGPT와 생성 인공지능
01 ChatGPT의 성공과 변화
02 ChatGPT의 효과와 계산량
03 ChatGPT 이후의 인공지능
04 환각 효과 완화의 기본적 접근
05 설명 가능한 인공지능과 거대 언어 모델
06 모델 경량화의 기본적 접근
07 모델 경량화와 하드웨어
08 트랜스포머의 기본적 접근
09 RWKV의 개념과 구조
10 Retentive Network의 접근과 특징
11 거대 테크 기업의 움직임
12 GPT-4의 배경과 특징
13 GPT-4 Turbo와 GPT-4o의 특징
14 GPT-o1과 GPT-5의 특징
15 OpenAI의 GPT 스토어
16 Bard의 특징과 기능
17 PaLM 2의 규모와 특징
18 Gemini의 등장과 특징
19 Copilot의 등장과 특징
20 Claude의 개발과 특징
21 소규모 거대 언어 모델의 등장
22 LLaMA의 특징과 구조
23 LLaMA 2와 LLaMA 3의 성능
24 Gemma의 특징과 기능
25 Mistral AI의 등장과 특징
26 phi의 특징과 기능
27 한국의 sLLM과 Solar
28 대화형 인공지능과 sLLM 활용 도구
29 인공지능의 기술적 미래 전망
30 인공지능의 플랫폼 미래 전망
31 인공지능의 규제 전망
32 인공지능의 정책 전망
33 범용 인공지능의 미래 전망