트랜스포머 기반 언어모델 : 개념 및 활용

01 Transformer
1. 트랜스포머의 등장
1-1 트랜스포머 등장 배경
1-2 셀프 어텐션
1-3 트랜스포머 특징
2. 트랜스포머의 구조 : Encoder
2-1 입력 임베딩 및 위치 인코딩
2-2 멀티헤드 어텐션
2-3 인코더 셀프 어텐션
2-5 피드 포워드 신경망
2-6 요약
3. 트랜스포머의 구조 :　Decoder
3-1 출력 임베딩 및 위치 인코딩
3-2 마스크드 디코더 셀프 어텐션
3-3 잔차 연결 및 레이어 정규화
3-4 인코더-디코더 어텐션
3-5 피드 포워드 신경망
3-6 요약

02 BERT
1. BERT의 등장
2. BERT의 구조
3. BERT의 학습
3-1 MLM
3-2 NSP
3-3 Fine- tuning
4. BERT의 경량 모델 : DistilBERT
4-1 지식 증류
4-2 DistilBERT의 학습

03 GPT
1. GPT 개념
1-1 GPT의 입력
1-1-1 토큰화
1-1-2 포지셔널 임베딩
1-2 GPT의 구조
1-2-1 BERT 모델과의 차이
1-2-2 마스크드 셀프 어텐션
1-3 GPT의 출력
2. GPT-1
2-1 GPT-1 개요
2-2 GPT-1의 특징
2-2-1 비지도 학습
2-2-2 파인 튜닝
2-3 GPT-1 제안 논문의 성과
3. GPT-2
3-1 GPT-2 개요
3-2 GPT-2의 특징
3-3 GPT-2 제안 논문의 성과
4. GPT-3
4-1 GPT-3 개요
4-2 GPT-3의 특징
4-3 GPT-3 제안 논문의 성과

04 ChatGPT
1. ChatGPT의 발전과정
2. ChatGPT 활용
2-1 정보 제공 및 질의응답
2-2 창작적인 쓰기 지원
2-3 교육 및 학습 도우미
2-4 상담 및 심리 지원
3. 프롬프트의 이해 및 적용
3-1 명료한 질문
3-2 미래 예측
3-3 ChatGPT 3.5와 ChatGPT 4.0
4. Hallucination