파이썬 텍스트 마이닝 바이블 2

[3부] 딥러닝을 이용한 텍스트 분석

▣ 13장: 딥러닝 소개
13.1 신경망
___13.1.1 신경망 소개
___13.1.2 신경망의 작동 원리
13.2 활성화 함수
___13.2.1 시그모이드 함수
___13.2.2 하이퍼볼릭 탄젠트 함수
___13.2.3 ReLU 함수
___13.2.4 Leaky ReLU 함수
___13.2.5 ELU 함수
___13.2.6 소프트플러스 함수
___13.2.7 GELU 함수
13.3 경사하강법
___13.3.1 사용되는 관측치의 수에 따른 경사하강법 구분
___13.3.2 신경망에서의 경사하강법 작동 원리
___13.3.3 오차 역전파
___13.3.4 경사 소실 문제
___13.3.5 경사 폭발 문제
___13.3.6 옵티마이저의 종류
___13.3.7 가중치 감쇠와 학습률 감쇠
13.4 가중치 초기화
___13.4.1 Xavier 초기화 방법
___13.4.2 He 초기화 방법
13.5 예제: 도시의 평균 집값 예측하기
___13.5.1 SGD 옵티마이저의 사용 예
___13.5.2 RMSprop 옵티마이저 사용의 예
___13.5.3 Adam 옵티마이저의 사용 예
13.6 신경망에서의 과적합 해결 방법
___13.6.1 L1/L2 규제화
___13.6.2 드롭아웃
___13.6.3 조기 종료
___13.6.4 배치 정규화
___13.6.5 계층 정규화

▣ 14장: FNN을 이용한 텍스트 분석과 단어 및 문서 임베딩
14.1 FNN을 이용한 텍스트 분석
14.2 단어 임베딩
___14.2.1 원-핫 벡터와 단어 임베딩
___14.2.2 Word2vec
___14.2.3 FastText
14.3 문서 임베딩
___14.3.1 Doc2vec

▣ 15장: CNN을 이용한 텍스트 분석
15.1 CNN
___15.1.1 CNN 소개
___15.1.2 파이썬 코딩하기
15.2 CNN을 이용한 텍스트 분석
___15.2.1 CNN에서의 문서 표현
___15.2.2 파이썬 코딩하기

▣ 16장: 순환신경망 기반 알고리즘을 이용한 텍스트 분석
16.1 RNN
___16.1.1 RNN 소개
___16.1.2 RNN을 이용한 감성분석
___16.1.3 각 단어의 은닉 상태 벡터를 모두 사용하기
___16.1.4 여러 개의 RNN 층 사용하기
16.2 LSTM
___16.2.1 LSTM 소개
___16.2.2 LSTM을 이용한 감성분석
___16.2.3 양방향 LSTM
___16.2.4 양방향 LSTM을 사용한 감성분석
16.3 seq2seq

▣ 17장: 트랜스포머
17.1 어텐션 알고리즘
17.2 셀프 어텐션
17.3 트랜스포머에서의 어텐션
17.4 트랜스포머 소개
___17.4.1 트랜스포머의 구조
___17.4.2 인코더 부분
___17.4.3 디코더 부분
___17.4.4 트랜스포머의 인코더 블록을 이용한 감성분석

▣ 18장: BERT
18.1 BERT의 구조
___18.1.1 BERT 내부 구조
___18.1.2 BERT 학습
___18.1.3 BERT 논문에서 사용된 다운스트림 작업
___18.1.4 BERT를 이용한 각 단어의 벡터 추출하기
18.2 파이썬 코딩하기
___18.2.1 BERT를 사용한 단어와 문장/문서의 벡터 추출하기
___18.2.2 영어 텍스트 감성분석
___18.2.3 한글 텍스트 감성분석

▣ 19장: BERT 기반 방법들
19.1 ALBERT
___19.1.1 ALBERT 소개
___19.1.2 파이썬 코딩하기
19.2 RoBERTa
___19.2.1 RoBERTa 소개
___19.2.2 파이썬 코딩하기
19.3 ELECTRA
___19.3.1 ELECTRA 소개
___19.3.2 파이썬 코딩하기
19.4 지식 증류 기반 방법들
___19.4.1 지식 증류
___19.4.2 DistilBERT
___19.4.3 TinyBERT
19.5 BERTopic
___19.5.1 문서 임베딩
___19.5.2 문서 군집화
___19.5.3 각 군집(토픽)을 나타내는 단어 찾기
___19.5.4 파이썬 코딩하기

▣ 20장: GPT 모형들
20.1 GPT-1
___20.1.1 GPT-1에서의 학습
20.2 GPT-2
___20.2.1 학습 데이터
___20.2.2 모형의 구조
___20.2.3 모형의 성능
___20.2.4 파이썬 코딩하기
20.3 GPT-3
___20.3.1 제로샷, 원샷, 퓨샷
___20.3.2 학습 데이터
___20.3.3 모형의 구조
___20.3.4 모형의 성능
___20.3.5 GPT-3 미세조정하기
20.4 InstructGPT
___20.4.1 InstructGPT에서의 미세 조정
___20.4.2 모형의 성능
20.5 ChatGPT

▣ 21장: 비전 트랜스포머를 이용한 텍스트 분석
21.1 ViT 소개
21.2 ViT를 이용한 이미지 분류
21.3 ViT를 이용한 텍스트 분류
___21.3.1 방법 1: N×D 문서에서 직접 패치를 추출
___21.3.2 방법 2: 문서를 패치로 분할하기 전에 Conv1D 필터 적용하기
___21.3.3 방법 3: N×C 결과물에서 C×C 패치 추출하기

▣ 22장: 오토인코더를 이용한 텍스트 분석
22.1 오토인코더 소개
22.2 오토인코더를 MNIST 데이터에 적용해 보기
22.3 오토인코더를 이용해 문서를 저차원 벡터로 표현하기
___22.3.1 LSTM 기반 오토인코더 사용해 보기
___22.3.2 CNN 기반 오토인코더 사용해 보기

▣ 부록A: 경사하강법에서의 순전파와 역전파
A.1 예제 신경망 모형
A.2 순전파
A.3 역전파