파이토치와 구글 코랩으로 배우는 BERT 입문

문의 사항 가이드라인
이 책의 예제 파일에 관하여
옮긴이의 말

CHAPTER 0 도입
0.1 이 책의 특징
0.1.1 파이썬 기초를 학습하자
0.1.2 이 책의 구성
0.1.3 이 책을 읽으면 할 수 있게 되는 것들
0.1.4 이 책을 읽을 때 주의할 점
0.1.5 이 책의 대상 독자
0.1.6 이 책의 사고 방식

CHAPTER 1 BERT 개요
1.1 딥러닝이란
1.1.1 인공 지능과 머신러닝, 딥러닝
1.1.2 신경망의 구조
1.1.3 딥러닝
1.2 자연어 처리 개요
1.2.1 자연어 처리란?
1.2.2 자연어 처리 응용
1.2.3 형태소 분석
1.2.4 단어의 벡터화
1.2.5 RNN(순환 신경망)
1.2.6 Seq2Seq를 사용한 계열 변환
1.2.7 자연어 처리에 관해 더 학습하고 싶다면
1.3 트랜스포머 개요
1.3.1 트랜스포머란?
1.3.2 트랜스포머의 구조
1.4 BERT 개요
1.4.1 BERT란?
1.4.2 BERT의 학습 개요
1.4.3 BERT의 사전 학습
1.4.4 BERT의 성능
1.5 정리

CHAPTER 2 개발 환경
2.1 구글 코랩 시작 방법
2.1.1 구글 코랩 준비
2.1.2 노트북 사용 방법
2.1.3 다운로드 파일 취급 방법
2.2 세션과 인스턴스
2.2.1 세션, 인스턴스란?
2.2.2 90분 규칙
2.2.3 12시간 규칙
2.2.4 세션 관리
2.3 CPU와 GPU
2.3.1 CPU, GPU, TPU란?
2.3.2 GPU 사용 방법
2.3.3 성능 비교
2.4 구글 코랩의 다양한 기능
2.4.1 텍스트 셀
2.4.2 스크래치 코드 셀
2.4.3 코드 스니펫
2.4.4 코드 실행 이력
2.4.5 깃허브와의 연동
2.5 연습
2.5.1 코드 셀 조작
2.5.2 텍스트 셀 조작
2.5.3 셀 위치 변경과 삭제
2.6 정리

CHAPTER 3 파이토치로 구현하는 간단한 딥러닝
3.1 구현 개요
3.1.1 학습하는 매개변수와 하이퍼파라미터
3.1.2 순전파와 역전파
3.1.3 구현 순서
3.2 텐서
3.2.1 패키지 확인
3.2.2 텐서 생성
3.2.3 넘파이 배열과 텐서의 상호 변환
3.2.4 범위를 지정해서 텐서의 일부에 접근
3.2.5 텐서의 연산
3.2.6 텐서의 형태 변환
3.2.7 다양한 통곗값 계산
3.2.8 연습: 텐서끼리의 연산
3.2.9 해답 예
3.3 활성화 함수
3.3.1 시그모이드 함수
3.3.2 tanh
3.3.3 ReLU
3.3.4 항등 함수
3.3.5 소프트맥스 함수
3.4 손실 함수
3.4.1 평균 제곱 오차
3.4.2 교차 엔트로피 오차
3.5 최적화 알고리즘
3.5.1 기울기와 경사 하강 알고리즘
3.5.2 최적화 알고리즘 개요
3.5.3 SGD
3.5.4 모멘텀
3.5.5 AdaGrad
3.5.6 RMSProp
3.5.7 Adam
3.6 에포크와 배치
3.6.1 에포크과 배치
3.6.2 배치 학습
3.6.3 온라인 학습
3.6.4 미니 배치 학습
3.6.5 학습 예
3.7 간단한 딥러닝 구현
3.7.1 손으로 쓴 문자 이미지 인식
3.7.2 데이터를 훈련용과 테스트용으로 분할
3.7.3 모델 구축
3.7.4 학습
3.7.5 오차 추이
3.7.6 정답률
3.7.7 훈련 완료 모델을 사용한 예측
3.8 연습
3.8.1 데이터를 훈련용과 테스트용으로 분할
3.8.2 모델 구축
3.8.3 학습
3.8.4 오차 추이
3.8.5 정답률
3.8.6 해답 예
3.9 정리

CHAPTER 4 간단한 BERT 구현
4.1 Transformers 개요
4.1.1 Transformers란?
4.1.2 Transformers를 구성하는 클래스
4.1.3 BERT 모델
4.2 Transformers 기초
4.2.1 라이브러리 설치
4.2.2 Transformers 모델: 문장의 일부를 마스크
4.2.3 Transformers 모델: 문장 분류
4.2.4 PreTrainedModel 상속
4.2.5 BERT 설정
4.2.6 토크나이저
4.3 간단한 BERT 구현
4.3.1 라이브러리 설치
4.3.2 누락된 단어 예측: BertForMaskedLM
4.3.3 문장이 연속되는지 판정: BertForNextSentencePrediction
4.4 연습
4.4.1 라이브러리 설치
4.4.2 토크나이저 불러오기
4.4.3 모델 불러오기
4.4.4 연속성을 판정하는 함수
4.4.5 연속성 판정
4.4.6 해답 예
4.5 정리

CHAPTER 5 BERT의 구조
5.1 BERT의 전체 이미지
5.1.1 BERT 학습
5.1.2 BERT 모델
5.1.3 BERT의 입력
5.1.4 BERT의 학습
5.1.5 BERT의 성능
5.2 트랜스포머와 어텐션
5.2.1 트랜스포머의 모델 개요
5.2.2 어텐션이란?
5.2.3 입력과 메모리
5.2.4 어텐션 가중치 계산
5.2.5 값과 내적
5.2.6 셀프 어텐션과 원천 타깃 어텐션
5.2.7 멀티헤드 어텐션
5.2.8 위치별 완전 연결 순방향 신경망
5.2.9 포지셔널 인코딩
5.2.10 어텐션 시각화
5.3 BERT의 구조
5.3.1 라이브러리 설치
5.3.2 BERT 모델의 구조
5.3.3 BERT 설정
5.4 연습
5.4.1 라이브러리 설치
5.4.2 BertForMaskedLM의 구조
5.4.3 BertForNextSentencePrediction의 구조
5.5 정리

CHAPTER 6 파인 튜닝 활용
6.1 전이 학습과 파인 튜닝
6.1.1 전이 학습이란?
6.1.2 전이 학습과 파인 튜닝
6.2 간단한 파인 튜닝
6.2.1 라이브러리 설치
6.2.2 모델 불러오기
6.2.3 최적화 알고리즘
6.2.4 토크나이저 설정
6.2.5 간단한 파인 튜닝
6.3 파인 튜닝을 사용한 감정 분석
6.3.1 라이브러리 설치
6.3.2 모델과 토크나이저 불러오기
6.3.3 데이터셋 불러오기
6.3.4 데이터 전처리
6.3.5 평가용 함수
6.3.6 TrainingArguments 설정
6.3.7 Trainer 설정
6.3.8 모델 훈련
6.3.9 모델 평가
6.4 연습
6.4.1 라이브러리 설치
6.4.2 모델과 토크나이저 불러오기
6.4.3 층 동결
6.4.4 데이터셋 불러오기
6.4.5 데이터 전처리
6.4.6 평가용 함수
6.4.7 TrainingArguments 설정
6.4.8 Trainer 설정
6.4.9 모델 훈련
6.4.10 모델 평가
6.4.11 해답 예
6.5 정리

CHAPTER 7 BERT 활용
7.1 BERT 활용 예
7.1.1 검색 엔진
7.1.2 번역
7.1.3 텍스트 분류
7.1.4 텍스트 요약
7.1.5 기타 활용 예
7.2 BERT 일본어 모델
7.2.1 사용하는 모델과 데이터셋
7.2.2 라이브러리 설치
7.2.3 누락된 단어 예측
7.2.4 문장이 연속되어 있는지 판정
7.3 BERT를 사용한 일본어 뉴스 분류
7.3.1 사용할 데이터셋
7.3.2 구글 드라이브에 훈련 데이터를 배치
7.3.3 라이브러리 설치
7.3.4 구글 드라이브와 연동
7.3.5 데이터셋 불러오기
7.3.6 데이터 저장
7.3.7 모델과 토크나이저 불러오기
7.3.8 데이터 전처리
7.3.9 평가용 함수
7.3.10 TrainingArguments 설정
7.3.11 Trainer 설정
7.3.12 모델 훈련
7.3.13 모델 평가
7.3.14 모델 저장
7.3.15 모델 불러오기
7.3.16 일본어 뉴스 분류
7.4 BERT 한국어 모델
7.4.1 사용하는 모델과 데이터셋
7.4.2 라이브러리 설치
7.4.3 누락된 단어 예측
7.4.4 문장이 연속되어 있는지 판정
7.5 정리