예제로 배우는 자연어 처리 기초

1장. 자연어 처리 소개
__소개
__NLP의 역사
__텍스트 분석과 NLP
____예제 1: 기본적인 텍스트 분석
__NLP의 다양한 단계
____토큰화
____예제 2: 단순 문장의 토큰화
____PoS 태깅
____예제 3: PoS 태깅
____불용어 제거
____예제 4: 불용어 제거
____텍스트 정규화
____예제 5: 텍스트 정규화
____철자 수정
____예제 6: 단어 및 문장 철자 수정
____어간 추출
____예제 7: 어간 추출
____표제어 추출
____예제 8: 표제어 추출을 사용해 기본 단어 추출
____NER
____예제 9: 개체명 취급
____단어 중의성 해결
____예제 10: 단어 중의성 해결
____문장 경계 인식
____예제 11: 문장 경계 인식
____실습 1: 원시 텍스트 전처리
__NLP 프로젝트 활성화
____데이터 수집
____데이터 전처리
____피처 추출
____모델 개발
____모델 평가
____모델 배포
__요약


2장. 기본적인 피처 추출 방법
__소개
__데이터 타입
____구조 기반 데이터 분류
____내용 기반 데이터의 범주화
__텍스트 데이터 정제
____토큰화
____예제 12: 텍스트 정제와 토큰화
____예제 13: n-그램 추출
____예제 14: 다른 패키지로 텍스트 토큰화 - 케라스와 TextBlob
____토크나이저의 종류
____예제 15: 다양한 토크나이저를 사용한 텍스트 토큰화
____토큰화의 이슈들
____어간 추출
____RegexpStemmer
____예제 16: RegexpStemmer를 사용해 진행형 형태의 단어를 기본 단어로 변환
____포터 형태소 분석기
____예제 17: 포터 형태소 분석기
____표제어 추출
____예제 18: 표제어 추출
____예제 19: 단어의 단수화와 복수화
____언어 번역
____예제 20: 언어 번역
____불용어 제거
____예제 21: 불용어 제거
__텍스트로부터 피처 추출
____원시 텍스트에서 일반적인 피처 추출
____예제 22: 원시 텍스트에서 일반적인 피처 추출
____실습 2: 텍스트에서 일반적인 피처 추출하기
____단어 모음
____예제 23: BoW 생성
____지프의 법칙
____예제 24: 지프의 법칙
____TF-IDF
____예제 25: TF-IDF 표현
____실습 3: 텍스트에서 특수한 피처 추출하기
__피처 엔지니어링
____예제 26: 피처 엔지니어링(텍스트 유사도)
____단어 구름
____예제 27: 단어 구름
____다른 시각화 방법들
____예제 28: 다양한 시각화(종속 구문 분석 트리와 개체명)
____실습 4: 텍스트 시각화
__요약


3장. 텍스트 분류기 개발
__소개
__머신러닝
____비지도 학습
____계층적 군집화
____예제 29: 계층적 군집화
____K-평균 군집화
____예제 30: K-평균 군집화
____지도 학습
____분류
____로지스틱 회귀
____나이브 베이즈 분류기
____K-최근접 이웃
____예제 31: 텍스트 분류(로지스틱 회귀, 나이브베이즈, KNN)
____회귀
____선형 회귀
____예제 32: 텍스트 데이터를 사용한 회귀분석
____트리 기반 방법
____랜덤 포레스트
____GBM과 XGBoost
____예제 33: 트리 기반 방법(의사 결정 트리, 랜덤 포레스트, GBM, XGBoost)
____샘플링
____예제 34: 샘플링(단순 무작위 추출법, 층화 추출법, 다단계 추출법)
__텍스트 분류기 개발
____피처 추출
____피처 엔지니어링
____상호 연관된 피처 제거
____예제 35: 높은 상관관계 피처들 제거(토큰)
____차원 축소
____예제 36: 차원 축소(PCA)
____모델 유형 결정
____모델 성능 평가
____예제 37: RMSE와 MAPE 계산
____실습 5: 엔드 투 엔드 텍스트 분류기 개발
__NLP 프로젝트를 위한 파이프라인 구축
____예제 38: NLP 프로젝트를 위한 파이프라인 구축
__모델 저장 및 불러오기
____예제 39: 모델 저장 및 불러오기
__요약


4장. 웹에서 텍스트 데이터 수집하기
__소개
__웹 페이지를 스크래핑해 데이터 수집하기
____예제 40: HTML 파일에서 태그 기반 정보 추출하기
__웹 페이지에서 내용 불러오기
____예제 41: 온라인 텍스트 데이터 수집
____예제 42: 주피터 노트북의 내용 분석하기(HTML 형식)
____실습 6: 온라인 HTML 페이지에서 정보 추출하기
____실습 7: 정규 표현식을 사용해 데이터 추출 및 분석하기
__준정형 데이터 다루기
____JSON
____예제 43: JSON 파일 다루기
____실습 8: 온라인 JSON 파일 다루기
____XML
____예제 44: 로컬에 있는 XML 파일 다루기
____API를 사용해 실시간 데이터 불러오기
____예제 45: API를 사용한 데이터 수집
____API 생성
____실습 9: 트위터에서 데이터 추출하기
____로컬 파일에서 데이터 추출하기
____예제 46: 로컬 파일에서 데이터 추출하기
____예제 47: 로컬 파일에 다양한 작업 수행
__요약


5장. 토픽 모델링
__소개
__토픽 찾기
____테마 찾기
____탐색적 데이터 분석
____문서 군집화
____차원 축소
____역사 분석
____단어 모음
__토픽 모델링 알고리즘
____잠재 의미 분석
____LSA - 동작 방식
____예제 48: 잠재 의미 분석을 활용한 로이터 뉴스 기사 분석
____잠재 디리클레 할당
____LDA 동작 방식
____예제 49: 항공사 트윗에 있는 토픽
____토픽 핑거프린팅
____예제 50: 토픽 벡터를 사용한 문서 시각화
____실습 10: 제퍼디 질문에 대한 토픽 모델링
__요약


6장. 텍스트 요약과 텍스트 생성
__소개
__자동 텍스트 요약이란?
____자동 텍스트 요약의 이점
__텍스트 요약의 고수준 뷰
____목적
____입력
____출력
____추출적 텍스트 요약
____추상적 텍스트 요약
____시퀀스 투 시퀀스
____인코더-디코더
__TextRank
____예제 51: TextRank 기초
__젠심을 사용한 텍스트 요약
____실습 11: 젠심 텍스트 요약기를 사용해 다운로드한 페이지 요약하기
__단어 빈도를 이용한 텍스트 요약
____예제 52: 단어 빈도수 텍스트 요약
__마르코프 체인을 사용한 텍스트 생성
____마르코프 체인
____예제 53: 마르코프 체인을 사용한 텍스트 생성
__요약


7장. 벡터 표현
__소개
__벡터 정의
__벡터 표현을 사용하는 이유
____인코딩
____문자 수준 인코딩
____예제 54: ASCII 값을 사용한 문자 인코딩
____예제 55: 넘파이 배열을 사용한 문자 수준 인코딩
____위치 기반 문자 수준 인코딩
____예제 56: 위치를 사용한 문자 수준 인코딩
____원핫 인코딩
____원핫 인코딩의 주요 단계
____예제 57: 문자 원핫 인코딩 - 수동적인 방법
____예제 58: 케라스를 활용한 문자 수준 원핫 인코딩
____단어 수준 원핫 인코딩
____예제 59: 단어 수준 원핫 인코딩
____단어 임베딩
____Word2Vec
____예제 60: 단어 벡터 학습
____사전 학습된 단어 벡터 사용
____예제 61: 사전 학습된 단어 벡터 불러오기
____문서 벡터
____문서 벡터의 활용
____예제 62: 영화 대화를 문서 벡터로 변환하기
____실습 12: 문서 벡터를 활용해 유사한 영화 대사 찾기
__요약


8장. 감성 분석
__소개
__왜 감성 분석이 필요한가?
__감성 분석의 성장
____감성의 수익 창출
____감성의 유형
____주요 아이디어와 용어
____감성 분석의 응용 분야
__감성 분석에 사용하는 도구들
____주요 클라우드 제공업체의 NLP 서비스
____온라인 마켓플레이스
____파이썬 NLP 라이브러리
____딥러닝 라이브러리
__TextBlob
____예제 63: TextBlob 라이브러리를 사용한 기본적인 감성 분석
____실습 13: TextBlob 라이브러리를 사용해 트윗 감성 분석하기
__감성 분석 데이터의 이해
____예제 64: 감성 분석 데이터 불러오기
__감성 모델 학습
____예제 65: TF-IDF와 로지스틱 회귀를 사용한 감성 모델 학습
__요약


부록