파이썬과 자연어 처리

1장. 문자열을 사용한 작업

토큰화
텍스트를 문장으로 토큰화
다양한 언어의 텍스트 토큰화
문장을 단어로 토큰화
TreebankWordTokenizer를 사용한 토큰화
정규 표현식을 사용한 토큰화
정규화
문장 부호 제거
소문자와 대문자로 변환
불용어 처리
영어의 불용어 계산
토큰의 대체 및 수정
정규 표현식을 사용한 단어 대체
텍스트를 다른 텍스트로 대체하는 예제
토큰화 전에 대체 수행
반복되는 문자 처리
반복 문자를 삭제하는 예제
단어를 동의어로 대체
단어를 동의어로 대체하는 예제
텍스트에 지프의 법칙 적용
유사 척도
편집 거리 알고리즘을 사용한 유사 척도
자카드 계수를 사용한 유사 척도
스미스 워터맨 거리를 사용한 유사 척도 적용
그 외 문자열 유사도 메트릭
요약

2장. 통계 언어 모델링

단어 빈도 이해
주어진 텍스트의 MLE 개발
은닉 마르코프 모델 추정
MLE 모델의 스무딩 적용
에드온 스무딩
Good Turing
크네저 네이 추정
위튼 벨 추정
MLE의 백-오프 메커니즘 개발
믹스 앤 매치를 얻기 위한 데이터 보간법 적용
혼잡도를 통한 언어 모델 평가
모델링 언어에서 메트로폴리스 헤이스팅스 적용
언어 처리에서 깁스 샘플링 적용
요약

3장. 형태학 - 시작하기

형태학 소개
스테머 이해
원형복원 이해
비영어 언어의 스테머 개발
형태소 분석기
형태소 생성기
검색 엔진
요약

4장. 품사 태깅 - 단어 식별

품사 태깅 소개
기본 태깅
POS-tagged corpora 생성
기계 학습 알고리즘 선택
n-gram 접근법과 관련된 통계 모델링
pos-tagged data를 사용한 청커 개발
요약

5장. 파싱 - 훈련 데이터 분석

파싱 소개
트리뱅크 구성
트리뱅크의 문맥 자유 문법 규칙 추출
CFG에서 확률적 문맥 자유 문법 생성
CYK 차트 파싱 알고리즘
Earley 차트 파싱 알고리즘
요약

6장. 의미 분석 - 본질 표현

의미 분석 소개
NER 소개
은닉 마르코프 모델을 사용한 NER 시스템
기계 학습 툴킷을 사용한 NER 훈련
POS 태깅을 사용한 NER
Wordnet의 synset id 생성
Wordnet을 사용한 의미 판별
요약

7장. 감정 분석 - 나는 행복하다.

감정 분석 소개
NER를 사용한 감정 분석
기계 학습을 사용한 감정 분석
NER 시스템의 평가
요약

8장. 정보 검색 - 정보 접속

정보 검색 소개
불용어 제거
벡터 공간 모델을 사용한 정보 검색
벡터 공간 스코링 및 질의 연산자 상호 작용
잠재 의미 색인을 이용한 IR 시스템 개발
텍스트 요약
질의 응답 시스템
요약

9장. 담화 분석 - 아는 것은 믿는 것이다.

담화 분석 소개
중심화 이론을 사용한 담화 분석
대용어복원
요약

10장. NLP 시스템의 평가 - 성능 분석

NLP 시스템 평가의 필요성
NLP 도구(POS 태거, 스테머, 형태소 분석기) 평가
골드 데이터를 사용한 파서 평가
IR 시스템의 평가
오류 식별 메트릭
어휘 매칭 기반 메트릭
구문 매칭 기반 메트릭
얕은 의미 매칭을 사용한 메트릭
요약