자연어 처리와 딥러닝

1장. 자연어 처리와 딥러닝 소개
1.1 자연어 처리: 기본 내용
1.2 첫 번째 물결: 이성주의
1.3 두 번째 물결: 실증주의
1.4 세 번째 물결: 딥러닝
1.5 미래로의 전환
1.5.1 실증주의에서 딥러닝으로: 혁명
1.5.2 현재 딥러닝 기술의 한계
1.6 자연어 처리의 향후 방향
1.6.1 신경망과 기호의 통합
1.6.2 구조, 기억 그리고 지식
1.6.3 비지도학습과 생성 딥러닝
1.6.4 다중양식 및 멀티태스킹 딥러닝
1.6.5 메타러닝
1.7 요약

2장. 대화 이해에 사용되는 딥러닝
2.1 소개
2.2 역사적 관점
2.3 주요 언어 이해 작업
2.3.1 도메인 탐지 및 의도 결정
2.3.2 슬롯 채우기
2.4 기술의 고도화: 통계 모델링에서부터 딥러닝까지
2.4.1 도메인 탐지와 의도 결정
2.4.2 슬롯 채우기
2.4.3 멀티태스크 멀티도메인 연결 모델링
2.4.4 문맥에서 이해하기
2.5 요약

3장. 음성 및 텍스트 기반 대화 시스템에 사용되는 딥러닝
3.1 서론
3.2 대화 시스템의 구성 요소 학습 방법
3.2.1 판별 방법
3.2.2 생성 방법
3.2.3 의사 결정
3.3 목표 지향 신경 대화 시스템
3.3.1 신경망 언어 이해
3.3.2 대화 상태 추적기
3.3.3 심층 대화 관리자
3.4 모델 기반 사용자 시뮬레이터
3.5 자연어 생성
3.6 대화 시스템 구축을 위한 엔드 투 엔드 딥러닝 방식
3.7 오픈 대화 시스템을 위한 딥러닝
3.8 대화 모델링을 위한 데이터셋
3.8.1 카네기 멜론 커뮤니케이터 말뭉치
3.8.2 ATIS: 항공 여행 정보 시스템 파일럿 말뭉치
3.8.3 대화 상태 추적 챌린지 데이터셋
3.8.4 말루바 프레임 데이터셋
3.8.5 페이스북 대화 데이터셋
3.8.6 우분투 대화 말뭉치
3.9 오픈소스 대화 소프트웨어
3.10 대화 시스템 평가
3.11 요약

4장. 어휘 분석과 문장 분석에 사용되는 딥러닝
4.1 배경
4.2 어휘 분석과 문법 분석
4.2.1 단어 세분화
4.2.2 형태소 분석
4.2.3 구문 분석
4.2.4 구조화된 예측
4.3 구조화 예측 방법
4.3.1 그래프 기반 방법
4.3.2 전이 기반 방법들
4.4 신경그래프 기반 방법
4.4.1 신경조건부 랜덤 필드
4.4.2 신경망 그래프 기반의 의존 분석
4.5 신경망 전이 기반 방법
4.5.1 그리디 이동 축소 의존 분석
4.5.2 그리디 시퀀스 레이블링
4.5.3 전역 최적화 모델
4.6 요약

5장. 지식 그래프에서 사용되는 딥러닝
5.1 서론
5.1.1 기본 개념
5.1.2 전형적인 지식 그래프
5.2 지식 표상 학습
5.3 신경망 관계 추출
5.3.1 문장 수준 신경망 관계 추출
5.3.2 문서 수준 신경망 관계 추출
5.4 텍스트와 지식 연결: 개체 연결
5.4.1 개체 연결 프레임워크
5.4.2 개체 연결 딥러닝
5.5 요약

6장. 기계번역에 사용되는 딥러닝
6.1 서론
6.2 통계 기계번역과 그 과제
6.2.1 기본 내용
6.2.2 통계 기계번역 과제
6.3 기계번역을 위한 구성 요소 수준 딥러닝
6.3.1 단어 배열을 위한 딥러닝
6.3.2 번역 규칙 확률 추정 딥러닝
6.3.3 구 재배열을 위한 딥러닝
6.3.4 언어 모델링을 위한 딥러닝
6.3.5 피처 조합을 위한 딥러닝
6.4 기계번역을 위한 엔드 투 엔드 딥러닝
6.4.1 인코더 - 디코더 프레임워크
6.4.2 기계번역에 사용되는 신경망 관심
6.4.3 잘 쓰이지 않는 어휘의 기술적 문제점 다루기
6.4.4 평가 지표를 최적화하는 엔드 투 엔드 학습
6.4.5 사전 지식 투입하기
6.4.6 자원이 부족한 언어 번역
6.4.7 신경망 기계번역에서 네트워크 구조
6.4.8 통계 기계번역과 신경망 기계번역의 조합
6.5 요약

7장. 질의응답에 사용되는 딥러닝
7.1 서론
7.2 지식 기반 질의에 사용되는 딥러닝
7.2.1 정보 추출 스타일
7.2.2 의미 분석 스타일
7.2.2
7.2.3 정보 추출 스타일 대 의미 분석 스타일
7.2.4 데이터 종류
7.2.5 도전 과제
7.3 기계 이해에 사용되는 딥러닝
7.3.1 태스크 설명
7.3.2 기계 이해에서 피처 엔지니어링 방법
7.3.3 기계 이해를 위한 딥러닝
7.4 요약

8장. 딥러닝으로 하는 감성 분석
8.1 소개
8.2 감성 기반 단어 임베딩
8.3 문장 수준 감성 분석
8.3.1 컨볼루션 신경망
8.3.2 순환 신경망
8.3.3 재귀신경망
8.3.4 외부 자원 통합
8.4 문서 수준 감성 분류
8.5 정밀하게 정제된 감성 분석
8.5.1 의견 마이닝
8.5.2 표적 감성 분석
8.5.3 특정 면 수준 감성 분석
8.5.4 입장 포착
8.5.5 풍자 감지
8.6 요약

9장. 소셜 컴퓨팅에서 사용되는 딥러닝
9.1 소셜 컴퓨팅 소개
9.2 딥러닝으로 하는 사용자 생성 콘텐츠 모델링
9.2.1 전통적 의미 표상
9.2.2 얕은 임베딩으로 의미 표상하기
9.2.3 심층신경망으로 하는 의미 표상
9.2.4 관심 메커니즘으로 의미 표상 강화하기
9.3 딥러닝을 사용한 소셜 커넥션 모델링
9.3.1 소셜미디어 소셜 커넥션
9.3.2 소셜 커넥션을 모델링하는 네트워크 학습법
9.3.3 얕은 임베딩 모델
9.3.4 심층신경망 모델
9.3.5 네트워크 임베딩 적용
9.4 딥러닝을 이용한 추천
9.4.1 소셜미디어에서 추천
9.4.2 전통 추천 알고리즘
9.4.3 얕은 임베딩 기반 모델
9.4.4 심층신경망 기반 모델
9.5 요약

10장. 이미지로부터 자연어 생성을 위한 딥러닝
10.1 소개
10.2 배경
10.3 이미지에서 나온 자연어 생성을 위한 딥러닝 프레임워크
10.3.1 엔드 투 엔드 프레임워크
10.3.2 구성 프레임워크
10.3.3 기타 프레임워크
10.4 평가 지표 및 벤치마크
10.5 이미지 캡셔닝의 산업 배치
10.6 예제: 이미지에 대한 자연어 설명
10.7 이미지에서 스타일리시한 자연어 생성 최근 연구
10.8 요약

11장. 에필로그: 딥러닝 시대에 자연어 처리의 경계
11.1 소개
11.2 두 가지 새로운 관점
11.2.1 태스크 관점
11.2.2 표상 관점
11.3 자연어 처리를 위한 딥러닝의 주요 발전과 연구 경계선
11.3.1 일반화를 위한 구성
11.3.2 자연어 처리에 대한 비지도학습
11.3.3 자연어 처리를 위한 강화학습
11.3.4 자연어 처리를 위한 메타학습
11.3.5 해석 가능성: 약한 센스와 강한 센스
11.4 요약