빅데이터 분석방법론

1부
1장 4차 산업혁명과 인문사회과학 15
1절. 자연과학과 인문사회과학 15
2절. 4차 산업혁명과 인공지능 기술 17
3절. 지능정보기술로 인한 파급 효과 23
1. 산업경제적 측면 23
2. 고용구조적 측면 25
3. 사회문화적 측면 27
4절. 4차 산업혁명과 인문사회과학 29
5절. 데이터 과학과 빅데이터 분석 32
1. 데이터 과학 32
2. 데이터 과학자 35
3. 빅데이터 분석 36
2장R 설치와 기초 문법 41
1절. R의 특징 41
2절. R과 RStudio 설치 45
1. R 설치 45
2. RStudio 설치 53
3. RStudio 설정 55
4. RStudio 실행 57
3절 데이터 불러오기와 저장하기 63
1. 함수와 객체 63
2. 작업공간 확인 64
3. 패키지 설치와 불러오기 65
4. 데이터 불러오기 67
5. 데이터 저장하기 69
6. 분석 결과물 저장하기 71
7. 스크립트 파일 가져오기＼저장하기와 그래픽 저장하기 71
3장 데이터 구조와 전처리 72
1절. R의 데이터 구조 72
2절. 데이터 프레임 편집 77
1. cbind( )와 rbind( ) 77
2. merge( ) 78
3. 결측값(NA) 80
4. subset( ) 80
5. colnames( ) 81
6. 인덱싱(indexing) 82
3절. apply 함수 83
1. apply 함수
2. lapply 함수 84
3. sapply 함수 85
4. tapply 함수 85
4절. dplyr 활용 86
1. filter 함수 87
2. select 함수 88
3. arrange 함수 89
4. mutate 함수 89
5. summarise 함수 90

2부
4장 기초 통계분석 95
1절. 자료 정제 95
1. 원자료 살펴보기 95
2. 자료 불러오기 96
3. 자료 변환과 탐색 98
4. 결측값 확인 및 처리 104
5. 이상값 탐색 및 제거 106
6. 회귀분석 109
5장 시각화 113
1절. 기본 산점도: plot( ) 함수 114
1. 데이터 내보내기와 불러오기 114
2. 산점도 115
2절. ggplot2 118
1. 필수 함수 - ggplot( ) 119
2. geom_그래프 계열 120
3. 기타 126
3절. 모자이크 함수 129
6장 군집분석 133
1절. 군집분석의 종류와 단계 134
1. 군집분석의 의의와 종류 134
2. 군집분석의 단계 135
2절. 분할적 군집분석: K 평균(K-means) 138
1. 개념 138
2. 사례: 폭력범죄 비율 140
3절. 계층적 군집 방법 149
1. 개념 149
2. 사례: 단백질 음식 소비 151
4절. 시장 세분화(Market Segments) 157
1. 전처리 158
2. 분석 166
7장 분류분석
1절. 의사결정나무 183
1. 개요 183
2. 사례 1(연속형 종속 변수): 온도 결정 184
3. 사례 2(범주형 종속 변수): 타이타닉 생존 결정 186
2절. 랜덤 포레스트 189
1. 개요 189
2. 사례 1(범주형 종속변수) : 신체 움직임 유형 190
3. 사례 2(연속형 종속변수) : 주택가격 192
4. 비교 사례: 타이타닉 호 194
3절. 로지스틱 회귀분석 196
1. 개요 196
2. 사례 1(이항 로지스틱) : 학내 취업 프로그램 198
3. 사례 2(다항 로지스틱) : 신체 움직임 유형 200
4. 비교 사례: 타이타닉 호 201
8장 연관분석 205
1절. 기본 개념 205
2절. 연관규칙 평가척도 206
1. 지지도 207
2. 신뢰도 207
3. 향상도 208
3절. 파일 형식 209
4절. 사례분석 1: 마켓 거래 품목 210
1. 자료 탐색 210
2. 연관분석 214
5절. 사례분석 2: 도서관 대출 219
1. 자료 탐색 219
2. 연관분석 224

3부
9장 텍스트 분석 : 기초 233
1절. 리스트 233
2절. 함수의 구조 236
1. 조건문과 반복문 236
2. 함수 237
3절. 텍스트 분석과 자연어 처리 238
1. 자연어 처리의 개념 239
2. 텍스트 데이터 전처리 241
3. 텍스트 분석 기법들 243
4절. 텍스트 전처리와 DTM 생성 244
1. 형태소 분석과 전처리 245
2. DTM 문서 생성 251
5절. 데이터 탐색 및 분석: 박근혜 vs 문재인 연설문 비교 253
1. 데이터 탐색 253
2. 워드 클라우드 255
3. 비교 분석 257
4. TF-IDF 261
5. 상관관계 262
10장 크롤링과 텍스트 분석 265
1절. 크롤링의 기본 개념 266
2절. 뉴스 기사 크롤링과 논쟁 비교 분석 267
3절. 영화 댓글 크롤링과 흥행 예측분석: <완벽한 타인> 275
4절. 뉴스 기사 댓글 크롤링과 연관 네트워크 분석 291
5절. 상품평 크롤링(1): 네이버 홈쇼핑 303
6절. 상품평 크롤링(2): 11번가 홈쇼핑 307
11장 토픽모형 312
1절. 잠재적 디리클레 할당 모형(LDA): 기술적 연구 312
1. 생성적 확률모형 312
2. 위계적 베이지안 모형 316
3. LDA 추정 319
4. LDA 분석: 4차 산업혁명과 정부의 역할(1) 322
2절. 구조 토픽모형(STM): 변수에 의한 설명적 연구 336
1. STM의 개념 336
2. STM 분석: 4차 산업혁명과 정부의 역할(2) 340
3. STM과 준실험설계 연구 358
12장 감성분석 361
1절. 개요 361
2절. 구글 클라우드 가입 364
3절. 뉴스 기사 감성분석: 소득 주도 성장 369
4절. 영화평 감성분석: <마약왕> 372
13장 딥 러닝 기법word2vec 383
1절. one-hot-encoding과 단어 임베딩 383
2절. word2vec 학습과 연산 387
1. Skip-Gram 모형 387
2. CBOW 모형 392
3. word2vec의 벡터 연산 394
3절. word2vec으로 문서 분류하기 396
4절. word2vec 분석 : 4차 산업혁명과 정부의 역할(3) 399
1. 연관 키워드 추출 399
2. 연관 네트워크 407
3. 문서 분류 409
참고 문헌 417
찾아보기 421