웹 데이터 수집의 기술

Chapter 1 웹 데이터를 수집하기 위해 알아야 하는 것들
1-1 인터넷에는 데이터가 많죠?
_ 웹 데이터의 종류
[여기서 잠깐] 이 책에서 대상으로 하는 데이터
1-2 효율적인 데이터 수집을 위해 해야 할 일
_ 데이터 수집 3단계
1-3 어떻게 자동화 할 수 있을까?
_ 스크래핑과 크롤러
_ 반자동화 프로그램
_ 완전 자동화 프로그램
[여기서 잠깐] 이 책의 진행 방식
1-4 웹에서 데이터를 수집할 때의 주의사항
_ 수집 데이터의 처리와 저작권
_ 웹 사이트의 리소스 압박과 업무 방해
_ 크롤러와 API

Chapter 2 엑셀을 이용한 웹 데이터 수집의 기술
2-1 엑셀 VBA로 웹 데이터 수집하기
_ 엑셀로 데이터 수집하기
_ 엑셀에서 VBA를 사용하기 위한 메뉴 설정하기
_ 데이터 수집에 필요한 프로그램 작성하기
2-2 VBA에서 인터넷 익스플로러를 조작하는 방법
_ 맨 윗줄, 어떤 것을 할지 선언하는 부분
_ VBA 함수 선언
_ 인터넷 익스플로러 작업
2-3 웹 페이지에서 원하는 값을 추출하는 방법
_ HTML이란?
_ HTML에서 class로 데이터를 추출하는 프로그램
[여기서 잠깐] 검색어 변경하는 방법
2-4 XPath를 이용해 데이터 추출하기
_ 크롬에서 XPath를 추출하는 방법
_ 파이어폭스에서 XPath를 추출하는 방법
2-5 엑셀 함수를 이용한 데이터 수집
_ WEBSERVICE 함수를 이용한 데이터 수집
_ FILTERXML 함수를 이용한 데이터 수집

Chapter 3 구글 스프레드시트를 이용한 웹 데이터 수집의 기술
3-1 구글 스프레드시트와 구글 앱스 스크립트 준비하기
_ 구글 스프레드시트
_ 구글 앱스 스크립트
_ GoogleFinance 함수를 이용하여 주식 데이터 바로 가져오기
_ 구글 스프레드시트로 스크래핑하기
3-2 ImportXML 함수를 이용하여 웹 데이터 수집하기
_ ImportXML 함수의 개요
_ 주가 데이터 수집 방법
_ 데이터 가지고 오기
[여기서 잠깐] ImportXML에서 다른 데이터 검색하기
3-3 구글 앱스 스크립트를 이용하여 데이터 수집하기
_ 구글 앱스 스크립트 사용 방법
_ 구글 앱스 스크립트를 이용한 스크래핑
[여기서 잠깐] 다른 페이지에서 데이터 가져오기
3-4 지정한 시간에 정기적으로 데이터 수집하기
_ 구글 앱스 스크립트 트리거
_ 트리거 설정 방법

Chapter 4 스크래핑 전용 서비스를 이용하여 웹에서 데이터 수집하기
4-1 import.io를 사용하여 웹 데이터 수집하기
_ import.io 서비스의 개요
4-2 import.io에서 스크래핑 실행하기
_ import.io 회원 가입하기
_ 데이터 자동 추출하기
_ 저장한 데이터 불러오기
_ API 이용해 데이터 불러오기
4-3 수집한 데이터를 구글 스프레드시트로 불러오기
_ 구글 스프레드시트와 연동
_ 구글 앱스 스크립트에서 API 호출하기

Chapter 5 앱을 이용하여 페이스북에서 데이터 수집하기
5-1 앱을 이용하여 데이터를 수집하고 알림 받기
_ 알림을 받기 위한 애플리케이션
_ IFTTT 소개
_ 슬랙(Slack) 소개
5-2 IFTTT를 이용해 페이스북에 글 올리면 이메일로 알림 받기
_ IFTTT 회원 가입하기
_ 모바일 앱 설치하기
_ 페이스북에 포스트를 올리면 알림이 오는 기능 만들기
5-3 슬랙을 이용하여 신문기사(RSS)가 등록될 때 알림 받기 …140
슬랙 회원 가입 …140
RSS 피드 수집 …144
신문 기사가 새로 등록될 때마다 모바일로 실시간 알림 받기 …150

Chapter 6 다양한 데이터 수집하기
6-1 회사·상품에 관련된 정보 수집하기 …156
키워드 수집의 목적 …156
수집, 저장, 알림 방법 …157
[여기서 잠깐] 키워드 검색 연산자 …170
6-2 웹에서 특정 키워드가 새롭게 검색될 때마다 해당 정보 수집하기 …158
구글 알리미 설정 …158
IFTTT 설정 …162
[여기서 잠깐] 키워드 검색 연산자 …170
6-3 트위터에서 특정 키워드를 포함한 트윗을 수집하고 저장하기 …171
IFTTT에서 애플릿 만들기 …171
6-4 앱스토어에서 iOS 앱 랭킹 수집하기 …179
랭킹 RSS 피드 …179
랭킹 수집 …182
[여기서 잠깐] RSS를 변경하여 다른 사이트의 정보를 받아오는 방법 …185
앱스토어의 순위 정보 결과를 날짜별로 시트에 저장하기 …186
매일 지정된 시간에 실행하기 …192
0_도입부(p1-15).indd 14 2017-07-31 오후 2:48:10
6-5 구글 플레이에서 안드로이드 앱 순위 얻기 …195
Import.io를 사용한 데이터 수집 …196
구글 스프레드시트에 결과 저장하기 …199
한국 랭킹 받아오기 …200
[여기서 잠깐] 다른 랭킹 가져오기 …203
6-6 고객 리뷰 수집하기 …204
Import.io를 이용한 수집 방법 …204
구글 앱스 스크립트를 이용한 수집 방법 …207
6-7 상장 기업의 시가 총액 수집하기 …216
종목 코드 목록 검색 …216
주가 정보 수집 …218
[여기서 잠깐] GoogleFinance 함수 사용법 찾기 …222
시간순으로 주식 데이터 수집하기 …225
6-8 여러 페이지 크롤링하기 …228
엑셀 VBA로 페이지 크롤링하기 …231
6-9 구글맵 활용해서 데이터 시각화하기 …241
표와 그래프 …241
구글 내 지도를 이용한 지도 데이터 연동 …243
위도, 경도 알아내기 …248