빅데이터로 일하는 기술

CHAPTER 1 IT 트렌드와 디지타이징 비즈니스

빅데이터 시대를 연 IT 트렌드 변화와 미래 핵심 기술의 등장
-IBM 대형 컴퓨터로 시작된 중앙 집중식 비즈니스 처리 방식
-다운사이징 열풍과 함께 최고로 성장한 오라클과 시스코, HP
-개인용 PC 시대를 연 마이크로소프트
-빅데이터 기술의 시초, 하둡 탄생의 배경
-빅데이터를 양산하는 스마트폰으로 촉발된 모빌리티의 시대
-기업의 IT 자원 활용도를 극대화하는 클라우드 컴퓨팅 열풍
-더 많은 양의 빅데이터를 생산할 센서의 시대가 온다
-미래 핵심 기술 : 소셜, 모바일, 빅데이터, 클라우드, 사물 인터넷
빅데이터로 시작된 혁신, 디지타이징 비즈니스
-제품 체험 기회와 최저가를 동시에 제공해야 구매가 일어난다
-사물 인터넷, 빅데이터 분석, 모바일 기술 등이 결합된 비콘
위기이거나 혁신에 성공하거나 : 글로벌 IT 기업과 IT 트렌트
-클라우드 컴퓨팅 분야
-모바일 분야
-빅데이터 분야
-사물 인터넷 분야
-ERP 및 인 메모리 데이터베이스 분야
-IT 분야의 새로운 강자 구글, 아마존, 세일즈포스
-무엇이 글로벌 IT 기업을 약하게 만들었는가
퀴즈로 알아보는 빅데이터

CHAPTER 2 시나리오 분석부터 재미있게 시작하는 빅데이터 분석

빅데이터란 무엇인가
-빅데이터의 정의, 4V
-얼마나 커야 빅데이터라고 부를 수 있을까
-빅데이터 기술과 새로운 비즈니스의 등장
-스몰 데이터, 다크 데이터, 패스트 데이터, 스마트 데이터
혁신하려면 빅데이터를 분석하라
미래를 예측하는 빅데이터, 무료 분석 툴부터 활용하라
-빅데이터의 후행성 : 정교하게 분석해 결론을 도출하라
-검색어의 선행성 : 예측 모형을 정교화해 정확도를 높여라
-포털 사이트의 검색 빈도 분석 툴 : 네이버 트렌드와 구글 트렌즈
-무료로 사용할 수 있는 소셜 미디어 분석 툴 : 소셜 메트릭스
본격적인 빅데이터 분석에 앞서 : 시나리오에 의한 검색어 분석 실습
-스마트폰 경쟁 분석
-야외 운동 : 골프, 등산, 캠핑의 비교
-네이버 트렌드와 소셜 메트릭스의 활용
퀴즈로 알아보는 빅데이터

CHAPTER 3 다양하게 활용되는 소셜 미디어 분석

막강한 소셜 미디어, 이렇게 활용하라
-소셜 미디어 분석이란
-소셜 미디어 분석은 빅데이터 분석이다?
-일반인이 많이 알고 있을 만한 키워드 중심으로 분석하라
-자연어를 처리할 때는 동음 유의어에 주의를 기울여라
-평소에 일반인이 관심을 갖는 분야를 선택하라
-소셜 미디어의 파워는 선거에서 나타난다
-소셜 미디어는 정부 정책 결정 시 매우 잘 활용될 수 있다
-소셜 미디어에서는 루머와 사실을 구분할 수 있어야 한다
소셜 미디어의 3단계 분석 과정
-사용자 요구 사항
-1단계 : 웹 크롤링 서비스
-2-1단계 : 자연어 처리 서비스
-2-2단계 : 텍스트 분석
-2-3단계 : 시각화
-3단계 : 최종 사용자
소셜 미디어 분석을 활용할 수 있는 분야
-신제품 개발 및 론칭 효과 분석
-광고 효과 분석
-기업의 평판 리스크/위기 관리
-고객의 VOC
-소셜 리서치
-데이터 저널리즘
퀴즈로 알아보는 빅데이터

CHAPTER 4 빅데이터 도입 시 야기되는 일반적인 이슈들

빅데이터에 대한 이해가 부족하다
빅데이터를 도입하려는 기업에 들려주는 경험담
-기업 내 부서별로 빅데이터를 바라보는 관점이 다르다
기업 경영진의 빅데이터에 대한 이슈들
-기업 경영진은 빅데이터 도입 시 본인들의 영향력을 간과한다
-기업 경영진은 빅데이터를 너무 쉽게 생각하는 경향이 있다
-경영진이 '감'에 의해 경영하면서 빅데이터 도입 검토를 지시한다
-빅데이터 TF 리더의 역할을 IT 부서가 해서는 안 된다
-빅데이터를 도입하려면 빅머니가 필요하다?
현업 담당자들의 빅데이터에 대한 이슈들
-현업 담당자들 스스로 데이터 분석 능력을 키워야 한다
-아웃소싱 업체에 맡기고 분석 결과만 받아 보기를 바라는 경향이 있다
-빅데이터 분석과 기존 데이터 분석의 차이점이 클 거라 믿는다
IT 담당자들의 빅데이터에 대한 이슈들
-IT 담당자들은 하둡을 배우기 꺼려한다
-빅데이터 구축 이후에는 유지 보수만 하면 된다고 생각한다
빅데이터 프로젝트 정확하게 이해하기
-빅데이터 프로젝트는 참여하는 전문가들의 수준에 달려 있다
-빅데이터 전문가는 매우 다양하다
-빅데이터 프로젝트의 목적은 데이터에 기반한 의사 결정이다
-현업 담당자의 판단 아래 빅데이터 시스템을 도입해야 한다
퀴즈로 알아보는 빅데이터

CHAPTER 5 빅데이터 테마 선정을 위한 도출 방법론

어떤 주제로 빅데이터를 구현할까 : 빅데이터 테마 도출
-빅데이터 테마 도출을 위해 빅데이터 컨설팅사를 활용하라
-빅데이터 테마 도출 방법론과 프로세스
1단계 : 산업별 빅데이터 사례 분석
-유통업 사례 분석을 통한 테마 발굴
2단계 : 기본 업무 분석
3단계 : 인터뷰
-3-1 단계 : 임원 인터뷰
-3-2 단계 : 현업 인터뷰
-3-3 단계 : IT 팀 인터뷰
4단계 : 내부/외부 데이터 파악 및 데이터 탐색
-4-1 단계 : 내부/외부 데이터 파악
-4-2 단계 : 초기 데이터 탐색
5단계 : 교육과 워크숍
-5-1 단계 : 임원, 현업팀, IT 팀에 대한 교육
-5-2 단계 : 현업팀 워크숍
6단계 : 빅데이터 테마 후보 선정 및 평가
-6-1 단계 : 빅데이터 테마 후보 선정
-6-2 단계 : 평가
7단계 : Quick Win 과제 및 테마 선정과 마스터플랜
-7-1단계 : Quick Win 과제 및 테마 선정
-7-2 단계 : 빅데이터 추진 마스터플랜
퀴즈로 알아보는 빅데이터

CHAPTER 6 경쟁력 있는 빅데이터 분석의 모든 것

기업의 경쟁력을 지원하는 빅데이터 분석 사례
-빅데이터 분석과 기존 통계 분석의 차이점은 무엇일까
-넷플릭스의 시네 매치 시스템과 딥 러닝
-아마존의 추천 시스템
빅데이터를 구현할 때 활용할 수 있는 분석 서비스
-울프람 알파의 연산형 지식 엔진
-아이디인큐(ID INCU)의 모바일 리서치
빅테이터를 구현할 때 참고할 수 있는 데이터
-건강보험심사평가원의 연구용 청구 데이터
-SKT의 지리 정보 시스템 기반의 공간 빅데이터 서비스
빅테이터를 구현할 때 활용할 수 있는 분석 시스템
-구글의 빅쿼리
퀴즈로 알아보는 빅데이터

CHAPTER 7 빅데이터와 IT 기술

빅데이터와 전통적인 DW/BI의 차이점 및 공통점
-빅데이터 기술과 전통적인 DW/BI 기술의 차이는 무엇일까
-빅데이터 기술과 DW/BI 기술의 공통점은 무엇일까
기존 DW/BI 시스템에 빅데이터 기술을 도입하기 위한 제안
-기존 DW/ BI 시스템의 요구 사항
-DW/ BI 1단계 확장 방안
-DW/ BI 2단계 확장 방안
-DW/ BI 3단계 확장 방안
-빅데이터 시스템 도입으로 인한 기존 IT 조직의 변화
빅데이터 솔루션 맵
-빅데이터 아키텍처
-데이터 처리, 조회 분야 소프트웨어 장단점 분석
-빅데이터 인프라 및 서비스 맵 : 외산 솔루션
-빅데이터 인프라 및 서비스 맵 : 국산 솔루션
국내 제품 중 소개할 만한 제품
-플라밍고
-아파치 타조
퀴즈로 알아보는 빅데이터

CHAPTER 8 빅데이터 구축 방법론

빅데이터 구축 방법론의 중요성
-빅데이터 활용을 위해서는 ' 빅데이터 구축 방법론' 이 필요하다
-빅데이터 프로젝트 내에서 원활히 커뮤니케이션할 수 있어야 한다
-빅데이터는 단계적인 수행 절차가 방법론에 녹아 있어야 한다
-'빅데이터 구축 방법론'은 '빅데이터 테마 도출 방법론'과 쌍을 이루어야 한다
빅데이터 구축 방법론에 대한 설명
빅데이터 추진 마스터플랜(모듈 1)
비즈니스 활용 및 변화 관리 구현(모듈 2)
-비즈니스 테마에 대한 충분한 이해 (모듈 2-1)
-분석 결과에 대한 비즈니스 액션 플랜 (모듈 2-2)
-전사적 활용 모니터링 및 활성화 방안 (모듈 2-3)
-빅데이터 활용 평가 (모듈 2-4)
-빅데이터 활용 조직 설계 (모듈 2-5)
-필요한 인력과 Skill set의 정의 (모듈 2-6)
-필요한 인력의 조달 방법 (모듈 2-7)
-내부 인력 교육 계획 (모듈 2-8)
테마별 분석 모델 설계/분석(모듈 3)
-데이터 마이닝 방법론의 비교
-빅데이터 간접 분석 방법
-빅데이터 직접 분석 방법
-빅데이터 분석 툴 교육 (모듈 3-0)
-비즈니스 테마에 대한 충분한 이해 (모듈 3-1)
-필요 데이터의 정의 (모듈 3-2)
-데이터의 탐색 (모듈 3-3)
-파생 데이터 설계 및 데이터 작업 요건 전달 (모듈 3-4)
-분석 모델 설계 및 테스팅 (모듈 3-5)
-데이터의 시각화 (모듈 3-6)
-분석 결과에 대한 평가 (모듈 3-7)
-분석 모델의 유지 보수 및 업그레이드 방안 (모듈 3-8)
빅데이터 설계/구축 (모듈 4)
-비즈니스 테마에 대한 충분한 이해 (모듈 4-1)
-데이터 모델링 (모듈 4-2)
-내부/외부 데이터 ETL 설계 (모듈 4-3)
-내부/외부 데이터 정제 작업 설계 (모듈 4-4)
-내부/외부 데이터 ETL 및 정제 작업 수행 (모듈 4-5)
-데이터 작업 수행 (모듈 4-6)
-User/Access 관리, 보안 관리 수행 (모듈 4-7)
빅데이터 시스템 설계/구축 (모듈 5)
-SW 아키텍처 설계 (모듈 5-1)
-HW/Cloud 아키텍처 설계 (모듈 5-2)
-퍼블릭 클라우드 서비스를 잘 활용하자
-SW/HW/Cloud 설치 (모듈 5-3)
빅데이터 거버넌스 설계/구축 (모듈 6)
-데이터 거버넌스 설계 및 구축 (모듈 6-1)
-외부 데이터 관리 (모듈 6-2)
-사용자/액세스/보안 관리 설계 (모듈 6-3)
퀴즈로 알아보는 빅데이터

부록 컨퍼런스를 통해 살펴본 빅데이터 세계 동향(Strata Hadoop World 2014 & Teradata Partners 2014)

Strata Hadoop World 2014
-미국은 이미 ' Why Big data'를 고민하는 단계에서 'How to do Big data'를 고민하고 있는 단계로 넘어갔다
-현재 상황에서 하둡은 'Clear winner'다
-아파치 하둡보다 상용 하둡을 더 많이 쓴다
-스파크에 대한 대단한 관심이 쏟아지고 있다
-기존 RDB에 있는 정보계성 업무를 하둡으로 마이그레이션하고 있다
-데이터 사이언스에 대한 관심이 뜨겁다. 그러나 하둡 진영과는 거리를 좁히려는 노력이 필요하다
-Big data + IoT의 결합은 당연한 것이지만, 옵티멀 아키텍처(Optimal architecture)의 방향을 모색하고 있다
-하둡의 미래를 소개한 마이크 올슨의 키노트
-비즈니스 사용자를 위한 친밀한 사용자 환경 제품 등장
-자사의 솔루션 광고보다 인사이트를 공유하는 세션이 더 필요하다
-빅데이터 활용 시 야기되는 개인 정보 문제
-빅데이터도 잘못 수집되고 해석될 수 있다
-빅데이터로 사람의 감정까지 분석한다
-빅데이터의 현재를 돌아본다
-Strata Hadoop World 2014로 본 빅데이터 시장 예측
Teradata Partners 2014
-엄청난 규모의 데이터를 분석하고 운영하는 이베이
-데이터 웨어하우스와 하둡 간의 관계
-GM의 새로운 EDW Architecture
-볼보의 빅데이터 프로젝트 운영 사례
-테라데이타의 Unified Data Architecture
-빅데이터는 의사 결정을 위해 정렬되어야 한다
-SQL on Hadoop 분야의 주목할 만한 제품들
-개인 정보 보호에 대한 이슈