Pig를 이용한 빅데이터 처리 패턴

1장 피그 디자인 패턴의 기초
__디자인 패턴의 이해
__피그 디자인 패턴의 범위
__하둡에 관한 쉽고 자세한 설명: 지침서
____전사적 IT 환경
____분산 시스템의 일반적인 문제
____하둡의 출현
____하둡 파헤치기
____하둡 분산 파일 시스템
________HDFS 설계 목적
________HDFS 동작
____맵리듀스
________맵리듀스가 동작하는 방법
________맵리듀스 내부
__피그: 대략적인 개요
____피그의 기초
____전사적 IT 환경과 피그 관련성
____피그 동작: 개요
________피그 작동
________사용 사례
________전체 코드
________데이터셋
__코드를 이용한 피그의 이해
____피그의 확장성
____코드에 사용된 연산자
____EXPLAIN 연산자
____피그의 데이터 모델
________기본형
________복합형
__정리

2장 데이터 유입과 배출 패턴
__데이터 유입과 배출 환경
__전사적 IT 환경에서 사용되는 데이터의 유형들
__다중정형화 데이터를 위한 유입, 배출 패턴
____로그 유입을 위해 고려해야 할 사항
________아파치 로그 유입 패턴
________배경
________패턴을 사용하는 이유
________사용 사례
________패턴 구현
________코드 일부
________결과
________추가 정보
____커스텀 로그 유입 패턴
________배경
________패턴을 사용하는 이유
________사용 사례
________패턴 구현
________코드 일부
________결과
________추가 정보
____이미지 유입과 배출 패턴
________배경
________패턴을 사용하는 이유
________사용 사례
________패턴 구현
________코드 일부
________결과
________추가 정보
__NoSQL 데이터에 대한 유입과 배출 패턴
____몽고DB 유입과 배출 패턴
________배경
________패턴을 사용하는 이유
________사용 사례
________패턴 구현
________코드 일부
________결과
________추가 정보
____H베이스 유입과 배출 패턴
________배경
________패턴을 사용하는 이유
________사용 사례
________패턴 구현
________코드 일부
________결과
________추가 정보
__정형 데이터에 대한 유입과 배출 패턴
____하이브 유입과 배출 패턴
________배경
________패턴을 사용하는 이유
________사용 사례
________패턴 구현
________코드 일부
________결과
________추가 정보
__반정형화 데이터에 대한 유입과 배출 패턴
____메인프레임 유입 패턴
________배경
________패턴을 사용하는 이유
________사용 사례
________패턴 구현
________코드 일부
________결과
________추가 정보
____XML 유입과 배출 패턴
________배경
________패턴을 사용하는 이유
________사용 사례
________패턴 구현
____코드 일부
________결과
________추가 정보
__JSON 유입과 배출 패턴
____배경
________패턴을 사용하는 이유
________사용 사례
________패턴 구현
________코드 일부
________결과
________추가 정보
__정리

3장 데이터 프로파일링 패턴
__빅데이터에 대한 데이터 프로파일링
____빅데이터 프로파일링 관점
____빅데이터 프로파일링을 위한 표본추출 시 고려사항
________피그의 표본추출 지원
__데이터 프로파일링에서 피그 사용 기초
__데이터 타입 추론 패턴
____배경
____패턴을 사용하는 이유
____사용 사례
____패턴 구현
____코드 일부
________피그 스크립트
________자바 UDF
____결과
____추가 정보
__기본 통계 프로파일링 패턴
____배경
____패턴을 사용하는 이유
____사용 사례
____패턴 구현
____코드 일부
________피그 스크립트
________매크로
____결과
____추가 정보
__패턴 매칭 패턴
____배경
____패턴을 사용하는 이유
____사용 사례
____패턴 구현
____코드 일부
________피그 스크립트
________매크로
____결과
____추가 정보
__문자열 프로파일링 패턴
____배경
____패턴을 사용하는 이유
____사용 사례
____패턴 구현
____코드 일부
________피그 스크립트
________매크로
____결과
____추가 정보
__비정형 텍스트 프로파일링 패턴
____배경
____패턴을 사용하는 이유
____사용 사례
____패턴 구현
____코드 일부
________피그 스크립트
________형태소분석을 위한 자바 UDF
________TF-IDF 생성을 위한 자바 UDF
____결과
____추가 정보
__정리

4장 데이터 검증과 정제 패턴
__빅데이터를 위한 데이터 검증과 정제
__검증과 정제를 위한 피그 선택
__제약조건 검증과 정제 디자인 패턴
____배경
____패턴을 사용하는 이유
____사용 사례
____패턴 구현
____코드 일부
____결과
____추가 정보
__정규표현식 검증과 정제 디자인 패턴
____배경
____패턴을 사용하는 이유
____사용 사례
____패턴 구현
____코드 일부
____결과
__오류 데이터 검증과 정제 디자인 패턴
____배경
____패턴을 사용하는 이유
____사용 사례
____패턴 구현
____코드 일부
____결과
____추가 정보
__비정형 텍스트 데이터 검증과 정제 디자인 패턴
____배경
____패턴을 사용하는 이유
____사용 사례
____패턴 구현
____코드 일부
____결과
____추가 정보
__정리

5장 데이터 변형 패턴
__데이터 변형
__구조 변형 패턴
____배경
____패턴을 사용하는 이유
____사용 사례
____패턴 구현
____코드 일부
____결과
____추가 정보
__데이터 정규화 패턴
____배경
____패턴을 사용하는 이유
____사용 사례
____패턴 구현
____코드 일부
____결과
____추가 정보
__데이터 통합 패턴
____배경
____패턴을 사용하는 이유
____사용 사례
____패턴 구현
____코드 일부
____결과
____추가 정보
__집계 패턴
____배경
____패턴을 사용하는 이유
____사용 사례
____패턴 구현
____코드 일부
____결과
____추가 정보
__데이터 일반화 패턴
____배경
____패턴을 사용하는 이유
____사용 사례
____패턴 구현
____코드 일부
____결과
____추가 정보
__정리

6장 데이터 축소 패턴
__데이터 축소: 개요
__빅데이터를 위한 데이터 축소에서 고려해야 할 사항
__차원 축소: 주성분 분석 디자인 패턴
____배경
____패턴을 사용하는 이유
____사용 사례
____패턴 구현
________PCA 구현의 한계
____코드 일부
____결과
____추가 정보
__수치 축소 히스토그램 디자인 패턴
____배경
____패턴을 사용하는 이유
____사용 사례
____패턴 구현
____코드 일부
____결과
____추가 정보
__수치 축소 표본추출 디자인 패턴
____배경
____패턴을 사용하는 이유
____사용 사례
____패턴 구현
____코드 일부
____추가 정보
__수치 축소 클러스터링 디자인 패턴
____배경
____패턴을 사용하는 이유
____사용 사례
____패턴 구현
____코드 일부
____결과
____추가 정보
__정리

7장 고급 패턴과 향후 작업
__클러스터링 패턴
____배경
____패턴을 사용하는 이유
____사용 사례
____패턴 구현
____코드 일부
____결과
____추가 정보
__주제 발견 패턴
____배경
____패턴을 사용하는 이유
____사용 사례
____패턴 구현
____코드 일부
____결과
____추가 정보
__자연어 처리 패턴
____배경
____패턴을 사용하는 이유
____사용 사례
____패턴 구현
____코드 일부
____결과
____추가 정보
__분류화 패턴
____배경
____패턴을 사용하는 이유
____사용 사례
____패턴 구현
____코드 일부
____결과
____추가 정보
__향후 트렌드
____데이터 중심 패턴의 출현
____솔루션 중심 패턴의 출현
____프로그램화 제약사항을 다루는 패턴
__정리