Hadoop과 Solr를 이용한 기업용 검색 시스템 구축

1장 하둡과 맵리듀스를 이용한 데이터 처리
아파치 하둡과 하둡 에코 시스템 이해
__아파치 하둡 에코 시스템
____아파치 HBase
____아파치 피그
____아파치 하이브
____아파치 주키퍼
____아파치 머하웃
____아파치 HCatalog
____아파치 암바리
____아파치 에이브로
____아파치 스쿱
____아파치 플룸
대량 데이터를 HDFS에 저장
__HDFS 아키텍처
____네임노드
____데이터노드
____세컨더리네임노드
____데이터 조직화
____HDFS 접근
하둡데이터를 분석하는 맵리듀스 생성
__맵리듀스 아키텍처
____잡트래커
____태스크트래커
하둡 설치 및 구동
__사전 요구 조건
__암호 입력 없는 SSH 설정
__장비에 하둡 설치
__하둡 설정
__하둡에서 프로그램 구동
하둡 클러스터 관리
요약

2장 솔라 이해
솔라 설치
아파치 솔라 아키텍처
__저장소
__솔라 엔진
____질의 구문 해석기
__상호작용
____클라이언트 API와 SolrJ 클라이언트
____다른 인터페이스
아파치 솔라 검색 설정
__인스턴스의 스키마 정의
__솔라 인스턴스 설정
____설정 파일
__요청 취급자와 검색 구성요소
____파싯
____MoreLikeThis
____Highlight
____SpellCheck
____메타데이터 관리
검색을 위한 데이터 적재
__ExtractingRequestHandler/솔라 셀
__SolrJ
요약

3장 하둡과 솔라를 사용한 빅데이터 처리
문제
데이터 처리 작업 흐름 이해
__독립 장비 구성
__분산 구성
__복제 모드
__샤드 모드
솔라 1045 패치 사용 - 맵 쪽 색인
__장점과 단점
____장점
____단점
solr-1301 패치 사용: 리듀스 쪽 색인
__장점과 단점
____장점
____단점
분산 검색에서 솔라클라우드 사용
__솔라클라우드 아키텍처
__솔라클라우드 설정
__솔라클라우드에 다중 코어 솔라 검색 사용
__장단점
____장점
____단점
카타를 사용한 빅데이터 검색 (Solr-1395 패치)
__카타 아키텍처
__카타 클러스터 설정
__카타 색인 생성
__장점과 단점
____장점
____단점
요약

4장 빅데이터 기반 대형 색인 생성
NOSQL 개념 이해
CAP 이론
__NOSQL 데이터베이스란 무엇인가?
__키/값 저장소 또는 칼럼 기반 저장소
____문서 기반 저장소
____그래프 데이터베이스
__왜 빅데이터엔 NOSQL 데이터베이스인가?
__빅데이터 저장소로 솔라를 사용하는 법
분산 검색 개념 이해
__분산 검색 아키텍처
__분산 검색 시나리오
릴리: 솔라 하둡 동시 운용
__아키텍처
____쓰기 전 기록(Write-ahead Logging,WAL)
____메시지 큐
____릴리를 사용한 질의
____릴리를 사용한 레코드 갱신
__릴리 설치 및 구동
파고 들기: 아파치 솔라의 샤드와 색인 데이터
__샤딩 알고리즘
__분산 샤드에 문서 추가
대형 색인을 다루기 위한 솔라클라우드 설정
__주키퍼 앙상블 설정
__아파치 솔라 인스턴스 설정
__샤드, 컬렉션, 복제본을 솔라클라우드에 생성
요약

5장 빅데이터 확장에 따른 검색 성능 향상
제약사항 이해
검색 스키마 최적화
__기본 검색 필드 지정
__검색 스키마 필드 설정
__스톱 워드
__스테밍
색인 최적화
__색인 버퍼 크기 제한
__언제 변경 사항을 커밋하는가?
__색인 병합 최적화
__색인 병합의 선택사항 최적화
__컨테이너 최적화
__병렬 클라이언트 최적화
__자바 가상 메모리 최적화
검색 실행시간 최적화
__검색 질의를 통한 최적화
____필더 쿼리
__솔라 캐시 최적화
____필터 캐시
____질의 결과 캐시
____문서 캐시
____필드 값 캐시
____지연 필드 로딩
__하둡 검색 최적화
솔라 인스턴스 모니터링
솔라미터 사용
요약

부록 A 빅데이터 검색 사용사례

B 아파치 솔라를 사용한 기업용 검색 구현

C 솔라 색인을 만드는 맵리듀스 프로그램 예제