Smack 스택을 이용한 빠른 데이터 처리 시스템

1장. SMACK 소개

__최신 데이터 처리 문제
__데이터 처리 파이프라인 아키텍처
____NoETL 선언문
____람다 아키텍처
____하둡.
__SMACK 기술
____아파치 스파크
____아카
____아파치 카산드라
____아파치 카프카
____아파치 메소스
__데이터 센터 운영 변경
____스케일 업부터 스케일 아웃까지
____오픈소스 우위
____데이터 저장소 다변화
____데이터 중력 및 데이터 지역
____개발자 운영 규칙
__데이터 전문가 프로필
____데이터 아키텍트
____데이터 엔지니어
____데이터 애널리스트
____데이터 사이언티스트
__나를 위한 SMACK인가
__요약

2장. 모델: 스칼라와 아카

__언어: 스칼라
____카타 1: 컬렉션 계층구조
____카타 2: 올바른 컬렉션 선택
____카타 3: foreach 순회
____카타 4: for 순회
____카타 5: 반복자
____카타 6: 맵으로 변환하기
____카타 7: flatten
____카타 8: filter
____카타 9: 하위 시퀀스.
____카타 10: split
____카타 11: 유일한 엘리먼트 추출
____카타 12: 병합
____카타 13: 게으른 뷰
____카타 14: 정렬
____카타 15: 스트림
____카타 16: 배열
____카타 17: ArrayBuffer
____카타 18: 큐
____카타 19: 스택
____카타 20: 범위
__모델: 아카
____액터 모델 요약
____카타 21: 액터
____카타 22: 액터 통신
____카타 23: 액터 생명 주기
____카타 24: 액터 시작
____카타 25: 액터 중지카타 26: 액터 종료
____카타 27: 액터 시스템 셧다운
____카타 28: 액터 모니터링
____카타 29: 액터 검색.
____요약

3장. 엔진: 아파치 스파크

__싱글 모드의 스파크
____아파치 스파크 다운로드
____아파치 스파크 테스트
__스파크 핵심 개념.
__RDD
____스파크 애플리케이션 실행
____스파크 컨텍스트 초기화
____스파크 애플리케이션
____프로그램 실행
____RDD 오퍼레이션
____영속화(캐싱)
__클러스터 모드의 스파크.
____런타임 아키텍처
____스탠드얼론 클러스터 매니저
__스파크 스트리밍
____스파크 스트리밍 아키텍처
____트랜스포메이션
____출력 오퍼레이션
____내결함성을 지닌 스파크 스트리밍
____스파크 스트리밍 성능
____윈도우 크기와 배치 크기
____가비지 콜렉터
__요약

4장. 스토리지: 아파치 카산드라

__역사
__NoSQL
____NoSQL 또는 SQL?
____브루어의 CAP 이론172
__아파치 카산드라 설치..
____데이터 모델
____데이터 스토리지
____설치
____데이터스택스 옵스센터..
____키 스페이스 생성
__인증과 권한(역할)
____간단한 인증과 권한을 설정
__백업
____압축
__복구
____재시작 노드
____스키마 출력
____로그
____log4j 설정
____로그 파일 로테이션
____사용자 활동 로그
____트랙잭션 로그
____SQL 덤프
____CQL..
____DBMS 클러스터
____DB와 DBMS의 최적화
____블룸 필터
____데이터 캐시
____자바 힙 조정
____자바 가비지 컬렉션 조정
____뷰, 트리거, 저장 프로시저
____클라이언트-서버 아키텍처
__스파크 카산드라 커넥터
____커넥터 설치
____커넥션 연결
____커넥터 사용
__요약

5장. 브로커: 아파치 카프카

__카프카 소개
____아파치 카프카 기능
____빠른 데이터가 되기 위해 태어남
____사용 사례
__설치
____자바 설치
____카프카 설치
____카프카 임포트
__클러스터
____단일 노드 - 단일 브로커 클러스터
____단일 노드 - 다중 브로커 클러스터
____다중 노드-다중 브로커 클러스터
____브로커 속성
__아키텍처
____세그먼트 파일
____오프셋
____리더
____그룹
____로그 컴팩션
____카프카 설계
____메시지 압축
____복제
__프로듀서
____프로듀서 API
____스칼라 프로듀서
____자체 파티션을 가진 프로듀서
____프로듀서 설정
__컨슈머
____컨슈머 API
____간단한 스칼라 컨슈머
____멀티 스레드 스칼라 컨슈머
__통합
____아파치 스파크와 통합
__관리
____클러스터 툴
____서버 추가
____카프카 토픽 툴
____클러스터 미러링
__요약

6장. 관리자: 아파치 메소스

__아파치 메소스 아키텍처
____프레임워크
____기존 메소스 프레임워크
____속성과 자원
____아파치 메소스 API
__자원 할당
____DRF 알고리즘
____가중치 적용 DRF 알고리즘
____자원 설정
____자원 예약
__AWS에서 메소스 클러스터 실행하기
____AWS 인스턴스 타입
____AWS에 메소스 설치
____메소스 다운로드
____메소스 구축
__사설 데이터 센터에서 메소스 클러스터의 실행
____메소스 설치
____메소스의 일반적인 이슈
__스케줄링과 매니지먼트 프레임워크
____마라톤
____크로노스
____크로노스와 마라톤
__아파치 오로라
____오로라 설치
__싱귤래리티
____싱귤래리티 설치
__아파치 메소스에서의 아파치 스파크
____클라이언트 모드에서 작업 제출
____클러스터 모드에서 작업 제출
____추가 설정
__아파치 메소스에서 아파치 카산드라 사용
____추가 설정
__아파치 메소스에서 아파치 카프카 사용
____카프카 로그 관리
__요약

7장. 사례 연구 1: 스파크와 카산드라

__스파크 카산드라 커넥터
____필수 요건
____카산드라 준비
____스파크 컨텍스트 설정
____카산드라와 스파크 스트리밍
____스파크 스트리밍 설정
____카산드라 설정
____스트리밍 컨텍스트 생성
____스트림 생성
____데이터 집합을 카산드라로 저장
____카산드라의 객체 저장(사용자 정의 타입)
____카산드라 옵션을 스칼라 옵션으로 변환
____RDD를 새로운 테이블로 저장
____클러스터 배포
____스파크 카산드라 사용 사례
__연구 사례: 칼리오페 프로젝트
____칼리오페 설치
____CQL3
____스리프트
____칼리오페 SQL 컨텍스트 생성
____칼리오페 SQL 설정
__요약

8장. 사례 연구 2: 커넥터

__아카와 카산드라
____카산드라에 저장
____카산드라에서 읽기
____카산드라에 연결
____검색할 트윗
____검색 테스트
__아카와 스파크
__카프카와 아카
__카프카와 카산드라
__요약

9장. 사례 연구 3: 메소스와 도커

__메소스 프레임워크 API
____인증, 권한, 접근 제어
____프레임워크 인증
____인증 설정
____프레임워크 권한
____접근 제어 목록
__스파크 메소스의 실행 모드
____코오스 그레인드 모드
____파인 그레인드 모드
__아파치 메소스 API
____스케줄러 HTTP API
__메소스 컨테이너라이저
____컨테이너
__도커 컨테이너라이저
____컨테이너와 컨테이너라이저
____컨테이너라이저 타입
____컨테이너라이저 생성
____메소스 컨테이너라이저
____도커 컨테이너라이저
____컨테이너라이저 결합
__요약