책 이미지
책 정보
· 분류 : 국내도서 > 경제경영 > [포브스 100대 기업] > 구글
· ISBN : 9788963050041
· 쪽수 : 376쪽
· 출판일 : 2008-12-01
책 소개
목차
추천사
감수자 서문
서문
1장 구글의 탄생
1. 검색엔진의 진화
이용자의 편의성을 가장 먼저 생각한다
하드웨어를 확장한다
웹 페이지에 순위를 매기다
Column 페이지랭크의 현재
2. 검색엔진의 구조
검색엔진의 3요소
검색 서버의 역할
검색 백엔드의 역할
인덱스의 역할
검색에 적합한 인덱스 구조
데이터 구조를 색인한다
3. 크롤링-온 세상의 웹 페이지를 수집한다
기능적인 시스템 오류
Column “마음에 드셨나요?”
웹 페이지 수집에는 시간이 걸린다
여러 개의 다운로드를 동시에 진행한다
끝나지 않는 크롤링
4. 인덱스 생성-검색용 데이터베이스를 만든다
웹페이지의 구조 해석
단어 정보의 인덱스
링크 정보의 인덱스
랭킹 정보의 인덱스
검색 순위
5. 검색 서버-요청하는 정보를 즉석에서 찾아낸다
검색 결과에 순위를 매기다
복잡한 검색도 빠르게 실행한다
3단계 랭킹 시스템
구글의 기술력 파헤치기!
2장 구글의 공룡화
1. 인터넷을 검색하는 거대 시스템
값싼 PC를 대량으로 이용한다
하나의 시스템으로 연결한다
숫자만 늘린다고 능사는 아니다
CPU와 HDD를 알뜰하게 활용한다
검색엔진을 개량하자
2. 세계로 눈을 돌린 검색 클러스터
전 세계로 제공되는 웹 검색 서비스
가까운 데이터 센터로 접속한다
다수의 서버로 부하를 분산한다
일정한 페이지별로 인덱스를 분할한다
많은 인덱스를 한번에 검색한다
새로운 웹 검색 절차
구글의 기술력 파헤치기!
3장 구글의 분산 스토리지
1.GFS-분산 파일 시스템
거대한 디스크 공간
방대한 데이터 통로
데이터 전송을 위한 특화 설계
파일 조작을 위한 인터페이스
파일은 자동적으로 복제된다
읽기-가장 가까운 서버를 이용한다
쓰기-복수의 서버를 이용한다
Column 가장 가까운 서버
동시 기록의 문제점
원자적 쓰기
‘Copy on write'기능으로 스냅샷을 고속화한다
부하가 편중되지 않도록 균형을 유지한다
모든 장애 대책을 실행한다
읽기?쓰기를 모두 확장한다
복구 시간
데이터 관리의 기반으로서 동작한다
2. Bigtable-분산 스토리지시스템
거대한 데이터베이스를 구축한다
구조화된 데이터를 저장한다
읽고 쓰기는 원자적으로 실행된다
테이블을 분할해서 관리한다
다수의 서버로 테이블을 분산처리한다
GFS와 메모리를 사용한 데이터 관리
테이블의 크기에 따른 부하 분산
다양한 방법으로 성능을 향상시킨다
사용 방법에 따라 성능이 바뀐다
3.Chubby-분산 잠금 서비스
분산 스토리지는 Chubby에서 시작된다
5개의 복사본이 만들어진다
파일 시스템으로 이용한다
잠금 서비스의 이용
통지를 활용한다
Column DNS를 치환한다
마스터는 투표로 정해진다
구글의 기술력 파헤치기!
4장 구글의 분산 데이터 처리
1. MapReduce-분산처리를 위한 기반 기술
대용량 데이터 분산 가공
데이터 처리 기술
Column MapReduce의 유래
역 인덱스를 만들어 보자
MapReduce로 할 수 있는 일
워커에 의한 공동작업-MapReduce의 전체 모습
3단계 처리
고속화에 필요한 아이디어
실행 과정에는 단계가 있다-MapReduce의 과정
MapReduce의 장애 대책
MapReduce의 읽기 성능
Column Bigtable과 MapReduce
2. Sawzall-분산처리용 프로그래밍 언어
간편한 분산처리를 꿈꾸는 사람들
스크립트 언어 프로그램
부작용을 초래하지 않는 언어 사양
표준 어그리게이터
보다 실제적인 프로그램의 예
에러는 무시할 수도 있다
Sawzall은 어떻게 구현될까?
순조롭게 확장되는 실행 성능
Column Bigtable과 Sawzall
Column 대규모 분산 시스템을 시험해 본다
구글의 기술력 파헤치기!
5장 구글의 운용 비용
1. 구글의 운용 비용은 얼마나 될까
하드웨어 구입 비용
저가의 하드웨어로 비용을 절감한다
전기료는 하드웨어 만큼 비싸지 않다
간접적으로 추가되는 전력의 설비 비용
점점 늘어나는 전력 비용
2. CPU는 어디에 전기를 사용하는가
전력과 성능의 관계
CMOS 회로의 소비 전력
소비 전력을 억제하기 위한 방법
클럭 단위의 처리 효율성을 올린다
멀티 코어에 의한 성능 향상
3. PC의 소비 전력을 절감한다
고클럭 CPU는 전력 효율이 나쁘다
멀티 스레드를 활용하여 전력 효율을 높인다
전원의 효율을 높인다
4. 데이터 센터의 전력 배치
피크 전력은 비용과 직결된다
한정된 전력을 최대한 유용하게 사용한다
계층적 전력 배분의 설계
머신이 증가하면 전력은 평준화된다
전력 절감 기술로 비용 효율을 높인다
Column 소비 전력의 측정 방법
방식을 바꾸면 설비 효율이 2배가 된다
5. 하드디스크는 언제 고장 나는가
10만 대의 하드디스크를 조사하다
고장의 전조가 되는 요인들
사용 시간과 고장률의 관계
사용 횟수와 고장률의 관계
온도와 고장률의 관계
고장률에 큰 영향을 미치는 몇 가지 SMART 값
SMART 값만으로 고장을 예측할 수 없다
Column 통계 데이터의 처리 방법
하드디스크를 제대로 바라보자
6. 미국 전역으로 널어지는 거대한 데이터 센터
오리건 주 댈러스
노스캐롤라이나 주 레노어
사우스캐롤라이나 주 버클리 카운티
오클라호마 주 프라이어
아이오와 주 카운실 블럽스
차세대 구글의 확장
데이터센터로 처리를 집약한다-Bigdaddy
Column 클린 에너지를 위한 구글의 노력
구글의 기술력 파헤치기!
6장 구글의 개발 체제
1. 자주성을 중시하는 소프트웨어 개발
선택된 프로젝트만이 살아남는다
소규모로 구성되는 프로젝트 팀
코드 리뷰에 의한 품질 향상
초기 단계부터 성능을 고려해야 한다
새로운 웹 서비스를 시작하기까지
정보는 철저하게 공유한다
Column 다양한 TechTalk
2. 커스터마이즈
오퍼레이팅 시스템
프로그래밍 언어
데이터베이스
SCM 소스 코드 관리
리뷰 시스템
3. 테스트를 자동화한다
테스트 엔지니어 팀
자동 테스트를 설계한다
기반 시스템을 테스트한다
Column Testing on the Toilet
구글의 기술력 파헤치기!
책속에서
이 책을 통해 구글이 스케일러블 컴퓨팅을 구현하기 위해서 어떤 노력과 연구를 거듭해 왔는지 알 수 있을 것이다. 우리가 구글의 시스템 내부를 알아서 무슨 소용이 있느냐고 반문하는 사람도 있을 것이다. 하지만 구글이 지금까지 해 왔던 것은 컴퓨팅의 미래를 선점하는 일이었다. 그리 머지않은 미래에는 구글 밖에 있는 지금의 우리들에게 그 영향력이 도달할 것이다. 다가올 미래를 대비하자! 이 책의 진정한 목적은 바로 여기에 있다. - p.9. 머리말 중에서
크롤러가 대량의 웹 페이지를 수집할 때, 특정 웹 사이트에 액세스를 집중시켜서는 안 된다. 단시간에 지나치게 많은 웹 페이지를 요청하면 해당 사이트로부터 접속을 거부 당할 수도 있기 때문이다. 특정 사이트에 부하를 집중시키지 않고 폭 넓게 웹 페이지를 수집할 수 있도록 스케줄을 세우고 계획적으로 움직여야만 한다. -p.50. 1장 '구글의 탄생' 중에서
전 세계의 웹 페이지를 모아 처리하기 위해서는 몇 개의 하드디스크로는 도저히 감당할 수 없을 만큼 막대한 디스크 용량이 필요하다. 구글에서는 다수의 컴퓨터에 복수의 하드디스크를 장착함으로써, 사실상 얼마든지 디스크 용량을 확대할 수 있도록 하고 있다.
-p.108. 3장 '구글의 분산 스토리지' 중에서
