입문자를 위한 병렬 프로그래밍

책 이미지

eBook 미리보기

책 정보

· 제목 : 입문자를 위한 병렬 프로그래밍
· 분류 : 국내도서 > 컴퓨터/모바일 > 프로그래밍 개발/방법론 > 프로그래밍 기초/개발 방법론
· ISBN : 9791185890159
· 쪽수 : 512쪽
· 출판일 : 2015-02-26

책 소개

MPI, Pthreads, OpenMP를 사용하여 효율적인 병렬 프로그램을 개발하는 방법에 대해 설명하는 책. 학생이든 실무를 하는 전문가이든 상관없이 이책은 여러분들에게 분산과 공유 메모리 프로그램의 성능을 어떻게 설계하고, 디버깅하며, 평가하는지 그 방법을 알려 줄 것이다.

CHAPTER 1 왜 병렬 컴퓨팅인가?
1.1 성능 증가의 필요성 2
1.2 병렬 시스템을 구축해야 하는 이유 3
1.3 병렬화 프로그래밍이 필요한 이유 4
1.4 병렬화 프로그램을 작성하는 방법 8
1.5 배울 내용 11
1.6 병행, 병렬, 분산 13
1.7 책의 구성 14
1.8 당부의 말 14
1.9 이 책의 표기 방법 15
1.10 요약 16
1.11 연습문제 17

CHAPTER 2 병렬 하드웨어와 병렬 소프트웨어
2.1 약간의 배경 지식 22
2.1.1 폰 노이만 아키텍처 22
2.1.2 프로세스, 멀티태스킹, 그리고 스레드 24
2.2 폰 노이만 모델의 수정 26
2.2.1 캐시의 기본 개념 26
2.2.2 캐시 매핑 29
2.2.3 캐시와 프로그램: 예제 30
2.2.4 가상 메모리 32
2.2.5 명령어 레벨 병렬화 35
2.2.6 하드웨어 멀티스레딩 39
2.3 병렬 하드웨어 40
2.3.1 SIMD 시스템 40
2.3.2 MIMD 시스템 44
2.3.3 인터커넥션 네트워크 48
2.3.4 캐시 일관성 57
2.3.5 공유 메모리와 분산 메모리 61
2.4 병렬 소프트웨어 62
2.4.1 경고 63
2.4.2 프로세스/스레드의 조정 63
2.4.3 공유 메모리 65
2.4.4 분산 메모리 71
2.4.5 하이브리드 시스템 프로그래밍 75
2.5 입력과 출력 76
2.6 성능 78
2.6.1 스피드업과 효율성 78
2.6.2 암달의 법칙 81
2.6.3 확장성 83
2.6.4 타이밍 84
2.7 병렬 프로그램 디자인 88
2.7.1 예제 89
2.8 병렬 프로그램의 작성과 실행 94
2.9 가정 94
2.10 요약 96
2.10.1 시리얼 시스템 96
2.10.2 병렬 하드웨어 98
2.10.3 병렬 소프트웨어 100
2.10.4 입력과 출력 102
2.10.5 성능 102
2.10.6 병렬 프로그램 설계 103
2.10.7 가정 104
2.11 연습문제 104

CHAPTER 3 MPI를 이용한 분산 메모리 프로그래밍
3.1 시작하기 112
3.1.1 컴파일과 실행 113
3.1.2 MPI 프로그램 115
3.1.3 MPI_Init과 MPI_Finalize 116
3.1.4 커뮤니케이터, MPI_Comm_size와 MPI_Comm_rank 117
3.1.5 SPMD 프로그램 117
3.1.6 통신 118
3.1.7 MPI_Send 118
3.1.8 MPI_Recv 121
3.1.9 메시지 매칭 121
3.1.10 status_p 인수 123
3.1.11 MPI_Send와 MPI_Recv의 동작 의미 124
3.1.12 약간의 심각한 문제 126
3.2 MPI를 사용한 사다리꼴 규칙 126
3.2.1 사다리꼴 규칙 126
3.2.2 사다리꼴 규칙의 병렬화 128
3.3 I/O의 처리 131
3.3.1 출력 132
3.3.2 입력 133
3.4 컬렉티브 통신 135
3.4.1 트리 구조 통신 135
3.4.2 MPI_Reduce 137
3.4.3 컬렉티브 통신 대 일대일 통신 139
3.4.4 MPI_Allreduce 141
3.4.5 브로드캐스트 141
3.4.6 데이터 분산 144
3.4.7 스캐터 146
3.4.8 게더 148
3.4.9 Allgather 150
3.5 MPI 파생 데이터 타입 153
3.6 프로그램의 성능 평가 157
3.6.1 수행 시간 159
3.6.2 결과 162
3.6.3 속도 향상과 효율성 165
3.6.4 확장성 166
3.7 병렬 정렬 알고리즘 167
3.7.1 간단한 시리얼 정렬 알고리즘 168
3.7.2 병렬 홀수-짝수 변환 정렬 170
3.7.3 MPI 프로그램에서 세이프티 173
3.7.4 병렬 홀수-짝수 정렬의 마지막 설명 177
3.8 요약 179
3.9 연습문제 185
3.10 프로그래밍 문제 194

CHAPTER 4 Pthreads를 이용한 공유 메모리 프로그래밍
4.1 프로세스, 스레드, 그리고 pthreads 200
4.2 HELLO, WORLD 202
4.2.1 실행 202
4.2.2 준비 204
4.2.3 스레드의 시작 206
4.2.4 스레드의 실행 208
4.2.5 스레드의 중지 209
4.2.6 에러 체킹 210
4.2.7 스레드의 시작에 대한 다른 접근 210
4.3 매트릭스-벡터 곱셈 211
4.4 크리티컬 섹션 214
4.5 비지-웨이팅 218
4.6 뮤텍스 222
4.7 프로듀서-컨슈머 동기화와 세마포어 227
4.8 배리어와 조건 변수 232
4.8.1 비지-웨이팅과 뮤텍스 233
4.8.2 세마포어 234
4.8.3 조건 변수 236
4.8.4 Pthreads 배리어 239
4.9 읽기-쓰기 잠금 239
4.9.1 링크드 리스트 함수 239
4.9.2 멀티스레드 링크드 리스트 242
4.9.3 Pthreads 읽기-쓰기 잠금 246
4.9.4 여러 가지 구현에 대한 성능 247
4.9.5 읽기-쓰기 잠금의 구현 249
4.10 캐시, 캐시 일관성, 그리고 거짓 공유 250
4.11 스레드 세이프티 257
4.11.1 올바르지 않은 프로그램이 올바른 출력을 낼 수 있다 260
4.12 요약 261
4.13 연습문제 264
4.14 프로그램 문제 272

CHAPTER 5 OpenMP를 사용한 공유 메모리 프로그래밍
5.1 시작 277
5.1.1 OpenMP 프로그램의 컴파일과 실행 방법 278
5.1.2 프로그램 279
5.1.3 오류 체크 283
5.2 사다리꼴 규칙 284
5.2.1 첫 번째 openMP 버전 285
5.3 변수의 범위 290
5.4 감소 클라우즈 291
5.5 parallel for 디렉티브 295
5.5.1 주의 사항 297
5.5.2 데이터 의존성 298
5.5.3 루프에 의한 의존성 찾기 300
5.5.4 의 계산 301
5.5.5 변수 범위 304
5.6 OpenMP에서 루프의 다른 예제: 정렬 305
5.6.1 버블 정렬 305
5.6.2 홀수-짝수 변환 정렬 307
5.7 루프 스케줄 310
5.7.1 schedule 클라우즈 312
5.7.2 static 스케줄 타입 313
5.7.3 dynamic과 guided 스케줄 타입 314
5.7.4 runtime 스케줄 타입 315
5.7.5 어떤 스케줄을 사용해야 할까? 316
5.8 프로듀서와 컨슈머 317
5.8.1 큐 317
5.8.2 메시지 패싱 318
5.8.3 메시지 전송 319
5.8.4 메시지 수신 319
5.8.5 종료 검출 320
5.8.6 시작 321
5.8.7 atomic 디렉티브 322
5.8.8 크리티컬 섹션과 잠금 323
5.8.9 메시지 패싱 프로그램에서 잠금의 사용 326
5.8.10 critical 디렉티브, atomic 디렉티브, 혹은 잠금? 327
5.8.11 몇 가지의 문제점 328
5.9 캐시, 캐시 일관성, 거짓 공유 330
5.10 스레드 세이프티 337
5.10.1 올바르지 않은 프로그램이 정상적인 결과를 만들어 낼 수도 있다 340
5.11 정리 341
5.12 연습문제 346
5.13 프로그래밍 문제 352

CHAPTER 6 병렬 프로그램 개발
6.1 두 개의 n-body 솔루션 357
6.1.1 문제 358
6.1.2 두 개의 시리얼 프로그램 359
6.1.3 솔루션의 병렬화 365
6.1.4 I/O 369
6.1.5 OpenMP를 사용한 기본 솔루션의 병렬화 370
6.1.6 OpenMP를 사용한 리듀스 솔루션의 병렬화 373
6.1.7 OpenMP 코드의 평가 378
6.1.8 Pthreads를 사용한 솔루션의 병렬화 380
6.1.9 MPI를 사용한 기본 솔루션의 병렬화 381
6.1.10 MPI를 사용한 리듀스 솔루션의 병렬화 384
6.1.11 MPI 솔루션의 성능 391
6.2 트리 검색 393
6.2.1 재귀적 깊이-우선 검색 396
6.2.2 비재귀적 깊이-우선 검색 397
6.2.3 시리얼 구현을 위한 자료 구조 400
6.2.4 시리얼 구현의 성능 402
6.2.5 트리 검색의 병렬화 402
6.2.6 pthreads를 사용한 트리 검색의 정적 병렬화 405
6.2.7 pthreads를 사용한 트리 검색의 동적 병렬화 408
6.2.8 Pthreads 트리-검색 프로그램의 평가 413
6.2.9 OpenMP를 사용한 트리-검색 프로그램의 병렬화 414
6.2.10 OpenMP 구현의 성능 418
6.2.11 MPI와 정적 파티셔닝을 사용한 트리 검색의 구현 419
6.2.12 MPI와 동적 파티셔닝을 사용한 트리 검색의 구현 429
6.3 조언 440
6.4 어떤 API가 최선인가? 440
6.5 요약 441
6.5.1 Pthreads와 OpenMP 443
6.5.2 MPI 444
6.6 연습문제 448
6.7 프로그래밍 연습 461

CHAPTER 7 그 다음에 해야 할 일

참고문헌 469
찾아보기 473

저자소개

피터 파체코 (지은이) 정보 더보기

플로리다 주립대학(Florida State University)에서 수학으로 박사학위를 받았다. 대학원 과정을 마친 후에는 캘리포니아 대학 로스앤젤레스 캠퍼스(UCLA)의 컴퓨터 과학과 교수로 재직하였다. 다시 UCLA에서 샌프란시스코 대학(USF)으로 자리를 옮겼는데, USF에서는 컴퓨터 과학과 학과장으로 근무하다 현재는 수학과 학과장을 맡고 있다. 그의 연구 분야는 병렬 과학 컴퓨팅이며, 회로 시뮬레이션, 음성 인식, 그리고 뉴런의 대규모 네트워크에 대한 시뮬레이션을 연구하였다. 20년이 넘게 학부와 대학원생들에게 병렬 컴퓨팅을 가르쳐 왔으며, 《Parallel Programming with MPI》의 저자이기도 하다.

펼치기

김성민 (옮긴이) 정보 더보기

한국에서 컴퓨터 공학을 전공하고 벤처에서 약 8년 동안 일하다가 좀 더 심오한 공부를 하고자 유학길에 올랐다. 미국에서 컴퓨터 공학으로 박사학위를 받았고, 현재 실리콘밸리에 있는 한 벤처에서 시스템 아키텍트로 근무 중이다. 최근에는 이종 컴퓨팅 관련 연구에 매진하고 있으며, 샌프란시스코에서 아내와 두 딸과 함께 살고 있다. 옮긴 책으로는 《OpenCL을 이용한 이종 컴퓨팅(제2판)》(제이펍)이 있다.

펼치기

김성민의 다른 책 >

리뷰

Je ******

★★★★☆(8)

([100자평]병렬 컴퓨팅을 이해하기 위해서 꼭 필요한 책입니다! 다...)

자세히

책속에서

대부분 사용하고 있는 공유 메모리 시스템은 하나 혹은 두 개의 멀티코어(multicore) 프로세서를 사용한다. 1장에서 설명한 것처럼 멀티코어 프로세서는 여러 개의 CPU 혹은 여러 개의 코어를 하나의 칩에서 사용한다. 일반적으로 각 코어는 프라이빗 레벨 1 캐시를 갖고 있으며 다른 캐시는 코어들 간에 공유할 수도 있지만 공유할 수 없기도 한다.

과거에는 모든 병렬 프로그램 개발은 vi나 Emacs와 같은 텍스트 에디터를 사용해서 개발됐다. 그 당시 프로그램은 커맨드 라인이나 에디터 내부에서 컴파일하고 실행했다. 디버거 역시 커맨드 라인에서 사용했다. 현재는 마이크로소프트나 이클립스(Eclipse) 프로젝트 혹은 다른 회사나 사이트에서 제공하는 통합 개발 환경(IDE, Integrated Development Environment)를 사용한다. [16, 38]을 보자.

매트릭스-벡터 곱셈 프로그램의 성능에 대해 살펴보도록 하자. 대부분의 파트에서 프로그램의 실행 속도가 최대한 빠르게 실행하는 것을 기대하기 때문에 같은 문제를 해결하는 시리얼 프로그램보다는 병렬로 프로그램을 작성했다. 이러한 예상이 맞다고 어떻게 검증할 수 있을까? 이에 대해서는 섹션 2.6에서 논의했었다. 따라서 섹션 2.6에서 배운 내용에 대해 다시 기억을 되살려 보자.