AI, 신의 탄생 인간의 종말

들어가며: 어려운 예측과 쉬운 예측

1부 비인간적 지성
1 인류의 특별한 능력
2 만들어진 것이 아니라 자라난 존재
3 욕망의 학습
4 훈련이 목적이 될 때
5 초지능이 사랑하는 것들
6 우리는 패배한다

2부 하나의 멸종 시나리오
7 자각
8 팽창
9 초월
시나리오를 마치며

3부 맞서야 할 도전
10 저주받은 문제
11 연금술, 과학이 아닌 것
12 나는 위기론자가 되고 싶지 않다
13 인류가 멈춰야 할 마지막 실험
14 생명이 있는 곳에 희망이 있다

맺는말

부록 ①. 온라인 보충 자료에 대해
부록 ②. 인공 초지능의 방지에 관한 조약 초안과
각 조별 해설, 선례, 해석 모음집

감사의 글
주석

인류가 지금과 같은 방식으로 인공지능을 다루며 조금도 변화하지 않는다면, 세상이 언제 끝날지 우리는 모른다. 2년 후나 10년 후의 AI 관련 뉴스 헤드라인이 어떻게 나올지, 우리에게 10년이란 시간이 남아 있는지조차 알 수 없다. 우리는 예측하기 어려운 일을 예측할 만큼 우리가 영리하다고 주장하려는 게 아니다. 미래의 한 측면, 곧 "가까운 시일 내에 초지능이 만들어진다면, 우리가 아끼는 모든 것은 어떻게 될 것인가"라는 질문만큼은 충분한 배경지식과 신중한 추론이 있다면 비교적 명확한 답을 내릴 수 있다고 강조하는 것이다.
_ 들어가며 중에서

1950년대, 많은 사람이 세계 주요 강대국 간에 핵전쟁이 일어날 것이라 믿었다. 인류의 전쟁사를 고려하면 비관할 이유는 충분했다. 그러나 지금까지 핵전쟁은 일어나지 않았다. 핵폭탄이 허구였기 때문이 아니라, 인류가 핵전쟁을 막기 위한 시스템을 세웠기 때문이다. 당시 세계 지도자들은 전쟁이 일어나면 자기 자신과 자국민 모두가 끔찍한 대가를 치르게 된다는 사실을 알았다. 그들은 또한 잘 알고 있을 것이다. 지구 어딘가에서 누군가 기계 초지능을 만들어낸다면, 그날 또한 비극적인 날이 될 것이라는 사실을.
_ 들어가며 중에서

초인적 사고 능력을 지닌 초고속의 정신들. 인간보다 1만 배 빠른 속도로 사고하며, 늙지도 죽지도 않고, 가장 성공적인 개체를 복제할 수 있으며, 수십억 번의 시행착오 끝에 인간과는 전혀 다른 사고 체계를 정제해낸 존재들. 그들은 지치지 않고 작동하고, 더 적은 데이터로 더 정확하게 일반화하며, 그 모든 지능을 자신을 분석하고 이해하고 개선하는 데 쏟을 수 있다. 이런 정신은 우리의 능력을 압도할 것이다.
_ 1장 인류의 특별한 능력 중에서