무책임한 AI

1장 인공지능이 판단하는 세상

1부 기계는 어떻게 결정을 내리는가
2장 알고리즘의 성차별
3장 정보과학의 작은 ABC
4장 기계는 신용도를 평가하는 법을 어떻게 배울까?
알고리즘, 휴리스틱, 그리고 모델
5장 1부 요약

2부 인공지능이 만들어낸 문제들
6장 얼굴을 인식할 수 없습니다
7장 억울하게 체포된 남자
8장 왜 나는 집을 찾을 수 없을까?
9장 내 돈은 어디 갔지?
10장 인스타그램에서 우울증을 감지하는 법
11장 챗지피티는 왜 나를 히틀러의 오른팔로 만들까?
12장 일레인 허츠버그는 왜 죽어야 했을까?
13장 2부 요약

3부 왜 이렇게 되었는지 알아야 할 때
14장 검증 가능한 결정과 검증 불가능한 결정
15장 언어행위는 언제 성공하는가?
16장 컴퓨터가 내 글에 점수를 매길 수 있을까?
17장 계정이 갑자기 정지된 이유
18장 내가 테러리스트라고?
19장 인공지능과 ‘일반적인 절차’의 학습
20장 가치판단이 자동화될 수 있을까?
21장 3부 요약

4부 우리는 앞으로 어떻게 결정을 내릴 것인가?
22장 자동화된 의사결정 시스템을 활용하면 어떤 점이 더 나을까?
23장 나의 알고리즘을 언제 사용할 수 있을까?
24장 영리한 한스, 어떻게 그렇게 할 수 있니?
25장 이의 제기는 가치가 있다
26장 4부 요약

주

오늘날 최초로, 기계들이 인간의 행동을 평가하기 시작했다. 대부분 ‘인공지능’(줄여서 AI)이라 불리는 기계들이다. 온라인 상점에서 상품을 추천하는 일이나 외국어를 번역하는 일에서 인공지능이 꽤나 진보를 보여주고 있다 보니, 정보과학이나 경제 분야에서는 컴퓨터가 쇼핑보다 더 복잡한 상황에서도 인간을 평가할 수 있지 않을까 하는 생각이 확산되었다. 나는 컴퓨터과학 분야에서 오래 연구를 해왔지만, 이러한 생각에 동의하지는 않는다. 그리고 그렇게 생각하지 않는 것은 나만이 아니다.
그럼에도 오늘날 의사결정 시스템은 여러모로 활용되고 있다. 학생들이 쓴 에세이의 점수를 내는 기계도 있고, 범죄자의 재범 가능성을 평가하는 기계도 있다. 지원자가 그 직장에 얼마나 적임자인지, 과연 미래에 성공적으로 일을 할 수 있을지를 평가하는 기계도 있다.
〈1장 인공지능이 판단하는 세상〉

알고리즘 자체는 정확해도, 그것이 상황에 맞지 않을 수도 있다. 그리하여 은행이 그냥 ‘알고리즘 탓’을 하는 것으로는 충분하지 않다. 알고리즘이 그 자체로 합리적이고, 상황에 적절하다는 점이 명확해야 한다. 알고리즘을 활용해 신용한도를 계산한다고 해서 그것이 신용도를 정확히 평가하는 방법이라는 보장은 없다. 알고리즘으로 계산한다고 결정의 품질이 좋다고 할 수 없다. (중략) 즉 기계가 통계 모델을 계산하고, 이에 기초해 기계적 의사결정이 내려지기 전, 모든 알고리즘의 배후에는 우선 개발자들 머릿속의 모델이 존재한다. 그리고 기계가 계산한 의사결정을 이해하고 신뢰하려면 대부분은 이 두 모델, 즉 인간 모델과 기계 모델을 이해해야 한다.
〈2장 알고리즘의 성차별〉

고용주가 입력한 정보와 복지금 수급 신청자가 입력한 정보 사이에 불일치가 보이는 경우, 미다스 시스템은 이를 신청자의 속임수로 판단했다. 정당하게 사회복지 지원금을 신청했는데도 이런 오류가 발생할 수 있었다. (중략) 인간 직원이 심사하는 경우 이런 일은 발생하지 않는다. 이것은 소프트웨어의 모델링 오류로, 사회복지법을 잘 모르는 개발자가 소프트웨어를 성의 없이 개발한 탓이 크다.
하지만 이제 문제는 기계가 성급하게 판결을 내렸을 뿐만 아니라, 판결이 내려진 즉시 집행되었다는 것이다. 이런 절차는 ‘로보 판결’이라 명명되었다. 그리하여 별안간 사기꾼이 된 사람들에게 지급받은 금액의 5배에 해당하는 금액을 12퍼센트의 이자를 붙여 함께 반환하라는 편지가 발송되었다. 이와 관련해 미다스 시스템은 2013년 10월부터 18개월 동안 약 5만 건의 고지서를 자동으로 발행했다. 그레이와 셰퍼에 따르면, 2015년까지 발송된 고지서에 따른 청구 금액은 약 5,700만 달러에 육박한다고 한다. 정말 놀라울 정도다.
〈9장 내 돈은 어디 갔지?〉