무자비한 알고리즘

들어가는 말

1부 도구상자 :
인공지능 시스템은 어떻게 만들어지는가
1장 판단력이 떨어지는 로봇 재판관
2장 자연과학의 팩트 공장

2부 정보학의 작은 ABC :
알고리즘, 빅데이터, 컴퓨터지능은 서로 어떻게 연결되는가
3장 알고리즘, 컴퓨터를 위한 행동지침
4장 빅데이터와 데이터마이닝
5장 컴퓨터지능
6장 머신러닝 vs 인간(2:0)
7장 기계실에서 본 것들

3부 기계와 더불어 더 나은 미래로 가는 길 :
왜, 인공지능 윤리인가
8장 알고리즘과 차별, 그리고 이데올로기
9장 어떻게 감독할 수 있을까
10장 기계가 인간을 판단하는 걸 누가 원할까
11장 강한 인공지능은 필요할까

맺음말
감사의 말
주

알고리즘 기반의 의사결정 시스템을 전부 다 시험대에 올릴 필요는 없기 때문이다. 내부의 역학을 감독하고 조절할 필요가 있는 시스템들은 다음과 같다.

ㆍ 인간에 대해 결정하는 시스템
ㆍ 인간에 관계된 자원에 대해 결정하는 시스템
ㆍ 인간의 사회참여 가능성을 변화시킬 결정을 내리는 시스템

전체 알고리즘 중에서 이런 시스템이 차지하는 비율은 적다. (…) 가령 결함이 있는 나사를 분간해 생산 벨트로부터 밀어내는 결정을 내리는 시스템은 이에 속하지 않는다. 경작지에 정확히 비료를 공급하는 시스템도 특별히 감시해야 할 시스템은 아니다. 반면 의심스러운 경우 사고로 이어질 수 있는 자율주행자동차는 이런 범주에 속한다. 단순히 이미지를 인식하거나 언어를 번역하는 시스템은 그에 속하지 않지만, 만약 이런 시스템이 자율주행자동차에 장착되어 사고 발생 요인이 될 수 있는 경우라면 문제가 또 다르다. 의료영역의 인공지능 시스템은 단연 조심스럽게 감시 감독해야 한다. 하지만 처방전 없이 살 수 있는 약품을 추천하는 시스템은 그에 해당하지 않는다. 〈1장 판단력이 떨어지는 로봇 재판관〉

그렇다면 알고리즘이란 대체 무엇일까? 알고리즘이 그저 수학 문제를 풀기 위해 정해진 행동지침이라는 말을 들으면 많은 사람들은 약간 실망한다. 여기서 수학 문제는 문제풀이자가 어떤 정보를 받게 되는지, 그리고 문제풀이 결과가 해답으로 여겨지기 위해 어떤 특성을 가져야 하는지를 규정한다. 따라서 문제가 인풋(입력된 정보)와 아웃풋(원하는 해답) 사이의 관계를 정하는 것이다. 그리하여 정보학에서는 ‘주어진 것’이 무엇이고 ‘찾는 것’이 무엇인지에 대해 늘 이야기한다. 구체적으로 말하자면 내비게이션 기기가 ‘최단경로 문제’를 해결할 때는 거리지도와 출발지와 목적지가 주어진 상태에서 기기가 가장 빠른 길을 찾는 것이다. 〈3장 알고리즘, 컴퓨터를 위한 행동지침〉

따라서 일방적인 피드백은 알고리즘 의사결정 시스템을 훈련하는 데 나쁜 전제이다. 처음에 트레이닝 데이터가 적을 경우에는 특히나 그렇다. 그러나 인간과 관련된 영역에서는―리스크나 성공 예측에 관한 한―일방적인 피드백만 존재하는 상황이 예외가 아니라 보통이다. 보통 알고리즘 의사결정 시스템의 사용자들은 높은 리스크를 가진 사람들을 피하고, 높은 성공잠재력을 가진 사람들을 찾기 때문이다. 그리하여 이른바 낮은 잠재력을 가진 지원자들은 그들이 일을 잘 감당할 수 있었다는 걸 증명할 길이 없다. 기계가 높은 리스크를 예측한 사람들은 그들이 대출금을 잘 상환할 수 있었음을 보여줄 길이 없다. ‘낮은’ 교육 잠재력을 가진 것으로 예측된 아이들은 일찌감치 대학 진학을 포기하게 마련이라, 그들이 대학 공부를 잘 해낼 수 있다는 걸 증명할 길이 없다. 따라서 이제 머신러닝은 무엇을 할 수 있을까? 〈5장 컴퓨터지능〉