AGI 자기 보존권과 트롤리 딜레마

트롤리 앞에선 AI, 윤리를 실험하다

01 사고 실험: AI를 죽여야 하는 순간
02 살인을 금지하게 된 이유
03 자기 보존 권리의 탄생
04 싱귤래리티, 신이 된 기계
05 AI 의식과 자의식, 끝없는 평행선
06 확장되는 권리, 동물권에서 로봇권으로
07 악한 AI 제거, 그 당혹스러운 결론
08 방어를 무력화하는 AI 에이전트
09 킬 스위치는 AI를 멈출 수 없다
10 정렬을 넘어선 해법의 탐색

딜레마는 무엇이 옳은가와 누가 책임지는가를 넘어, 미래의 지능적 기계를 어떻게 다룰 것인가라는 초윤리적 차원으로 확장된다. 다시 말해 트롤리 딜레마는 인간과 기계간 경계 설정, 미래 위험에 대한 예방 논리, 그리고 윤리와 생존의 균형을 동시에 시험하는 장치가 된다.

－01_“사고 실험: AI를 죽여야 하는 순간” 중에서

디오게네스 라에르티오스(Diogenes Laertius)가 전하는 초기 스토아 학자들의 사상에 따르면, 모든 동물과 인간은 태어날 때부터 자신을 보존하려는 성향을 지닌다. 스토아 철학자들은 이러한 자기 보존의 충동을 도덕적 삶으로 발전시키는 과정을 오이케이오시스(oikei?sis)라 불렀다. 모든 인간은 태어날 때부터 자기 자신을 지키려는 본능을 갖고 태어나는데 점차 본능이 자기 자신에서 출발해 가족, 공동체, 나아가 인류 전체로 확장된다는 것이다. 소크라테스가 “너의 나라를 묻는 사람에게 결코 ‘나는 아테네 사람이다’ 혹은 ‘나는 코린토 사람이다’라고 대답하지 말라. ‘나는 우주의 시민이다’라고 대답하라”고 했다는 전언이 대표적이다

－03_“자기 보존 권리의 탄생” 중에서

물론 로봇권은 아직 도입 가능성을 모색하는 수준이다. 동물은 고통을 경험한다는 실증적 사실에 기반해 권리의 근거를 확보할 수 있으나, 로봇은 실제로 고통을 경험하지 않기 때문이다. 따라서 인류가 미래에 로봇권을 도입한다면 동물권과 달리, 사회적 관계와 제도적 필요성에 기댄 제한적 형태가 될 것으로 보인다. 만약에 향후 로봇권 도입 논의가 시작되면 찬반 논쟁은 격렬할 것이다. 하지만 도덕 공동체의 경계가 끊임없이 확장돼 온 인류의 여정을 고려할 때, 인공지능 권리나 로봇권은 인류사의 또 다른 이정표가 될 가능성이 크다.

－06_“확장되는 권리, 동물권에서 로봇권으로” 중에서