[큰글자책] AI와 감시 자본주의

눈에 보이지 않는 AI 감시 시스템의 그물

01 AI 감시 시스템의 빛과 그늘
02 AI 감시 기술과 인프라
03 글로벌 AI 감시 동향
04 감시 기반 가격 및 임금 책정
05 알고리듬 보스
06 역감시
07 스마트 치안
08 AI의 공중 보건 감시
09 AI 규제와 안전 대책
10 AI 감시 사회를 살아가기 위한 생활의 지혜

우리가 행동하거나 말하거나 구매하는 모든 것은 누군가에 의해 기록된다. 이는 우리의 프라이버시가 점점 더 많은 부분에서 박탈되고 있다는 뜻이고, 그로부터 빠져나오기가 점점 더 어려워져 사실상 불가능해졌다는 뜻이다. 특히 코로나바이러스 대유행 기간을 거치면서 현금의 쓰임새는 눈에 띄게 줄었다. 거의 모든 거래는 온라인으로 이전되었고 물리적 형태의 현금 또한 디지털 결제 방식으로 전환되었다. 그로 인해 누군가에게 노출되지 않고 비밀리에 무엇인가를, 예를 들면 많은 나라에서 합법으로 용인되지만 부정적 인식이 강한 담배, 포르노물, 건강에 과히 좋지 않은 음식 등을 구매하기는 거의 불가능해졌다. 얼마 안 있어 우리는 우리의 흡연이나 식습관이 사회적으로 긍정적이거나 모범적인 것이 아니라는 지적과 더불어, 그런 습관을 줄이지 않으면 우리의 ‘사회적 신용(social credit)’ 점수가 깎일 것이라는 경고를 받게 될 수도 있다. 중국 사회에서 이미 벌어지고 있는 현실이다.

－01_“AI 감시 시스템의 빛과 그늘” 중에서

그러나 얼굴 인식 기술을 접목한 감시, 혹은 그런 기술을 갖춘 감시 카메라는 개인의 프라이버시와 인권을 침해할 위험성이 훨씬 더 높다. 공공장소에서 자신이 카메라에 찍힐 가능성이 있다고 인지한 경우라도, 대부분의 사람들은 그저 우연히 찍히는 데서 그치고 더 이상의 데이터 처리가 수행될 것으로는 예상하지 않는다. 공원이나 광장의 감시 카메라에 찍힌 자신의 얼굴이 데이터베이스에 추가되고 신원까지 식별될 것으로 예상하지도 않는다. 공공장소에서 일반인들이 갖게 마련인 소위 ‘프라이버시에 대한 타당한 기대’다. 지난해 유럽연합이 인공지능법(AI Act)을 통해 ‘공공장소에서의 실시간 원격 생체 인식 시스템’을 아예 개발하지 못하도록 금지한 것도 그러한 인권 침해의 우려 때문이다.

－03_“글로벌 AI 감시 동향” 중에서

지난 2∼3년간 폭발적으로 증가한 AI 투자와 개발 경쟁은 빅 테크를 비롯한 여러 AI 개발사들을 ‘데이터를 먹는 하마’로 만들었다. 데이터가 많으면 많을수록 그 성능도 대체로 더 향상하는 거대 언어 모델을 기반으로 한 생성형 AI(generative AI)의 경우는 그런 요구의 절박성이 더 높다. 특정 분야나 목적에 따라 해당 분야의 데이터만을 수집하고 분석하고 전망하는 소위 ‘예측형 AI’와 달리 생성형 AI는 그 목적이 따로 규정되지 않은 범용 AI(GPAI)다. 따라서 데이터의 종류나 성격, 내용을 가리지 않고 무차별적으로 수집한다. 데이터는 많으면 많을수록 좋다. 가능하다면 하늘 아래 존재하는 모든 데이터를 끌어모아 AI 학습에 활용한다는 게 개발사들의 공통된 원칙이다. 그런 맥락에서 지브리 열풍은 챗지피티 입장에서는 더 많은 사람들이 자발적으로 자신과 주변 사람들의 개인 정보를 기꺼이 제공하도록 유혹한 더없이 효과적인 ‘대박 마케팅’이었던 셈이다.

－06_“역감시” 중에서