AX터뷸런스 (AI 대전환기 가짜와 분열 속 질서를 설계하는 TRUST AND SAFETY)
전수민 | 박영사
15,300원 | 20251017 | 9791130323930
머리말: 실리콘밸리, AX 터뷸런스의 진원지에서
※ 본 책에서 언급하는 플랫폼 운영 사례, 정책적 논쟁, 기술의 한계는 업계에서 공통된 고민이며, 특정 기업이나 조직을 비판하거나 대변하지 않는다. 저자가 재직 중인 디스코드(Discord Inc.)의 공식 입장과는 무관하며, 모두 저자의 개인적 견해임을 밝힌다.
불평등의 현장에서 시작된 질문
어린 시절 외가 방문차 파라과이에 갔을 때 세상의 불평등을 자연스럽게 체감했다. 창문 너머로 내려다본 풍경은 어디서나 비슷해 보였지만, 문을 열고 그 땅을 직접 밟아보면 삶의 조건은 전혀 달랐다. 어떤 아이는 학교에 가기 위해 먼 길을 걸어야 했고, 어떤 동네는 전기도 물도 제대로 공급되지 않았다. 그때부터 내게는 하나의 질문이 자리 잡았다.
왜 누군가에게는 평범한 일상이 또 다른 이에게는 특별함이 되는가? 그 불평등은 어디서 비롯되는가?
아시아재단에서 몽골로 파견되어 처음 울란바토르에 도착했을 때 가장 먼저 마주한 건 매캐한 공기였다. 겨울이면 도시 전체가 숨 쉬기 조차 어려운 공해와 먼지로 덮였고, 창문을 열면 방 안까지 연기가 자욱히 들어왔다. 목이 칼칼하고 눈이 따가운 건 일상이었고, 밖에 잠시만 다녀와도 옷에는 연기의 냄새가 짙게 배어 있었다.
몽골은 1990년, 사회주의 체제에서 민주주의와 자본주의 기반의 도시화를 통해 빠르게 성장했다. 하지만 그 변화의 설계에 모두가 포함된 것은 아니었다. 유목민 출신 이주민들은 울란바토르 외곽에 게르촌을 형성했고, 안정적인 직업도 생계 수단도 없이 지금까지도 극심한 빈곤 속에 살아가고 있다. 영하 50도의 겨울을 버티기 위해 그들은 저질 석탄, 폐타이어, 심지어 쓰레기까지 연료로 사용할 수밖에 없다.
정부는 수차례 원석탄 사용 금지와 대체 연료 보급 정책을 시도했지만, 몽골의 공해 문제는 여전히 나아지지 않고 있다. 게르촌 주민들은 정책 결정 과정에 참여할 기회도, 목소리를 낼 채널도 충분하지 않다. 오늘날 울란바토르는 세계에서 가장 대기오염이 심한 도시 중 하나로 남아 있으며, 그 피해는 게르촌의 아이들, 임산부, 노인에게 가장 먼저, 가장 깊게 닿고 있다.
위해는 불평등하다. 언제나 가장 먼저, 가장 깊게 영향을 받는 이는 사회적으로 가장 취약한 사람들이다. 기술도 다르지 않다. 어떤 기술은 누군가에게는 편리함이지만, 다른 누군가에게는 심각한 피해로 이어질 수 있다. 자원의 배분이나 정책 및 제도의 수립뿐 아니라, AI 기술, 그 역시 불평등을 증폭시키거나 완화할 수 있는 구조물이다. 그리고 그 결과는 누가 설계에 참여했는가 혹은 누구의 목소리가 고려됐는가에 따라 달라진다.
오늘날 기술은 모두의 삶에 크고 작은 변화를 주고 있다. 너무 빠르게 흘러가는 기술의 물결에 몸을 싣기보다는 그 흐름을 설계할 방법은 없을까? 안전한 기술, 더 나아가 공정한 기술이란 무엇일까?
플랫폼과 권력, 새로운 딜레마
2020년 글로벌 코로나19 팬데믹과 경제 셧다운 속에서 전 세계는 미국 기반의 온라인 플랫폼의 영향력을 실감하게 되었다. 페이스북, 트위터와 같은 플랫폼은 사회적 거리두기로 단절된 오프라인을 대신해 온라인에서 사람들을 이어주는 통로가 되었지만, 동시에 극단주의, 가짜뉴스, 알고리즘 왜곡 현상도 함께 확산되었다. 특히 2020년 미국 대선을 전후로, 플랫폼은 ‘진실의 게이트키퍼가 되어야 하는가?’ 라는 거대한 질문에 직면했다. 표현의 자유 그리고 플랫폼의 책임 사이에서 균형을 맞추는 일은 생각보다 훨씬 더 복잡했고, 나는 그 속에서 기술 정책의 본질적인 딜레마를 처음으로 실감했다.
이런 사회적 어지러움 가운데, 나는 스탠퍼드 대학교에서 석사 과정을 밟았다. 재학 중에는 온라인 플랫폼에서 급속히 퍼지는 기후변화 관련 악의적 허위정보에 대응하기 위한 콘텐츠 정책과 머신러닝 모델 설계를 기획했다. 이 경험을 통해 기술이 사회 문제 해결에 어떻게 활용될 수 있는지를 배웠지만, 동시에 기술만으로는 근본적인 문제를 해결할 수 없다는 현실을 마주했다. 또 기술의 한계를 간과했을 땐 오히려 문제를 더 키울 수 있다는 사실도 뼈저리게 깨달았다. 그 과정에서, 담당 교수였던 『역사의 종말』의 저자 프랜시스 후쿠야마(Francis Fukuyama)와 『시스템 에러』의 저자 제레미 와인스틴(Jeremy Weinstein) 교수의 지도를 통해 나는 한 가지 결론에 도달했다. 온라인 유해 콘텐츠 문제는 절대 기술만으로는 해결할 수 없다.
이후 나는 실리콘밸리와 샌프란시스코 지역의 글로벌 커뮤니케이션 플랫폼 기업 중 하나인 디스코드(Discord Inc.)에 기술 정책 전문가로 합류하게 되었다. 이곳에서 AI와 머신러닝 기술이 실제 글로벌 사용자 경험에 어떤 영향을 미치는지 사전에 분석하고, 그 기술이 악의적으로 사용되어 사용자에게 피해로 이어지지 않도록 안전을 설계하는 일을 맡고 있다. 특히, AI가 생성하거나 추천하는 콘텐츠가 청소년을 포함한 글로벌 사용자에게 미치는 영향을 평가하고, 위험을 줄이기 위한 정책을 수립해 프로덕트 설계에 반영하도록 하는 것이 주요 업무다.
AX 터뷸런스의 진원지에서
지난 몇 년 사이, 이 지역 실리콘밸리는 그야말로 AI를 중심으로 한 격변의 진원지였다. 2022년, 오픈AI가 챗GPT를 출시하며 AI는 정보와 콘텐츠 생태계를 송두리째 뒤흔들기 시작했다. 이어 2025년 5월, 구글은 Google I/O에서 검색, 이메일, 코딩, 일상 업무 전반에 생성형 AI 기능을 통합하겠다고 선언했다. 지메일(Gmail)과 구글독스(Google Docs)에 완전히 탑재된 AI 에이전트는 사용자의 이메일을 읽고 회신을 작성하며, 브라우저 없이도 정보를 수집하고 정리하는 기능까지 선보였다. 검색의 시대를 열었던 구글은 이제 AI 비서의 시대로 전환을 가속화하고 있다.
우리는 지금, AX의 시대를 살아가고 있다. AX는 AI Transformation의 줄임말로, 인공지능(AI) 대전환이라고도 불린다. 2000년대 초반, 인터넷과 모바일 기술이 일상과 산업 전반을 바꿔놓은 디지털 전환(Digital Transformation, DX)이 있었다면, AX는 AI가 우리의 삶과 사회 구조 깊숙이 스며드는 또 하나의 변곡점이다. AI는 더 이상 특정 기능을 자동화하는 도구에 머물지 않는다. 이제는 우리의 사고방식과 의사결정, 정보의 흐름, 그리고 사회의 규칙까지 바꾸는 주체이자 동력이기도 하다.
더불어 기술의 진화는 단순한 기업 간 경쟁을 넘어 국가 간 기술 패권 경쟁으로 이어지고 있다. 누가 더 빠르고 더 강력한 AI를 만들어 내느냐가 세계의 질서를 좌우하는 시대다.
나는 지금 우리가 거대한 기술 소용돌이, AX 터뷸런스의 한복판에서 있다고 주장한다. 이 터뷸런스는 단지 기술의 속도나 경쟁만을 의미하지 않는다. AI가 일상 깊숙이 침투하면서 사회를 지탱해오던 기존의 기준들이 근본부터 흔들리는 그 명백한 혼돈의 시대를 뜻한다.
AI로 생성된 콘텐츠가 진실과 허위를 교란하고, 사회적 분열을 조장하는 새로운 국면을 열었다. 정보는 넘쳐나지만, 신뢰는 급속히 무너지고 있다. 동시에 우리는 점점 더 ‘AI가 제시하는 편리한 답’에 의존하는 사회로 나아가고 있다. 업무에서도, 학업에서도. 심지어 친구나 가족 관계에 대한 조언까지도 AI가 개입하고 있다. 더 나아가, 최근에는 AI 기반 동료 평가(peer review) 시스템의 허점을 악용한 사례도 등장했다. 한 작성자는 논문 속에 ‘숨은 지령’을 삽입해, AI 리뷰어가 이를 인식해 논문을 호의적으로 평가하도록 유도한 것이다.
이 기술은 얼마나 안전한가? 이 기술은 우리의 생각과 신념, 공동체와 사회에 어떤 영향을 미치고 있는가? 그리고 우리는 이 기술에 의지하기 전에, 이러한 질문들을 충분히 던지고 있는가?
나는 이 책에서 기술 그 자체의 진보보다도, 그 기술이 누구의 손에 쥐여 있는지, 그리고 이 시대에서 누가 이 기술의 안전을 설계할 것인지에 대한 질문에 집중하고자 한다. 기술이 앞서갈수록, 그 기술이 사회에 미치는 영향은 더 커지고, 더 복잡해진다. 그래서 이 속도에 발맞춰 신뢰와 안전의 기준을 세우는 집단, Trust and Safety(TnS) 전문가들의 역할은 그 어느 때보다 중요해지고 있다.
나는 이 책을 통해, 보이지 않는 자리에서 매일 새로운 위험과 씨름하며 안전망을 설계해 온 이들의 이야기를 소개하고자 한다. 독자는 그들의 고민과 선택을 따라가며, 기술의 미래가 단지 개발자의 책상 위에서만 만들어지는 것이 아니라, 온라인상 안전을 지키려는 실무자의 현장에서도 함께 빚어지고 있음을 체감할 수 있을 것이며, 더 나아가 자신이 어떻게 그 설계에 참여할 수 있는지 알게 될 것이다.
