AI 서비스와 이용자 보호

인간과 기술 사이: AI 시대 이용자 보호의 새로운 지평

01 AI 시대의 이용자 보호
02 AI 이용자의 기본 권리
03 AI 서비스의 투명성과 설명 책임
04 AI에 의해 자동화된 의사 결정과 이의제기권
05 AI 시스템의 안전성 보장
06 AI 서비스의 개인 정보와 프라이버시 보호
07 AI 시스템의 차별과 공정성 보장
08 AI 서비스 피해 구제
09 AI 리터러시와 이용자 교육
10 AI 이용자 보호 거버넌스

유럽연합은 최근 데이터법(Data Act)을 추진하며, 이용자가 자신이 생성한 데이터에 접근하고 이를 통제할 수 있는 권한을 한층 명확히 하고 있다(Holistic AI, 2023). 또한 프라이버시 보호를 위해 개인 정보의 익명화·가명화, 수집 최소화 원칙, 명시적 동의 등이 강조되고 있다. 미국 연방거래위원회(FTC)는 AI를 통한 상업적 감시와 프라이버시 침해 가능성을 경고하며, 기업들에게 이용자 데이터의 수집 및 이용을 필요한 최소한으로 제한하고, 그 관행을 투명하게 공개할 것을 권고하고 있다.

－01_“AI 시대의 이용자 보호” 중에서

블랙박스 문제란 AI의 의사 결정 과정이 불투명하여 외부에서 이해하기 어려운 현상을 의미한다. 이 문제의 기술적 원인으로는 딥 러닝 모델의 복잡성, 고차원 데이터 시각화의 어려움, 비선형성, 앙상블 방법 등이 있다. 이로 인해 AI가 높은 정확도를 보이더라도 그 판단 과정을 개발자조차 완전히 이해하지 못하는 ‘설명 격차’가 발생한다. 블랙박스 AI의 사회적 문제점으로는 첫째, 책임 회피의 도구가 될 위험(Kroll, 2018), 둘째, 기술 제공자와 이용자 간의 권력 불균형 심화, 셋째, AI에 의해 자동화된 의사 결정의 설명 불가능성이 초래하는 사회적 신뢰 저하, 넷째, 검증 불가능한 알고리즘이 민주적 의사 결정 원칙을 침식할 위험 등이 있다.

－03_“AI 서비스의 투명성과 설명 책임” 중에서

연합학습은 중앙 서버에 데이터를 모으지 않고 각 사용자 기기에서 지역적으로 모델을 학습한 후 모델 파라미터만 중앙에서 취합하는 방식이다. 이 기법은 원본 데이터가 로컬에 머물기 때문에 개인 정보 노출 위험을 크게 낮출 수 있다. 구글의 모바일 키보드(Gboard)에 이 기술이 적용되어 사용자 입력 데이터의 프라이버시를 보호하면서도 예측 성능을 향상하고 있다.

－06_“AI 서비스의 개인 정보와 프라이버시 보호” 중에서