블랙박스 안의 권력

블랙박스 안의 권력에 대한 논의

01 알고리즘 편향의 구조적 원인
02 블랙박스 문제와 설명 가능성의 한계
03 알고리즘의 사회적 결정권 탈취
04 추천 알고리즘의 확증 편향 강화
05 알고리즘은 감시를 일상화한다
06 알고리즘 차별의 현실
07 알고리즘 책임의 사각지대
08 AI 윤리와 투명성의 제도화 과제
09 정치적 조작과 알고리즘 권력
10 공공 알고리즘과 민주적 통제의 필요성

법적으로도 공정성은 평등권, 차별 금지 원칙, 합리적 기준에 근거해야 하며, 단순한 수치의 일치가 아닌 결과의 정의로 평가되어야 한다. 이때 요구되는 것은 ‘형식적 공정성’이 아닌 ‘실질적 정의’다. 따라서 공정한 알고리즘이란 단지 오류 없는 알고리즘이 아니라, 사회적 맥락을 고려해 소수자의 권익과 인간의 존엄을 보장하는 알고리즘이어야 한다. 법은 이 기준을 기술 설계와 운영에 요구할 수 있어야 하며, 이는 알고리즘 공정성의 본질적 과제다.

－01_“알고리즘 편향의 구조적 원인” 중에서

복지 행정은 늘 ‘누구에게 얼마나’라는 민감한 결정을 수반한다. 정부는 제한된 재원을 가장 필요한 사람에게 배분해야 하며, 이를 위해 수많은 기준과 절차를 운용해 왔다. 최근 이러한 복지 행정에 인공지능이 도입되고 있다. 수급 신청자의 과거 납세 기록, 금융 정보, 가족 구성, 거주지, 의료 이력 등을 종합 분석해 자동으로 수급 여부를 판단하는 ‘복지 알고리즘’이 등장한 것이다. 그러나 이러한 자동화는 행정 효율성을 높이는 동시에, 사회적 약자의 권리를 침해할 위험도 함께 안고 있다..

－03_“알고리즘의 사회적 결정권 탈취” 중에서

알고리즘 차별이 기술적 구조 속에서 발생하고 있음이 점차 분명해지고 있음에도 불구하고, 이를 법적으로 규율하기 위한 틀은 아직 미비하다. (…) 법은 기술보다 느리게 반응하지만, 바로 그렇기 때문에 선제적이고 원칙 중심의 접근이 필요하다. 기술적 차별에 대한 법적 대응은 기술을 억제하는 것이 아니라, 기술이 사회적 정의와 공존할 수 있도록 설계 방향을 제어하는 기능이다. 차별 없는 기술은 스스로 생기지 않는다. 그것은 사회가 법과 제도를 통해 ‘무엇을 용인하지 않을 것인가’를 명확히 선언할 때에만 실현된다. 법은 인간을 보호하기 위한 것이며, 이제는 기술을 통해 인간이 차별받지 않도록 법이 기술을 통제하는 시대가 요구되고 있다.

－06_“알고리즘 차별의 현실” 중에서