[큰글자책] 신뢰성과 투명성을 위한 설명 가능 인공지능

블랙박스 인공지능의 위험과 설명 가능 인공지능의 필요성

01 설명 가능 인공지능의 시작
02 딥러닝의 시대와 인공지능의 불투명성
03 불투명성의 원인과 설명 가능 인공지능의 재조명
04 설명 가능 인공지능의 원리
05 설명 가능 인공지능의 구현
06 설명 가능 인공지능 모델의 분류
07 설명 가능 인공지능의 응용
08 이해를 위한 설명 가능 인공지능
09 사회를 위한 설명 가능 인공지능
10 설명 가능 인공지능의 도전과 미래

또한 전문가 시스템의 복잡성에도 이유가 있었다. 기호 기반 접근법의 개별적인 규칙 하나하나는 명확하고 직관적으로 이해할 수 있지만 규칙의 수가 많아질수록 시스템 전체를 인간이 이해하는 데 어려움이 커졌다. MYCIN의 경우에도 수백 개의 규칙이 얽혀있었기 때문에 규칙 간의 상호 작용과 결과를 인간의 능력으로 추적하기 쉽지 않았다. 아직 설명 가능 인공지능이라는 명칭이 붙은 것은 아니었지만 이들 문제를 보완하고자 1970년대의 개발자들이 고안한 설명 기능이 설명 가능 인공지능의 뿌리라고 할 수 있다. 그러나 이 시기에 설명 기능은 크게 주목받지는 못했다. 그 이유는 당시 주로 사용된 인공지능의 방법론인 기호 기반 접근법이 명확한 규칙에 기반했기 때문에 상대적으로 이해하기 용이했기 때문이다.

－01_“설명 가능 인공지능의 시작” 중에서

많은 딥러닝 모델들은 확률적 요소를 포함한다. 예를 들어 드롭아웃 같은 기술은 과적합을 방지하기 위해 일부 뉴런을 무작위로 비활성화한다. 확률적 요소는 결과를 예측하기 어렵게 만든다. 또한 많은 딥러닝 신경망은 비선형(non-linear)적이다. 뉴런의 작동에 중요한 활성화 함수를 대부분 비선형 함수를 사용하기 때문이다. 비선형인 경우에는 입력과 출력의 관계가 단순하지 않기 때문에 직관적으로 이해하기 어렵다. 현대 AI의 이 상황을 전문용어로 성능(Performance)과 이해 가능성(Interpretability)의 사이에 상충 관계(Trade-off)가 있다고 표현한다. 예를 들면 랜덤 포레스트(Random Forest), 서포트 백터 머신(Support Vector Machine) 등 전통적인 알고리즘들은 이해 가능성이 높고 복잡성이 낮지만 일부를 제외하면 성능이 떨어지는 편이다. 반면 트랜스포머(Transformer), 거대 언어 모델(LLM: Large Language Model)과 같은 딥러닝 모델은 높은 성능을 보여주지만 복잡하다. 그 복잡성 때문에 이해 가능성이 낮고 내부 작동 과정을 인간이 이해하는 데 한계가 있다.

－03_“불투명성의 원인과 설명 가능 인공지능의 재조명” 중에서

전역적 설명은 전반적인 패턴을 설명할 수 있지만 특정 입력값에 대한 구체적인 설명을 제공하는 데는 한계를 보인다. 전체적인 구조와 작동 과정을 일반화하는 과정에서 세부적인 디테일이 소거되기 쉽기 때문이다. 그 결과 개별 사례에 대한 설명력이 약화될 위험이 있다. 개별 사례에 대한 설명이 필요한 경우 지역적 설명이 요구된다. 예를 들어 특정 환자에 대해 왜 특정 질병을 예측했는지 설명해야 하는 경우나 금융 대출 심사에서 어떤 요인이 대출 승인 또는 거절에 결정적인 영향을 미쳤는지를 분석해야 하는 경우에는 개별 예측값에 대한 구체적인 설명이 필요하다.

－06_“설명 가능 인공지능 모델의 분류” 중에서