핸즈온 파이썬을 이용한 설명가능한 AI(XAI)

차례
역자의 말 Ⅴ
머리말 Ⅶ
1장 파이썬으로 설명하는 AI
1.1 설명가능한 AI 정의 5
1.1.1 블랙박스 모델에서 XAI 화이트 박스 모델로의 전환 7
1.1.2 설명 및 해석 8
1.2 설계 및 추출 9
1.2.1 XAI 집행 기능 9
1.3 XAI 의료 진단 일정 13
1.3.1 일반적인 의사가 사용하는 표준 AI 프로그램 14
1.3.2 웨스트 나일 바이러스 – 생사와 관련된 사례 23
1.3.3 구글 위치 기록을 이용하여 XAI가 생명을 구할 수 있다 31
1.3.4 구글 위치 기록 내려받기 31
1.3.4 구글 위치 기록 데이터를 읽고 표시하기 37
1.4 요약 58
1.5 질문 59
2장 AI의 편향 및 윤리를 위한 화이트 박스 XAI
2.1 자율 주행 자동차의 AI 편향에 대한 도덕성 65
2.1.1 생사가 걸린 자동조종 장치의 의사결정 65
2.1.2 트롤리 문제 66
2.1.3 MIT Moral Machine 실험 67
2.2.4 생사가 걸린 실제 상황 68
2.2.5 윤리적 AI의 도덕적 한계 70
2.2 자동조종 장치의 의사결정 트리에 대한 표준 설명 73
2.2.1 SDC 자동조종 장치의 딜레마 73
2.1.2 모듈 가져오기 74
2.1.3 데이터 셋 가져오기 75
2.1.4 데이터를 읽고 분할하기 76
2.1.5 의사결정 트리 분류기에 대한 이론적인 설명 78
2.1.6 내정된 값을 이용한 의사결정 트리 분류기 생성하기 80
2.1.7 모델 훈련, 측정 및 저장하기 82
2.1.8 의사결정 트리 출력하기 84
2.3 자동조종 장치의 의사결정 트리에 적용된 XAI 88
2.3.1 의사결정 트리의 구조 88
2.4 XAI와 윤리성을 이용하여 의사결정 트리 제어하기 95
2.4.1 모델 불러오기 96
2.4.2 정확도 측정 96
2.4.3 실시간 사례 시뮬레이션하기 97
2.4.4 노이즈로 인한 ML 편향 반영해 보기 97
2.4.5 ML 윤리 및 법 적용하기 100
2.5 요약 104
2.6 질문 104
3장 패싯(Facet)을 이용한 머신러닝 설명하기
3.1 패싯 시작하기 110
3.1.1 Google Colaboratory의 패싯 설치하기 111
3.1.2 데이터 셋 검색 111
3.1.3 데이터 파일 읽어 오기 112
3.2 Facets Overview 113
3.2.1 데이터 셋의 특징 통계 생성하기 113
3.3 패싯 통계 결과 정렬하기 116
3.3.1 특징 순서대로 데이터 정렬하기 116
3.3.2 불균일도로 정렬하기 117
3.3.3 알파벳 순으로 정렬하기 122
3.3.4 missing/zero의 양으로 정렬하기 123
3.3.5 분포간 거리로 정렬하기 123
3.4 Facets Dive 125
3.4.1 Facets Dive 출력 코드 작성하기 126
3.4.2 데이터 포인트의 레이블 정의하기 128
3.4.3 데이터 포인트의 색상 정의하기 129
3.4.4 x 축과 y 축의 비닝 정의하기 130
3.4.5 x 축과 y 축의 산점도 정의하기 132
3.5 요약 134
3.6 질문 135
4장 SHAP을 이용한 Microsoft Azure Machine
Learning Model Interpretability
4.1 SHAP 소개 140
4.1.1 SHAP 원칙의 핵심 141
4.1.2 Shapley 값의 수학적 표현 144
4.1.3 감정 분석 예제 147
4.2 SHAP 시작하기 153
4.2.1 SHAP 설치하기 153
4.2.2 데이터 가져오기 154
4.2.3 데이터 셋 추출하기 155
4.2.4 데이터 셋 벡터화 하기 162
4.3 선형 모델 및 로지스틱 회귀 164
4.3.1 선형 모델 생성, 훈련 및 출력의 시각화 164
4.3.2 선형 모델 정의하기 167
4.3.3 SHAP을 이용하여 설명하는 불가지론적 모델 170
4.3.4 선형 모델 설명자 생성하기 170
4.3.5 그래프 함수 생성하기 170
4.3.6 모델의 예측 결과 설명하기 173
4.4 요약 183
4.5 질문 184
5장 설명가능한 AI 솔루션 처음부터 구축하기
5.1 도덕적, 윤리적 및 법률적 관점 190
5.2 미국 인구조사 데이터 문제 191
5.2.1 pandas를 이용하여 데이터 표시하기 192
5.2.2 도덕적 윤리적 관점 195
5.3 머신러닝 관점 202
5.3.1 Facets Dive로 훈련 데이터 출력하기 202
5.3.2 패싯으로 훈련 데이터 분석하기 205
5.3.3 예상 결과 확인 209
5.3.4 입력 데이터 변환 217
5.4 변경된 데이터 셋을 적용한 WIT 220
5.5 요약 228
5.6 질문 229
6장 구글의 What-If Tool(WIT)을 이용한 AI 공정성 평가
6.1 윤리적 AI 관점에서의 해석가능성 및 설명가능성 234
6.1.1 윤리적 관점 235
6.1.2 법률적 관점 236
6.1.3 설명하기 및 해석하기 236
6.1.4 윤리적인 데이터 셋 준비하기 237
6.2 WIT 시작하기 240
6.2.1 데이터 셋 가져오기 242
6.2.2 데이터 전처리하기 243
6.2.3 모델 훈련 및 테스트를 위한 데이터 스트럭쳐 생성하기 245
6.3 DNN 모델 생성 246
모델 훈련하기 249
6.4 SHAP 해설자 생성하기 249
Shapley 값의 그래프 250
6.5 모델 출력 및 SHAP 값 250
6.6 WIT 데이터 포인트 탐색기 및 편집기 254
6.6.1 WIT 생성하기 254
6.6.2 데이터 포인트 편집기 256
6.6.3 특징 259
6.6.4 성능 및 공정성 260
6.7 요약 268
6.8 질문 269
7장 설명가능한 AI 챗봇을 위한 파이썬 클라이언트
7.1 Dialogflow를 위한 파이썬 클라이언트 275
7.1.1 구글 Dialogflow를 위한 파이썬 클라이언트 설치하기 276
7.1.2 구글 Dialogflow 에이전트 생성하기 276
7.1.3 API 및 서비스 활성화하기 279
7.1.4 구글 Dialogflow 파이썬 클라이언트 283
7.2 구글 Dialogflow 파이썬 클라이언트 개선하기 286
7.2.1 대화 함수 생성하기 287
7.2.1 Dialogflow에서 XAI 구현과 관련된 보안 사항 288
7.2.3 Dialogflow에서 인텐트 생성하기 288
7.2.4 XAI 파이썬 클라이언트 296
7.3 구글 Dialogflow를 이용한 CUI XAI 대화 302
7.3.1 웹사이트를 위한 Dialogflow 통합 303
7.3.2 주피터 노트북 XAI 에이전트 관리자 307
7.3.3 구글 어시스턴트 307
7.4 요약 310
7.5 질문 311
8장 LIME(Local Interpretable Model- Agnostic Explanations)
8.1 LIME 소개 316
LIME의 수학적 표현 318
8.2 LIME 시작하기 321
8.2.1 구글 Colaboratory에 LIME 설치하기 322
8.2.2 데이터 셋 검색 및 벡터화 하기 322
8.3 실험적 AutoML 모듈 324
8.3.1 불가지론적 AutoML 템플릿 생성하기 325
8.3.2 배깅 분류기(Bagging classifier) 327
8.3.3 그라디언트 부스팅 분류기 328
8.3.4 의사결정 트리 분류기 329
8.3.5 엑스트라 트리 분류기 330
8.4 점수 해석하기 331
8.5 모델 훈련하기 및 예측 수행하기 332
8.5.1 분류기와 상호적인 선택 332
8.5.2 예측 과정 마무리하기 333
8.6 LIME 설명자 335
8.6.1 LIME 설명자 만들기 337
8.6.2 LIME 설명 해석하기 339
8.7 요약 346
8.8 질문 347
9장 반사실적 설명 방법
9.1 반사실적 설명 방법 353
9.1.1 데이터 셋 및 동기 353
9.1.2 WIT로 반사실적 거리 시각화하기 354
9.1.3 기본 뷰로 데이터 포인트 거리 분석하기 356
9.1.3 반사실적 설명의 논리 364
9.2 거리 함수 선택 370
9.2.1 L1 norm 371
9.2.2 L2 norm 373
9.2.3 맞춤형 거리 함수 374
9.3 딥러닝 모델의 아키텍쳐 374
9.3.1 WIT 호출 375
9.3.2 WIT를 위한 맞춤형 예측 함수 376
9.3.3 케라스 모델 로딩하기 378
9.3.4 데이터 셋 및 모델 검색하기 379
9.4 요약 380
9.5 질문 381
10장 대조적 XAI
10.1 대조적 설명 방법 386
10.2 MNIST를 이용하여 CEM 배우기 389
10.2.1 Alibi 설치하기 및 모듈 가져오기 389
10.2.2 모듈 및 데이터 셋 가져오기 389
10.3 CNN 모델 정의하기 및 훈련하기 394
10.3.1 CNN 모델 생성하기 395
10.3.2 CNN 모델 훈련하기 396
10.3.3 모델 로딩하기 및 정확도 테스트하기 398
10.4 오토인코더 정의하기 및 훈련하기 399
10.4.1 오토인코더 생성하기 400
10.4.2 오토인코더 훈련 및 저장하기 400
10.4.3 원본 이미지와 디코딩된 이미지 비교하기 401
10.5 Pertinent negative 403
10.5.1 CEM 파라메터 405
10.5.2 CEM 설명자 초기화하기 406
10.5.3 pertinent negative 설명 406
10.6 요약 409
10.7 질문 409
11장 앵커(Anchor) XAI
11.1 앵커 AI 설명 415
11.1.1 소득 예측하기 415
11.1.2 뉴스그룹 설명 분류하기 418
11.2 ImageNet에 대한 앵커 설명 420
11.2.1 Alibi 설치하기 및 모듈 가져오기 421
11.2.2 InceptionV3 모델 로딩하기 422
11.2.3 이미지 다운로드하기 422
11.2.4 이미지 처리하기 및 예측 수행하기 424
11.2.5 앵커 이미지 설명자 구축하기 424
11.2.6 다른 범주 설명하기 428
11.2.7 다른 이미지들과 문제점 431
11.3 요약 432
11.4 질문 433
12장 인지적 XAI
12.1 인지적 규칙 기반 설명 439
12.1.1 XAI 도구에서 XAI 개념으로 439
12.1.2 인지적 XAI 설명 정의하기 440
12.1.3 인지적 XAI 방법 442
10.1.4 특징의 한계 기여도 449
12.2 vectorizers에 대한 인지적 접근방법 454
12.2.1 LIME을 위한 vectorizer 설명 454
12.2.2 SHAP를 위한 IMDb vectorizer 설명하기 457
12.3 CEM을 위한 인간의 인지적 입력 460
12.4 요약 466
12.5 질문 467
부록 질문에 대한 답 469
INDEX 48