백견불여일타 머신러닝 데이터 전처리 입문

지은이의 글
옮긴이의 글
감수자의 글
다운로드 및 개발환경 안내
일러두기

1장 데이터 분석, 활용을 시작하기 전에
1 데이터 기반 시대로
2 데이터 분석 프로젝트에 필요한 요소
3 데이터 분석 인재에게 필요한 스킬
컬럼 | 보충지식 1 BI로 무엇을 할 수 있나?
컬럼 | 보충지식 2 데이터처리가 빠른 툴은?

2장 데이터 분석의 프로세스와 환경
1 들어가며
2 비즈니스 이해
3 데이터 이해
4 데이터 준비
5 모델 작성
6 평가
7 배포/공유
8 데이터 분석 환경의 선택
9 주피터 노트북 사용 방법

3장 정형 데이터의 전처리 (1)
1 데이터 이해
2 데이터 준비
3 모델 작성
4 다시 데이터 준비로
5 다시 한번 모델 작성으로
컬럼 | 보충지식 1 데이터 결합
컬럼 | 보충지식 2 오버 샘플링
컬럼 | 보충지식 3 분할의 순도
[함께 해봐요 3-1] Pandas를 사용한 파일 업로드
[함께 해봐요 3-2] 데이터의 행수와 열수 확인
[함께 해봐요 3-3] 데이터형 확인
[함께 해봐요 3-4] 결손값의 포함 유무 확인
[함께 해봐요 3-5] 결손값의 개수 파악
[함께 해봐요 3-6] 데이터형이 수치인 항목의 통계량 계산
[함께 해봐요 3-7] age의 히스토그램 작성
[함께 해봐요 3-8] age와 balance 산포도 작성과 항목 관련성 확인
[함께 해봐요 3-9] 문자열 항목 중 job의 원 그래프 작성 (1)
[함께 해봐요 3-10] 문자열 항목 중 job의 원 그래프 작성 (2)
[함께 해봐요 3-11] y의 원 그래프 작성 및 데이터 분포 확인
[함께 해봐요 3-12] 목적변수 y에 대한 데이터 분포 확인
[함께 해봐요 3-13] 전처리를 위한 코드 입력
[함께 해봐요 3-14] 각 항목의 데이터형 재확인
[함께 해봐요 3-15] 결손값 제외
[함께 해봐요 3-16] 결손값 보완
[함께 해봐요 3-17] 특이값(이상치) 제외
[함께 해봐요 3-18] 값 두 개를 가지는 데이터 변환
[함께 해봐요 3-19] 다수의 값을 가지는 데이터 변환
[함께 해봐요 3-20] 분석 데이터 세트로 완성
[함께 해봐요 3-21] 더미 변수화한 데이터 결합
[함께 해봐요 3-22] CSV 파일로 결과 출력
[함께 해봐요 3-23] Pandas를 사용한 결합의 이미지 표현
[함께 해봐요 3-24] 데이터를 로드하는 코드 작성
[함께 해봐요 3-25] imbalanced-learn 패키지 설치 유무 확인
[함께 해봐요 3-26] 주티퍼랩에 설치된 패키지 확인
[함께 해봐요 3-27] imbalanced-learn 패키지 설치
[함께 해봐요 3-28] 불균형 데이터 세트에 대한 언더 샘플링
[함께 해봐요 3-29] 오버 샘플링 구현
[함께 해봐요 3-30] 결정 트리 알고리즘을 사용한 모델 검증
[함께 해봐요 3-31] 재현율과 적합도 확인
[함께 해봐요 3-32] 파라미터와 기본값 확인
[함께 해봐요 3-33] 그리드 서치를 사용한 모델의 성능 개선
[함께 해봐요 3-34] 가장 높은 성능일 때의 모델에 대한 파라미터 조합 확인
[함께 해봐요 3-35] 모델 완성 및 영향력 높은 변수 확인
[함께 해봐요 3-36] job 통합 및 새로운 특징량 생성
[함께 해봐요 3-37] month 통합 및 새로운 특징량 생성
[함께 해봐요 3-38] day 통합 및 새로운 특징량 생성
[함께 해봐요 3-39] duration 통합 및 새로운 특징량 생성
함께 해봐요 3-40] previous 통합 및 새로운 특징량 생성
[함께 해봐요 3-41] 더미변수를 만들기 위한 목록 삽입
[함께 해봐요 3-42] get_dummies를 사용한 더미변수 생성
[함께 해봐요 3-43] CSV 파일 내용 변경
[함께 해봐요 3-44] feature_selection을 통한 변수 사용 유무 확인

4장 정형 데이터의 전처리 (2)
1 고객의 특성 이해
2 고객의 그룹화
3 잠재적인 요구 추출
[함께 해봐요 4-1] 분석 데이터를 읽기 위한 코드 작성
[함께 해봐요 4-2] 각 항목의 데이터형 재확인
[함께 해봐요 4-3] 범위변환 테스트
[함께 해봐요 4-4] Z변환 테스트
[함께 해봐요 4-5] 각 변수의 평균과 표준편차 값 확인
[함께 해봐요 4-6] 계층형 클러스터링을 이용한 그룹 분할
[함께 해봐요 4-7] 고객별 그룹 확인
[함께 해봐요 4-8] k-Means법을 이용한 그룹 분할
[함께 해봐요 4-9] 클러스터 ID별 데이터 분포 확인
[함께 해봐요 4-10] 클러스터 ID별 데이터 세트와의 결합
[함께 해봐요 4-11] 그룹별 데이터 건수 확인
[함께 해봐요 4-12] 각 그룹의 통계량 계산 및 성질 파악
[함께 해봐요 4-13] PCA를 이용한 신규변수 작성
[함께 해봐요 4-14] 목적변수별 분포 확인
[함께 해봐요 4-15] 목적변수별 산포도 확인

5장 이미지 데이터의 전처리
1 데이터 이해
2 기계학습을 위한 데이터 준비
3 딥러닝을 위한 데이터 준비
컬럼 | 보충지식 1 중간층의 추출
[함께 해봐요 5-1] OpenCV 설치
[함께 해봐요 5-2] swiss-army-ant.jpg 읽기
[함께 해봐요 5-3] 배열에 저장된 픽셀값 확인
[함께 해봐요 5-4] 배열 크기 확인
[함께 해봐요 5-5] 컬러 이미지의 픽셀값 확인
[함께 해봐요 5-6] 그레이스케일 이미지로 변환
[함께 해봐요 5-7] 그레이스케일 이미지의 픽셀값 확인
[함께 해봐요 5-8] 이진화 이미지로 변환
[함께 해봐요 5-9] 이진화 이미지의 픽셀값 확인
[함께 해봐요 5-10] 데이터 프레임 형식으로 확인하는 픽셀값
[함께 해봐요 5-11] 신규 노트북 작성
[함께 해봐요 5-12] 설명변수와 목적변수의 세트 작성 (1)
[함께 해봐요 5-13] 설명변수와 목적변수의 세트 작성 (2)
[함께 해봐요 5-14] 이진화 이미지의 침식 처리
[함께 해봐요 5-15] 이진화 이미지의 팽창 처리
[함께 해봐요 5-16] 이진화 이미지의 오프닝 처리
[함께 해봐요 5-17] 이진화 이미지의 클로징 처리
[함께 해봐요 5-18] 그레이스케일 이미지의 히스토그램 작성
[함께 해봐요 5-19] 그레이스케일 이미지의 pixels_df에 대한 t-SNE 적용
[함께 해봐요 5-20] 목적변수별 데이터 분포 확인
[함께 해봐요 5-21] 그레이스케일 이미지의 설명변수와 목적변수의 세트 작성
[함께 해봐요 5-22] 데이터 세트의 분할
[함께 해봐요 5-23] 이미지 반전을 통한 이미지 수 증가
[함께 해봐요 5-24] 블러 처리를 통한 이미지 수 증가
[함께 해봐요 5-25] 명도 변경을 통한 이미지 수 증가
[함께 해봐요 5-26] 중간층 추출 (1)
[함께 해봐요 5-27] 중간층 추출 (2)

6장 시계열 데이터의 전처리
1 데이터 이해
2 데이터 준비
3 훈련 데이터 작성
[함께 해봐요 6-1] 분석 데이터 세트 로드
[함께 해봐요 6-2] 데이터의 행수와 열수 확인
[함께 해봐요 6-3] 데이터형 확인
[함께 해봐요 6-4] datetime형으로 데이터 변환
[함께 해봐요 6-5] 한 행 전과의 시간차(분) 계산
[함께 해봐요 6-6] 경과시간(분) 계산 (1)
[함께 해봐요 6-7] 결손값 개수 확인
[함께 해봐요 6-8] 각 항목의 통계량 계산
[함께 해봐요 6-9] Matplotlib을 사용한 데이터 시각화
[함께 해봐요 6-10] 전처리 대상의 데이터 읽기
[함께 해봐요 6-11] 결손값 표시
[함께 해봐요 6-12] NaN을 통한 결손값 보완
[함께 해봐요 6-13] 전후의 값 평균치로 보완하는 결손값
[함께 해봐요 6-14] 경과시간(분) 계산 (2)
[함께 해봐요 6-15] 6시간 단위로 만들기 위한 평균치 계산
[함께 해봐요 6-16] 두 개의 데이터 세트 결합
[함께 해봐요 6-17] event.csv 파일 읽기
[함께 해봐요 6-18] 데이터 집약 및 시간 축 작성 (1)
[함께 해봐요 6-19] 데이터 집약 및 시간 축 작성 (2)
[함께 해봐요 6-20] 특징량과 목적변수 결합
[함께 해봐요 6-21] 슬라이드 창을 사용한 특징량 추출
[함께 해봐요 6-22] 기계학습의 알고리즘 형태로 특징량 변형
[함께 해봐요 6-23] 특징량 세트와 목적변수 결합
[함께 해봐요 6-24] 새로운 노트북 작성 및 코드 입력
[함께 해봐요 6-25] 데이터 시각화
[함께 해봐요 6-26] 데이터 분할
[함께 해봐요 6-27] 데이터 정규화
[함께 해봐요 6-28] 훈련 데이터의 부분시계열 작성
[함께 해봐요 6-29] 부분시계열의 파형 거리(유사도) 측정
[함께 해봐요 6-30] 케라스 실행
[함께 해봐요 6-31] 오토 인코더 네트워크 작성
[함께 해봐요 6-32] 학습 조건 설정 및 학습 실행
[함께 해봐요 6-33] 오차의 수렴 상태 확인
[함께 해봐요 6-34] 출력값 추이 비교
[함께 해봐요 6-35] 이상 스코어 계산

7장 자연어 데이터의 전처리
1 데이터 이해
2 기계학습을 위한 데이터 준비
3 딥러닝을 위한 데이터 준비
4 주제 추출을 위한 데이터 준비
컬럼 | 보충지식 1 한글 형태소 분석 환경의 설정
컬럼 | 보충지식 2 2-gram 에지 리스트
[함께 해봐요 7-1] 업로드한 기사를 대상으로 하는 형태소 분석
[함께 해봐요 7-2] konlpy 설치 (1)
[함께 해봐요 7-3] Okt를 통한 형태소 분석
[함께 해봐요 7-4] 정규표현식을 사용한 URL 제거
[함께 해봐요 7-5] 명사인 단어 추출
[함께 해봐요 7-6] konlpy 설치 (2)
[함께 해봐요 7-7] 모든 기사에 대한 형태소 분석 작업 진행
[함께 해봐요 7-8] docterm에 저장한 단어 확인
[함께 해봐요 7-9] 첫 번째 기사의 단어 추출
[함께 해봐요 7-10] label에 저장된 기사 인덱스 확인
[함께 해봐요 7-11] 단어 문서 행렬 작성
[함께 해봐요 7-12] 작성한 단어 문서 행렬의 크기 확인
[함께 해봐요 7-13] 고빈도어와 저빈도어 삭제
[함께 해봐요 7-14] TF-IDF치를 계산한 단어 문서 행렬 작성
[함께 해봐요 7-15] 단어 문서 행렬의 크기 확인
[함께 해봐요 7-16] konlpy 설치 (3)
[함께 해봐요 7-17] 전체 기사에 대한 처리 실행
[함께 해봐요 7-18] 작성한 데이터 세트 크기와 값 확인
[함께 해봐요 7-19] 내림순으로 단어 정렬
[함께 해봐요 7-20] 일련번호를 부여한 사전 작성
[함께 해봐요 7-21] 리스트 길이 정리
[함께 해봐요 7-22] 부족한 패키지 설치
[함께 해봐요 7-23] 부족한 패키지 실행 (1)
[함께 해봐요 7-24] 부족한 패키지 실행 (2)
[함께 해봐요 7-25] 단어 문서 행렬과 label열 결합
[함께 해봐요 7-26] label이 0인 문서의 유사도 계산
[함께 해봐요 7-27] 행렬 형식에서 리스트 형식으로 변환
[함께 해봐요 7-28] 동시 출현어 에지 리스트 작성
[함께 해봐요 7-29] 문장에서 2-gram 모델 작성
[함께 해봐요 7-30] 기사 데이터에서 2-gram 모델 작성
[함께 해봐요 7-31] 단어에 ID 부여 (1)
[함께 해봐요 7-32] 단어에 ID 부여 (2)
[함께 해봐요 7-33] 띄어쓰기한 단어에 ID 부여
[함께 해봐요 7-34] 2-gram 모델 작성
[함께 해봐요 7-35] 리스트 bigram에 저장

부록
1 주피터랩 로컬 환경 구축
2 이미지 인식 모델 작성
3 기사 분류 모델 작성
4 기사 주제 추출
5 다양한 시각화 툴
[함께 해봐요 A1-1] 주피터랩의 홈 디렉토리 변경
[함께 해봐요 A1-2] 변경 전 소스코드
[함께 해봐요 A1-3] 변경 후 소스코드
[함께 해봐요 A2-1] 학습에 사용하는 네트워크 작성
[함께 해봐요 A2-2] 학습 조건 설정 및 학습 실행
[함께 해봐요 A2-3] 오차 이력 그래프 작성 (1)
[함께 해봐요 A2-4] 정확도 이력 그래프 작성 (1)
[함께 해봐요 A2-5] 학습에 사용하는 네트워크 작성
[함께 해봐요 A2-6] 학습 조건 설정 및 학습 실행
[함께 해봐요 A2-7] 오차 이력 그래프 작성 (2)
[함께 해봐요 A2-8] 정확도 이력 그래프 작성 (2)
[함께 해봐요 A3-1] 명사인 단어만 추출한 데이터 세트 작성
[함께 해봐요 A3-2] [함께 해봐요 7-21] 수정 및 추가 (1)
[함께 해봐요 A3-3] [함께 해봐요 7-21] 수정 및 추가 (2)
[함께 해봐요 A3-4] 학습 조건 설정 및 실행
[함께 해봐요 A3-5] 오차 이력 그래프 작성 (3)
[함께 해봐요 A3-6] 정확도 이력 그래프 작성 (3)
[함께 해봐요 A4-1] 코드 추가 및 실행
[함께 해봐요 A4-2] 네트워크 그래프 작성
[함께 해봐요 A4-3] 작성한 네트워크에 대한 클러스트 계수와 매개 중심성 계산
[함께 해봐요 A4-4] 커뮤니티 추출
[함께 해봐요 A5-1] 워드 클라우드 설치
[함께 해봐요 A5-2] [함께 해봐요 A3-1] 수정 및 실행
[함께 해봐요 A5-3] 5회 이상 출현 단어 추출

3장_연습문제 해답 289
5장_연습문제 해답 298
6장_연습문제 해답 306
7장_연습문제 해답 313

찾아보기