따라하며 배우는 빅데이터 분석

Chapter 01 빅데이터로 통하는 세상
1.1 데이터와 정보, 그리고 지식
1.2 디지털 세상과 정보의 표현
1.3 디지털 데이터의 용량
1.4 정보의 원천 빅데이터
1.5 스프레드시트와 데이터베이스
1.6 데이터 분석 활용사례
1.7 데이터 중심의 과학
1.8 데이터 과학이란
1.9 데이터 과학자를 위한 다양한 플랫폼
1.10 데이터 마켓과 열린 데이터
1.11 데이터 분석의 단계
LAB 1-1 구글 트렌드 살펴보기
LAB 1-2 빅데이터의 원천인 소셜 미디어
핵심 정리
주관식 문제

Chapter 02 데이터 분석을 위한 도구
2.1 강력한 객체 지향 프로그래밍 언어: 파이썬
2.2 아나콘다 개발도구를 설치하고 사용해 보자
2.3 주피터 노트북 둘러보기
2.4 주피터 노트북으로 파이썬 코드를 입력하자
2.5 주피터 노트북의 여러 가지 기능들
2.6 주피터 노트북의 고급 기능
2.7 클라우드 환경의 개발은 코랩으로 편리하게
2.8 구글 코랩 환경 알아보기
2.9 코랩 디스크 마운트하고 파일 올리기
2.10 코랩 디스크의 파일 확인하기
LAB 2-1 구글 코랩에서 홍길동 딕셔너리 만들기
LAB 2-1 반복을 이용하여 팩토리얼을 계산하기
핵심 정리
주관식 문제
심화문제


Chapter 03 넘파이 시작하기
3.1 데이터 분석에서 중요한 넘파이
3.2 넘파이의 별칭 만들기, 그리고 간단한 배열 연산하기
3.3 강력한 넘파이 배열 연산을 알아보자
LAB 3-1 ndarray 객체를 생성하고 속성을 알아보자
LAB 3-2 ndarray 객체의 연산을 수행하자
3.4 넘파이 배열 계산은 왜 빠른가
3.5 벡터화 연산의 성능을 알아보자
LAB 3-3 ndarray 객체를 생성하고 브로드캐스팅 연산을 수행하자
3.6 인덱싱과 슬라이싱을 넘파이에서도 할 수 있다
3.7 2차원 배열의 인덱싱
3.8 2차원 배열 슬라이싱하기
LAB 3-4 2차원 배열에 대한 부울 인덱싱
LAB 3-5 배열의 형태를 알아내고 슬라이싱하여 연산하기
3.9 arange() 함수와 range() 함수의 비교
3.10 linspace() 함수와 logspace() 함수
3.11 다차원 배열을 결합하자
3.12 다차원 배열을 결합하는 다양한 방법
LAB 3-6 이차원 배열 조작하기
LAB 3-7 이차원 배열을 조작하여 값을 쌍으로 추출하자
3.13 다차원 배열의 축과 원소의 삽입
핵심 정리
주관식 문제
심화문제

Chapter 04 넘파이의 세계로
4.1 다차원 배열의 최대값, 최소값, 평균값 구하기와 정렬
4.2 평균값과 중앙값을 알아보자
LAB 4-1 입력값의 합, 최대값, 최소값, 평균값 출력하기
LAB 4-2 다차원 배열의 평균 구하기와 정렬하기
4.3 중앙값과 최빈값을 알아보자
4.4 분산과 편차를 알아보자
4.5 평균, 분산, 표준편차를 알아보자
LAB 4-3 입력값의 평균, 분산, 표준편차 구하기
LAB 4-4 어느 모둠의 분산이 가장 큰가
4.6 난수와 의사난수
4.7 난수와 정규분포
4.8 다양한 난수 생성 기능
LAB 4-5 로또 번호를 생성하자
LAB 4-6 평균과 중앙값 계산 연습
4.9 리덕션: 강력한 배열 연산
4.10 상관관계 계산하기
핵심 정리
주관식 문제
심화문제

Chapter 05 맷플롯립 알아보기
5.1 데이터 시각화
5.2 matplotlib의 다양한 기능 맛보기
5.3 차트 장식을 도와주는 다양한 기법들
LAB 5-1 함수를 표현해보자
LAB 5-2 랜덤 값을 이차원 평면에 표현해보자
5.4 넘파이를 이용한 함수 그리기, 범례 표기
LAB 5-3 삼각함수의 기본인 사인 그래프 그리기
LAB 5-4 여러 가지 함수와 범례 나타내기
5.5 막대형 차트도 손쉽게 그려보자
5.6 눈금 표시 방법을 알아보자
5.7 데이터를 점으로 표현하는 산포도 그래프와 파이 차트
5.8 히스토그램으로 자료의 분포를 한눈에 살펴보자
LAB 5-5 정규분포로 생성된 난수를 확인하기
LAB 5-6 차종별 판매량을 파이 차트로 표현하자
5.9 데이터를 효율적으로 표현하는 상자 플롯
5.10 여러 개의 상자 플롯을 그려보자
5.11 하나의 차트에 여러 그래프 그리기: subplots()
LAB 5-7 서브플롯 활용하기
핵심 정리
주관식 문제
심화문제

Chapter 06 시본 알아보기
6.1 데이터 사이의 관련성을 알아보자
6.2 상관계수를 넘파이로 표현하기
6.3 상관계수의 시각화와 해석
6.4 간단한 시본 튜토리얼로 시작하기
6.5 tips 데이터의 구조
6.6 산점도 그래프로 관계를 상세하게 나타내보자
6.7 변수 사이의 관계를 알아보기에 편리한 쌍 그래프
6.8 FacetGrid 알아보기
LAB 6-1 groupby()를 이용한 그루핑과 시각화
LAB 6-2 배열의 형태를 알아내고 슬라이싱하여 연산하기
6.9 사례 분석: 시본의 다양한 데이터 셋과 펭귄 데이터 셋
6.10 펭귄 데이터 셋의 시각화
6.11 펭귄 데이터 셋의 전체 구조를 파악하고 질의를 하자
6.12 사례 분석: Anscombe’s quartet 데이터 셋
6.13 비선형 함수를 사용하여 데이터를 설명하자
6.14 사례 분석: 항공기 이용 승객 데이터 셋
6.15 항공기 이용 승객 데이터 셋을 고쳐보자
6.16 히트맵을 알아보자
핵심 정리
주관식 문제
심화문제

Chapter 07 판다스 시작하기
7.1 엑셀보다 빠른 일처리를 위한 판다스
7.2 CSV라고 들어 봤니
7.3 CSV 파일을 판다스에서 읽기
7.4 데이터프레임을 다루는 간단한 명령
7.5 판다스의 데이터 구조: 시리즈 둘러보기
7.6 시리즈로 데이터프레임 만들기
LAB 7-1 간단한 시리즈를 만들자
LAB 7-2 간단한 데이터프레임을 만들자
7.7 데이터프레임 시각화 기능과 한글 나타내기
7.8 고급 시각화 기능을 알아보자 238
7.9 앞부분과 뒷부분만 읽어 보자: head와 tail
7.10 데이터를 찾기 위한 인덱싱 기법
7.11 고급 인덱싱 기법
7.12 새로운 열을 만들어 보자
7.13 데이터를 정렬하여 평점을 부여하고 저장하자
핵심 정리
주관식 문제
심화문제

Chapter 08 판다스의 알짜 기능
8.1 사례 분석: 울릉도의 날씨를 알아보자
8.2 울릉도 날씨의 특징을 살펴보자
8.3 연도와 월, 일을 다루는 DatetimeIndex
8.4 groupby 기능과 불필요한 정보를 삭제하는 drop
8.5 데이터의 그룹 연산: 분할-적용-결합
8.6 시퀀스에서 필요한 정보를 찾는 iloc, loc
LAB 8-1 울릉도의 기상 정보를 연도별로 출력하자
LAB 8-2 울릉도의 월 평균 기온을 시각화하자
8.7 조건에 맞게 골라내자: max, idxmax
8.8 조건에 맞게 골라내자: 필터링
8.9 빠진 값을 찾아서 처리하자: 결측값
8.10 결측값이 있는 행과 열을 제거하자
8.11 결측값을 메우는 다양한 방법
8.12 inplace로 데이터프레임을 갱신하자
8.13 결측값과 이상치를 처리하자
8.14 이상치를 찾아보자
8.15 데이터프레임에서 이상치를 찾아보자
핵심 정리
주관식 문제
심화문제

Chapter 09 판다스 파헤치기
9.1 중복 데이터를 제거하자
9.2 중복 데이터를 제거하고 데이터를 변형하자
9.3 데이터프레임의 인덱스와 열 이름을 수정하자
LAB 9-1 인덱스와 열의 이름을 변경하자
LAB 9-2 중복 데이터 제거하기
9.4 데이터프레임의 구조를 변경해 보자
9.5 pivot_table을 활용하자
9.6 pivot_table의 고급 기능을 알아보자
LAB 9-3 데이터의 구조를 변경하자
LAB 9-4 타이타닉 데이터의 구조를 살펴보자
9.7 두 개 이상의 데이터프레임을 합치는 방법
9.8 데이터프레임을 합치는 고급 기능
LAB 9-5 다양한 방법으로 concat 적용해 보기
9.9 데이터베이스 join 방식의 데이터 병합 – merge
LAB 9-6 다양한 방법으로 merge 적용해 보기
핵심 정리
주관식 문제
심화문제

Chapter 10 타이타닉 데이터를 분석하자
10.1 탐색적 데이터 분석
10.2 그날 밤 타이타닉호에서 무슨 일이 일어났나
10.3 데이터의 구조를 탐색하자
10.4 시각화 기법을 도입하자
LAB 10-1 학습용 데이터의 전체 인원과 생존자, 사망자를 조사하자
LAB 10-2 탑승 항구별 생존자/사망자를 알아보자
10.5 성에 따른 생존율, 가족 수에 따른 생존율
10.6 성과 객실 등급에 따른 생존자 파악
LAB 10-3 남성/여성 탑승자를 파이 차트와 막대 차트로 나타내자
10.7 객실 등급과 나이별 생존자 수
LAB 10-4 탑승 요금의 평균을 객실 등급에 따라 나타내자
LAB 10-5 타이타닉호 승객들의 요금 구간과 생존자 수
10.8 정박한 항구와 남녀 비율을 피벗 테이블로 살펴보자
핵심 정리
주관식 문제
심화문제

Chapter 11 웹 크롤링을 통한 데이터 분석
11.1 정보의 바다, 인터넷에서 데이터 가져오기
11.2 사례 분석: 한국 야구 위원회의 야구 기록
11.3 강력한 크롤링 함수인 read_html을 알아보자
11.4 여러 해에 걸친 경기 정보를 가져오자
11.5 경기 정보 분석하기
LAB 11-1 프로야구 기록의 승수를 표로 나타내자
LAB 11-2 프로야구 1위 팀을 출력하자
11.6 판다스 데이터프레임 저장하기
LAB 11-3 미국 프로야구 동부리그 기록을 살펴보자
LAB 11-4 미국 내셔널 리그 1위 팀을 출력하자
11.7 데이터프레임을 파일로 저장하는 고급 기법
11.8 텍스트 데이터 시각화를 위한 워드 클라우드
11.9 워드 클라우드의 세부 기능
11.10 웹 문서를 워드 클라우드로 만들기
LAB11-5 위키피디아 워드 클라우드
핵심 정리
주관식 문제
심화문제

Chapter 12 머신러닝과 활용사례
12.1 인공지능과 머신러닝
12.2 머신러닝을 깊이 알아보자
12.3 명시적 프로그래밍과 머신러닝
12.4 회귀문제를 알아보자
12.5 선형 회귀 문제를 풀기 위한 오차 줄이기
12.6 선형 회귀 문제를 풀기 위한 오차 함수: 평균 제곱 오차
12.7 가장 간단한 회귀: 선형 회귀 분석
12.8 선형 회귀로 예측하기: 키와 몸무게는 상관관계가 있을까
LAB 12-1 키가 비슷해도 남, 여의 몸무게는 다를 것: 다차원 선형 회귀
LAB 12-2 주택의 실면적과 대중 교통 접근성 그리고 가격
12.9 사례 분석: 사이킷런의 당뇨병 예제와 학습 데이터 생성
12.10 학습용 데이터와 테스트용 데이터
12.11 데이터의 특성들 중에서 중요한 특성으로 모델을 만들자
LAB 12-3 중요한 특성으로 이루어진 데이터프레임을 만들자
LAB 12-4 체질량 지수(bmi)와 s5 특성으로 선형 회귀 모델을 만들자
12.12 선형 회귀 모델의 결과를 시각화하자
12.13 사례 분석 - 선형 회귀: 기대수명 예측하기
12.14 각 특징들 사이의 상관관계를 살펴보자
12.15 간단한 회귀 모델을 만들자
핵심 정리
주관식 문제
심화문제

Chapter 13 데이터 분석을 위한 고급 도구
13.1 시계열 데이터를 처리하기 위한 datetime 모듈
13.2 datetime 모듈의 여러 가지 기능
13.3 time 모듈과 다양한 출력 형식
13.4 텍스트 데이터의 전처리를 위한 정규식
13.5 정규식의 검색 기능
13.6 정규식의 심화된 검색 기능
13.7 정규식을 이용한 패턴 찾기의 예
13.8 정규식을 이용하여 패턴 대체하기
LAB 13-1 입력값의 합, 최대값, 최소값, 평균값 출력하기
13.9 생성형 인공지능 ChatGPT를 알아보자
13.10 ChatGPT를 이용하여 코딩을 하자
13.11 ChatGPT를 이용하여 데이터를 분석하자
13.12 코랩의 생성 인공지능을 활용하자
핵심 정리
주관식 문제
심화문제