colab에서 파이썬 빅데이터 처리

1. Python 역사 1
1.1. 파이썬의 특징 1
1.2. 데이터 분석과 시각화 패키지 3
1.3. colab 설치 5


2. Python의 데이터 타입 6
2.1. 기본형 자료형 8
1) 숫자형 8
가) 수치형 선언 9
나) 산술연산 9
다) 연산순서 10
라) 비교 연산자 10
2) 문자형(string) 11
가) 문자열 선언 11
나) 탈출 문자(Escape character) 12
다) 인덱싱과 슬라이스 14
라) 문자열 함수 15
마) 문자열 Format 18
3) 리스트형(list) 18
가) 리스트 선언 20
나) 인덱싱과 슬라이스 20
다) 요소값 변경 21
라) 원소 추가하기 21
바) 리스트 함수 23
4) 튜플형(tuple) 24
가) 튜플 선언 24
나) 인덱싱과 슬라이스 25
다) 튜플 할당(Tuple Assignment) 25
5) 집합형(set) 26
가) 집합 선언 26
나) 인덱싱과 슬라이스 27
다) add, remove, pop 27
라) 집합 구조변경 28
6) 딕셔너리형(dictionary) 28
가) 딕셔너리 선언 29
나) keys() & values() 29
다) 구성성분 호출 30
라) 삽입과 할당 31
7) 불형(bool) 33
가) 불형 선언 33
나) 불 연산 34
다) 논리 연산자 35
2.2. 매핑(Mapping)과 시퀀스( Sequence) 36
1) 숫자형과 집합형 36
가) 타입 변환 37
나) 산술 연산자 37
다) 관계 연산자 38
라) 논리 연산자 39
마) 수치 연산 함수 39
2) 매핑(Mapping) 39
가) 추가와 삭제 40
나) .keys .items() .clear() 함수 40
다) get() 41
라) in 함수 42
3) 시퀀스(Sequence) 42
가) in,?not in 44
나) + 연산자 사용 45
다) 리스트와 튜플 변환 46
라) 인덱스와 슬라이스 47
마) .count(), .find(), .join(), .replace(), .split() 52
바) .upper(), .lower(), .strip() 53
4) 컨테이너(Container) 54
가) 리스트, 튜플, 집합, 딕셔너리 55
2.3. data type 56
1) 스칼라, 벡터, 행렬과 텐서 57
2) 스칼라(Scalar)와 벡터(Vector) 58
3) 행렬과 텐서 60


3. 기본 명령어와 단축키 62
3.1. print() 63
3.2. input( ) 64
3.3. Colab 단축키 64
3.4. Help() 함수 65
3.5. lambda 함수 필터링 67
3.6. copy() 67
3.7. mutable vs immutable 69


4. Variables 71
4.1. 변수 정의 71
4.2. 변수 할당 가능한 이름 72
4.3. 동일한 객체 참조 73
4.5. type() 데이터 형태 확인 75
4.6. int() 데이터 변환 후 선언 76
4.7. eval()과 del 77
4.8. 할당연산자 77


5. 코드의 작성규칙(coding convention) 79
5.1. Module Level Dunder Names 79
5.2. 들여 쓰기 79
5.3. import 81
5.4. 함수 불로오기 81
5.5. Function declaration 82
5.6. 표현식과 구문에서의 공백 84
5.7. 슬라이스에서의 공백. 85
6. Function 88
6.1. 함수 선언 88
6.2. 매개변수와 인수 90
6.3. 함수 형태 91
6.4. return, global, lambda 93
6.5. if, while, for 94
1) if, else, elif 94
2) while 96
3) for 98
4) In 연산자 100


7. Asterisk, zip, lambda 102
7.1. *args, **kwargs 102
7.2. comprehension 104
7.3. enumerate 105
7.4. Zip 107
7.5. Lambda 108
1) map() 108
2) reduce() 109
3) filter() 110
4) 기타 기능 111
7.6. unpack 112


8. class, module, package, library 114
8.1. 인스턴스와 메소드 115
8.2. 호출하기 117
8.3. update 121
8.4. 클래스 상속 124
8.5. Setter와 Getter, Property 125
8.6. 모듈 127
8.6. 패키지 130
1) 패키지 기본 구성 요소 131
2) 패키지 안의 함수 실행하기 132
8.7. 라이브러리 134
1) sys.exit(), os.environ 135
2) 유용한 os 관련 함수 136
3) time.time() 136
4) random.random() 139


9. pandas 141
9.1. os.path() 141
9.2. pandas 142
9.3. 데이터 확인 146
9.4. 데이터 기초정보 확인 146
9.5. 결측치 처리 148
9.6. 데이터 인코딩 149
9.7. Scikit-learn의 LabelEncoder 151
9.8. 데이터 시각화 152
9.9. pandas로 전처리 153
9.10. interpolate na 157
9.11. pandas에서 json 161
9.12. pandas xlsx 161


10. Numpy 169
10.1. 넘파이 Array 선언 169
1) np.zeros(), np.ones(), np.arange() 함수 171
2) Array 연산 172
3) array의 브로드 캐스트 173
10.2. Array 인덱싱 174
1) 2차원이상 인덱싱 175
2) Array boolean 인덱싱(마스크) 175
10.3. Numpy 함수 178
1) 하나의 array에 적용되는 함수 178
2) 두 개의 array에 적용되는 함수 181
3) 통계 함수 182
4) 기타 함수 184


Reference 185