Linear Algebra

1 Linear Equations and Subspaces 1
1.1 Solving Linear Equations by Gauss Elimination . . . . . . . . . . . . . . . . . 1
1.1.1 Solving Explicit Equations . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.2 Linear Equations in n Variables . . . . . . . . . . . . . . . . . . . . . . 8
1.2 Vector Equations and Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.2.1 Vector Space Rn and Subspaces . . . . . . . . . . . . . . . . . . . . . . 17
1.2.2 Vector Equation and Matrix Equation . . . . . . . . . . . . . . . . . . 18
1.2.3 Spanning Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.2.4 Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.3 Bases of Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
1.3.1 Spanning vectors for Subspaces . . . . . . . . . . . . . . . . . . . . . . 28
1.3.2 General Solutions of Linear Equations . . . . . . . . . . . . . . . . . . 31
1.3.3 Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
1.3.4 Bases of Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

2 Matrices and Linear Maps on Rn 47
2.1 Matrices and Linear Maps on Rn . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.1.1 Operations of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.1.2 Matrices and Linear Maps on Rn . . . . . . . . . . . . . . . . . . . . . 49
2.2 Matrix Representation of Linear Maps . . . . . . . . . . . . . . . . . . . . . . 54
2.2.1 Standard Matrix of Linear Map . . . . . . . . . . . . . . . . . . . . . . 54
2.2.2 Matrix Multiplication and Composition of Linear Maps . . . . . . . . 57
2.3 Rank and Nullity of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
2.4 Left and Right Inverses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
2.5 Invertible Matrices and Elementary Matrices . . . . . . . . . . . . . . . . . . 75
2.5.1 Invertible Matrices and Corresponding Linear Maps . . . . . . . . . . 75
2.5.2 Elementary Matrices and Matrix Inverse . . . . . . . . . . . . . . . . . 78
2.5.3 Characterization of Invertible Matrices . . . . . . . . . . . . . . . . . . 80

3 Determinant 83
3.1 Determinant of Order 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
3.2 Determinant of Order n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
3.3 Properties of Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
3.3.1 Basic Properties of Determinant . . . . . . . . . . . . . . . . . . . . . 92
3.3.3 Characterizing Properties of Determinant . . . . . . . . . . . . . . . . 96
3.3.4 Explicit Formula for Determinant . . . . . . . . . . . . . . . . . . . . . 97
3.4 Applications of Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
3.4.1 Determinant of Submatrix and Rank . . . . . . . . . . . . . . . . . . . 102
3.4.2 Cramer's Rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
3.4.3 A??1 by Adjoint Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 107
3.4.4 Lagrange Interpolation and Vandermonde Matrix . . . . . . . . . . . . 108
3.4.5 Companion Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

4 Bases and Linear Maps on Subspaces 117
4.1 Bases of Subspaces of Rn and Dimension . . . . . . . . . . . . . . . . . . . . . 117
4.2 Linear Maps between Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . 123
4.2.1 Linear Maps and Matrix Representation . . . . . . . . . . . . . . . . . 123
4.2.2 Null Space, Range Space . . . . . . . . . . . . . . . . . . . . . . . . . . 131
4.3 Matrix Representation under Change of Bases . . . . . . . . . . . . . . . . . . 139

5 Diagonalization and Geometry of Rn 147
5.1 Eigenvectors and Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . 147
5.1.1 Eigenvectors and Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . 147
5.1.2 Characteristic Polynomial . . . . . . . . . . . . . . . . . . . . . . . . . 149
5.1.3 Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
5.2 Inner Product, Length and Orthogonality . . . . . . . . . . . . . . . . . . . . 158
5.2.1 Inner Product and Orthogonality . . . . . . . . . . . . . . . . . . . . . 158
5.2.2 Orthogonal Projections and Gram-Schmidt Process . . . . . . . . . . . 163
5.2.3 Cauchy Schwartz Inequality and Triangle Inequality . . . . . . . . . . 169
5.2.4 Least Square Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . 171

6 Vector Spaces and Linear Maps 177
6.1 Denition of Vector Space and Basic Properties . . . . . . . . . . . . . . . . . 177
6.1.1 Comments on Scalar Fields . . . . . . . . . . . . . . . . . . . . . . . . 177
6.1.2 Denitions and Examples of Vector Spaces . . . . . . . . . . . . . . . 178
6.1.3 Basic Properties of Vector Spaces . . . . . . . . . . . . . . . . . . . . . 182
6.1.4 Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
6.2 Bases and Direct Sum of Subspaces . . . . . . . . . . . . . . . . . . . . . . . . 187
6.2.1 Spanning Set and Linear Independence . . . . . . . . . . . . . . . . . 187
6.2.2 Bases and Dimension. . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
6.2.3 Direct Sum of Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . 195
6.3 Linear Maps on Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
6.3.1 Linear Maps on Vector Spaces . . . . . . . . . . . . . . . . . . . . . . 202
6.3.2 Rank and Nullity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
6.4 Matrices and Linear Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
6.4.1 Linear Maps and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . 216
6.4.2 Change of Coordinate Matrix. . . . . . . . . . . . . . . . . . . . . . . 226
6.5 Linear Functionals and Dual Spaces . . . . . . . . . . . . . . . . . . . . . . . 232
6.5.1 Dual Spaces and Dual Basis . . . . . . . . . . . . . . . . . . . . . . . . 232
6.5.2 Linear Maps on Dual Spaces and Double Dual . . . . . . . . . . . . . 235
6.6 Tensor Product and Exterior Product . . . . . . . . . . . . . . . . . . . . . . 245
6.6.1 Tensor Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
6.6.2 Exterior Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
6.7 Diagonalization of Linear Maps . . . . . . . . . . . . . . . . . . . . . . . . . . 261
6.8 Invariant Subspaces and Cayley-Hamilton Theorem. . . . . . . . . . . . . . . 272

7 Canonical Forms 281
7.1 Polynomials and Minimal Polynomial . . . . . . . . . . . . . . . . . . . . . . 282
7.1.1 Ring of Polynomials . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
7.1.2 Minimal Polynomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285
7.2 Decomposition into Cyclic Subspaces . . . . . . . . . . . . . . . . . . . . . . . 294
7.2.1 Minimal Polynomial and Cyclic Subspaces . . . . . . . . . . . . . . . . 295
7.2.2 Decomposing into Null Spaces N(g) . . . . . . . . . . . . . . . . . . . 298
7.2.3 Decomposing into Cyclic Subspaces . . . . . . . . . . . . . . . . . . . 305
7.3 Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
7.3.1 Jordan Basis and Jordan Canonical Form . . . . . . . . . . . . . . . . 319
7.3.2 Explicit Computation of Jordan Basis . . . . . . . . . . . . . . . . . . 327
7.3.3 Applications of Jordan Canonical Form . . . . . . . . . . . . . . . . . 333
7.4 Rational Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
7.4.1 Rational Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . 342
7.4.2 Explicit Computation . . . . . . . . . . . . . . . . . . . . . . . . . . . 345

8 Inner Products and Bilinear Forms 351
8.1 Inner Products and Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351
8.1.1 Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352
8.1.2 Orthogonalities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356
8.1.3 Orthogonal Projections and Gram Schmidt Process . . . . . . . . . . . 358
8.1.4 Cauchy-Schwartz Inequality and Triangle Inequality . . . . . . . . . . 363
8.2 Adjoint of Linear Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372
8.2.1 Linear Functionals and Inner Product . . . . . . . . . . . . . . . . . . 372
8.2.2 Adjoint of Linear Maps . . . . . . . . . . . . . . . . . . . . . . . . . . 374
8.2.3 Adjoint and Dual of Linear Map. . . . . . . . . . . . . . . . . . . . . 379
8.3 Normal Operators and Spectral Theorem . . . . . . . . . . . . . . . . . . . . 383
8.3.1 Basic Properties of Normal Operators . . . . . . . . . . . . . . . . . . 383
8.3.2 Diagonalization of Normal Operators . . . . . . . . . . . . . . . . . . . 386
8.3.3 Spectral Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389
8.3.4 Canonical Form for Normal Operator . . . . . . . . . . . . . . . . . . 393
8.4 Self Adjoint and Unitary Operators . . . . . . . . . . . . . . . . . . . . . . . . 398
8.4.1 Self Adjoint and Positive Operators . . . . . . . . . . . . . . . . . . . 398
8.4.2 Unitary and Orthogonal Operators . . . . . . . . . . . . . . . . . . . . 403
8.4.3 Singular and Polar Decomposition . . . . . . . . . . . . . . . . . . . . 407
8.5 Bilinear Forms and Quadratic Forms . . . . . . . . . . . . . . . . . . . . . . . 414
8.5.1 Bilinear Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414
8.5.2 Symmetric Bilinear Forms and Quadratic Forms . . . . . . . . . . . . 418
8.5.3 Sesqui-Linear Forms and Inner Products . . . . . . . . . . . . . . . . . 423

Appendixes 429

A Sets 429
A.1 Sets and Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429
A.2 Equivalence Relation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431
Numbers 433

B.1 Integers Z . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433
B.2 Fields and Rings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 435
B.3 Complex Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437

C Polynomials 439
C.1 Polynomials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439
C.2 Real and Complex Polynomials . . . . . . . . . . . . . . . . . . . . . . . . . . 441

D Existence of Basis and its Cardinality 443
D.1 Maximal Principle and Cardinal Numbers . . . . . . . . . . . . . . . . . . . . 443
D.2 Existence and Equipotence of Bases of Vector Spaces . . . . . . . . . . . . . . 445
D.3 Cardinality of Basis of Dual Space . . . . . . . . . . . . . . . . . . . . . . . . 446

Index 448
Bibliography 453