Chapter 1Linear Systems and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . 1
1.1Introduction to Linear Systems and Matrices. . . . . . . . . . . . . . . . . .. . . . . . . . . .1
1.1.1Linear equations and linear systems . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . 1
1.1.2Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.3Elementary row operations . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . 4
1.2Gauss-Jordan Elimination. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . .5
1.2.1Reduced row-echelon form. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . .5
1.2.2Gauss-Jordan elimination . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . 6
1.2.3Homogeneous linear systems . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . .9
1.3 MatrixOperations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . 11
1.3.1 Operations on matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 11
1.3.2Partition of matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .13
1.3.3Matrix product by columns and by rows . . . . . . . . . . . . . . . . . . . . .. . . . . . . 13
1.3.4Matrix product of partitioned matrices . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 14
1.3.5Matrix form of a linear system . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . 15
1.3.6Transpose and trace of a matrix . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . 16
1.4 Rules of Matrix Operations and Inverses . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . 18
1.4.1 Basic properties of matrix operations . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . 19
1.4.2Identity matrix and zero matrix . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . 20
1.4.3Inverse of a matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . 21
1.4.4Powers of a matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . 23
1.5 Elementary Matrices and a Method for Finding A−1 . . . . . . . . . . . . . . .. . . . 24
1.5.1Elementary matrices and their properties . . . . . . . . . . . . . . . . . . .. . . . . . . . .24
1.5.2 Main theorem of invertibility . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . 26
1.5.3 A method for finding A−1 . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . .27
1.6 Further Results on Systems and Invertibility . . . . . . . . . . . . . . . . . . . . .. . . . . . 28
1.6.1 A basic theorem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .28
1.6.2Properties of invertible matrices . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . 29
1.7 Some Special Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . 31
1.7.1 Diagonal and triangular matrices . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . 32
1.7.2 Symmetric matrix . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
Exercises. . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .35
Chapter 2 Determinants. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .42
2.1Determinant Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 42
2.1.1Permutation, inversion, and elementary product . . . . . . . . . . . . . . . .. . . . . 42
2.1.2Definition of determinant function . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . 44
2.2Evaluation of Determinants. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 44
2.2.1Elementary theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . 44
2.2.2 Amethod for evaluating determinants . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . 46
2.3Properties of Determinants . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . 46
2.3.1 Basic properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 47
2.3.2Determinant of a matrix product . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . 48
2.3.3Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . 50
2.4Cofactor Expansions and Cramer’s Rule . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 51
2.4.1Cofactors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 51
2.4.2Cofactor expansions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 51
2.4.3Adjoint of a matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . 53
2.4.4Cramer’s rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 54
Exercises.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . .55
Chapter 3 Euclidean Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 61
3.1Euclidean n-Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 61
3.1.1n-vector space. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .61
3.1.2Euclidean n-space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . 62
3.1.3 Norm,distance, angle, and orthogonality . . . . . . . . . . . . . . . . . . . . . .. . . . . . 63
3.1.4 Some remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 65
3.2 LinearTransformations from Rn to Rm . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . .66
3.2.1Linear transformations from Rn to Rm . . . . . . . . . . . . . . . . . . . . .. . . . . . . . 66
3.2.2 Some important linear transformations . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . 67
3.2.3Compositions of linear transformations . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 69
3.3Properties of Transformations. . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . .70
3.3.1Linearity conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . 70
3.3.2Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . .71
3.3.3One-to-one transformations . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . 72
3.3.4Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . 73
Exercises.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . .74
Chapter 4General Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . 79
4.1 Real Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . 79
4.1.1Vector space axioms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 79
4.1.2 Some properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 81
4.2Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.2.1Definition of subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 82
4.2.2Linear combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 83
4.3 Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . 85
4.3.1Linear independence and linear dependence. . . . . . . . . . . . . . . . . . .. . . . . . .86
4.3.2 Some theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 87
4.4 Basis and Dimension. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .88
4.4.1 Basis for vector space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . 88
4.4.2Coordinates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .89
4.4.3Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . 91
4.4.4 Some fundamental theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . .93
4.4.5Dimension theorem for subspaces . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . 95
4.5 RowSpace, Column Space, and Nullspace. . . . . . . . . . . . . . . . . . . . . . .. . . . . . .97
4.5.1Definition of row space, column space, and nullspace . . . . . . . . . . . . .. . . . 97
4.5.2Relation between solutions of Ax = 0 and Ax = b . . . . . . . . . . . . . . . .. . . 98
4.5.3 Bases for three spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . 100
4.5.4 Aprocedure for finding a basis for span(S). . . . . . . . . . . . . . . . . . .. . . . . . 102
4.6 Rank and Nullity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . 103
4.6.1 Rank and nullity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . 104
4.6.2 Rank for matrix operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 106
4.6.3Consistency theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . .107
4.6.4Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 109
Exercises .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . 110
Chapter 5 Inner Product Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . 115
5.1 Inner Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 115
5.1.1General inner products . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . 115
5.1.2Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .116
5.2 Angle and Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . 119
5.2.1 Angle between two vectors and orthogonality . . . . . . . . . . . . . . . . . . . . .. . 119
5.2.2Properties of length, distance, and orthogonality . . . . . . . . . . . . . . .. . . . . 120
5.2.3Complement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . 121
5.3Orthogonal Bases and Gram-Schmidt Process. . . . . . . . . . . . . . . . . . .. . . . . . 122
5.3.1Orthogonal and orthonormal bases . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . 122
5.3.2Projection theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 125
5.3.3Gram-Schmidt process . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . .128
5.3.4QR-decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . 130
5.4 Best Approximation and Least Squares . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . 133
5.4.1Orthogonal projections viewed as approximations . . . . . . . . . . . . . . . .. . . 134
5.4.2 Least squares solutions of linear systems . . . . . . . . . . . . . . . . . . . . . .. . . . . 135
5.4.3Uniqueness of least squares solutions . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . .136
5.5Orthogonal Matrices and Change of Basis. . . . . . . . . . . . . . . . . . . .. . . . . . . . .138
5.5.1Orthogonal matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . 138
5.5.2Change of basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . 140
Exercises .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . 144
Chapter 6 Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . 149
6.1Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . 149
6.1.1 Introduction to eigenvalues and eigenvectors . . . . . . . . . . . . . . . . . . . . . . . .149
6.1.2 Two theorems concerned with eigenvalues . . . . . . . . . . . . . . . . . . . . . .. . . . 150
6.1.3 Bases for eigenspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . 151
6.2Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 152
6.2.1Diagonalization problem . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . 152
6.2.2Procedure for diagonalization . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . 153
6.2.3 Two theorems concerned with diagonalization . . . . . . . . . . . . . . . . . . . .. . 155
6.3 Orthogonal Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 156
6.4 Jordan Decomposition Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . 160
Exercises .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . 162
Chapter 7 Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 166
7.1 GeneralLinear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 166
7.1.1Introduction to linear transformations . . . . . . . . . . . . . . . . . . . .. . . . . . . . . 166
7.1.2Compositions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . 169
7.2 Kernel and Range . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 170
7.2.1Kernel and range . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .170
7.2.2 Rank and nullity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . 172
7.2.3Dimension theorem for linear transformations . . . . . . . . . . . . . . . . .. . . . . 173
7.3 Inverse Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . 174
7.3.1One-to-one and onto linear transformations . . . . . . . . . . . . . . . . . .. . . . . . .174
7.3.2Inverse linear transformations . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . 176
7.4Matrices of General Linear Transformations. . . . . . . . . . . . . . . . . . .. . . . . . . .177
7.4.1Matrices of linear transformations . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . 177
7.4.2Matrices of compositions and inverse transformations . . . . . . . . . . . . .. . 181
7.5Similarity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . .182
Exercises .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . 184
Chapter 8Additional Topics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . 190
8.1Quadratic Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . 190
8.1.1Introduction to quadratic forms . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . 190
8.1.2Constrained extremum problem . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 191
8.1.3Positive definite matrix . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . 193
8.2 ThreeTheorems for Symmetric Matrices. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . 194
8.3 Complex Inner Product Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 198
8.3.1Complex numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . 198
8.3.2Complex inner product spaces . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . 200
8.4Hermitian Matrices and Unitary Matrices. . . . . . . . . . . . . . . . . . . .. . . . . . . . . 201
8.5 Böttcher-Wenzel Conjecture . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . 204
8.5.1Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 205
8.5.2 Proof of the Böttcher-Wenzel conjecture . . . . . . . . . . . . . . . . . . . . . . .. . . . 205
Exercises . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 209
Appendix A Independence of Axioms . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . 214
Bibliography . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .217
Index . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . 219
