A First Course in Linear AlgebraA First Course in Linear AlgebrabyRobert A. BeezerDepartment of Mathematics and Computer ScienceUniversity of Puget SoundVersion 2.00Robert A. Beezer is a Professor of Mathematics at the University of Puget Sound, where he has beenon the faculty since 1984. He received a B.S. in Mathematics (with an Emphasis in Computer Science)from the University of Santa Clara in 1978, a M.S. in Statistics from the University of Illinois atUrbana-Champaign in 1982 and a Ph.D. in Mathematics from the University of Illinois at Urbana-Champaign in 1984. He teaches calculus, linear algebra and abstract algebra regularly, while hisresearch interests include the applications of linear algebra to graph theory. His professional website isat http://buzzard.ups.edu.EditionVersion 2.00.July 16, 2008.PublisherRobert A. BeezerDepartment of Mathematics and Computer ScienceUniversity of Puget Sound1500 North WarnerTacoma, Washington 98416-1043USAc _ 2004 by Robert A. Beezer.Permission is granted to copy, distribute and/or modify this document under the terms of the GNU FreeDocumentation License, Version 1.2 or any later version published by the Free Software Foundation;with no Invariant Sections, no Front-Cover Texts, and no Back-Cover Texts. A copy of the license isincluded in the appendix entitled GNU Free Documentation License.The most recent version of this work can always be found at http://linear.ups.edu.To my wife, Pat.ContentsTable of Contents viContributors viiDenitions viiiTheorems ixNotation xDiagrams xiExamples xiiPreface xiiiAcknowledgements xixPart C CoreChapter SLE Systems of Linear Equations 2WILA What is Linear Algebra? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2LA Linear + Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2AA An Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9SSLE Solving Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . 10SLE Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10PSS Possibilities for Solution Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11ESEO Equivalent Systems and Equation Operations . . . . . . . . . . . . . . . . . . 12READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25MVNSE Matrix and Vector Notation for Systems of Equations . . . . . . . . . . . . 25RO Row Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . 31READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41viCONTENTS viiEXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46TSS Types of Solution Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52CS Consistent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52FV Free Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63HSE Homogeneous Systems of Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . 65SHS Solutions of Homogeneous Systems . . . . . . . . . . . . . . . . . . . . . . . . 65NSM Null Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73NM Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75NM Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75NSNM Null Space of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . 77READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83SLE Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87Chapter V Vectors 88VO Vector Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88VEASM Vector Equality, Addition, Scalar Multiplication . . . . . . . . . . . . . . . 89VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95LC Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96LC Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96VFSS Vector Form of Solution Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . 101PSHS Particular Solutions, Homogeneous Solutions . . . . . . . . . . . . . . . . . . 111READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117SS Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119SSV Span of a Set of Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119SSNS Spanning Sets of Null Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 125READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139LISV Linearly Independent Sets of Vectors . . . . . . . . . . . . . . . . . . . . . . . 139LINM Linear Independence and Nonsingular Matrices . . . . . . . . . . . . . . . . . 144NSSLI Null Spaces, Spans, Linear Independence . . . . . . . . . . . . . . . . . . . . 146READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150Version 2.00CONTENTS viiiSOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154LDS Linear Dependence and Spans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160LDSS Linearly Dependent Sets and Spans . . . . . . . . . . . . . . . . . . . . . . . 160COV Casting Out Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172O Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175CAV Complex Arithmetic and Vectors . . . . . . . . . . . . . . . . . . . . . . . . . 175IP Inner products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176N Norm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179OV Orthogonal Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181GSP Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189V Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190Chapter M Matrices 191MO Matrix Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191MEASM Matrix Equality, Addition, Scalar Multiplication . . . . . . . . . . . . . . 191VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193TSM Transposes and Symmetric Matrices . . . . . . . . . . . . . . . . . . . . . . . 194MCC Matrices and Complex Conjugation . . . . . . . . . . . . . . . . . . . . . . . 196AM Adjoint of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204MVP Matrix-Vector Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207MMEE Matrix Multiplication, Entry-by-Entry . . . . . . . . . . . . . . . . . . . . . 209PMM Properties of Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . 210HM Hermitian Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220MISLE Matrix Inverses and Systems of Linear Equations . . . . . . . . . . . . . . . . . . 223IM Inverse of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224CIM Computing the Inverse of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . 225PMI Properties of Matrix Inverses . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236MINM Matrix Inverses and Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . 239NMI Nonsingular Matrices are Invertible . . . . . . . . . . . . . . . . . . . . . . . . 239UM Unitary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246Version 2.00CONTENTS ixEXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248CRS Column and Row Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249CSSE Column Spaces and Systems of Equations . . . . . . . . . . . . . . . . . . . . 249CSSOC Column Space Spanned by Original Columns . . . . . . . . . . . . . . . . . 252CSNM Column Space of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . 254RSM Row Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271LNS Left Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271CRS Computing Column Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272EEF Extended echelon form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289M Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293Chapter VS Vector Spaces 295VS Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295VS Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295EVS Examples of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301RD Recycling Denitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307S Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308TS Testing Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309TSS The Span of a Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313SC Subspace Constructions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322LISS Linear Independence and Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . 325LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325SS Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330VR Vector Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339B Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343B Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343BSCV Bases for Spans of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . 346BNM Bases and Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . 348OBC Orthonormal Bases and Coordinates . . . . . . . . . . . . . . . . . . . . . . . 350Version 2.00CONTENTS xREAD Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356D Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359D Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359DVS Dimension of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363RNM Rank and Nullity of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 365RNNM Rank and Nullity of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . 367READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371PD Properties of Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373GT Goldilocks Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373RT Ranks and Transposes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377DFS Dimension of Four Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 378DS Direct Sums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386VS Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388Chapter D Determinants 389DM Determinant of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389EM Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389DD Denition of the Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394CD Computing Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 399EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401PDM Properties of Determinants of Matrices . . . . . . . . . . . . . . . . . . . . . . . . 402DRO Determinants and Row Operations . . . . . . . . . . . . . . . . . . . . . . . . 402DROEM Determinants, Row Operations, Elementary Matrices . . . . . . . . . . . . 407DNMMM Determinants, Nonsingular Matrices, Matrix Multiplication . . . . . . . . 409READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413D Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414Chapter E Eigenvalues 415EE Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415EEM Eigenvalues and Eigenvectors of a Matrix . . . . . . . . . . . . . . . . . . . . 415PM Polynomials and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417EEE Existence of Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . 419CEE Computing Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . 422ECEE Examples of Computing Eigenvalues and Eigenvectors . . . . . . . . . . . . . 426READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 435PEE Properties of Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . 439Version 2.00CONTENTS xiME Multiplicities of Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444EHM Eigenvalues of Hermitian Matrices . . . . . . . . . . . . . . . . . . . . . . . . 447READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 450SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 451SD Similarity and Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453SM Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453PSM Properties of Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 454D Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456FS Fibonacci Sequences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 464READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 467SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 468E Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472Chapter LT Linear Transformations 473LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473LTC Linear Transformation Cartoons . . . . . . . . . . . . . . . . . . . . . . . . . . 477MLT Matrices and Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . 478LTLC Linear Transformations and Linear Combinations . . . . . . . . . . . . . . . 483PI Pre-Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 486NLTFO New Linear Transformations From Old . . . . . . . . . . . . . . . . . . . . 488READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 494SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 496ILT Injective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499EILT Examples of Injective Linear Transformations . . . . . . . . . . . . . . . . . . 499KLT Kernel of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . 503ILTLI Injective Linear Transformations and Linear Independence . . . . . . . . . . 507ILTD Injective Linear Transformations and Dimension . . . . . . . . . . . . . . . . 509CILT Composition of Injective Linear Transformations . . . . . . . . . . . . . . . . 509READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 510EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 511SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 513SLT Surjective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 516ESLT Examples of Surjective Linear Transformations . . . . . . . . . . . . . . . . . 516RLT Range of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . 520SSSLT Spanning Sets and Surjective Linear Transformations . . . . . . . . . . . . . 524SLTD Surjective Linear Transformations and Dimension . . . . . . . . . . . . . . . 526CSLT Composition of Surjective Linear Transformations . . . . . . . . . . . . . . . 527READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 527EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 529SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 531IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . 534IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . 534IV Invertibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 537SI Structure and Isomorphism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541Version 2.00CONTENTS xiiRNLT Rank and Nullity of a Linear Transformation . . . . . . . . . . . . . . . . . . 543SLELT Systems of Linear Equations and Linear Transformations . . . . . . . . . . . 546READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 548EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 549SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 551LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 555Chapter R Representations 557VR Vector Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 557CVS Characterization of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . 562CP Coordinatization Principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 563READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 566EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 568SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 569MR Matrix Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 570NRFO New Representations from Old . . . . . . . . . . . . . . . . . . . . . . . . . 576PMR Properties of Matrix Representations . . . . . . . . . . . . . . . . . . . . . . . 581IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . 586READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 590EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 591SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 594CB Change of Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 603EELT Eigenvalues and Eigenvectors of Linear Transformations . . . . . . . . . . . . 603CBM Change-of-Basis Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 604MRS Matrix Representations and Similarity . . . . . . . . . . . . . . . . . . . . . . 610CELT Computing Eigenvectors of Linear Transformations . . . . . . . . . . . . . . 616READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 624EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 626SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 627OD Orthonormal Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 631TM Triangular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 631UTMR Upper Triangular Matrix Representation . . . . . . . . . . . . . . . . . . . . 633NM Normal Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 636OD Orthonormal Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 637NLT Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 641NLT Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . 641PNLT Properties of Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . 646CFNLT Canonical Form for Nilpotent Linear Transformations . . . . . . . . . . . . 651IS Invariant Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 659IS Invariant Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 659GEE Generalized Eigenvectors and Eigenspaces . . . . . . . . . . . . . . . . . . . . 663RLT Restrictions of Linear Transformations . . . . . . . . . . . . . . . . . . . . . . 667JCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 677GESD Generalized Eigenspace Decomposition . . . . . . . . . . . . . . . . . . . . . 677JCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 684CHT Cayley-Hamilton Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 698R Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 699Appendix CN Computation Notes 701Version 2.00CONTENTS xiiiMMA Mathematica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 701ME.MMA Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 701RR.MMA Row Reduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 701LS.MMA Linear Solve . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 702VLC.MMA Vector Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . 702NS.MMA Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 703VFSS.MMA Vector Form of Solution Set . . . . . . . . . . . . . . . . . . . . . . . . 703GSP.MMA Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . 704TM.MMA Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 705MM.MMA Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . 705MI.MMA Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 706TI86 Texas Instruments 86 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 706ME.TI86 Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 706RR.TI86 Row Reduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 706VLC.TI86 Vector Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . 707TM.TI86 Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 707TI83 Texas Instruments 83 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 707ME.TI83 Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 707RR.TI83 Row Reduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 708VLC.TI83 Vector Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . 708SAGE SAGE: Open Source Mathematics Software . . . . . . . . . . . . . . . . . . . . . . 708R.SAGE Rings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 708ME.SAGE Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 709MI.SAGE Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 710TM.SAGE Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 710E.SAGE Eigenspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 710Appendix P Preliminaries 712CNO Complex Number Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 712CNA Arithmetic with complex numbers . . . . . . . . . . . . . . . . . . . . . . . . 712CCN Conjugates of Complex Numbers . . . . . . . . . . . . . . . . . . . . . . . . . 714MCN Modulus of a Complex Number . . . . . . . . . . . . . . . . . . . . . . . . . . 715SET Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 716SC Set Cardinality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 717SO Set Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 718PT Proof Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 720D Denitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 720T Theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 721L Language . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 721GS Getting Started . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 722C Constructive Proofs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 723E Equivalences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 723N Negation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 724CP Contrapositives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 724CV Converses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 725CD Contradiction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 725U Uniqueness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 726ME Multiple Equivalences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 726Version 2.00CONTENTS xivPI Proving Identities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 727DC Decompositions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 727I Induction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 728P Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 729LC Lemmas and Corollaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 729Appendix A Archetypes 732A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 736B . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 741C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 746D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 750E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 754F . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 758G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 763H . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 767I . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 771J . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 775K . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 780L . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 784M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 788N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 791O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 794P . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 797Q . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 799R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 803S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 806T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 809U . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 811V . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 814W . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 816X . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 818Appendix GFDL GNU Free Documentation License 8211. APPLICABILITY AND DEFINITIONS . . . . . . . . . . . . . . . . . . . . . . . . . . 8212. VERBATIM COPYING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8223. COPYING IN QUANTITY . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8234. MODIFICATIONS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8235. COMBINING DOCUMENTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8256. COLLECTIONS OF DOCUMENTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8257. AGGREGATION WITH INDEPENDENT WORKS . . . . . . . . . . . . . . . . . . . 8258. TRANSLATION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8259. TERMINATION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82610. FUTURE REVISIONS OF THIS LICENSE . . . . . . . . . . . . . . . . . . . . . . . 826ADDENDUM: How to use this License for your documents . . . . . . . . . . . . . . . . . 826Part T TopicsF Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 828Version 2.00CONTENTS xvF Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 828FF Finite Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 829EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 834SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 836T Trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 837EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 841SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 842HP Hadamard Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 843DMHP Diagonal Matrices and the Hadamard Product . . . . . . . . . . . . . . . . 845EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 848VM Vandermonde Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 849PSM Positive Semi-denite Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 853PSM Positive Semi-Denite Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . 853EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 856Chapter MD Matrix Decompositions 857ROD Rank One Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 858TD Triangular Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 863TD Triangular Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 863TDSSE Triangular Decomposition and Solving Systems of Equations . . . . . . . . 866CTD Computing Triangular Decompositions . . . . . . . . . . . . . . . . . . . . . . 867SVD Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 871MAP Matrix-Adjoint Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 871SVD Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . 875SR Square Roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 877SRM Square Root of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 877POD Polar Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 881Part A ApplicationsCF Curve Fitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 884DF Data Fitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 885EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 888SAS Sharing A Secret . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 889Version 2.00ContributorsBeezer, David. Belarmine Preparatory School, TacomaBeezer, Robert. University of Puget Sound http://buzzard.ups.edu/Bucht, Sara. University of Puget SoundCaneld, Steve. University of Puget SoundHubert, Dupont. Creteil, FranceFellez, Sarah. University of Puget SoundFickenscher, Eric. University of Puget SoundJackson, Martin. University of Puget Sound http://www.math.ups.edu/ martinjHamrick, Mark. St. Louis UniversityLinenthal, Jacob. University of Puget SoundMillion, Elizabeth. University of Puget SoundOsborne, Travis. University of Puget SoundRiegsecker, Joe. Middlebury, Indiana joepye (at) pobox (dot) comPhelps, Douglas. University of Puget SoundShoemaker, Mark. University of Puget SoundZimmer, Andy. University of Puget SoundxviDenitionsSection WILASection SSLESLE System of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10ESYS Equivalent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12EO Equation Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13Section RREFM Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25CV Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26ZCV Zero Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26CM Coecient Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26VOC Vector of Constants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26SOLV Solution Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27MRLS Matrix Representation of a Linear System . . . . . . . . . . . . . . . . . . . . . . 27AM Augmented Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28RO Row Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29REM Row-Equivalent Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31RR Row-Reducing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41Section TSSCS Consistent System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52IDV Independent and Dependent Variables . . . . . . . . . . . . . . . . . . . . . . . . 54Section HSEHS Homogeneous System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65TSHSE Trivial Solution to Homogeneous Systems of Equations . . . . . . . . . . . . . . . 65NSM Null Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68Section NMSQM Square Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75NM Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75IM Identity Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76Section VOVSCV Vector Space of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . 88CVE Column Vector Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89CVA Column Vector Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90xviiDEFINITIONS xviiiCVSM Column Vector Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . 90Section LCLCCV Linear Combination of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . 96Section SSSSCV Span of a Set of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . 119Section LIRLDCV Relation of Linear Dependence for Column Vectors . . . . . . . . . . . . . . . . . 139LICV Linear Independence of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . 139Section LDSSection OCCCV Complex Conjugate of a Column Vector . . . . . . . . . . . . . . . . . . . . . . . 175IP Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176NV Norm of a Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179OV Orthogonal Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181OSV Orthogonal Set of Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181SUV Standard Unit Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181ONS OrthoNormal Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186Section MOVSM Vector Space of mn Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 191ME Matrix Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191MA Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192MSM Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192ZM Zero Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194TM Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194SYM Symmetric Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195CCM Complex Conjugate of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 196A Adjoint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198Section MMMVP Matrix-Vector Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207HM Hermitian Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216Section MISLEMI Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224Section MINMUM Unitary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242Section CRSCSM Column Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249RSM Row Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256Version 2.00DEFINITIONS xixSection FSLNS Left Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271EEF Extended Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275Section VSVS Vector Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295Section SS Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308TS Trivial Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312LC Linear Combination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313SS Span of a Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314Section LISSRLD Relation of Linear Dependence . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325TSVS To Span a Vector Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330Section BB Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343Section DD Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359NOM Nullity Of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365ROM Rank Of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365Section PDDS Direct Sum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379Section DMELEM Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389SM SubMatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394DM Determinant of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394Section PDMSection EEEEM Eigenvalues and Eigenvectors of a Matrix . . . . . . . . . . . . . . . . . . . . . . 415CP Characteristic Polynomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422EM Eigenspace of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 424AME Algebraic Multiplicity of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . 426GME Geometric Multiplicity of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . 426Section PEESection SDSIM Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453DIM Diagonal Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456DZM Diagonalizable Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456Version 2.00DEFINITIONS xxSection LTLT Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473PI Pre-Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 486LTA Linear Transformation Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . 488LTSM Linear Transformation Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . 489LTC Linear Transformation Composition . . . . . . . . . . . . . . . . . . . . . . . . . 491Section ILTILT Injective Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499KLT Kernel of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . 503Section SLTSLT Surjective Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . 516RLT Range of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . 520Section IVLTIDLT Identity Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 534IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . 534IVS Isomorphic Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541ROLT Rank Of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . 543NOLT Nullity Of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . 543Section VRVR Vector Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 557Section MRMR Matrix Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 570Section CBEELT Eigenvalue and Eigenvector of a Linear Transformation . . . . . . . . . . . . . . 603CBM Change-of-Basis Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 604Section ODUTM Upper Triangular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 631LTM Lower Triangular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 631NRML Normal Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 636Section NLTNLT Nilpotent Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . 641JB Jordan Block . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 643Section ISIS Invariant Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 659GEV Generalized Eigenvector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 663GES Generalized Eigenspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 663LTR Linear Transformation Restriction . . . . . . . . . . . . . . . . . . . . . . . . . . 667IE Index of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 673Version 2.00DEFINITIONS xxiSection JCFJCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 684Section CNOCNE Complex Number Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 713CNA Complex Number Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 713CNM Complex Number Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . 713CCN Conjugate of a Complex Number . . . . . . . . . . . . . . . . . . . . . . . . . . . 714MCN Modulus of a Complex Number . . . . . . . . . . . . . . . . . . . . . . . . . . . . 715Section SETSET Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 716SSET Subset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 716ES Empty Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 716SE Set Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 717C Cardinality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 717SU Set Union . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 718SI Set Intersection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 718SC Set Complement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 718Section PTSection FF Field . . . .