An Index to Matrices

8/13/2019 An Index to Matrices

http://slidepdf.com/reader/full/an-index-to-matrices 1/54

2 4 9

P a u l i P e d e r s e n : 1 2 . A n i n d e x t o m a t r i c e s

1 2 . A N I N D E X T O M A T R I C E S

- - - d e f i n i t i o n s , f a c t s a n d r u l e s - - -

T h i s i n d e x i s b a s e d o n t h e f o l l o w i n g g o a l s a n d o b s e r v a t i o n s :

̄ T o g i v e t h e u s e r q u i c k r e f e r e n c e t o a n a c t u a l m a t r i x d e f i n i t i o n o r r u l e ,

t h e i n d e x f o r m i s p r e f e r r e d . H o w e v e r , t h e i n d e x s h o u l d t o a l a r g e

e x t e n t b e s e l f - e x p l a i n i n g .

̄ T h e c o n t e n t s i s s e l e c t e d i n r e l a t i o n t o t h e i m p o r t a n c e f o r m a t r i x f o r -

m u l a t i o n s i n s o l i d m e c h a n i c s .

̄ T h e e x i s t e n c e o f g o o d c o m p u t e r s o f t w a r e f o r t h e n u m e r i c a l c a l c u l a -

t i o n s , d i m i n i s h e s t h e n e e d f o r d e t a i l s o n s p e c i f i c p r o c e d u r e s .

̄ T h e e x i s t e n c e o f g o o d c o m p u t e r s o f t w a r e f o r t h e f o r m u l a m a n i p u l a -

t i o n s m e a n s t h a t e x t e n d e d a n a l y t i c a l w o r k i s p o s s i b l e .

̄ T h e i n d e x i s w r i t t e n b y a n o n - - - m a t h e m a t i c i a n ( b u t h o p e f u l l y w i t h -

o u t e r r o r s ) , a n d i s w r i t t e n f o r r e a d e r s w i t h a p r i m a r y i n t e r e s t i n

a p p l y i n g t h e m a t r i x f o r m u l a t i o n w i t h o u t s t u d y i n g t h e m a t r i x t h e o r y

i t s e l f .

̄ A v a i l a b l e c h a p t e r s o r a p p e n d i c e s i n b o o k s o n s o l i d m e c h a n i c s a r e

n o t f o u n d e x t e n s i v e e n o u g h , a n d g o o d c l a s s i c b o o k s o n l i n e a r a l g e -

b r a a r e f o u n d t o o e x t e n s i v e . F o r f u r t h e r r e f e r e n c e , s e e e . g .



2 5 0


G a n t m a c h e r , F . R . ( 1 9 5 9 ) ‘ T h e T h e o r y o f M a t r i c e s ’ ,

C h e l s e a P u b l . C o . , V o l . I , 3 7 4 p . , V o l . I I , 2 7 6 p .

G e l ’ f a n d , I . M . ( 1 9 6 1 ) ‘ L e c t u r e s o n L i n e a r A l g e b r a ’ ,

I n t e r s c i e n c e P u b l . I n c . , 1 8 5 p .

M u i r , T . ( 1 9 2 8 ) ‘ A T r e a t i s e o n t h e T h e o r y o f D e t e r m i n a n t s ’ ,

D o v e r P u b l . I n c . , 7 6 6 p .

N o b l e , B . a n d D a n i e l , I . W . ( 1 9 8 8 ) ‘ A p p l i e d L i n e a r A l g e b r a ’ ,

P r e n t i c e - - - H a l l , t h i r d e d . , 5 2 1 p .

S t r a n g , G . ( 1 9 8 8 ) ‘ L i n e a r A l g e b r a a n d i t s A p p l i c a t i o n s ’ ,

H a r c o u r t B r a c e J o v a n o v i c h , 5 0 5 p .

S t r a n g , G . ( 1 9 8 6 ) ‘ I n t r o d u c t i o n t o A p p l i e d M a t h e m a t i c s ’ ,

W e l l e s l e y - - - C a m b r i d g e P r e s s , 7 5 8 p .

I t w i l l b e n o t i c e d t h a t t h e r a t h e r l e n g t h y n o t a t i o n w i t h

[ ]

f o r m a t r i c e s

a n d

{ }

f o r v e c t o r s ( c o l u m n m a t r i c e s ) i s p r e f e r r e d f o r t h e m o r e s i m p l e

b o l d f a c e o r u n d e r s c o r e n o t a t i o n s . T h e r e a s o n f o r t h i s i s t h a t t h e r e a d e r

b y t h e b r a c k e t s i s c o n s t a n t l y r e m i n d e d a b o u t t h e f a c t t h a t w e a r e d e a l i n g

w i t h a b l o c k o f q u a n t i t i e s . T o m i s s t h i s p o i n t i s c a t a s t r o p h i c i n m a t r i x c a l -

c u l a t i o n s . F u r t h e r m o r e , t h e l e n g t h y n o t a t i o n a d d s t o t h e p o s s i b i l i t i e s

f o r d i r e c t g r a p h i c a l i n t e r p r e t a t i o n o f t h e f o r m u l a s .

C r o s s - r e f e r e n c e i n t h e i n d e x i s s y m b o l i z e d b y b o l d f a c e w r i t i n g s . T h e

p r e l i m i n a r y a d v i c e s f r o m c o l l e a g u e s a n d s t u d e n t s a r e v e r y m u c h a p p r e -

c i a t e d , a n d I s h a l l b e g r a t e f u l f o r f u r t h e r c r i t i c s a n d c o m m e n t s t h a t c a n

i m p r o v e t h e i n d e x .



2 5 1


A D D I T I O N M a t r i c e s a r e a d d e d b y a d d i n g t h e c o r r e s p o n d i n g e l e m e n t s

o f m a t r i c e s

[

C

]

=

[

A

]

+

[

B

]

w i t h C

i j

= A

i j

+ B

i j

T h e m a t r i c e s m u s t h a v e t h e s a m e o r d e r .

A N T I - - M E T R I C o r S e e s k e w - - - s y m m e t r i c m a t r i x .

A N T I - - S Y M M E T R I C

m a t r i x

B I L I N E A R F O R M F o r a m a t r i x

[

A

]

w e d e f i n e t h e b i l i n e a r f o r m b y

{

X

}

T

[

A

]

{

Y

}



2 5 2


B I L I N E A R F o r a s y m m e t r i c , p o s i t i v e d e f i n i t e m a t r i x

[

A

]

w e h a v e b y d e f i n i t i o n f o r

I N E Q U A L I T Y t h e f o l l o w i n g t w o q u a d r a t i c f o r m s :

{

X

a

}

T

[

A

]

{

X

a

}

= u

a

> 0 f o r

{

X

a

}

≠

{

0

}

{

X

b

}

T

[

A

]

{

X

b

}

= u

b

> 0 f o r

{

X

b

}

≠

{

0

}

T h e b i l i n e a r f o r m f u l f i l l s t h e i n e q u a l i t y

{

X

a

}

T

[

A

]

{

X

b

}

≤

1

2

( u

a

+ u

b

)

i . e . l e s s t h a n o r e q u a l t o t h e m e a n v a l u e o f t h e v a l u e s o f t h e q u a d r a t i c

f o r m s .

T h i s f o l l o w s d i r e c t l y f r o m

{

X

a

}

T

–

{

X

b

}

T

[

A

]

{

X

a

}

–

{

X

b

}

≥ 0

a n d o n l y e q u a l i t y f o r

{

X

a

}

=

{

X

b

}

. E x p a n d i n g w e g e t w i t h t h e d e f i n i -

t i o n s

u

a

+ u

b

– 2

{

X

a

}

T

[

A

]

{

X

b

}

≥ 0

b e c a u s e

[

A

]

T

=

[

A

]

.



2 5 3


B I O R T H O G O N A L I T Y F r o m t h e d e s c r i p t i o n o f t h e g e n e r a l i z e d e i g e n v a l u e p r o b l e m ( s e e t h i s )

c o n d i t i o n s w i t h r i g h t a n d l e f t e i g e n v e c t o r s

{

Φ

}

i

a n d

{

Ψ

}

i

w e h a v e

{

Ψ

}

T

j

[

A

]

– λ

i

[

B

]

{

Φ

}

i

= 0

a n d

{

Ψ

}

T

j

[

A

]

– λ

j

[

B

]

{

Φ

}

i

= 0

w h i c h b y s u b t r a c t i o n g i v e s

( λ

i

– λ

j

)

{

Ψ

}

T

j

[

B

]

{

Φ

}

i

= 0

F o r d i f f e r e n t e i g e n v a l u e s

λ

i

≠ λ

j

t h i s i m p l i e s

{

Ψ

}

T

j

[

B

]

{

Φ

}

i

= 0

a n d t h u s a l s o

{

Ψ

}

T

j

[

A

]

{

Φ

}

i

= 0

w h i c h i s t e r m e d t h e b i o r t h o g o n a l i t y c o n d i t i o n s .

F o r a s y m m e t r i c e i g e n v a l u e p r o b l e m

{

Ψ

}

i

=

{

Φ

}

i

( s e e o r t h o g o n a l i t y

c o n d i t i o n s ) .



2 5 4


C H A R A C T E R I S T I C F r o m t h e d e t e r m i n a n t c o n d i t i o n

P O L Y N O M I U M

( g e n e r a l i z e d ) |

[

A

]

λ

2

+

[

B

]

λ +

[

C

]

| = 0

w i t h t h e s q u a r e m a t r i c e s

[

A

]

,

[

B

]

a n d

[

C

]

a l l o f o r d e r n w e o b t a i n

a p o l y n o m i u m o f o r d e r 2 n i n λ . T h i s p o l y n o m i u m i s t e r m e d t h e c h a r -

a c t e r i s t i c p o l y n o m i u m o f t h e t r i p l e (

[

A

]

,

[

B

]

,

[

C

]

) .

S p e c i f i c c a s e s a s

|

[

A

]

λ

2

+

[

C

]

| = 0

|

[

I

]

λ +

[

C

]

| = 0

a r e o f t e n e n c o u n t e r e d .

C H O L E S K I S e e f a c t o r i z a t i o n o f a m a t r i x .

f a c t o r i z a t i o n /

t r i a n g u l a r i z a t i o n

C O E F F I C I E N T S S e e e l e m e n t s o f a m a t r i x .

o f a m a t r i x

C O F A C T O R T h e c o f a c t o r o f a m a t r i x e l e m e n t i s t h e c o r r e s p o n d i n g m i n o r w i t h a n

o f a m a t r i x e l e m e n t a p p r o p r i a t e s i g n . I f t h e s u m o f r o w a n d c o l u m n i n d i c e s f o r t h e m a t r i x

e l e m e n t i s e v e n , t h e c o f a c t o r i s e q u a l t o t h e m i n o r . I f t h i s s u m i s o d d t h e

c o f a c t o r i s t h e m i n o r w i t h r e v e r s e d s i g n , i . e .

C o f a c t o r ( A

i j

) = ( – 1 )

i + j

M i n o r ( A

i j

)



2 5 5


C O L U M N A c o l u m n m a t r i x i s a m a t r i x w i t h o n l y o n e c o l u m n , i . e . o r d e r m × 1 .

m a t r i x T h e n o t a t i o n

{ }

i s u s e d f o r a c o l u m n m a t r i x . T h e n a m e c o l u m n v e c t o r

o r j u s t v e c t o r i s a l s o u s e d .

C O N G R U E N C E A c o n g r u e n c e t r a n s f o r m a t i o n o f a s q u a r e m a t r i x

[

A

]

t o a s q u a r e m a t r i x

t r a n s f o r m a t i o n

[

B

]

o f t h e s a m e o r d e r i s b y t h e r e g u l a r t r a n s f o r m a t i o n m a t r i x

[

T

]

o f

t h e s a m e o r d e r

[

B

]

=

[

T

]

T

[

A

] [

T

]

M a t r i c e s

[

A

]

a n d

[

B

]

a r e s a i d t o b e c o n g r u e n t m a t r i c e s , t h e y h a v e t h e

s a m e r a n k a n d t h e s a m e d e f i n i t e n e s s , b u t n o t n e c e s s a r i l y s a m e e i g e n v a -

l u e s . A c o n g r u e n c e t r a n s f o r m a t i o n i s a l s o a n e q u i v a l e n c e t r a n s f o r m a -

t i o n .

C O N J U G A T E T h e c o n j u g a t e t r a n s p o s e i s a t r a n s f o r m a t i o n o f m a t r i c e s w i t h c o m p l e x

T R A N S P O S E e l e m e n t s . C o m p l e x c o n j u g a t e i s d e n o t e d b y a b a r a n d t r a n s p o s e b y a

s u p e r s c r i p t T . W i t h a s h o r t n o t a t i o n ( f r o m t h e n a m e H e r m i t i a n ) w e

d e n o t e t h e c o m b i n e d t r a n s f o r m a t i o n a s

[

A

]

H

=

[

A

]

T



2 5 6


C O N T R A C T E D F o r a s y m m e t r i c m a t r i x , a s i m p l e r c o n t r a c t e d n o t a t i o n i n t e r m s o f a r o w

N O T A T I O N o r c o l u m n m a t r i x i s p o s s i b l e . O f t h e n o t a t i o n s w h i c h k e e p t h e o r t h o g o - - -

f o r a s y m m e t r i c m a t r i x n a l t r a n s f o r m a t i o n , w e c h o o s e t h e f o r m w i t h 2

- - - f a c t o r s m u l t i p l i e d t o

t h e o f f d i a g o n a l e l e m e n t s i n t h e m a t r i x , i . e .

{

B

}

f r o m

[

A

]

w i t h

B

i

= A

i i

f o r i = 1 , 2 , . . . , n

B

n + . . .

= 2

A

i j

f o r j > i

( T h e o r d e r i n g w i t h i n

{

B

}

s y m b o l i z e d b y n + . . . i s n o t s p e c i f i e d ) .



2 5 7


C O N V E X S P A C E F o r a s y m m e t r i c , p o s i t i v e d e f i n i t e m a t r i x

[

A

]

w e h a v e b y d e f i n i t i o n f o r

b y p o s i t i v e t h e f o l l o w i n g t w o q u a d r a t i c f o r m s :

d e f i n i t e m a t r i x

{

X

a

}

T

[

A

]

{

X

a

}

= u

a

; 0 < u

a

{

X

b

}

T

[

A

]

{

X

b

}

= u

b

; 0 < u

b

≤ u

a

T h e m a t r i x

[

A

]

d e s c r i b e s a c o n v e x s p a c e s u c h t h a t f o r

{

X

α

}

= α

{

X

a

}

+ ( 1 – α )

{

X

b

}

; 0 ≤ α ≤ 1

w e h a v e f o r a l l v a l u e s o f α

{

X

α

}

T

[

A

]

{

X

α

}

= u

α

≤ u

a

I n s e r t i n g d i r e c t l y w e h a v e w i t h

[

A

]

T

=

[

A

]

α

{

X

a

}

T

+ ( 1 – α )

{

X

b

}

T

[

A

]

α

{

X

a

}

+ ( 1 – α )

{

X

b

}

= α

2

{

X

a

}

T

[

A

]

{

X

a

}

+ ( 1 – α )

2

{

X

b

}

T

[

A

]

{

X

b

}

+ 2 α ( 1 – α )

{

X

a

}

T

[

A

]

{

X

b

}

= α

2

u

a

+ ( 1 – α )

2

u

b

+ 2 α ( 1 – α )

{

X

a

}

T

[

A

]

{

X

b

}

F r o m t h e b i l i n e a r i n e q u a l i t y w e h a v e

{

X

a

}

T

[

A

]

{

X

b

}

≤

1

2

( u

a

+ u

b

)

a n d t h u s w i t h u

b

≤ u

a

w e c a n s u b s t i t u t i v e g r e a t e r v a l u e s a n d o b t a i n

{

X

α

}

T

[

A

]

{

X

α

}

≤ α

2

u

a

+ ( 1 – α )

2

u

a

+ 2 α ( 1 – α ) u

a

= u

a



2 5 8


D E F I N I T E N E S S

F o r a s y m m e t r i c m a t r i x t h e n o t i o n s o f : a r e u s e d i f , f o r t h e m a t r i x :

¯ p o s i t i v e d e f i n i t e ¯ a l l e i g e n v a l u e s a r e p o s i t i v e

¯ p o s i t i v e s e m i - - - d e f i n i t e ¯ e i g e n v a l u e s n o n - - - n e g a t i v e

¯ n e g a t i v e d e f i n i t e ¯ a l l e i g e n v a l u e s a r e n e g a t i v e

¯ n e g a t i v e s e m i - - - d e f i n i t e ¯ e i g e n v a l u e s n o n - - - p o s i t i v e

¯ i n d e f i n i t e ¯ b o t h p o s i t i v e a n d n e g a t i v e e i g e n v a l u e s

S e e s p e c i f i c a l l y p o s i t i v e d e f i n i t e , n e g a t i v e d e f i n i t e a n d i n d e f i n i t e f o r

a l t e r n a t i v e s t a t e m e n t o f t h e s e c o n d i t i o n s .



2 5 9


D E T E R M I N A N T T h e d e t e r m i n a n t o f a s q u a r e m a t r i x i s a s c a l a r , c a l c u l a t e d a s t h e s u m o f

o f a m a t r i x p r o d u c t s o f e l e m e n t s f r o m t h e m a t r i x . T h e s y m b o l o f t w o v e r t i c a l l i n e s

d e t(

[

A

]

)= |

[

A

]

|

i s u s e d f o r t h i s q u a n t i t y .

F o r a s q u a r e m a t r i x o f o r d e r t w o t h e d e t e r m i n a n t i s

|

[

A

]

|

=

A

1 1

A

2 1

A

1 2

A

2 2

= A

1 1

A

2 2

– A

1 2

A

2 1

F o r a s q u a r e m a t r i x o f o r d e r t h r e e t h e d e t e r m i n a n t i s

|

[

A

]

|

=

A

1 1

A

2 1

A

3 1

A

1 2

A

2 2

A

3 2

A

1 3

A

2 3

A

3 3

=

A

1 1

A

2 2

A

3 3

+ A

1 2

A

2 3

A

3 1

+ A

1 3

A

2 1

A

3 2

– A

3 1

A

2 2

A

1 3

– A

3 2

A

2 3

A

1 1

– A

3 3

A

2 1

A

1 2

W e n o t e t h a t f o r e a c h p r o d u c t t h e n u m b e r o f e l e m e n t s i s e q u a l t o t h e

o r d e r o f t h e m a t r i x , a n d t h a t i n e a c h p r o d u c t a r o w o r a c o l u m n i s o n l y

r e p r e s e n t e d b y o n e e l e m e n t . T o t a l l y f o r a m a t r i x o f o r d e r n t h e r e a r e

n ! t e r m s t o b e s u m m e d .

F o r f u r t h e r c a l c u l a t i o n p r o c e d u r e s s e e d e t e r m i n a n t s b y m i n o r s / c o f a c -

t o r s .



2 6 0


D E T E R M I N A N T S A d e t e r m i n a n t c a n b e c a l c u l a t e d i n t e r m s o f c o f a c t o r s ( o r m i n o r s ) , b y

B Y M I N O R S / e x p a n s i o n i n t e r m s o f a n a r b i t r a r y r o w o r c o l u m n .

C O F A C T O R S

A s a n e x a m p l e , f o r a m a t r i x o f o r d e r t h r e e e x p a n s i o n o f t h e t h i r d c o l -

u m n y i e l d s :

A

1 1

A

2 1

A

3 1

A

1 2

A

2 2

A

3 2

A

1 3

A

2 3

A

3 3

= A

1 3

M i n o r ( A

1 3

) – A

2 3

M i n o r ( A

2 3

) + A

3 3

M i n o r ( A

3 3

)

S e e d e t e r m i n a n t o f a m a t r i x f o r d i r e c t c o m p a r i s o n .

D E T E R M I N A N T T h e p r o d u c t o f t h e d e t e r m i n a n t s f o r a r e g u l a r m a t r i x

[

A

]

a n d i t s

O F A N I N V E R S E i n v e r s e

[

A

]

– 1

i s e q u a l t o 1

m a t r i x

|

[

A

]

– 1

| = 1

|

[

A

]

|

D E T E R M I N A N T T h e d e t e r m i n a n t o f a p r o d u c t o f s q u a r e m a t r i c e s i s e q u a l t o t h e p r o d u c t

O F A P R O D U C T o f t h e i n d i v i d u a l d e t e r m i n a n t s , i . e .

o f m a t r i c e s

|

[

A

] [

B

]

| = |

[

A

]

| |

[

B

]

|



2 6 1


D E T E R M I N A N T T h e d e t e r m i n a n t o f t r a n s p o s e d s q u a r e m a t r i x i s e q u a l t o t h e d e t e r - - -

O F A T R A N S P O S E D m i n a n t o f t h e m a t r i x i t s e l f , i . e .

m a t r i x

|

[

A

]

T

| = |

[

A

]

|

D I A G O N A L A d i a g o n a l m a t r i x i s a m a t r i x w h e r e a l l o f f d i a g o n a l e l e m e n t s h a v e t h e

m a t r i x v a l u e z e r o

[

A

]

a d i a g o n a l m a t r i x w h e n A

i j

= 0 f o r i ≠ j

a n d a t l e a s t o n e d i a g o n a l e l e m e n t i s n o n - - - z e r o . T h i s d e f i n i t i o n a l s o

h o l d s f o r n o n - - - s q u a r e m a t r i c e s , a s b y s i n g u l a r v a l u e d e c o m p o s i t i o n .

D I F F E R E N T I A L S e e f u n c t i o n a l m a t r i x .

m a t r i x

D I F F E R E N T I A T I O N D i f f e r e n t i a t i o n o f a m a t r i x i s c a r r i e d o u t b y d i f f e r e n t i a t i o n o f e a c h

o f a m a t r i x e l e m e n t

[

C

]

= d (

[

A

]

) d b w i t h C

i j

= d

( A

i j

) d b

D I M E N S I O N S S e e o r d e r o f a m a t r i x .

o f a m a t r i x



2 6 2


D O T P R O D U C T S e e s c a l a r p r o d u c t o f t w o v e c t o r s .

o f t w o v e c t o r s

D Y A D I C P R O D U C T T h e d y a d i c p r o d u c t o f t w o v e c t o r s

{

A

}

a n d

{

B

}

o f t h e s a m e o r d e r

o f t w o v e c t o r s n r e s u l t s i n a s q u a r e m a t r i x

[

C

]

o f o r d e r n × n , b u t o n l y w i t h r a n k

1

[

C

]

=

{

A

} {

B

}

T

w i t h C

i j

= A

i

B

j

D y a d i c p r o d u c t s o f v e c t o r s o f d i f f e r e n t o r d e r c a n a l s o b e d e f i n e d ,

r e s u l t i n g i n a m a t r i x o f o r d e r m × n .

E I G E N P A I R T h e e i g e n p a i r λ

i

,

{

Φ

}

i

i s a s o l u t i o n t o a n e i g e n v a l u e p r o b l e m . T h e

e i g e n v e c t o r

{

Φ

}

i

c o r r e s p o n d s t o t h e e i g e n v a l u e λ

i

.

E I G E N V A L U E S T h e e i g e n v a l u e s λ

i

o f a s q u a r e m a t r i x

[

A

]

a r e t h e s o l u t i o n s t o t h e

o f a m a t r i x s t a n d a r d f o r m f o r t h e e i g e n v a l u e p r o b l e m , w i t h

(

[

A

]

– λ

i

[

I

]

)

{

Φ

}

i

=

{

0

}

⇒ |

[

A

]

– λ

i

[

I

]

| = 0

w h i c h g i v e s a c h a r a c t e r i s t i c p o l y n o m i u m .



2 6 3


E I G E N V A L U E W i t h

[

A

]

a n d

[

B

]

b e i n g t w o s q u a r e m a t r i c e s o f o r d e r n , t h e g e n e r a l - - -

P R O B L E M i z e d e i g e n v a l u e p r o b l e m i s d e f i n e d b y

[

A

]

– λ

i

[

B

]

{

Φ

}

i

=

{

0

}

f o r i = 1 , 2 , . . . , n

o r b y

{

Ψ

}

T

i

[

A

]

– λ

i

[

B

]

=

{

0

}

T

f o r i = 1 , 2 , . . . , n

T h e p a i r s o f e i g e n v a l u e , e i g e n v e c t o r s a r e λ

i

,

{

Φ

}

i

a n d λ

i

,

{

Ψ

}

T

i

w i t h

{

Φ

}

i

a s r i g h t e i g e n v e c t o r a n d

{

Ψ

}

i

a s l e f t e i g e n v e c t o r . T h e e i g e n v a l u e

p r o b l e m h a s n s o l u t i o n s w i t h p o s s i b i l i t y f o r m u l t i p l i c i t y .

W i t h

[

B

]

b e i n g a n i d e n t i t y m a t r i x w e h a v e t h e s t a n d a r d f o r m f o r a n

e i g e n v a l u e p r o b l e m , w h i l e f o r

[

B

]

n o t b e i n g a n i d e n t i t y m a t r i x t h e

n a m e g e n e r a l i z e d e i g e n v a l u e p r o b l e m i s u s e d .

E I G E N V E C T O R A n e i g e n v e c t o r

{

Φ

}

i

i s t h e v e c t o r - - - p a r t o f a s o l u t i o n t o a n e i g e n v a l u e

p r o b l e m . T h e w o r d e i g e n r e f l e c t s t h e f a c t t h a t t h e v e c t o r i s t r a n s f o r m e d

i n t o i t s e l f e x c e p t f o r a f a c t o r , t h e e i g e n v a l u e λ

i

.

E L E M E N T S T h e e l e m e n t s o f a m a t r i x

[

A

]

a r e t h e i n d i v i d u a l e n t r i e s A

i j

. I n a m a t r i x

o f a m a t r i x o f o r d e r m × n t h e r e a r e m n e l e m e n t s A

i j

, f o r i = 1 , 2 , . . . , m ,

j = 1 , 2 , . . . , n . E l e m e n t s a r e a l s o c a l l e d t h e m e m b e r s o r t h e c o e f f i c i e n t s

o f t h e m a t r i x .

E Q U A L I T Y T w o m a t r i c e s o f t h e s a m e o r d e r a r e e q u a l i f t h e c o r r e s p o n d i n g e l e m e n t s

o f m a t r i c e s o f e a c h o f t h e m a t r i c e s a r e e q u a l , i . e .

[

A

]

=

[

B

]

i f A

i j

= B

i j

f o r a l l i j



2 6 4


E Q U I V A L E N C E A n e q u i v a l e n c e t r a n s f o r m a t i o n o f a m a t r i x

[

A

]

t o a m a t r i x

[

B

]

( n o t

t r a n s f o r m a t i o n s n e c e s s a r i l y s q u a r e m a t r i c e s ) b y t h e t w o s q u a r e , r e g u l a r t r a n s f o r m a t i o n

m a t r i c e s

[

T

1

]

a n d

[

T

2

]

i s

[

B

]

=

[

T

1

] [

A

] [

T

2

]

M a t r i c e s

[

A

]

a n d

[

B

]

a r e s a i d t o b e e q u i v a l e n t m a t r i c e s a n d h a v e t h e

s a m e r a n k .

E X P O N E N T I A L T h e e x p o n e n t i a l o f a s q u a r e m a t r i x

[

A

]

i s d e f i n e d b y i t s p o w e r s e r i e s

o f a m a t r i x e x p a n s i o n

e

[

A

]

t

: =

[

I

]

+

[

A

]

t +

[

A

]

2

t

2

2 !

+

[

A

]

3

t

3

3 !

+

T h e s e r i e s a l w a y s c o n v e r g e s , a n d t h e e x p o n e n t i a l p r o p e r t i e s a r e k e p t ,

i . e .

e

[

A

]

t

e

[

A

]

s

= e

[

A

]

( t + s )

, e

[

A

]

t

e

[

A

]

( – t )

=

[

I

]

, d

e

[

A

]

t

d t =

[

A

]

e

[

A

]

t



2 6 5


F A C T O R I Z A T I O N A s y m m e t r i c , r e g u l a r m a t r i x

[

A

]

o f o r d e r n c a n b e f a c t o r i z e d i n t o t h e

o f a m a t r i x p r o d u c t o f a l o w e r t r i a n g u l a r m a t r i x

[

L

]

, a d i a g o n a l m a t r i x

[

B

]

a n d

t h e u p p e r t r i a n g u l a r m a t r i x

[

L

]

T

a l l o f t h e o r d e r n

[

A

]

=

[

L

] [

B

] [

L

]

T

I n a G a u s s f a c t o r i z a t i o n t h e d i a g o n a l e l e m e n t s o f

[

L

]

a r e a l l 1 .

A C h o l e s k i f a c t o r i z a t i o n i s o n l y p o s s i b l e f o r p o s i t i v e s e m i - - - d e f i n i t e

m a t r i c e s , a n d t h e n

[

B

]

=

[

I

]

a n d w e g e t

[

A

]

=

[

L

] [

L

]

T

w i t h L

i i

n o t n e c e s s a r i l y e q u a l t o 1 .

F R O B E N I U S T h e F r o b e n i u s n o r m o f a m a t r i x

[

A

]

i s d e f i n e d a s t h e s q u a r e r o o t o f

n o r m o f a m a t r i x t h e s u m o f t h e s q u a r e s o f a l l t h e e l e m e n t s o f

[

A

]

.

F o r a s q u a r e m a t r i x o f o r d e r 2 w e g e t

F r o b e n i u s = A

2

1 1

+ A

2

2 2

+ A

2

1 2

+ A

2

2 1

a n d t h u s f o r a s y m m e t r i c m a t r i x e q u a l t o t h e s q u a r e r o o t o f t h e i n v a r i a n t

I

3

.

F o r a s q u a r e m a t r i x o f o r d e r 3 w e g e t

F r o b e n i u s =

( A

2

1 1

+ A

2

2 1

+ A

2

3 1

) + ( A

2

2 2

+ A

2

1 2

+ A

2

3 2

) + ( A

2

3 3

+ A

2

1 3

+ A

2

2 3

)

½

a n d t h u s f o r a s y m m e t r i c m a t r i x e q u a l t o t h e s q u a r e r o o t o f t h e i n v a r i a n t

I

4

.



2 6 6


F U L L R A N K S e e r a n k o f a m a t r i x .

F U N C T I O N A L T h e f u n c t i o n a l m a t r i x

[

G

]

c o n s i s t s o f p a r t i a l d e r i v a t i v e s - - - t h e p a r t i a l

M A T R I X d e r i v a t i v e s o f t h e e l e m e n t s o f a v e c t o r

{

A

}

o f o r d e r m w i t h r e s p e c t

t o t h e e l e m e n t s o f a v e c t o r

{

B

}

o f o r d e r n . T h u s t h e f u n c t i o n a l m a t r i x

i s o f t h e o r d e r m × n

[

G

]

=

∂

{

A

}

∂

{

B

}

w i t h G

i j

=

∂ A

i

∂ B

j

T h e n a m e g r a d i e n t m a t r i x i s a l s o u s e d . A s q u a r e f u n c t i o n a l m a t r i x i s

n a m e d a J a c o b i m a t r i x , a n d t h e d e t e r m i n a n t o f t h i s m a t r i x a s t h e J a c o -

b i a n .

G A U S S S e e f a c t o r i z a t i o n o f a m a t r i x .

f a c t o r i z a t i o n /

t r i a n g u l a r i z a t i o n

G E N E R A L I Z E D S e e e i g e n v a l u e p r o b l e m .

E I G E N V A L U E

P R O B L E M

G E O M E T R I C A v e c t o r o f o r d e r t w o o r t h r e e i n a n E u c l i d i a n p l a n e o r s p a c e . S e e v e c - - -

v e c t o r t o r s . B y a g e o m e t r i c v e c t o r w e m e a n a o r i e n t e d p i e c e o f a l i n e ( a n

“ a r r o w ” ) .



2 6 7


G R A D I E N T S e e f u n c t i o n a l m a t r i x .

m a t r i x

H E R M I T I A N A s q u a r e m a t r i x

[

A

]

i s t e r m e d H e r m i t i a n i f i t i s n o t c h a n g e d b y t h e

m a t r i x c o n j u g a t e t r a n s p o s e t r a n s f o r m a t i o n , i . e .

[

A

]

H

=

[

A

]

E v e r y e i g e n v a l u e o f a H e r m i t i a n m a t r i x i s r e a l , a n d t h e e i g e n v e c t o r s a r e

m u t u a l l y o r t h o g o n a l , a s f o r s y m m e t r i c r e a l m a t r i c e s .

H E S S I A N A H e s s i a n m a t r i x

[

H

]

i s a s q u a r e , s y m m e t r i c m a t r i x c o n t a i n i n g s e c o n d

m a t r i x o r d e r d e r i v a t i v e s o f a s c a l a r F w i t h r e s p e c t t o t h e v e c t o r

{

A

}

[

H

]

=

∂

2

F

∂

{

A

}

∂

{

A

}

w i t h H

i j

=

∂

2

F

∂ A

i

∂ A

j



2 6 8


H U R W I T Z T h e H u r w i t z d e t e r m i n a n t s u p t o o r d e r e i g h t a r e d e f i n e d b y

d e t e r m i n a n t s

H

i

:

=

a

1

a

0

a

3

a

2

a

1

a

0

a

5

a

4

a

3

a

2

a

1

a

0

a

7

a

6

a

5

a

4

a

3

a

2

a

1

a

0

a

8

a

7

a

6

a

5

a

4

a

3

a

2

a

8

a

7

a

6

a

5

a

4

a

8

a

7

a

6

a

8

t o b e r e a d i n t h e s e n s e t h a t H

i

i s t h e d e t e r m i n a n t o f o r d e r i d e f i n e d

i n t h e u p p e r l e f t c o r n e r ( p r i n c i p a l s u b m a t r i x ) . M o r e s p e c i f i c a l l y ,

H

1

= a

1

H

2

= a

1

a

2

– a

0

a

3

H

3

= H

2

a

3

– ( a

1

a

4

– a

0

a

5

) a

1

·

·

I f t h e h i g h e s t o r d e r i s n , t h e n a

m

= 0 f o r m > n , a n d t h e r e f o r e t h e

h i g h e s t H u r w i t z d e t e r m i n a n t i s g i v e n b y

H

n

= H

n – 1

a

n



2 6 9


I D E N T I T Y A n i d e n t i t y m a t r i x

[

I

]

i s a s q u a r e m a t r i x w h e r e a l l d i a g o n a l e l e m e n t s

m a t r i x h a v e t h e v a l u e o n e a n d a l l o f f d i a g o n a l e l e m e n t s h a v e t h e v a l u e z e r o

[

I

]

: =

[

A

]

w i t h A

i i

= 1 , A

i j

= 0 f o r i ≠ j

T h e n a m e u n i t m a t r i x i s a l s o u s e d f o r t h e i d e n t i t y m a t r i x .

I N D E F I N I T E A s q u a r e , r e a l m a t r i x

[

A

]

i s c a l l e d i n d e f i n i t e i f p o s i t i v e a s w e l l a s n e g a - - -

m a t r i x t i v e v a l u e s o f

{

X

}

T

[

A

]

{

X

}

e x i s t , i . e .

{

X

}

T

[

A

]

{

X

}

>

<

0

d e p e n d i n g o n t h e a c t u a l v e c t o r ( c o l u m n m a t r i x )

{

X

}

.

I N T E G R A T I O N T h e i n t e g r a l o f a m a t r i x i s t h e i n t e g r a l o f e a c h e l e m e n t

o f a m a t r i x

[

C

]

=

[

A

]

d x w i t h C

i j

=

A

i j

d x

I N V A R I A N T S F o r m a t r i c e s w h i c h t r a n s f o r m s b y s i m i l a r i t y t r a n s f o r m a t i o n s w e c a n

o f s i m i l a r m a t r i c e s d e t e r m i n e a n u m b e r o f i n v a r i a n t s , i . e . s c a l a r s w h i c h d o n o t c h a n g e b y

t h e t r a n s f o r m a t i o n . T h e n u m b e r o f i n d e p e n d e n t i n v a r i a n t s a r e e q u a l t o

t h e o r d e r o f t h e m a t r i x , a n d a s a n y c o m b i n a t i o n i s a l s o a n i n v a r i a n t

m a n y d i f f e r e n t f o r m s a r e p o s s i b l e . T o m e n t i o n s o m e i m p o r t a n t i n v a r i a -

n t s w e h a v e e i g e n v a l u e s , t r a c e , d e t e r m i n a n t , a n d F r o b e n i u s n o r m . T h e

p r i n c i p a l i n v a r i a n t s a r e t h e c o e f f i c i e n t s o f t h e c h a r a c t e r i s t i c p o l y n o -

m i u m .



2 7 0


I N V A R I A N T S F o r t h e s q u a r e , s y m m e t r i c m a t r i x

[

A

]

o f o r d e r 2 w e h a v e

o f s y m m e t r i c , s i m i l a r

m a t r i c e s o f o r d e r 2

[

A

]

=

A 1 1

A

1 2

A

1 2

A

2 2

w i t h i n v a r i a n t s b e i n g t h e t r a c e I

1

b y

I

1

= A

1 1

+ A

2 2

a n d t h e d e t e r m i n a n t I

2

b y

I

2

= A

1 1

A

2 2

– A

2

1 2

T a k i n g a s a n a l t e r n a t i v e i n v a r i a n t I

3

b y

I

3

= ( I

1

)

2

– 2 I

2

= A

2

1 1

+ A

2

2 2

+ 2 A

2

1 2

w e g e t t h e s q u a r e d l e n g t h o f t h e v e c t o r

{

A

}

c o n t r a c t e d f r o m

[

A

]

b y

{

A

}

T

=

{

A

1 1

, A

2 2

, 2

A

1 2

}

S e t t i n g u p t h e p o l y n o m i u m t o f i n d t h e e i g e n v a l u e s o f

[

A

]

w e f i n d

λ

2

– I

1

λ + I

2

= 0

a n d a g a i n s e e t h e i m p o r t a n c e o f t h e i n v a r i a n t s I

1

a n d I

2

, t e r m e d t h e

p r i n c i p a l i n v a r i a n t s .



2 7 1


I N V A R I A N T S F o r t h e s q u a r e , s y m m e t r i c m a t r i x

[

A

]

o f o r d e r 3 w e h a v e

o f s y m m e t r i c , s i m i l a r

m a t r i c e s o f o r d e r 3

[

A

]

=

A

1 1

A

1 2

A

1 3

A

1 2

A

2 2

A

2 3

A

1 3

A

2 3

A

3 3

w i t h i n v a r i a n t s b e i n g t h e t r a c e I

1

b y

I

1

= A

1 1

+ A

2 2

+ A

3 3

t h e n o r m I

2

b y

I

2

=

A

1 1

A

2 2

– A

2

1 2

+

A

2 2

A

3 3

– A

2

2 3

+

A

1 1

A

3 3

– A

2

1 3

a n d t h e d e t e r m i n a n t I

3

b y

I

3

= |

[

A

]

|

T h e s e t h r e e i n v a r i a n t s a r e t h e p r i n c i p a l i n v a r i a n t s a n d t h e y g i v e t h e

c h a r a c t e r i s t i c p o l y n o m i u m b y

λ

3

– I

1

λ

2

+ I

2

λ – I

3

= 0

T h e s q u a r e d l e n g t h o f t h e v e c t o r

{

A

}

c o n t r a c t e d f r o m

[

A

]

b y

{

A

}

T

=

A

1 1

, A

2 2

, A

3 3

, 2

A

1 2

, 2

A

1 3

, 2

A

2 3

i s

I

4

= A

2

1 1

+ A

2

2 2

+ A

2

3 3

+ 2 A

2

1 2

+ 2 A

2

1 3

+ 2 A

2

2 3

r e l a t e d t o t h e p r i n c i p a l i n v a r i a n t s b y

I

4

= ( I

1

)

2

– 2 I

2

a n d t h e r e f o r e a n o t h e r i n v a r i a n t , e q u a l t o t h e s q u a r e d F r o b e n i u s n o r m .



2 7 2


I N V E R S E T h e i n v e r s e o f a s q u a r e , r e g u l a r m a t r i x i s t h e s q u a r e m a t r i x , w h e r e t h e

o f a m a t r i x p r o d u c t o f t h e t w o m a t r i c e s i s t h e i d e n t i t y m a t r i x . T h e n o t a t i o n

[ ]

– 1

i s u s e d f o r t h e i n v e r s e

[

A

]

– 1

[

A

]

=

[

A

] [

A

]

– 1

=

[

I

]

I N V E R S E O F A F r o m t h e m a t r i x p r o d u c t i n p a r t i t i o n e d f o r m

P A R T I T I O N E D

m a t r i x

[

A

]

[

C

]

[

B

]

[

D

]

[

E

]

[

G

]

[

F

]

[

H

]

=

[

I

]

[

0

]

[

0

]

[

I

]

f o l l o w s t h e f o u r m a t r i x e q u a t i o n s

[

A

] [

E

]

+

[

B

] [

G

]

=

[

I

]

;

[

A

] [

F

]

+

[

B

] [

H

]

=

[

0

]

[

C

] [

E

]

+

[

D

] [

G

]

=

[

0

]

;

[

C

] [

F

]

+

[

D

] [

H

]

=

[

I

]

S o l v i n g t h e s e w e o b t a i n ( i n t w o a l t e r n a t i v e f o r m s )

[

H

]

=

[

D

]

– 1

–

[

D

]

– 1

[

C

] [

F

]

[

G

]

= –

[

D

]

– 1

[

C

] [

E

]

[

E

]

=

[

A

]

–

[

B

] [

D

]

– 1

[

C

]

– 1

[

F

]

= –

[

E

] [

B

] [

D

]

– 1

[

E

]

=

[

A

]

– 1

–

[

A

]

– 1

[

B

] [

G

]

[

F

]

= –

[

A

]

– 1

[

B

] [

H

]

[

H

]

=

[

D

]

–

[

C

] [

A

]

– 1

[

B

]

– 1

[

G

]

= –

[

H

] [

C

] [

A

]

– 1

T h e s p e c i a l c a s e o f a n u p p e r t r i a n g u l a r m a t r i x , i . e .

[

C

]

=

[

0

]

g i v e s

[

H

]

=

[

D

]

– 1

[

G

]

=

[

0

]

[

E

]

=

[

A

]

– 1

[

F

]

= –

[

A

]

– 1

[

B

] [

D

]

– 1

[

E

]

=

[

A

]

– 1

[

F

]

= –

[

A

]

– 1

[

B

] [

D

]

– 1

[

H

]

=

[

D

]

– 1

[

G

]

=

[

0

]



2 7 3


T h e s p e c i a l c a s e o f a s y m m e t r i c m a t r i x , i . e .

[

C

]

=

[

B

]

T

g i v e s

[

H

]

=

[

D

]

– 1

–

[

D

]

– 1

[

B

]

T

[

F

]

[

G

]

= –

[

D

]

– 1

[

B

]

T

[

E

]

[

E

]

=

[

A

]

–

[

B

] [

D

]

– 1

[

B

]

T

– 1

[

F

]

= –

[

E

] [

B

] [

D

]

– 1

=

[

G

]

T

[

E

]

=

[

A

]

– 1

–

[

A

]

– 1

[

B

] [

G

]

[

F

]

= –

[

A

]

– 1

[

B

] [

H

]

[

H

]

=

[

D

]

–

[

B

]

T

[

A

]

– 1

[

B

]

– 1

[

G

]

= –

[

H

] [

B

]

T

[

A

]

– 1

=

[

F

]

T

T h e m a t r i c e s t o b e i n v e r t e d , a r e a s s u m e d t o b e r e g u l a r .

I N V E R S E O F T h e i n v e r s e o f a p r o d u c t o f s q u a r e , r e g u l a r m a t r i c e s i s t h e p r o d u c t o f

A P R O D U C T t h e i n v e r s e o f t h e i n d i v i d u a l m u l t i p l i e r s , b u t i n r e v e r s e s e q u e n c e

(

[

A

] [

B

]

)

– 1

=

[

B

]

– 1

[

A

]

– 1

I t f o l l o w s d i r e c t l y f r o m

(

[

B

]

– 1

[

A

]

– 1

) (

[

A

] [

B

]

) =

[

I

]

I N V E R S E O F T h e i n v e r s e o f a m a t r i x o f o r d e r t w o i s g i v e n b y

O R D E R T W O

A

1 1

A

1 2

A

2 1

A

2 2

– 1

= A

2 2

– A

1 2

– A

2 1

A

1 1 1

|

[

A

]

|

w i t h t h e d e t e r m i n a n t g i v e n b y

|

[

A

]

| = A

1 1

A

2 2

– A

2 1

A

1 2



2 7 4


I N V E R S E O F T h e i n v e r s e o f a m a t r i x o f o r d e r t h r e e i s g i v e n b y

O R D E R T H R E E

A

1 1

A

1 2

A

1 3

A

2 1

A

2 2

A

2 3

A

3 1

A

3 2

A

3 3

– 1

=

( A

2 2

A

3 3

– A

3 2

A

2 3

) , ( A

3 2

A

1 3

– A

1 2

A

3 3

) , ( A

1 2

A

2 3

– A

2 2

A

1 3

)

( A

3 1

A

2 3

– A

2 1

A

3 3

) , ( A

1 1

A

3 3

– A

3 1

A

1 3

) , ( A

2 1

A

1 3

– A

1 1

A

2 3

)

( A

2 1

A

3 2

– A

3 1

A

2 2

) , ( A

3 1

A

1 2

– A

1 1

A

3 2

) , ( A

1 1

A

2 2

– A

2 1

A

1 2

)

1

|

[

A

]

|

W i t h t h e d e t e r m i n a n t g i v e n b y

|

[

A

]

| =

A

1 1

A

2 2

A

3 3

+ A

1 2

A

2 3

A

3 1

+ A

1 3

A

2 1

A

3 2

– A

3 1

A

2 2

A

1 3

– A

3 2

A

2 3

A

1 1

– A

3 3

A

2 1

A

1 2

I N V E R S E O F T h e i n v e r s e a n d t h e t r a n s p o s e t r a n s f o r m a t i o n s c a n b e i n t e r c h a n g e d

T R A N S P O S E D

m a t r i x

(

[

A

]

T

)

– 1

=

(

[

A

]

– 1

)

T

=

[

A

]

– T

f r o m w h i c h f o l l o w s t h e d e f i n i t i o n o f t h e s y m b o l

[ ]

– T

.

J A C O B I T h e J a c o b i m a t r i x

[

J

]

i s a s q u a r e f u n c t i o n a l m a t r i x . W e d e f i n e i t h e r e

m a t r i x a s t h e m a t r i x c o n t a i n i n g t h e d e r i v a t i v e s o f t h e e l e m e n t s o f a v e c t o r

{

A

}

w i t h r e s p e c t t o t h e e l e m e n t s o f a v e c t o r

{

B

}

, b o t h o f o r d e r n

[

J

]

=

∂

{

A

}

∂

{

B

}

w i t h J

i j

=

∂ A

i

∂ B

j



2 7 5


J A C O B I A N T h e J a c o b i a n J i s t h e d e t e r m i n a n t o f t h e J a c o b i m a t r i x , i . e .

d e t e r m i n a n t

J = |

[

J

]

|

a n d t h u s a s c a l a r .

J O R D A N B L O C K S A J o r d a n b l o c k i s a s q u a r e u p p e r - - - t r i a n g u l a r m a t r i x o f o r d e r e q u a l t o

t h e m u l t i p l i c i t y o f a n e i g e n v a l u e w i t h a s i n g l e c o r r e s p o n d i n g e i g e n v e c -

t o r . A l l d i a g o n a l e l e m e n t s a r e t h e e i g e n v a l u e a n d a l l t h e e l e m e n t s o f t h e

f i r s t u p p e r c o d i a g o n a l a r e 1 . R e m a i n i n g e l e m e n t s a r e z e r o . T h u s t h e

J o r d a n b l o c k

[

J

λ

]

o f o r d e r 3 c o r r e s p o n d i n g t o t h e e i g e n v a l u e λ i s

[

J

λ

]

=

λ

0

0

1

λ

0

0

1

λ

M u l t i p l e e i g e n v a l u e s w i t h l i n e a r i n d e p e n d e n t e i g e n v e c t o r s b e l o n g s t o

d i f f e r e n t J o r d a n b l o c k s .

J o r d a n b l o c k s o r o r d e r 1 a r e m o s t c o m m o n , a s t h i s r e s u l t s f o r e i g e n v a -

l u e p r o b l e m s d e s c r i b e d b y s y m m e t r i c m a t r i c e s .

J O R D A N F O R M T h e J o r d a n f o r m o f a s q u a r e m a t r i x

[

A

]

i s t h e s i m i l a r m a t r i x

[

J

]

c o n -

s i s t i n g o f J o r d a n b l o c k s a l o n g t h e d i a g o n a l ( b l o c k d i a g o n a l ) , a n d w i t h

r e m a i n i n g e l e m e n t s e q u a l t o z e r o .

O n l y w h e n w e h a v e m u l t i p l e e i g e n v a l u e s w i t h a s i n g l e e i g e n v e c t o r w i l l

t h e J o r d a n f o r m b e d i f f e r e n t f r o m p u r e d i a g o n a l f o r m . J o r d a n f o r m s

r e p r e s e n t t h e c l o s e s t - - - t o - - - d i a g o n a l o u t c o m e o f a s i m i l a r i t y t r a n s f o r -

m a t i o n .



2 7 6


L A P L A C I A N S e e d e t e r m i n a n t s b y m i n o r s / c o f a c t o r s .

E X P A N S I O N

o f d e t e r m i n a n t s

L E F T T h e l e f t e i g e n v e c t o r

{

Ψ

}

T

( r o w m a t r i x ) c o r r e s p o n d i n g t o e i g e n v a l u e

e i g e n v e c t o r λ

i

i s d e f i n e d b y

{

Ψ

}

T

i

(

[

A

]

– λ

i

[

B

]

) =

{

0

}

T

s e e e i g e n v a l u e p r o b l e m .

L E N G T H T h e l e n g t h |

{

A

}

| o f a v e c t o r i s t h e s q u a r e - - - r o o t o f t h e s c a l a r p r o d u c t

o f a v e c t o r o f t h e v e c t o r w i t h i t s e l f

|

{

A

}

| =

{

A

}

T

{

A

}

A g e o m e t r i c v e c t o r h a s a n i n v a r i a n t l e n g t h , b u t t h i s d o n o t h o l d f o r a l l

a l g e b r a i c v e c t o r d e f i n i t i o n s .

L I N E A R C o n s i d e r a m a t r i x

[

A

]

o f o r d e r m × n , c o n s t i t u t i n g t h e n v e c t o r s

D E P E N D E N C E /

{

A

}

i

f o r i = 1 , 2 , . . . , n . T h e n i f t h e r e e x i s t a n o n - - - z e r o v e c t o r

{

B

}

o f

L I N E A R o r d e r n s u c h t h a t

I N D E P E N D E N C E

[

A

]

{

B

}

=

[

{

A

}

1

{

A

}

2

{

A

}

n

]

{

B

}

=

{

0

}

t h e n t h e v e c t o r s

{

A

}

i

a r e s a i d t o b e l i n e a r d e p e n d e n t . T h e v e c t o r

{

B

}

c o n t a i n s a s e t o f l i n e a r c o m b i n a t i o n f a c t o r s .

I f o n t h e o t h e r h a n d

[

A

]

{

B

}

=

{

0

}

o n l y f o r

{

B

}

=

{

0

}



2 7 7


t h e n t h e v e c t o r s

{

A

}

i

a r e s a i d t o b e l i n e a r i n d e p e n d e n t .



2 7 8


M E M B E R S S e e e l e m e n t s o f a m a t r i x .

o f a m a t r i x

M I N O R T h e m i n o r o f a m a t r i x e l e m e n t i s a d e t e r m i n a n t , i . e . a s c a l a r .

o f a m a t r i x e l e m e n t

T h e a c t u a l s q u a r e m a t r i x c o r r e s p o n d i n g t o t h i s d e t e r m i n a n t i s o b t a i n e d

b y o m i t t i n g t h e r o w a n d c o l u m n c o r r e s p o n d i n g t o t h e a c t u a l e l e m e n t .

T h u s , f o r a m a t r i x o f o r d e r 3 , t h e m i n o r c o r r e s p o n d i n g t o e l e m e n t A

1 2

b e c o m e

M i n o r ( A

1 2

) =

A

2 1

A

2 3

A

3 1

A

3 3

= A

2 1

A

3 3

– A

3 1

A

2 3

M O D A L T h e m o d a l m a t r i x c o r r e s p o n d i n g t o a n e i g e n v a l u e p r o b l e m i s a s q u a r e

m a t r i x m a t r i x c o n s t i t u t i n g a l l t h e l i n e a r i n d e p e n d e n t e i g e n v e c t o r s

[

Φ

]

=

[

{

Φ

}

1

{

Φ

}

2

{

Φ

}

n

]

a n d t h e g e n e r a l i z e d e i g e n v a l u e p r o b l e m c a n t h e n b e s t a t e d a s

[

A

] [

Φ

]

–

[

B

] [

Φ

] [

Γ

]

=

[

0

]

N o t e t h a t t h e d i a g o n a l m a t r i x

[

Γ

]

o f e i g e n v a l u e s m u s t b e p o s t - - - m u l t i -

p l i e d .



2 7 9


M U L T I P L I C A T I O N T h e p r o d u c t o f t w o m a t r i c e s i s a m a t r i x , w h e r e t h e r e s u l t i n g e l e m e n t

o f t w o m a t r i c e s i j i s t h e s c a l a r p r o d u c t o f t h e i - - - t h r o w o f t h e f i r s t m a t r i x w i t h t h e j - - - t h

c o l u m n o f t h e s e c o n d m a t r i x

[

C

]

=

[

A

] [

B

]

w i t h C

i j

=

K

k = 1

A

i k

B

k j

T h e n u m b e r o f c o l u m n s i n t h e f i r s t m a t r i x m u s t b e e q u a l t o t h e n u m b e r

o f r o w s i n t h e s e c o n d m a t r i x ( h e r e K ) .

M U L T I P L I C A T I O N A m a t r i x i s m u l t i p l i e d b y a s c a l a r b y m u l t i p l y i n g e a c h e l e m e n t b y t h e

B Y S C A L A R s c a l a r

[

C

]

= b

[

A

]

w i t h C

i j

= b A

i j

M U L T I P L I C I T Y I n e i g e n v a l u e p r o b l e m s t h e s a m e e i g e n v a l u e m a y b e a m u l t i p l e s o l u - - -

O F E I G E N V A L U E S t i o n , m o s t l y ( b u t n o t a l w a y s ) c o r r e s p o n d i n g t o l i n e a r i n d e p e n d e n t

e i g e n v e c t o r s . A s a n e x a m p l e a b i m o d a l s o l u t i o n i s a s o l u t i o n , w h e r e t w o

e i g e n v e c t o r s c o r r e s p o n d t o t h e s a m e e i g e n v a l u e . M u l t i p l i c i t y o f e i g e n -

v a l u e s i s a l s o n a m e d a l g e b r a i c m u l t i p l i c i t y .

F o r n o n - - - s y m m e t r i c e i g e n v a l u e p r o b l e m s m u l t i p l e e i g e n v a l u e s m a y

c o r r e s p o n d t o t h e s a m e e i g e n v e c t o r . W e t h e n t a l k a b o u t , e . g . , a d o u b l e

e i g e n v a l u e / e i g e n v e c t o r s o l u t i o n ( b y c o n t r a s t t o a b i m o d a l s o l u t i o n ,

w h e r e o n l y t h e e i g e n v a l u e i s t h e s a m e ) . T h i s m u l t i p l i c i t y i s d e s c r i b e d b y

t h e g e o m e t r i c m u l t i p l i c i t y o f t h e e i g e n v a l u e . F o r a s p e c i f i c e i g e n v a l u e

w e h a v e

1 ≤ g e o m e t r i c m u l t i p l i c i t y ≤ a l g e b r a i c m u l t i p l i c i t y

N o t e t h a t t h e g e o m e t r i c m u l t i p l i c i t y o f a n e i g e n v a l u e c o u n t s t h e n u m b e r o f l i n e a r i n d e p e n d e n t

e i g e n v e c t o r s f o r t h i s e i g e n v a l u e , a n d n o t t h e n u m b e r o f t i m e s t h a t t h e e i g e n v e c t o r i s a s o l u t i o n .



2 8 0


N E G A T I V E D E F I N I T E A s q u a r e , r e a l m a t r i x

[

A

]

i s c a l l e d n e g a t i v e o r n e g a t i v e d e f i n i t e i f f o r

m a t r i x a n y n o n - - - z e r o v e c t o r ( c o l u m n m a t r i x )

{

X

}

w e h a v e

{

X

}

T

[

A

]

{

X

}

< 0

T h e m a t r i x i s c a l l e d n e g a t i v e s e m i - - - d e f i n i t e i f

{

X

}

T

[

A

]

{

X

}

≤ 0

N O R M A L I Z A T I O N E i g e n v e c t o r s c a n b e m u l t i p l i e d w i t h a n a r b i t r a r y c o n s t a n t ( e v e n a

o f a v e c t o r c o m p l e x c o n s t a n t ) . T h u s w e h a v e t h e p o s s i b i l i t y f o r a c o n v e n i e n t s c a l -

i n g , a n d o f t e n w e c h o o s e t h e w e i g h t e d n o r m . H e r e w e s c a l e t h e v e c t o r

{

A

}

i

t o t h e n o r m a l i z e d v e c t o r

{

Φ

}

i

{

Φ

}

i

=

{

A

}

i

{

A

}

T

i

[

B

]

{

A

}

i

b y w h i c h w e o b t a i n

{

Φ

}

T

i

[

B

]

{

Φ

}

i

= 1

A l t e r n a t i v e n o r m a l i z a t i o n s a r e b y o t h e r n o r m s , s u c h a s t h e 2 - - - n o r m

{

Φ

}

i

=

{

A

}

i

{

A

}

T

i

{

A

}

i

o r b y t h e ∞ - - - n o r m

{

Φ

}

i

=

{

A

}

i

( M a x | A

j

| )



2 8 1


N U L L A n u l l m a t r i x ( s y m b o l i z e d

[

0

]

) i s a m a t r i x w h e r e a l l e l e m e n t s h a v e t h e

m a t r i x v a l u e z e r o

[

0

]

: =

[

A

]

w i t h A

i j

= 0 f o r a l l i j

A n u l l m a t r i x i s a l s o c a l l e d a z e r o m a t r i x . T h e n u l l v e c t o r i s a s p e c i a l

c a s e .

O N E A o n e m a t r i x ( s y m b o l i z e d

[

1

]

) i s a m a t r i x w h e r e a l l e l e m e n t s h a v e t h e

m a t r i x v a l u e o n e

[

1

]

: =

[

A

]

w i t h A

i j

= 1 f o r a l l i j

T h e o n e v e c t o r i s a s p e c i a l c a s e . N o t e t h e c o n t r a s t t o t h e i d e n t i t y ( u n i t )

m a t r i x

[ I ]

, w h i c h i s a d i a g o n a l m a t r i x .

O R D E R T h e o r d e r o f a m a t r i x i s t h e ( n u m b e r o f r o w s ) × ( n u m b e r o f c o l u m n s ) .

o f a m a t r i x U s u a l l y t h e l e t t e r s m × n a r e u s e d , a n d a r o w m a t r i x t h e n h a s t h e o r d e r

1 × n w h i l e a c o l u m n m a t r i x h a s t h e o r d e r m × 1 . F o r s q u a r e

m a t r i c e s a s i n g l e n u m b e r g i v e s t h e o r d e r . T h e o r d e r o f a m a t r i x i s a l s o

c a l l e d t h e d i m e n s i o n s o r t h e s i z e o f t h e m a t r i x .



2 8 2


O R T H O G O N A L I T Y F o r a n e i g e n v a l u e p r o b l e m (

[

A

]

– λ

i

[

B

]

)

{

Φ

}

i

=

{

0

}

w i t h s y m m e t r i c

c o n d i t i o n s m a t r i c e s

[

A

]

a n d

[

B

]

t h e b i o r t h o g o n a l i t y c o n d i t i o n s s i m p l i f i e s t o

{

Φ

}

T

j

[

B

]

{

Φ

}

i

= 0 ,

{

Φ

}

T

j

[

A

]

{

Φ

}

i

= 0

f o r n o n - - - e q u a l e i g e n v a l u e s , i . e . λ

i

≠ λ

j

.

F o r s t a n d a r d f o r m e i g e n v a l u e p r o b l e m s w i t h

[

A

]

s y m m e t r i c t h i s f u r -

t h e r s i m p l i f i e s t o

{

Φ

}

T

j

{

Φ

}

i

= 0 ,

{

Φ

}

T

j

[

A

]

{

Φ

}

i

= 0 f o r λ

i

≠ λ

j

U s i n g n o r m a l i z a t i o n o f t h e e i g e n v e c t o r s w e c a n o b t a i n

{ Φ }

T

i

[

B

]

{ Φ }

i

= 1 o r { Φ }

T

i

{ Φ }

i

= 1

a n d t h u s

{

Φ

}

T

i

[

A

]

{

Φ

}

i

= λ

i

O r t h o g o n a l , n o r m a l i z e d e i g e n v e c t o r s a r e t e r m e d o r t h o n o r m a l .



2 8 3


O R T H O G O N A L A n o r t h o g o n a l t r a n s f o r m a t i o n o f a s q u a r e m a t r i x

[

A

]

t o a s q u a r e

t r a n s f o r m a t i o n s m a t r i x

[

B

]

o f t h e s a m e o r d e r i s b y t h e o r t h o g o n a l t r a n s f o r m a t i o n

m a t r i x

[

T

]

– 1

=

[

T

]

T

a n d t h u s t h e t r a n s f o r m a t i o n i s b o t h a c o n g r u e n c e t r a n s f o r m a t i o n a n d

a s i m i l a r i t y t r a n s f o r m a t i o n

[

B

]

=

[

T

]

T

[

A

] [

T

]

=

[

T

]

– 1

[

A

] [

T

]

M a t r i c e s

[

A

]

a n d

[

B

]

a r e s a i d t o b e o r t h o g o n a l s i m i l a r , a n d h a v e s a m e

r a n k , s a m e e i g e n v a l u e s , s a m e t r a c e a n d s a m e d e t e r m i n a n t ( s a m e

i n v a r i a n t s ) .

I f m a t r i x

[

A

]

i s s y m m e t r i c , m a t r i x

[

B

]

i s a l s o s y m m e t r i c , w h i c h d o n o t

h o l d g e n e r a l l y f o r s i m i l a r m a t r i c e s .

O R T H O N O R M A L A o r t h o n o r m a l s e t o f v e c t o r s

{

X

}

i

f u l f i l l t h e c o n d i t i o n s

{

X

}

T

i

[

A

]

{

X

}

j

=

0

1

f o r

f o r

i ≠ j

i = j



2 8 4


P A R T I T I O N I N G P a r t i t i o n i n g o f m a t r i c e s i s a v e r y i m p o r t a n t t o o l t o g e t c l o s e r i n s i g h t a n d

o f m a t r i c e s o v e r v i e w . B y t h e e x a m p l e

[

A

]

=

[

A

]

1 1

[

A

]

1 2

[

A

]

2 1

[

A

]

2 2

w e s e e t h a t t h e s u b m a t r i c e s a r e g i v e n i n d i c e s e x a c t l y l i k e t h e m a t r i x e l e -

m e n t s t h e m s e l v e s .

M u l t i p l i c a t i o n o n s u b m a t r i x l e v e l i s i d e n t i c a l t o m u l t i p l i c a t i o n o n e l e -

m e n t l e v e l . F o r e x a m p l e s e e i n v e r s e o f a p a r t i t i o n e d m a t r i x .

P O S I T I V E D E F I N I T E A s q u a r e , r e a l m a t r i x

[

A

]

i s c a l l e d p o s i t i v e o r p o s i t i v e d e f i n i t e i f f o r a n y

m a t r i x n o n - - - z e r o v e c t o r ( c o l u m n m a t r i x )

{

X

}

w e h a v e

{

X

}

T

[

A

]

{

X

}

> 0

T h e m a t r i x i s c a l l e d p o s i t i v e s e m i - - - d e f i n i t e i f

{

X

}

T

[

A

]

{

X

}

≥ 0



2 8 5


P O S I T I V E D E F I N I T E T h e c o n d i t i o n s f o r a s q u a r e m a t r i x

[

A

]

t o b e p o s i t i v e d e f i n i t e c a n b e

m a t r i x c o n d i t i o n s s t a t e d i n m a n y a l t e r n a t i v e f o r m s . F r o m t h e R o u t h - - - H u r w i t z - - - L i e -

n a r d - - - C h i p a r t t e o r e m w e c a n d i r e c t l y i n t e r m s o f H u r w i t z d e t e r m i n a n t s

o b t a i n t h e n e c e s s a r y a n d s u f f i c i e n t c o n d i t i o n s f o r e i g e n v a l u e s w i t h p o s -

i t i v e r e a l p a r t .

F o r a m a t r i x o f o r d e r 2 w e g e t t h a t

[

A

]

= A

1 1

A

2 1

A

1 2

A

2 2

h a s p o s i t i v e r e a l p a r t o f a l l e i g e n v a l u e s i f a n d o n l y i f

( A

1 1

+ A

2 2

) > 0 a n d A

1 1

A

2 2

– A

1 2

A

2 1

> 0

a n d t h e c o n d i t i o n s f o r a s y m m e t r i c m a t r i x ( A

2 1

= A

1 2

) t o b e p o s i t i v e

d e f i n i t e i s t h e n

A

1 1

> 0 , A

2 2

> 0 a n d A

1 1

A

2 2

– A

2

1 2

> 0

F o r a m a t r i x o f o r d e r 3 w e g e t t h a t

[

A

]

=

A

1 1

A

2 1

A

3 1

A

1 2

A

2 2

A

3 2

A

1 3

A

2 3

A

3 3

h a s p o s i t i v e r e a l p a r t o f a l l e i g e n v a l u e s i f a n d o n l y i f

I

1

= ( A

1 1

+ A

2 2

+ A

3 3

) > 0

I

2

=

( A

1 1

A

2 2

– A

2 1

A

1 2

) + ( A

2 2

A

3 3

– A

3 2

A

2 3

) + ( A

1 1

A

3 3

– A

3 1

A

1 3

)

> 0

I

3

= |

[

A

]

| > 0 a n d I

1

I

2

– I

3

> 0

a n d t h e c o n d i t i o n s f o r a s y m m e t r i c m a t r i x t o b e p o s i t i v e d e f i n i t e w i l l

t h e n b e

A

1 1

> 0 , A

2 2

> 0 , A

3 3

> 0



2 8 6


A

1 1

A

2 2

– A

2

1 2

> 0 , A

2 2

A

3 3

– A

2

2 3

> 0 , A

1 1

A

3 3

– A

2

1 3

> 0 , |

[

A

]

| > 0



2 8 7


P O S I T I V E D E F I N I T E A s s u m e t h a t t h e t w o s q u a r e , r e a l m a t r i c e s

[

A

]

a n d

[

B

]

o f t h e s a m e

S U M o r d e r a r e p o s i t i v e d e f i n i t e , t h e n t h e i r s u m i s a l s o p o s i t i v e d e f i n i t e .

o f m a t r i c e s U s i n g t h e s y m b o l f o r p o s i t i v e d e f i n i t e , w e h a v e

[

A

]

0 ,

[

B

]

0 ⇒

(

[

A

]

+

[

B

]

)

0

I t f o l l o w s d i r e c t l y f r o m t h e d e f i n i t i o n

{

X

}

T

(

[

A

]

+

[

B

]

)

{

X

}

=

{

X

}

T

[

A

]

{

X

}

+

{

X

}

T

[

B

]

{

X

}

> 0

b e c a u s e b o t h t e r m s a r e p o s i t i v e f o r

{

X

}

≠

{

0

}

.

F r o m t h i s a l s o f o l l o w s d i r e c t l y t h a t

α

[

A

]

+ ( 1 – α )

[

B

]

0 f o r 0 ≤ α ≤ 1

w h i c h i m p l i e s t h a t

[

A

]

0 i s a c o n v e x c o n d i t i o n .

I d e n t i c a l r e l a t i o n s h o l d f o r n e g a t i v e d e f i n i t e m a t r i c e s .

P O W E R T h e p o w e r o f a s q u a r e m a t r i x

[

A

]

i s s y m b o l i z e d b y

o f a m a t r i x

[

A

]

p

=

[

A

] [

A

]

[

A

]

( p t i m e s )

[

A

]

– p

=

[

A

]

– 1

[

A

]

– 1

[

A

]

– 1

( p t i m e s )

[

A

]

0

=

[

I

]

;

[

A

]

p

[

A

]

r

=

[

A

]

( p + r )

;

[

A

]

p

r

=

[

A

]

p r



2 8 8


P R I N C I P A L T h e p r i n c i p a l i n v a r i a n t s a r e t h e c o e f f i c i e n t s o f t h e c h a r a c t e r i s t i c p o l y - - -

I N V A R I A N T S n o m i u m f o r s i m i l a r m a t r i c e s .

P R I N C I P A L T h e p r i n c i p a l s u b m a t r i c e s o f t h e s q u a r e m a t r i x

[

A

]

o f o r d e r n , a r e t h e

S U B M A T R I X n s q u a r e d m a t r i c e s o f o r d e r k

(

1 ≤ k ≤ n

)

f o u n d i n t h e u p p e r l e f t

c o r n e r o f

[

A

]

.

P R O D U C T S e e m u l t i p l i c a t i o n o f t w o m a t r i c e s .

o f t w o m a t r i c e s

P R O D U C T S T h r e e d i f f e r e n t p r o d u c t s o f v e c t o r s a r e d e f i n e d . T h e s c a l a r p r o d u c t o r

o f t w o v e c t o r s d o t p r o d u c t r e s u l t i n g i n a s c a l a r . T h e v e c t o r p r o d u c t o r c r o s s p r o d u c t

r e s u l t i n g i n a v e c t o r , a n d e s p e c i a l l y u s e d f o r v e c t o r s o f o r d e r t h r e e .

F i n a l l y , t h e d y a d i c p r o d u c t r e s u l t i n g i n a m a t r i x .

P R O J E C T I O N A p r o j e c t i o n m a t r i x d i f f e r e n t f r o m t h e i d e n t i t y m a t r i x

[

I

]

i s a s q u a r e

m a t r i x s i n g u l a r m a t r i x t h a t i s u n c h a n g e d w h e n m u l t i p l i e d b y i t s e l f

[

P

] [

P

]

=

[

P

]

,

[

P

]

– 1

n o n – e x i s t e n t



2 8 9


P S E U D O I N V E R S E T h e p s e u d o i n v e r s e

[

A

+

]

o f a r e c t a n g u l a r m a t r i x

[

A

]

o f o r d e r m × n

o f a m a t r i x a l w a y s e x i s t s . W h e n

[

A

]

i s a r e g u l a r m a t r i x t h e p s e u d o i n v e r s e i s t h e

s a m e a s t h e i n v e r s e . G i v e n t h e s i n g u l a r v a l u e d e c o m p o s i t i o n o f

[

A

]

b y

[

A

]

=

[

T

1

] [

B

] [

T

2

]

T

t h e n w i t h t h e d i a g o n a l m a t r i x

[

C

]

o f o r d e r n × m d e f i n e d f r o m t h e

d i a g o n a l m a t r i x

[

B

]

o f o r d e r m × n b y

[

C

]

f r o m C

i i

= 1 B

i i

f o r B

i i

≠ 0 ( o t h e r C

i j

= 0 )

t h e p s e u d o i n v e r s e

[

A

+

]

i s g i v e n b y t h e p r o d u c t

[

A

+

]

=

[

T

2

] [

C

] [

T

1

]

T

C a s e 1 :

[

A

]

i s a n × m m a t r i x w h e r e n > m . T h e s o l u t i o n t o

[

A

]

{

X

}

=

{

B

}

w i t h t h e o b j e c t i v e o f m i n i m i z i n g t h e e r r o r

{

e

}

T

{

e

}

,

{

e

}

=

[

A

]

X

−

{

B

}

, i s g i v e n b y

X

=

[

A

]

T

[

A

]

− 1

[

A

]

T

{

B

}

C a s e 2 :

[

A

]

i s a n × m m a t r i x w h e r e n < m . T h e s o l u t i o n t o

[

A

]

{

X

}

=

{

B

}

w i t h t h e o b j e c t i v e o f m i n i m i z i n g t h e l e n g t h o f t h e s o l u -

t i o n

X

T

X

, i s g i v e n b y

X

=

[

A

]

T

[

A

] [

A

]

T

− 1

{

B

}



2 9 0


Q U A D R A T I C B y a s y m m e t r i c m a t r i x

[

A

]

o f o r d e r n w e d e f i n e t h e a s s o c i a t e d q u a - - -

F O R M d r a t i c f o r m

{

X

}

T

[

A

]

{

X

}

t h a t g i v e s a h o m o g e n e o u s , s e c o n d o r d e r p o l y n o m i a l i n t h e n p a r a m e -

t e r s c o n s t i t u t i n g t h e v e c t o r

{

X

}

. T h e q u a d r a t i c f o r m i s u s e d i n m a n y

a p p l i c a t i o n s , a n d t h u s k n o w l e d g e a b o u t i t s t r a n s f o r m a t i o n s , d e f i n i t e -

n e s s e t c . i s o f v i t a l i m p o r t a n c e .

R A N K T h e r a n k o f a m a t r i x i s e q u a l t o t h e n u m b e r o f l i n e a r l y i n d e p e n d e n t

o f a m a t r i x r o w s ( o r c o l u m n s ) o f t h e m a t r i x . T h e r a n k i s n o t c h a n g e d b y t h e t r a n s -

p o s e t r a n s f o r m a t i o n .

F r o m a m a t r i x

[

A

]

o f o r d e r ( m × n ) w e c a n , b y o m i t t i n g a n u m b e r

o f r o w s a n d / o r a n u m b e r o f c o l u m n s , g e t s q u a r e m a t r i c e s o f a n y o r d e r

f r o m 1 t o t h e m i n i m u m o f m , n . N o r m a l l y t h e r e w i l l b e s e v e r a l d i f f e r -

e n t m a t r i c e s o f e a c h o r d e r .

T h e r a n k r i s d e f i n e d b y t h e l a r g e s t o r d e r o f t h e s e s q u a r e m a t r i c e s , f o r

w h i c h t h e d e t e r m i n a n t i s n o n - - - z e r o , i . e . t h e o r d e r o f t h e “ l a r g e s t ” r e g u -

l a r m a t r i x w e c a n e x t r a c t f r o m

[

A

]

.

O n l y a z e r o m a t r i x h a s t h e r a n k 0 .

T h e r a n k o f a n y o t h e r m a t r i x w i l l b e

1 ≤ r ≤ m i n ( m , n )

I f r = m i n ( m , n ) w e s a y t h a t t h e m a t r i x h a s f u l l r a n k .



2 9 1


R E A L W i t h

[

A

]

a n d

[

B

]

b e i n g t w o r e a l a n d s y m m e t r i c m a t r i c e s , t h e n f o r t h e

E I G E N V A L U E S e i g e n v a l u e p r o b l e m

(

[

A

]

– λ

i

[

B

]

)

{

Φ

}

i

=

{

0

}

̄ i f λ

i

i s c o m p l e x , t h e n

{

Φ

}

i

i s a l s o c o m p l e x (

[

A

]

a n d

[

B

]

r e g u l a r )

̄ i f λ

i

,

{

Φ

}

i

i s a c o m p l e x p a i r o f s o l u t i o n , t h e n t h e c o m p l e x c o n j u -

g a t e d p a i r λ

i

,

{

Φ

}

i

i s a l s o a s o l u t i o n .

T h e c o n d i t i o n d e r i v e d u n d e r b i o r t h o g o n a l i t y c o n d i t i o n s f o r t h e s e t w o

p a i r s i s

( λ

i

– λ

i

)(

{

Φ

}

T

i

[

B

]

{

Φ

}

i

) = 0

w h i c h e x p r e s s e d i n r e a l a n d i m a g i n a r y p a r t s a r e

2 I m (

λ

i

)

R e (

{

Φ

}

T

i

)

[

B

]

R e (

{

Φ

}

i

) + I m

(

{

Φ

}

T

i

)

[

B

]

I m (

{

Φ

}

i

)

= 0

I t n o w f o l l o w s t h a t i f

[

B

]

i s a p o s i t i v e d e f i n i t e m a t r i x , t h e n I m ( λ

i

) = 0

a n d w e h a v e r e a l e i g e n v a l u e s .

R E G U L A R A n o n - - - s i n g u l a r m a t r i x , s e e s i n g u l a r m a t r i x .

m a t r i x

R I G H T T h e r i g h t e i g e n v e c t o r

{

Φ

}

i

( c o l u m n m a t r i x ) c o r r e s p o n d i n g t o e i g e n - - -

e i g e n v e c t o r v a l u e s λ

i

i s d e f i n e d b y

(

[

A

]

– λ

i

[

B

]

)

{

Φ

}

i

=

{

0

}



2 9 2





2 9 3


R O T A T I O N A L F o r t w o d i m e n s i o n a l p r o b l e m s w e s h a l l l i s t s o m e i m p o r t a n t o r t h o g o n a l

t r a n s f o r m a t i o n t r a n s f o r m a t i o n m a t r i c e s . T h e e l e m e n t s o f t h e s e m a t r i c e s i n v o l v e s

m a t r i c e s t r i g o n o m e t r i c f u n c t i o n s o f t h e a n g l e θ d e f i n e d i n t h e f i g u r e . F o r s h o r t

n o t a t i o n w e a l s o d e f i n e

θ

c

1

= c o s θ s

1

= s i n θ

c

2

= c o s 2 θ s

2

= s i n 2 θ

c

4

= c o s 4 θ s

4

= s i n 4 θ

T h e t w o C a r t e s i a n c o o r d i n a t e s y s t e m s w i t h t h e d e f i n i t i o n o f t h e a n g l e θ .

W e t h e n h a v e f o r r o t a t i o n o f a g e o m e t r i c v e c t o r

{

V

}

o f o r d e r 2

{

V

}

y

=

[

Γ

]

{

V

}

x

w i t h

[

Γ

]

=

c

1

– s

1

,

,

s

1

c

1

;

[

Γ

]

– 1

=

[

Γ

]

T

F o r a s y m m e t r i c m a t r i x

[

A

]

o f o r d e r 2 × 2 , c o n t r a c t e d w i t h t h e

2

- - - f a c t o r t o t h e v e c t o r

{

A

}

T

=

{

A

1 1

, A

2 2

, 2

A

1 2

}

w e h a v e

{

A

}

y

=

[

T

]

{

A

}

x



2 9 4


w i t h

[

T

]

=

1

2

1 + c

2

1 – c

2

– 2

s

2

,

,

,

1 – c

2

1 + c

2

2

s

2

,

,

,

2

s

2

– 2

s

2

2 c

2

;

[

T

]

– 1

=

[

T

]

T

F o r a s y m m e t r i c m a t r i x

[

B

]

o f o r d e r 3 × 3 , c o n t r a c t e d w i t h t h e 2

- - -

f a c t o r t o t h e v e c t o r { B }

T

= { B

1 1

, B

2 2

, B

3 3

, 2

B

1 2

, 2

B

1 3

, 2

B

2 3

} w e

h a v e

{

B

}

y

=

[

R

]

{

B

}

x

w i t h

[

R

]

– 1

=

[

R

]

T

a n d

[

R

]

=

1

8

·

3 + 4 c

2

+ c

4

3 – 4 c

2

+ c

4

2 – 2 c

4

2

– 2

c

4

– 4 s

2

– 2 s

4

– 4 s

2

+ 2 s

4

,

,

,

,

,

,

3 – 4 c

2

+ c

4

3

+ 4 c

2

+ c

4

2 – 2 c

4

2

– 2

c

4

4 s

2

– 2 s

4

4 s

2

+ 2 s

4

,

,

,

,

,

,

2 – 2 c

4

2 – 2 c

4

4

+ 4 c

4

– 2 2

+ 2 2

c

4

4 s

4

– 4 s

4

,

,

,

,

,

,

2

– 2

c

4

2

– 2

c

4

– 2 2

+ 2 2

c

4

6

+ 2 c

4

2 2

s

4

– 2 2

s

4

,

,

,

,

,

,

4 s

2

+ 2 s

4

– 4 s

2

+ 2 s

4

– 4 s

4

– 2 2

s

4

4 c

2

+ 4 c

4

4 c

2

– 4 c

4

,

,

,

,

,

,

4 s

2

– 2 s

4

– 4 s

2

– 2 s

4

4 s

4

2 2

s

4

4 c

2

– 4 c

4

4 c

2

+ 4 c

4

N o t e t h a t t h e l i s t e d o r t h o g o n a l t r a n s f o r m a t i o n m a t r i c e s

[

Γ

]

,

[

T

]

a n d

[

R

]

o n l y r e f e r t o t w o d i m e n s i o n a l p r o b l e m s , w h e r e t h e r o t a t i o n i s s p e -

c i f i e d b y a s i n g l e p a r a m e t e r ( t h e a n g l e θ ) .

R O W A r o w m a t r i x i s a m a t r i x w i t h o n l y o n e r o w , i . e . o r d e r 1 × n . T h e n o t a - - -

m a t r i x t i o n

{ }

T

i s u s e d f o r a r o w m a t r i x (

{ }

f o r c o l u m n m a t r i x a n d T f o r

t r a n s p o s e d ) . T h e n a m e r o w - - - v e c t o r o r j u s t v e c t o r i s a l s o u s e d .



2 9 5


S C A L A R P R O D U C T T h e s c a l a r p r o d u c t o f t w o v e c t o r s

{

A

}

a n d

{

B

}

o f t h e s a m e o r d e r n

o f t w o v e c t o r s r e s u l t s i n a s c a l a r C

( s t a n d a r d

E u c l i d e a n n o r m ) C =

{

A

}

T

{

B

}

=

n

i = 1

A

i

B

i

T h e s c a l a r p r o d u c t i s a l s o c a l l e d t h e d o t p r o d u c t .

S C A L A R P R O D U C T T h e s c a l a r p r o d u c t o f t w o c o m p l e x v e c t o r s

{

A

}

a n d

{

B

}

o f t h e s a m e

o f t w o c o m p l e x v e c t o r s o r d e r n i n v o l v e s t h e c o n j u g a t e t r a n s p o s e t r a n s f o r m a t i o n

( s t a n d a r d n o r m )

C =

{

A

}

H

{

B

}

=

n

i = 1

R e ( A

i

) – i I m ( A

i

)

R e ( B

i

) + i I m ( B

i

)

W i t h t h i s d e f i n i t i o n t h e l e n g t h o f a c o m p l e x v e c t o r

{

A

}

i s o b t a i n e d b y

|

{

A

}

|

2

=

{

A

}

H

{

A

}

=

n

i = 1

R e ( A

i

)

2

+

I m ( A

i

)

2

S I M I L A R I T Y A s i m i l a r i t y t r a n s f o r m a t i o n o f a s q u a r e m a t r i x

[

A

]

t o a s q u a r e m a t r i x

t r a n s f o r m a t i o n s

[

B

]

o f t h e s a m e o r d e r i s b y t h e r e g u l a r t r a n s f o r m a t i o n m a t r i x

[

T

]

o f

t h e s a m e o r d e r

[

B

]

=

[

T

]

– 1

[

A

] [

T

]

M a t r i c e s

[

A

]

a n d

[

B

]

a r e s a i d t o b e s i m i l a r m a t r i c e s , t h e y h a v e t h e

s a m e r a n k a n d t h e s a m e e i g e n v a l u e s , i . e . t h e s a m e i n v a r i a n t s , b u t d i f -

f e r e n t e i g e n v e c t o r s , r e l a t e d b y

[

T

]

. A s i m i l a r i t y t r a n s f o r m a t i o n i s a l s o

a n e q u i v a l e n c e t r a n s f o r m a t i o n .



2 9 6


S I N G U L A R A s i n g u l a r m a t r i x i s a s q u a r e m a t r i x f o r w h i c h t h e c o r r e s p o n d i n g

m a t r i x d e t e r m i n a n t h a s t h e v a l u e z e r o , i . e .

[

A

]

i s s i n g u l a r i f

|

[

A

]

|

= 0 , i . e .

[

A

]

– 1

d o e s n o t e x i s t

I f n o t s i n g u l a r , t h e m a t r i x i s c a l l e d r e g u l a r o r n o n - - - s i n g u l a r .

S I N G U L A R V A L U E A n y m a t r i x

[

A

]

o f o r d e r m × n c a n b e f a c t o r i z e d i n t o t h e p r o d u c t o f

D E C O M P O S I T I O N a n o r t h o g o n a l m a t r i x

[

T

1

]

o f o r d e r m , a r e c t a n g u l a r , d i a g o n a l m a t r i x

[

B

]

o f o r d e r m × n a n d a n o r t h o g o n a l m a t r i x

[

T

2

]

T

o f o r d e r n

[

A

]

=

[

T

1

] [

B

] [

T

2

]

T

T h e r s i n g u l a r v a l u e s ( p o s i t i v e v a l u e s ) o n t h e d i a g o n a l o f

[

B

]

a r e t h e

s q u a r e r o o t s o f t h e n o n - - - z e r o e i g e n v a l u e s o f b o t h

[

A

] [

A

]

T

a n d

[

A

]

T

[

A

]

, a n d t h e c o l u m n s o f

[

T

1

]

a r e t h e e i g e n v e c t o r s o f

[

A

] [

A

]

T

a n d

t h e c o l u m n s o f

[

T

2

]

a r e t h e e i g e n v e c t o r s o f

[

A

]

T

[

A

]

.

S I Z E S e e o r d e r o f a m a t r i x .

o f a m a t r i x



2 9 7


S K E W A s k e w m a t r i x i s a s p e c i f i c s k e w s y m m e t r i c m a t r i x o f o r d e r 3 , d e f i n e d

m a t r i x t o h a v e a m o r e w o r k a b l e n o t a t i o n f o r t h e v e c t o r p r o d u c t o f t w o v e c t o r s

o f o r d e r 3 . F r o m t h e v e c t o r

{

A

}

t h e c o r r e s p o n d i n g s k e w m a t r i x i s

d e f i n e d b y

[

A

~

]

=

0

A

3

– A

2

– A

3

0

A

1

A

2

– A

1

0

b y w h i c h

{

A

}

×

{

B

}

=

[

A

~

]

{

B

}

.

T h e t i l d e s u p e r s c r i p t i s n o r m a l l y u s e d t o i n d i c a t e t h i s s p e c i f i c m a t r i x .

F r o m

{

B

}

×

{

A

}

= –

{

A

}

×

{

B

}

f o l l o w s

[

B

~

]

{

A

}

= –

[

A

~

]

{

B

}

S K E W S Y M M E T R I C A s q u a r e m a t r i x i s t e r m e d s k e w - - - s y m m e t r i c i f t h e t r a n s p o s e d t r a n s - - -

m a t r i x f o r m a t i o n o n l y c h a n g e s t h e s i g n o f t h e m a t r i x

[

A

]

T

= –

[

A

]

, i . e . A

j i

= – A

i j

f o r a l l i j ( A

i i

= 0 )

T h e s k e w s y m m e t r i c p a r t o f a s q u a r e m a t r i x

[

B

]

i s o b t a i n e d b y t h e d i f -

f e r e n c e

1

2

(

[

B

]

–

[

B

]

T

) .



2 9 8


S P E C T R A L F o r a s y m m e t r i c m a t r i x a s p e c t r a l d e c o m p o s i t i o n i s p o s s i b l e . T h e

D E C O M P O S I T I O N e i g e n v a l u e s λ

i

o f t h e m a t r i x

[

A

]

a r e f a c t o r s i n t h i s d e c o m p o s i t i o n

o f a s y m m e t r i c m a t r i x

[

A

]

=

n

i = 1

λ

i

[

B

]

i

=

n

i = 1

λ

i

{

Φ

}

i

{

Φ

}

T

i

w h e r e

{

Φ

}

i

i s t h e e i g e n v e c t o r c o r r e s p o n d i n g t o λ

i

( o r t h o n o r m a l

e i g e n v e c t o r s ) .

S Q U A R E A s q u a r e m a t r i x i s a m a t r i x w h e r e t h e n u m b e r o f r o w s e q u a l s t o t h e

m a t r i x n u m b e r o f c o l u m n s , t h u s t h e o r d e r o f t h e m a t r i x i s n × n o r s i m p l y

n .

S T A N D A R D F O R M T h e s t a n d a r d f o r m f o r a n e i g e n v a l u e p r o b l e m i s

f o r e i g e n v a l u e p r o b l e m

[

A

]

{

Φ

}

i

= λ

i

{

Φ

}

i

o r

{

Ψ

}

T

i

[

A

]

= λ

i

{

Ψ

}

T

i


S U B T R A C T I O N M a t r i c e s a r e s u b t r a c t e d b y s u b t r a c t i n g t h e c o r r e s p o n d i n g e l e m e n t s

o f m a t r i c e s

[

C

]

=

[

A

]

–

[

B

]

w i t h C

i j

= A

i j

– B

i j

T h e m a t r i c e s m u s t h a v e t h e s a m e o r d e r .



2 9 9


S Y M M E T R I C W i t h

[

A

]

a n d

[

B

]

b e i n g t w o s y m m e t r i c m a t r i c e s o f o r d e r n , t h e l e f t

E I G E N V A L U E e i g e n v e c t o r s w i l l b e e q u a l t o t h e r i g h t e i g e n v e c t o r s . F r o m t h e d e s c r i p - - -

P R O B L E M t i o n o f e i g e n v a l u e p r o b l e m t h i s m e a n s

{

Ψ

}

i

=

{

Φ

}

i

a n d t h u s t h e b i o r t h o g o n a l i t y c o n d i t i o n s s i m p l i f i e s t o t h e o r t h o g o n a l i t y

c o n d i t i o n s . T h e s y m m e t r i c e i g e n v a l u e p r o b l e m h a v e o n l y r e a l e i g e n v a -

l u e s a n d r e a l e i g e n v e c t o r s .

S Y M M E T R I C A s q u a r e m a t r i x i s t e r m e d s y m m e t r i c i f t h e t r a n s p o s e d t r a n s f o r m a t i o n

m a t r i x d o e s n o t c h a n g e t h e m a t r i x

[

A

]

T

=

[

A

]

, i . e . A

j i

= A

i j

f o r a l l i j

T h e s y m m e t r i c p a r t o f a s q u a r e m a t r i x

[

B

]

i s o b t a i n e d b y t h e s u m

1

2

(

[

B

]

+

[

B

]

T

) .

T R A C E T h e t r a c e o f a s q u a r e m a t r i x

[

A

]

o f o r d e r n i s t h e s u m o f t h e d i a g o n a l

o f a s q u a r e m a t r i x e l e m e n t s

t r a c e (

[

A

] )

=

n

i = 1

A

i i



3 0 0


T R A N S F O R M A T I O N T h e d i f f e r e n t t r a n s f o r m a t i o n s l i k e e q u i v a l e n c e , c o n g r u e n c e , s i m i l a r i t y

m a t r i c e s a n d o r t h o g o n a l a r e c h a r a c t e r i z e d b y t h e i n v o l v e d s q u a r e , r e g u l a r t r a n s -

f o r m a t i o n m a t r i c e s . T h e e q u i v a l e n c e t r a n s f o r m a t i o n o f

[

B

]

=

[

T

1

] [

A

] [

T

2

]

i s a c o n g r u e n c e t r a n s f o r m a t i o n i f

[

T

1

]

=

[

T

2

]

T

a n d i t i s a s i m i l a r i t y

t r a n s f o r m a t i o n i f

[

T

1

]

=

[

T

2

]

– 1

. T h e o r t h o g o n a l t r a n s f o r m a t i o n ,

w h i c h a t t h e s a m e t i m e i s a c o n g r u e n c e a n d a s i m i l a r i t y t r a n s f o r m a t i o n ,

t h u s a s s u m e s

[

T

1

]

=

[

T

2

]

T

=

[

T

2

]

– 1

.

T R A N S P O S E T h e t r a n s p o s e d o f a m a t r i x i s t h e m a t r i x w i t h i n t e r c h a n g e d r o w s /

o f a m a t r i x c o l u m n s . T h e s u p e r s c r i p t T i s u s e d a s n o t a t i o n f o r t h i s t r a n s f o r m a t i o n

[

B

]

=

[

A

]

T

w i t h B

i j

= A

j i

f o r a l l i j

T h e t r a n s p o s e d o f a r o w m a t r i x i s a c o l u m n m a t r i x , a n d v i s e v e r s a .

T h e t r a n s p o s e d m a t r i x o f a t r a n s p o s e d m a t r i x i s t h e m a t r i x i t s e l f

(

[

A

T

]

)

T

=

[

A

]

T R A N S P O S E T h e t r a n s p o s e d o f a p r o d u c t o f m a t r i c e s i s t h e p r o d u c t o f t h e t r a n s - - -

O F A P R O D U C T p o s e d o f t h e i n d i v i d u a l m u l t i p l i e r s , b u t i n r e v e r s e s e q u e n c e

(

[

A

] [

B

]

)

T

=

[

B

]

T

[

A

]

T

I t f o l l o w s d i r e c t l y f r o m



3 0 1


C

i j

=

K

k = 1

A

i k

B

k j

a n d C

j i

=

K

k = 1

A

j k

B

k i

=

K

k = 1

B

k i

A

j k

T R I A N G U L A R A t r i a n g u l a r m a t r i x i s a s q u a r e m a t r i x w i t h o n l y z e r o s a b o v e t h e d i a g o - - -

m a t r i x n a l ( l o w e r t r i a n g u l a r m a t r i x )

[

L

]

w i t h L

i j

= 0 f o r j > i

o r b e l o w t h e d i a g o n a l ( u p p e r t r i a n g u l a r m a t r i x )

[

U

]

w i t h U

i j

= 0 f o r j < i

T R I A N G U L A R I Z A - - S e e f a c t o r i z a t i o n o f a m a t r i x .

T I O N

o f a m a t r i x

U N I T S e e i d e n t i t y m a t r i x .

m a t r i x

V E C T O R S A s a c o m m o n n a m e f o r r o w m a t r i c e s a n d c o l u m n m a t r i c e s , t h e n a m e

v e c t o r i s u s e d .

S o m e a u t h o r s d i s t i n g u i s h b e t w e e n g e o m e t r i c v e c t o r s ( o r i e n t e d p i e c e o f

a l i n e ) o f o r d e r t w o o r t h r e e a n d a l g e b r a i c v e c t o r s . A l g e b r a i c v e c t o r s a r e

c o l u m n m a t r i c e s a n d r o w m a t r i c e s o f a n y o r d e r .



3 0 2


V E C T O R P R O D U C T T h e v e c t o r p r o d u c t o f t w o v e c t o r s

{

A

}

a n d

{

B

}

, b o t h o f t h e o r d e r 3

o f t w o v e c t o r s i s a v e c t o r

{

C

}

d e f i n e d b y

{

C

}

=

{

A

}

×

{

B

}

w i t h

C

1

C

2

C

3

=

A

2

B

3

A

3

B

1

A

1

B

2

–

–

–

A

3

B

2

A

1

B

3

A

2

B

1

T h e v e c t o r p r o d u c t i s a l s o c a l l e d t h e c r o s s p r o d u c t . S e e s k e w m a t r i x f o r

a n e a s i e r n o t a t i o n .

Z E R O S e e n u l l m a t r i x .

m a t r i x

Date post:	04-Jun-2018
Category:	Documents
Upload:	gstafesse2189
View:	214 times
Download:	0 times

An Index to Matrices

Documents