col11172

8/2/2019 col11172

1/74

Digital Signal Processing

By:

Mark A. Davenport

8/2/2019 col11172

2/74

8/2/2019 col11172

3/74

8/2/2019 col11172

4/74

T h i s s e l e c t i o n a n d a r r a n g e m e n t o f c o n t e n t a s a c o l l e c t i o n i s c o p y r i g h t e d b y M a r k A . D a v e n p o r t . I t i s l i c e n s e d u n d e r

t h e C r e a t i v e C o m m o n s A t t r i b u t i o n 3 . 0 l i c e n s e ( h t t p : / / c r e a t i v e c o m m o n s . o r g / l i c e n s e s / b y / 3 . 0 / ) .

C o l l e c t i o n s t r u c t u r e r e v i s e d : D e c e m b e r 1 6 , 2 0 1 1

P D F g e n e r a t e d : D e c e m b e r 1 6 , 2 0 1 1

F o r c o p y r i g h t a n d a t t r i b u t i o n i n f o r m a t i o n f o r t h e m o d u l e s c o n t a i n e d i n t h i s c o l l e c t i o n , s e e p . 6 2 .

8/2/2019 col11172

5/74

T a b l e o f C o n t e n t s

I n t r o d u c t i o n t o D i g i t a l S i g n a l P r o c e s s i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1 S i g n a l R e p r e s e n t a t i o n a n d A p p r o x i m a t i o n i n V e c t o r S p a c e s

1 . 1 M e t r i c S p a c e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1 . 2 C o m p l e t e n e s s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

1 . 3 V e c t o r S p a c e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

1 . 4 N o r m e d V e c t o r S p a c e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

1 . 5 I n n e r P r o d u c t S p a c e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2

1 . 6 P r o p e r t i e s o f I n n e r P r o d u c t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3

1 . 7 C o m p l e t e V e c t o r S p a c e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 4

1 . 8 H i l b e r t S p a c e s i n S i g n a l P r o c e s s i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 4

1 . 9 L i n e a r C o m b i n a t i o n s o f V e c t o r s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5

1 . 1 0 V e c t o r S u b s p a c e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 6

1 . 1 1 S i g n a l A p p r o x i m a t i o n i n a H i l b e r t S p a c e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 7

1 . 1 2 L i n e a r O p e r a t o r s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 8

1 . 1 3 P r o j e c t i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 9

1 . 1 4 L i n e a r I n d e p e n d e n c e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0

1 . 1 5 B a s e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1

1 . 1 6 O r t h o g o n a l B a s e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1

1 . 1 7 C o m p u t i n g t h e B e s t A p p r o x i m a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4

1 . 1 8 M a t r i x R e p r e s e n t a t i o n o f t h e A p p r o x i m a t i o n P r o b l e m . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6

1 . 1 9 O r t h o b a s i s E x p a n s i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 7

1 . 2 0 P a r s e v a l ' s a n d P l a n c h e r e l ' s T h e o r e m s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 8

1 . 2 1 E r r o r o f t h e B e s t A p p r o x i m a t i o n i n a n O r t h o b a s i s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 8

1 . 2 2 A p p r o x i m a t i o n i n _ p N o r m s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 9

2 R e p r e s e n t a t i o n a n d A n a l y s i s o f S y s t e m s

2 . 1 L i n e a r S y s t e m s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3

2 . 2 D i s c r e t e - T i m e S y s t e m s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 4

2 . 3 E i g e n v e c t o r s o f L S I S y s t e m s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 6

2 . 4 T h e z - T r a n s f o r m . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 6

2 . 5 T h e D i s c r e t e - T i m e F o u r i e r T r a n s f o r m . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 7

2 . 6 z - T r a n s f o r m E x a m p l e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 8

2 . 7 z - T r a n s f o r m A n a l y s i s o f D i s c r e t e - T i m e F i l t e r s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2

2 . 8 P o l e s a n d Z e r o s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 4

2 . 9 S t a b i l i t y , C a u s a l i t y , a n d t h e z - T r a n s f o r m . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 0

2 . 1 0 I n v e r s e S y s t e m s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2

2 . 1 1 I n v e r s e z - T r a n s f o r m . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2

2 . 1 2 F o u r i e r R e p r e s e n t a t i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 4

2 . 1 3 N o r m a l i z e d D T F T a s a n O p e r a t o r . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 5

2 . 1 4 F o u r i e r T r a n s f o r m s a s U n i t a r y O p e r a t o r s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 7

2 . 1 5 T h e D T F T a s a n E i g e n b a s i s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 7

2 . 1 6 E i g e n b a s e s a n d L S I S y s t e m s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 8

G l o s s a r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 0

I n d e x . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1

A t t r i b u t i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2

8/2/2019 col11172

6/74

i v

8/2/2019 col11172

7/74

I n t r o d u c t i o n t o D i g i t a l S i g n a l P r o c e s s i n g

1

I n f o r m a t i o n , S i g n a l s a n d S y s t e m s

S i g n a l p r o c e s s i n g c o n c e r n s p r i m a r i l y w i t h s i g n a l s a n d s y s t e m s t h a t o p e r a t e o n s i g n a l s t o e x t r a c t u s e f u l

i n f o r m a t i o n . I n t h i s c o u r s e o u r c o n c e p t o f a s i g n a l w i l l b e v e r y b r o a d , e n c o m p a s s i n g v i r t u a l l y a n y d a t a

t h a t c a n b e r e p r e s e n t e d a s a n o r g a n i z e d c o l l e c t i o n o f d a t a .

E x a m p l e

A c o n t i n u o u s f u n c t i o n f(t) A s e q u e n c e o f d i s c r e t e d a t a p o i n t s f[n] A m u l t i - d i m e n s i o n a l a r r a y o f d a t a A u d i o , i m a g e s , v i d e o , v o l t a g e o f a n t e n n a S t o c k p r i c e s , p o t a s s i u m c o n c e n t r a t i o n i n a n e u r o n

O u r c o n c e p t o f a s y s t e m w i l l b e a b l a c k b o x t h a t t a k e s a s i g n a l a s i n p u t a n d p r o v i d e s a n o t h e r s i g n a l a s

o u t p u t .

E x a m p l e

A n a l o g - t o - d i g i t a l c o n v e r t e r s ( A D C s )

F i l t e r s D e c i m a t o r s / I n t e r p o l a t o r s M a t c h e d l t e r s F a c e r e c o g n i t i o n s y s t e m s

I n t h i s c o u r s e w e w i l l a p p r o a c h s i g n a l p r o c e s s i n g f r o m t h e p o i n t o f v i e w t h a t s i g n a l s a r e v e c t o r s l i v i n g i n a n

a p p r o p r i a t e v e c t o r s p a c e , a n d s y s t e m s a r e o p e r a t o r s t h a t m a p s i g n a l f r o m o n e v e c t o r s p a c e t o a n o t h e r . T h i s

a l l o w s u s t o u s e a c o m m o n m a t h e m a t i c a l f r a m e w o r k t o t a l k a b o u t h o w t o :

r e p r e s e n t s i g n a l s m e a s u r e s i m i l a r i t y / d i s t a n c e b e t w e e n s i g n a l s t r a n s f o r m s i g n a l s f r o m o n e r e p r e s e n t a t i o n t o a n o t h e r

u n d e r s t a n d t h e o p e r a t i o n o f l i n e a r s y s t e m s o n t h e s i g n a l s

S i n c e t h e c u s o f t h i s c o u r s e i n o n d i g i t a l s i g n a l p r o c e s s i n g , t h i s w i l l a l s o a l l o w u s t o u s e t o o l s f r o m l i n e a r

a l g e b r a t o f a c i l i t a t e t h i s u n d e r s t a n d i n g .

D i g i t a l S i g n a l P r o c e s s i n g

D S P i s o f t e n p r e s e n t e d a s a n a l t e r n a t i v e t o a n a l o g s i g n a l p r o c e s s i n g , i . e . , i n s t e a d o f a p u r e l y a n a l o g s y s -

t e m a s i n F i g u r e 1 , w e c a n b u i l d a d i g i t a l i m p l e m e n t a t i o n o f a n a n a l o g s y s t e m a s i n F i g u r e 2 . T h i s c a n

1

T h i s c o n t e n t i s a v a i l a b l e o n l i n e a t < h t t p : / / c n x . o r g / c o n t e n t / m 3 3 5 8 8 / 1 . 2 / > .

1

8/2/2019 col11172

8/74

2

b e a d v a n t a g e o u s s i n c e h i g h - p r e c i s i o n a n a l o g c o m p o n e n t s a r e e x p e n s i v e ( e v e n c o m p a r e d t o t h e c o s t o f a n

A D C / D A C ) .

F i g u r e 1 : A n a n a l o g s y s t e m .

F i g u r e 2 : A d i g i t a l i m p l e m e n t a t i o n o f a n a n a l o g s y s t e m .

H o w e v e r , t h e s u c c e s s o f D S P d e r i v e s t o a m u c h g r e a t e r e x t e n t f r o m t h e f a c t s t h a t :

1 . D i s c r e t e - v a l u e d s i g n a l s c a n b e m o r e r o b u s t t o n o i s e , a s i l l u s t r a t e d i n F i g u r e 3 . I n F i g u r e 3 ( a ) , n o i s e

m a y b e i m p o s s i b l e t o e l i m i n a t e , b u t i n F i g u r e 3 ( b ) n o i s e c a n b e e l i m i n a t e d e n t i r e l y b y e x p l o i t i n g t h e

d i s c r e t e s t r u c t u r e o f t h e s i g n a l .

2 . O n c e w e h a v e a d i g i t a l , d i s c r e t e - t i m e s i g n a l , w e c a n s t o r e i t i n m e m o r y a n d p e r f o r m h i g h l y c o m p l e x

p r o c e s s i n g .

8/2/2019 col11172

9/74

3

( a )

( b )

F i g u r e 3 : ( a ) A n a n a l o g s i g n a l c o r r u p t e d w i t h n o i s e ; ( b ) A d i s c r e t e - v a l u e d s i g n a l c o r r u p t e d w i t h n o i s e .

I n t h i s c o u r s e w e w i l l c o n s i d e r s i g n a l p r o c e s s i n g s y s t e m s b e y o n d s i m p l e L T I l t e r s . T h e m e s o f t h e c o u r s e

i n c l u d e :

S i g n a l s a s v e c t o r s , v e c t o r s p a c e g e o m e t r y S i g n a l r e p r e s e n t a t i o n s a n d b a s e s L i n e a r s y s t e m s a n a l y s i s a n d l i n e a r a l g e b r a O p t i m a l i t y i n s i g n a l p r o c e s s i n g ( e . g . , o p t i m a l l t e r d e s i g n )

8/2/2019 col11172

10/74

8/2/2019 col11172

11/74

C h a p t e r 1

S i g n a l R e p r e s e n t a t i o n a n d

A p p r o x i m a t i o n i n V e c t o r S p a c e s

1 . 1 M e t r i c S p a c e s

1

W e w i l l v i e w s i g n a l s a s e l e m e n t s o f c e r t a i n m a t h e m a t i c a l s p a c e s . T h e s p a c e s h a v e a c o m m o n s t r u c t u r e , s o i t

w i l l b e u s e f u l t o t h i n k o f t h e m i n t h e a b s t r a c t .

1 . 1 . 1 M e t r i c S p a c e s

D e n i t i o n 1

A s e t i s a ( p o s s i b l y i n n i t e ) c o l l e c t i o n o f d i s t i n c t o b j e c t s .

E x a m p l e 1 . 1

T h e e m p t y s e t : =

{}( p l a y s a r o l e a k i n t o z e r o )

B i n a r y n u m b e r s : {0, 1} N a t u r a l n u m b e r s : N = {1, 2, 3,...} I n t e g e r s : Z = {..., 2, 1, 0, 1, 2,...} ( Z i s s h o r t f o r Z a h l e n , G e r m a n f o r n u m b e r s ) R a t i o n a l n u m b e r s : Q ( Q f o r q u o t i e n t ) R e a l n u m b e r s : R C o m p l e x n u m b e r s : C

I n t h i s c o u r s e w e w i l l a s s u m e f a m i l i a r i t y w i t h a n u m b e r o f c o m m o n s e t o p e r a t i o n s . I n p a r t i c u l a r , f o r t h e s e t s

A = {0, 1} , B = {1} , C = {2}, w e h a v e t h e o p e r a t i o n s o f :

U n i o n : A B = {0, 1} , B C = {1, 2}I n t e r s e c t i o n : A B = {1} , B C = E x c l u s i o n : A

\B =

{0

}C o m p l e m e n t : Ac = U\ A, Ac = {2}C a r t e s i a n P r o d u c t : A2 = A A = {(0, 0) , (0, 1) , (1, 0) , (1, 1)}I n o r d e r t o b e u s e f u l a s e t m u s t t y p i c a l l y s a t i s f y s o m e a d d i t i o n a l s t r u c t u r e . W e b e g i n b y d e n i n g a n o t i o n

o f d i s t a n c e .

D e n i t i o n 2

A m e t r i c s p a c e i s a s e t M t o g e t h e r w i t h a m e t r i c ( d i s t a n c e f u n c t i o n ) d : M M R s u c h t h a t f o r a l l x, y, z M

1


5

8/2/2019 col11172

12/74

6

C H A P T E R 1 . S I G N A L R E P R E S E N T A T I O N A N D A P P R O X I M A T I O N I N

V E C T O R S P A C E S

M 1 . d (x, y) = d (y, x) ( s y m m e t r y ) M 2 .

d (x, y) 0 ( n o n - n e g a t i v e ) M 3 .

d (x, y) = 0 i x = y ( p o s i t i v e s e m i - d e n i t e ) M 4 .

d (x, z)

d (x, y) + d (y, z) ( t r i a n g l e i n e q u a l i t y ) .

E x a m p l e 1 . 2

T r i v i a l m e t r i c : ( M i s a r b i t r a r y ) d (x, y) = { 0 if x = y,1 if x = y.

S t a n d a r d m e t r i c : (

M = R) d (x, y) = |x y|E u c l i d e a n (2) m e t r i c : ( M = R

N)

d (x, y) =N

i=1 |xi yi|21 m e t r i c : ( M = R

N) d (x, y) =

Ni=1 |xi yi|

p m e t r i c , 1 p < : ( M = RN) d (x, y) =N

i=1 |xi yi|p1/p

m e t r i c : ( M = RN) d (x, y) = maxi=1,...,N

|xi yi|

Lpm e t r i c : (

M= r e a l ( o r c o m p l e x ) v a l u e d f u n c t i o n s d e n e d o n

[a, b])

dp (x, y) =ba

|x (t) y (t) |pdt1/p

1 . 2 C o m p l e t e n e s s

2

D i s t a n c e f u n c t i o n s a l l o w u s t o t a l k c o n c r e t e l y a b o u t l i m i t s a n d c o n v e r g e n c e o f s e q u e n c e s .

D e n i t i o n 1

L e t (M, d (x, y)) b e a m e t r i c s p a c e a n d {xi}i=1 b e a s e q u e n c e o f e l e m e n t s i n M. W e s a y t h a t {xi}i=1 c o n v e r g e s t o x i f a n d o n l y i f f o r e v e r y > 0 t h e r e i s a n N s u c h t h a t d (xi, x) < f o r a l l i > N. I n t h i s c a s e w e s a y t h a t x i s t h e l i m i t o f

{xi

}i=1 .

F i g u r e 1 . 1 : A s e q u e n c e o f p o i n t s

{xi} c o n v e r g i n g t o x

.

D e n i t i o n 2

A s e q u e n c e {xi}i=1 i s s a i d t o b e a C a u c h y s e q u e n c e i f f o r a n y > 0 t h e r e i s a n N s u c h t h a t d (xi, xj) < f o r e v e r y

i,j > N.

I t c a n b e s h o w n t h a t a n y c o n v e r g e n t s e q u e n c e i s a C a u c h y s e q u e n c e . H o w e v e r , i t i s p o s s i b l e f o r a C a u c h y

s e q u e n c e t o n o t b e c o n v e r g e n t !

2


8/2/2019 col11172

13/74

7

E x a m p l e 1 . 3

S u p p o s e t h a t

M = (0, 2), i . e . , t h e o p e n i n t e r v a l f r o m 0 t o 2 o n t h e r e a l l i n e , a n d l e t d (x, y) = |xy| .C o n s i d e r t h e s e q u e n c e d e n e d b y

xi =1i . {xi} i s C a u c h y s i n c e f o r a n y w e c a n s e t N s u c h t h a t

1

N

<

2

, s o t h a t

|xi

xj

| |xi

|+

|xj

|<

2

+

2

= . H o w e v e r , xi

0 , b u t 0 /

M

, i . e . , t h e s e q u e n c e

c o n v e r g e s t o s o m e t h i n g t h a t l i v e s o u t s i d e o f o u r s p a c e .

E x a m p l e 1 . 4

S u p p o s e t h a t M = C[1, 1] ( t h e s e t o f c o n t i n u o u s f u n c t i o n s d e n e d o n [1, 1]) a n d l e t d2 d e n o t e t h e L2 m e t r i c . C o n s i d e r t h e s e q u e n c e o f f u n c t i o n s d e n e d b y

fi (t) = {0 if t 1i

it2 +

12 if 1i < t < 1i

1 if t 1i .( 1 . 1 )

F i g u r e 1 . 2

F o r j > i w e h a v e t h a t

d2 (fi, fj) =(j i)2

6j3i. ( 1 . 2 )

T h i s g o e s t o 0 f o r j,i s u c i e n t l y l a r g e . T h u s , t h e s e q u e n c e {fi}i=1 i s C a u c h y , b u t i t c o n v e r g e s t o a d i s c o n t i n u o u s f u n c t i o n , a n d t h u s i t i s n o t c o n v e r g e n t i n

M.

D e n i t i o n 3

A m e t r i c s p a c e (M, d (x, y)) i s c o m p l e t e i f e v e r y C a u c h y s e q u e n c e i n M i s c o n v e r g e n t i n M.

E x a m p l e 1 . 5

8/2/2019 col11172

14/74

8



M = [0, 1] , d (x, y) = |x y| i s c o m p l e t e . (C[1, 1] , d2) i s n o t c o m p l e t e , b u t o n e c a n c h e c k t h a t (C[1, 1] , d) i s c o m p l e t e . ( T h i s

s p a c e w o r k s b e c a u s e u s i n g

d , t h e a b o v e e x a m p l e i s n o l o n g e r C a u c h y . )

Q i s n o t c o m p l e t e , b u t R i s .

1 . 3 V e c t o r S p a c e s

3

M e t r i c s p a c e s i m p o s e n o r e q u i r e m e n t s o n t h e s t r u c t u r e o f t h e s e t M. W e w i l l n o w c o n s i d e r m o r e s t r u c t u r e d M

, b e g i n n i n g b y g e n e r a l i z i n g t h e f a m i l i a r c o n c e p t o f a v e c t o r .

D e n i t i o n 1

L e t K b e a e l d o f s c a l a r s , i . e . , K = R o r C. L e t V b e a s e t o f v e c t o r s e q u i p p e d w i t h t w o b i n a r y o p e r a t i o n s :

1 . v e c t o r a d d i t i o n : + : V V V2 . s c a l a r m u l t i p l i c a t i o n : : K V V

W e s a y t h a t V i s a v e c t o r s p a c e ( o r l i n e a r s p a c e ) o v e r K i f

V S 1 : V f o r m s a g r o u p u n d e r a d d i t i o n , i . e . ,

(x + y) + z = x + (y + z) ( a s s o c i a t i v i t y ) x + y = y + x ( c o m m u t a t i v i t y ) 0 V s u c h t h a t x V , x + 0 = 0 + x = x x V , y s u c h t h a t x + y = 0

V S 2 : F o r a n y , K a n d x, y V (x) = () x ( c o m p a t i b i l i t y ) ( + ) (x + y) = x + y + x + y ( d i s t r i b u t i v i t y ) 1 K s u c h t h a t 1x = x

E x a m p l e 1 . 6

RN o v e r R ( n o t RN o v e r C) CN o v e r C o r CN o v e r R S e t o f p o l y n o m i a l s o f d e g r e e N w i t h r a t i o n a l c o e c i e n t s o v e r Q T h e s e t o f a l l i n n i t e l y - l o n g s e q u e n c e s o f r e a l n u m b e r s o v e r R GF(2)N : {0, 1}N o v e r {0, 1} w i t h m o d 2 a r i t h m e t i c ( G a l o i s e l d ) C[a, b] o v e r R

1 . 4 N o r m e d V e c t o r S p a c e s

4

W h i l e v e c t o r s p a c e s h a v e a d d i t i o n a l s t r u c t u r e c o m p a r e d t o a m e t r i c s p a c e , a g e n e r a l v e c t o r s p a c e h a s n o

n o t i o n o f l e n g t h o r d i s t a n c e .

D e n i t i o n 1

L e t V b e a v e c t o r s p a c e o v e r K. A n o r m i s a f u n c t i o n : V R s u c h t h a t N 1 . x 0x VN 2 . x = 0 i x = 0

3


4


8/2/2019 col11172

15/74

9

N 3 . x = ||xx V , KN 4 . x + y x + yx, y V

A v e c t o r s p a c e t o g e t h e r w i t h a n o r m i s c a l l e d a n o r m e d v e c t o r s p a c e ( o r n o r m e d l i n e a r s p a c e ) .

E x a m p l e 1 . 7

V = RN: x2 =N

i=1 |xi|2

F i g u r e 1 . 3

V = RN: x1 =N

i=1 |xi| ( T a x i c a b / M a n h a t t a n n o r m )

8/2/2019 col11172

16/74

1 0



F i g u r e 1 . 4

V = RN: x = maxi=1,...,N|xi|

F i g u r e 1 . 5

8/2/2019 col11172

17/74

1 1

V = Lp [a, b], p [1, ): x (t) p =b

a |x (t) |pdt1/p

( T h e n o t a t i o n Lp [a, b] d e n o t e s t h e s e t

o f a l l f u n c t i o n s d e n e d o n t h e i n t e r v a l [a, b] s u c h t h a t t h i s n o r m e x i s t s , i . e . , x (t) p < . )

N o t e t h a t a n y n o r m e d v e c t o r s p a c e i s a m e t r i c s p a c e w i t h i n d u c e d m e t r i c

d (x, y) = x y . ( T h i s f o l l o w s s i n c e x y = x z + z y x z + y z . ) W h i l e a n o r m e d v e c t o r s p a c e f e e l s l i k e a m e t r i c s p a c e , i t i s i m p o r t a n t t o r e m e m b e r t h a t i t a c t u a l l y s a t i s e s a g r e a t d e a l o f a d d i t i o n a l s t r u c t u r e .

T e c h n i c a l N o t e : I n a n o r m e d v e c t o r s p a c e w e m u s t h a v e ( f r o m N 2 ) t h a t x = y i f x y = 0. T h i s c a n l e a d t o a c u r i o u s p h e n o m e n o n w h e n d e a l i n g w i t h c o n t i n u o u s - t i m e f u n c t i o n s . F o r e x a m p l e , i n L2 ([a, b]) , w ec a n c o n s i d e r a p a i r o f f u n c t i o n s l i k e x (t) a n d y (t) i l l u s t r a t e d b e l o w . T h e s e f u n c t i o n s d i e r o n l y a t a s i n g l e p o i n t , a n d t h u s x (t) y (t) 2 = 0 ( s i n c e a s i n g l e p o i n t c a n n o t c o n t r i b u t e a n y t h i n g t o t h e v a l u e o f t h e i n t e g r a l . ) T h u s , i n o r d e r f o r o u r n o r m t o b e c o n s i s t e n t w i t h t h e a x i o m s o f a n o r m , w e m u s t s a y t h a t

x = yw h e n e v e r

x (t) a n d y (t) d i e r o n l y o n a s e t o f m e a s u r e z e r o . T o r e i t e r a t e x = y[U+21CE]x (t) = y (t) t [a, b] , i . e . , w h e n w e t r e a t f u n c t i o n s a s v e c t o r s , w e w i l l n o t i n t e r p r e t x = y a s p o i n t w i s e e q u a l i t y , b u t r a t h e r a s e q u a l i t y a l m o s t e v e r y w h e r e .

8/2/2019 col11172

18/74

1 2



( a )

( b )

F i g u r e 1 . 6

1 . 5 I n n e r P r o d u c t S p a c e s

5

W h e r e n o r m e d v e c t o r s p a c e s i n c o r p o r a t e t h e c o n c e p t o f l e n g t h i n t o a v e c t o r s p a c e , i n n e r p r o d u c t s p a c e s

i n c o r p o r a t e t h e c o n c e p t o f a n g l e .

D e n i t i o n 1

L e t V b e a v e c t o r s p a c e o v e r K. A n i n n e r p r o d u c t i s a f u n c t i o n < , >: V V K s u c h t h a t f o r a l l x, y, z V, K

5


8/2/2019 col11172

19/74

1 3

I P 1 . < x,y >= < y,x >I P 2 .

< x, y >= < x, y >I P 3 .

< x + y,z >=< x, z > + < y, z >I P 4 .

< x, x >

0 w i t h e q u a l i t y i x = 0 .

A v e c t o r s p a c e t o g e t h e r w i t h a n i n n e r p r o d u c t i s c a l l e d a n i n n e r p r o d u c t s p a c e .

E x a m p l e 1 . 8

V = CN, < x,y >:= Ni=1 xiyi = yx V = C[a, b], < x,y >:= ba x (t) y (t)dt

N o t e t h a t a v a l i d i n n e r p r o d u c t s p a c e i n d u c e s a n o r m e d v e c t o r s p a c e w i t h n o r m x = < x, x >. ( P r o o f r e l i e s o n C a u c h y - S c h w a r t z i n e q u a l i t y . ) I n RN o r CN, t h e s t a n d a r d i n n e r p r o d u c t i n d u c e s t h e 2 - n o r m . W e s u m m a r i z e t h e r e l a t i o n s h i p s b e t w e e n t h e v a r i o u s s p a c e s i n t r o d u c e d o v e r t h e l a s t f e w l e c t u r e s i n F i g u r e 1 . 7 .

F i g u r e 1 . 7 : V e n n d i a g r a m i l l u s t r a t i n g t h e r e l a t i o n s h i p b e t w e e n v e c t o r a n d m e t r i c s p a c e s .

1 . 6 P r o p e r t i e s o f I n n e r P r o d u c t s

6

I n n e r p r o d u c t s a n d t h e i r i n d u c e d n o r m s h a v e s o m e v e r y u s e f u l p r o p e r t i e s :

C a u c h y - S c h w a r t z I n e q u a l i t y :

|< x, y >

| x

y

w i t h e q u a l i t y i

C s u c h t h a t y = x

P y t h a g o r e a n T h e o r e m : < x, y >= 0 x + y2 = x y2 = x2 + y2P a r a l l e l o g r a m L a w : x + y2 + x y2 = 2x2 + 2y2P o l a r i z a t i o n I d e n t i t y : R e [< x, y >] = x+y

2xy24

I n R2 a n d R3 , w e a r e v e r y f a m i l i a r w i t h t h e g e o m e t r i c n o t i o n o f a n a n g l e b e t w e e n t w o v e c t o r s . F o r e x a m p l e ,

i f x, y R2 , t h e n f r o m t h e l a w o f c o s i n e s , < x, y >= xycos . T h i s r e l a t i o n s h i p d e p e n d s o n l y o n n o r m s a n d i n n e r p r o d u c t s , s o i t c a n e a s i l y b e e x t e n d e d t o a n y i n n e r p r o d u c t s p a c e .

6


8/2/2019 col11172

20/74

1 4



F i g u r e 1 . 8

D e n i t i o n 1

T h e a n g l e b e t w e e n t w o v e c t o r s x, y i n a n i n n e r p r o d u c t s p a c e i s d e n e d b y cos = xyD e n i t i o n 2

V e c t o r s x, y i n a n i n n e r p r o d u c t s p a c e a r e s a i d t o b e o r t h o g o n a l i f < x,y >= 0 .

1 . 7 C o m p l e t e V e c t o r S p a c e s

7

D e n i t i o n 1

A c o m p l e t e n o r m e d v e c t o r s p a c e i s c a l l e d a B a n a c h s p a c e .

E x a m p l e 1 . 9

C[a, b] w i t h L n o r m , i . e . , f = e s s s u p t[a,b]

|f(t) | i s a B a n a c h s p a c e .

Lp [a, b] = {f : f p < } f o r p [1, ] a n d a < b i s a B a n a c h s p a c e . p (N) = {sequences x : x p < } f o r p [1, ] i s a B a n a c h s p a c e . A n y n i t e - d i m e n s i o n a l n o r m e d v e c t o r s p a c e i s B a n a c h , e . g . , RN o r CN w i t h a n y n o r m . C[a, b] w i t h Lp n o r m f o r p < i s n o t B a n a c h .

D e n i t i o n 2

A c o m p l e t e i n n e r p r o d u c t s p a c e i s c a l l e d a H i l b e r t s p a c e .

E x a m p l e 1 . 1 0

L2 [a, b] i s a H i l b e r t s p a c e . 2 (N) i s a H i l b e r t s p a c e . A n y n i t e - d i m e n s i o n a l i n n e r p r o d u c t s p a c e i s a H i l b e r t s p a c e .

N o t e t h a t e v e r y H i l b e r t s p a c e i s B a n a c h , b u t t h e c o n v e r s e i s n o t t r u e . H i l b e r t s p a c e s w i l l b e e x t r e m e l y

i m p o r t a n t i n t h i s c o u r s e .

1 . 8 H i l b e r t S p a c e s i n S i g n a l P r o c e s s i n g

8

W h a t m a k e s H i l b e r t s p a c e s s o u s e f u l i n s i g n a l p r o c e s s i n g ? I n m o d e r n s i g n a l p r o c e s s i n g , w e o f t e n r e p r e s e n t a

s i g n a l a s a p o i n t i n h i g h - d i m e n s i o n a l s p a c e . H i l b e r t s p a c e s a r e s p a c e s i n w h i c h o u r g e o m e t r y i n t u i t i o n f r o m

R3 i s m o s t t r u s t w o r t h y . A s a n e x a m p l e , w e w i l l c o n s i d e r t h e a p p r o x i m a t i o n p r o b l e m .

7


8


8/2/2019 col11172

21/74

8/2/2019 col11172

22/74

1 6



span({v1, v2}) = t h e x1x2 - p l a n e , i . e . , f o r a n y x1, x2 w e c a n w r i t e x1 = 1 a n d x2 = 1 + 2 f o r s o m e 1, 2 R.

F i g u r e 1 . 1 0 : I l l u s t r a t i o n o f t h e s e t o f a l l l i n e a r c o m b i n a t i o n s o f

v1 a n d v2 , i . e . , t h e x1x2 - p l a n e .

E x a m p l e 1 . 1 2

V = {f : f(t) i s p e r i o d i c w i t h p e r i o d 2}, M = {ejkt}Bk=Bspan(M) = p e r i o d i c , b a n d l i m i t e d ( t o B ) f u n c t i o n s , i . e . , f(t) s u c h t h a t f(t) =

Bk=B

cKejkt

f o r

s o m e cB, cB+1,...,c0, c1,...,cB C.

1 . 1 0 V e c t o r S u b s p a c e s

1 0

D e n t i t i o n 1

A ( n o n - e m p t y ) s u b s e t W o f V i s c a l l e d a s u p s p a c e o f V i f f o r a n y x, y W, span({x, y}) W.N o t e t h a t t h i s d e n i t i o n e a s i l y i m p l i e s t h a t :

0 W W i s i t s e l f a v e c t o r s p a c e

E x a m p l e 1 . 1 3 : W h i c h o f t h e s e a r e s u b s p a c e s ?

[ N o ] 1 0


8/2/2019 col11172

23/74

1 7

[ Y e s ] V = R5 , W = {x : x4 = 0, x5 = 0} [ Y e s ] V = R5 , W = {x : x4 = 1, x5 = 1} [ N o ] V = C[0, 1], W ={ p o l y n o m i a l s o f d e g r e e N} [ Y e s ] V = C[0, 1], W = {f : f i s b a n d l i m i t e d t o B } [ Y e s ] V = RN, W = {x : x hasnomorethan5nonzerocomponents, i.e.,x0 5} [ N o ]

1 . 1 1 S i g n a l A p p r o x i m a t i o n i n a H i l b e r t S p a c e

1 1

W e w i l l n o w r e v i s i t T h e F u n d a m e n t a l T h e o r e m o f A p p r o x i m a t i o n f o r t h e e x t r e m e l y i m p o r t a n t c a s e w h e r e

o u r s e t

Ai s a s u b s p a c e . S p e c i c a l l y , s u p p o s e t h a t

Hi s a H i l b e r t s p a c e , a n d l e t

Ab e a ( c l o s e d ) s u b s p a c e o f

H. F r o m b e f o r e , w e h a v e t h a t f o r a n y x H t h e r e i s a u n i q u e x A s u c h t h a t x i s t h e c l o s e s t p o i n t i n A t ox. W h e n A i s a l s o a s u b s p a c e , w e a l s o h a v e :

T h e o r e m 1 . 2 : T h e O r t h o g o n a l i t y P r i n c i p l e

x A i s t h e m i n i m i z e r o f x x i f a n y o n l y i f x x A i . e . , = 0 f o r a l l y A.P r o o f :

( a ) S u p p o s e t h a t

x x A. T h e n f o r a n y y A w i t h y =x,y x2 = y x + x x2

. N o t e

t h a t y x A, b u t x x A, s o t h a t < y x, x x >= 0, a n d w e c a n a p p l y P y t h a g o r a s t o o b t a i n y x2 = y x

2

+ x x. S i n c e y =x , w e t h u s h a v e t h a t y x2 > x x2

.

T h u s

xm u s t b e t h e c l o s e s t p o i n t i n A t o x.

1 1


8/2/2019 col11172

24/74

1 8



F i g u r e 1 . 1 1 : I l l u s t r a t i o n o f t h e o r t h o g o n a l i t y p r i n c i p l e .

( b ) S u p p o s e t h a t

xm i n i m i z e s x x . S u p p o s e f o r t h e s a k e o f a c o n t r a d i c t i o n t h a t y A s u c h

t h a t y = 1 a n d < x x, y >= = 0.

L e t

z =

x +y .

x z2 = x x y2

=< x

x, x

x>

< x

x,y >

< y, x

x> + < y,y >

= x x 2

+ = x x

2

||2.

( 1 . 5 )

T h u s x z x x , c o n t r a d i c t i n g t h e a s s u m p t i o n t h a t x m i n i m i z e s x x .T h i s r e s u l t s u g g e s t s a t h a t a p o s s i b l e m e t h o d f o r n d i n g t h e b e s t a p p r o x i m a t i o n t o a s i g n a l x f r o m a

v e c t o r s p a c e

Vi s t o s i m p l y l o o k f o r a v e c t o r

xs u c h t h a t

x x V . I n t h e c o m i n g l e c t u r e s w e w i l l s h o w h o w t o d o t h i s , b u t i t w i l l r e q u i r e a b r i e f r e v i e w o f s o m e c o n c e p t s f r o m l i n e a r a l g e b r a .

1 . 1 2 L i n e a r O p e r a t o r s

1 2

D e n i t i o n 1

A t r a n s f o r m a t i o n ( m a p p i n g ) L : X Y f r o m a v e c t o r s p a c e X t o a v e c t o r s p a c e Y ( w i t h t h e s a m e s c a l a r e l d K) i s a l i n e a r t r a n s f o r m a t i o n i f :

1 . L (x) = L (x)x X, K2 . L (x1 + x2) = L (x1) + L (x2)x1, x2 X.

1 2


8/2/2019 col11172

25/74

1 9

W e c a l l s u c h t r a n s f o r m a t i o n s l i n e a r o p e r a t o r s .

E x a m p l e 1 . 1 4

X = RN, Y = RML : RN

RM i s a n M

N m a t r i x

F o u r i e r t r a n s f o r m : F(x (t)) =

x (t) ejwtdtF : L2 (R) L2 (R)

L e t L : X Y b e a n o p e r a t o r ( l i n e a r o r o t h e r w i s e ) . T h e r a n g e s p a c e R (L) i s

R (L) = {L (x) Y : x X}. ( 1 . 6 ) T h e n u l l s p a c e N(L), a l s o k n o w n a s k e r n e l , i s

N(L) = {x X : L (x) = 0}. ( 1 . 7 ) I f L i s l i n e a r , t h e n b o t h R (L) a n d N(L) a r e s u b s p a c e s .

1 . 1 3 P r o j e c t i o n s

1 3

D e n i t i o n 1

A l i n e a r t r a n s f o r m a t i o n P : X X i s c a l l e d a p r o j e c t i o n i f P(x) = xx R(P) , i . e , P (P (x)) = P (x)x X.

E x a m p l e 1 . 1 5

P : R3 R3 , P(x1, x2, x3) = (x1, x2, 0)

F i g u r e 1 . 1 2

D e n i t i o n 2

I f

Pi s a p r o j e c t i o n o p e r a t o r o n a n i n n e r p r o d u c t s p a c e

V, w e s a y t h a t

Pi s a n o r t h o g o n a l p r o j e c t i o n i f

R (P) N(P) , i . e . , < x, y >= 0x R (P) , y N(P) .I f P i s a n o r t h o g o n a l p r o j e c t i o n , t h e n f o r a n y x V w e c a n w r i t e :

x = P x + (I P) x ( 1 . 8 ) w h e r e P x R(P) a n d (I P) x N(P) ( s i n c e P(I P) x = P x P (P x) = P x P x = 0. )

1 3


8/2/2019 col11172

26/74

8/2/2019 col11172

27/74

2 1

1 . 1 5 B a s e s

1 5

D e n i t i o n 1

A b a s i s o f a v e c t o r s p a c e V i s a s e t o f v e c t o r s B s u c h t h a t

span(B) = V . B i s l i n e a r l y i n d e p e n d e n t .

T h e s e c o n d c o n d i t i o n e n s u r e s t h a t a l l b a s e s o f V w i l l h a v e t h e s a m e s i z e . I n f a c t , t h e d i m e n s i o n o f a v e c t o r s p a c e V i s d e n e d a s t h e n u m b e r o f e l e m e n t s r e q u i r e d i n a b a s i s f o r V . ( C o u l d e a s i l y b e i n i n n i t e . )

E x a m p l e 1 . 1 7

RN w i t h B t h e s t a n d a r d b a s i s f o r RN

{b1, b2,...,bN} = {

1

0.

.

.

0

,

0

1.

.

.

0

,...,

0

0.

.

.

1

} ( 1 . 1 1 )

N o t e t h a t t h i s e a s i l y e x t e n d s t o

p (Z) . RN w i t h a n y s e t o f N l i n e a r l y i n d e p e n d e n t v e c t o r s V = {polynomialsofdegreeatmost p}B = {1, t , t2,...,tp} ( N o t e t h a t t h e d i m e n s i o n o f V i s

p + 1 ) V = {f(t) : f(t) isperiodicwithperiod T}B = {ejkt}k= ( F o u r i e r s e r i e s , i n n i t e d i m e n -

s i o n a l )

1 . 1 6 O r t h o g o n a l B a s e s

1 6

D e n i t i o n 1

A c o l l e c t i o n o f v e c t o r s

Bi n a n i n n e r p r o d u c t s p a c e

Vi s c a l l e d a n o r t h o g o n a l b a s i s i f

1 . span(B) = V2 . vi vj ( i . e . , < vi, vj >= 0 ) i = j

I f , i n a d d i t i o n , t h e v e c t o r s a r e n o r m a l i z e d u n d e r t h e i n d u c e d n o r m , i . e . , vi = 1 i , t h e n w e c a l l V a no r t h o n o r m a l b a s i s ( o r o r t h o b a s i s ) . I f V i s i n n i t e d i m e n s i o n a l , w e n e e d t o b e a b i t m o r e c a r e f u l w i t h 1 . S p e c i c a l l y , w e r e a l l y o n l y n e e d t h e c l o s u r e o f span(B) t o e q u a l V . I n t h i s c a s e a n y x V c a n b e w r i t t e n a s

x =

i=1

civi ( 1 . 1 2 )

f o r s o m e s e q u e n c e o f c o e c i e n t s {ci}i=1.( T h i s l a s t p o i n t i s a t e c h n i c a l o n e s i n c e t h e s p a n i s t y p i c a l l y d e n e d a s t h e s e t o f l i n e a r c o m b i n a t i o n s o f

a n i t e n u m b e r o f v e c t o r s . S e e Y o u n g C h 3 a n d 4 f o r t h e d e t a i l s . T h i s w o n ' t a e c t t o o m u c h s o w e w i l l g l o s s

o v e r t h e d e t a i l s . )

E x a m p l e 1 . 1 8

1 5


1 6


8/2/2019 col11172

28/74

2 2



V = R2 , s t a n d a r d b a s i s

v1 =

1

0

v2 =

0

1

( 1 . 1 3 )

E x a m p l e 1 . 1 9

S u p p o s e V = { p i e c e w i s e c o n s t a n t f u n c t i o n s o n 0, 14 , 14 , 12 , 12 , 34 , 34 , 1} . A n e x a m p l e o f s u c h a f u n c t i o n i s i l l u s t r a t e d b e l o w .

F i g u r e 1 . 1 4

C o n s i d e r t h e s e t

8/2/2019 col11172

29/74

2 3

( a )

( b )

( c )

( d )

F i g u r e 1 . 1 5

T h e v e c t o r s {v1, v2, v3, v4} f o r m a n o r t h o b a s i s f o r V . S u p p o s e V = L2 [, ]. B = { 12ejkt}k= , i . e , t h e F o u r i e r s e r i e s b a s i s v e c t o r s , f o r m a n

8/2/2019 col11172

30/74

2 4



o r t h o b a s i s f o r V . T o v e r i f y t h e o r t h o g o n a l i t y o f t h e v e c t o r s , n o t e t h a t :

< 12

ejkt , 12

ejkt > = 12 e

j(k1k2)t

=

1

2

ej(k1k2)t

j(k1k2)

= 12 1+1j(k1k2) = 0 (k1 = k2)

( 1 . 1 4 )

S e e Y o u n g f o r p r o o f t h a t t h e c l o s u r e o f B i s L2 [, ], i . e . , t h e f a c t t h a t a n y f L2 [, ]h a s a F o u r i e r s e r i e s r e p r e s e n t a t i o n .

1 . 1 7 C o m p u t i n g t h e B e s t A p p r o x i m a t i o n

1 7

R e c a l l t h a t i f P i s a n o r t h o g o n a l p r o j e c t i o n o n t o a s u b s p a c e A, w e c a n w r i t e a n y x a s

x = P x + (I

P) x ( 1 . 1 5 )

w h e r e P x A a n d (I P) x A. W e n o w t u r n t o h o w t o a c t u a l l y n d P.W e b e g i n w i t h t h e n i t e - d i m e n s i o n a l c a s e , a s s u m i n g t h a t {v1,...,vN} i s a b a s i s f o r A. I f (I P) x A

t h e n w e h a v e t h a t f o r a n y x

< (I P) x, vj >= 0 for j = 1,...,N ( 1 . 1 6 ) W e a l s o n o t e t h a t s i n c e P x A, w e c a n w r i t e P x = Nk=1 ckvk . T h u s w e o b t a i n

< xNk=1

ckvk, vj >= 0 for j = 1,...,N ( 1 . 1 7 )

f r o m w h i c h w e o b t a i n

< x, vj >=Nk=1

ck < vk, vj > for j = 1,...,N ( 1 . 1 8 )

W e k n o w x a n d v1,...,vN. O u r g o a l i s t o n d c1,...,cN. N o t e t h a t a p r o c e d u r e f o r c a l c u l a t i n g c1,...,ck f o ra n y g i v e n x i s e q u i v a l e n t t o o n e t h a t c o m p u t e s P x.

T o n d c1,...,cN, o b s e r v e t h a t ( 1 . 1 8 ) r e p r e s e n t s a s e t o f N e q u a t i o n s w i t h N u n k n o w n s .

< v1, v1 > < v2, v1 > < vN, v1 >< v1, v2 > < v2, v2 > < vN, v2 >

.

.

.

.

.

.

.

.

.

< v1, vN > < v2, vN > < vN, vN >

c1

c2.

.

.

cN

=

< x,v1 >

< x,v2 >.

.

.

< x, vN >

( 1 . 1 9 )

M o r e c o m p a c t l y , w e w a n t t o n d a v e c t o r c CN s u c h t h a t Gc = b w h e r e

b =

< x,v1 >

< x,v2 >.

.

.

< x, vN >

( 1 . 2 0 )

1 7


8/2/2019 col11172

31/74

2 5

n o t e :

G i s c a l l e d t h e G r a m m i a n o r G r a m m a t r i x o f {vj} O n e c a n s h o w s i n c e v1,...,vN a r e l i n e a r l y i n d e p e n d e n t t h a t G i s p o s i t i v e d e n i t e , a n d h e n c e

i n e v i t a b l e .

A l s o n o t e t h a t b y c o n s t r u c t i o n , G i s c o n j u g a t e s y m m e t r i c , o r H e r m i t i a n , i . e . , G = GH, w h e r e H

d e n o t e s t h e c o n j u g a t e t r a n s p o s e o f

G.

T h u s , s i n c e

G1e x i s t s , w e c a n w r i t e

c = G1b t o c a l c u l a t e c .A s a s p e c i a l c a s e , s u p p o s e n o w t h a t {vj} i s a n o r t h o b a s i s f o r A? W h a t i s G? I t i s j u s t t h e i d e n t i t y m a t r i x

I! C o m p u t i n g

c j u s t g o t m u c h e a s i e r , s i n c e n o w

c = b . P l u g g i n g t h i s c b a c k i n t o o u t f o r m u l a f o r P x w eo b t a i n

P x =Nk=1

< x, vk > vk ( 1 . 2 1 )

J u s t t o v e r i f y , n o t e t h a t

Pi s i n d e e d a p r o j e c t i o n m a t r i x :

P (P x) =Nk=1

vj , vk > vk

=Nk=1

Nj=1

< x,vj >< vj , vk > vk

=Nj=1

< x,vj > vj = P x.

( 1 . 2 2 )

E x a m p l e S u p p o s e f L2 ([0, 4]) i s g i v e n b y E x a m p l e 1 . 2 0

S u p p o s e

f L2 ([0, 4]) i s g i v e n b y

f(t) = { t if t

0, 12

1 t if t 1

2 , 1

.

( 1 . 2 3 )

F i g u r e 1 . 1 6

L e t A = { p i e c e w i s e c o n s t a n t f u n c t i o n s o n 0, 14 , 14 , 12 , 12 , 34 , 34 , 1}. O u r g o a l i s t o n d t h e c l o s e s t ( i n

L2 ) f u n c t i o n i n A t o f(t) . U s i n g v1,...,v4 f r o m b e f o r e , w e c a n c a l c u l a t e c1 =14 ,

c2 = 0 ,

c3 =216 , c4 =

2

16 . T h u s , w e h a v e t h a t

f (t) =1

4v1

2

16v3 +

2

16v4. ( 1 . 2 4 )

8/2/2019 col11172

32/74

2 6



F i g u r e 1 . 1 7

1 . 1 8 M a t r i x R e p r e s e n t a t i o n o f t h e A p p r o x i m a t i o n P r o b l e m

1 8

S u p p o s e o u r i n n e r p r o d u c t s p a c e

V = RM o r CM w i t h t h e s t a n d a r d i n n e r p r o d u c t ( w h i c h i n d u c e s t h e 2 - n o r m ) .

R e - e x a m i n i n g w h a t w e h a v e j u s t d e r i v e d , w e c a n w r i t e o u r a p p r o x i m a t i o n

x= P x = V c , w h e r e V i s a n M N m a t r i x g i v e n b y

V =

.

.

.

.

.

.

.

.

.

v1 v2 vN.

.

.

.

.

.

.

.

.

( 1 . 2 5 )

a n d c i s a n N 1 v e c t o r g i v e n b y

c1

c2.

.

.

cN

.( 1 . 2 6 )

G i v e n x RM ( o r CM) , o u r s e a r c h f o r t h e c l o s e s t a p p r o x i m a t i o n c a n b e w r i t t e n a s

minc

x

Vc

2 ( 1 . 2 7 )

o r a s

minc,e

e22 subjectto x = V c + e ( 1 . 2 8 )

U s i n g V , w e c a n r e p l a c e G = VHV a n d b = VHx. T h u s , o u r s o l u t i o n c a n b e w r i t t e n a s

c =

VHV1

VHx,( 1 . 2 9 )

1 8


8/2/2019 col11172

33/74

2 7

w h i c h y i e l d s t h e f o r m u l a

x= V

VHV

1

VHx.( 1 . 3 0 )

T h e m a t r i x V =

VHV1VH i s k n o w n a s t h e p s e u d o - i n v e r s e . W h y t h e n a m e p s e u d o - i n v e r s e ? O b s e r v e

t h a t

VV =

VHV1

VHV = I. ( 1 . 3 1 )

N o t e t h a t

x= V Vx. W e c a n v e r i f y t h a t V V i s a p r o j e c t i o n m a t r i x s i n c e

V VV V = V

VHV1

VHV

VHV1

VH

= V

VHV1

VH

= V V( 1 . 3 2 )

T h u s , g i v e n a s e t o f N l i n e a r l y i n d e p e n d e n t v e c t o r s i n RM o r CM ( N < M) , w e c a n u s e t h e p s e u d o - i n v e r s e t o p r o j e c t a n y v e c t o r o n t o t h e s u b s p a c e d e n e d b y t h o s e v e c t o r s . T h i s c a n b e u s e f u l a n y t i m e w e h a v e a

p r o b l e m o f t h e f o r m :

x = V c + e ( 1 . 3 3 )

w h e r e x d e n o t e s a s e t o f k n o w n o b s e r v a t i o n s , V i s a s e t o f k n o w n e x p a n s i o n v e c t o r s , c a r e t h e u n k n o w n c o e c i e n t s , a n d e r e p r e s e n t s a n u n k n o w n n o i s e v e c t o r . I n t h i s c a s e , t h e l e a s t - s q u a r e s e s t i m a t e i s g i v e n b y

c = Vx,

x= V Vx. ( 1 . 3 4 )

1 . 1 9 O r t h o b a s i s E x p a n s i o n s

1 9

S u p p o s e t h a t t h e {vj}Nj=1 a r e a n i t e - d i m e n s i o n a l o r t h o b a s i s . I n t h i s c a s e w e h a v e

x=Nj=1

< x,vj > vj . ( 1 . 3 5 )

B u t w h a t i f x span({vj}) = V a l r e a d y ? T h e n w e s i m p l y h a v e

x =Nj=1

< x,vj > vj ( 1 . 3 6 )

f o r a l l

x V . T h i s i s o f t e n c a l l e d t h e r e p r o d u c i n g f o r m u l a . I n i n n i t e d i m e n s i o n s , i f V h a s a n o r t h o b a s i s

{vj

}j=1 a n d x

V h a s

j=1

|< x,vj >|2 < ( 1 . 3 7 )

t h e n w e c a n w r i t e

x =j=1

< x, vj > vj . ( 1 . 3 8 )

1 9


8/2/2019 col11172

34/74

8/2/2019 col11172

35/74

2 9

S i n c e w e a l s o h a v e t h a t x 2V=

k=1 | < x, vk > |2 , t h e a p p r o x i m a t i o n

xw i l l b e g o o d i f t h e r s t 1 0

t r a n s f o r m c o e c i e n t s c o n t a i n m o s t o f t h e t o t a l e n e r g y . C o n s t r u c t i n g t h e s e t y p e s o f a p p r o x i m a t i o n s i s

e x a c t l y w h a t i s d o n e i n i m a g e c o m p r e s s i o n .

1 . 2 2 A p p r o x i m a t i o n i n

_ p N o r m s

2 2

S o f a r , o u r a p p r o x i m a t i o n p r o b l e m h a s b e e n p o s e d i n a n i n n e r p r o d u c t s p a c e , a n d w e h a v e t h u s m e a s u r e d

o u r a p p r o x i m a t i o n e r r o r u s i n g n o r m s t h a t a r e i n d u c e d b y a n i n n e r p r o d u c t s u c h a s t h e

L2/2 n o r m s ( o r w e i g h t e d

L2/2 n o r m s ) . S o m e t i m e s t h i s i s a n a t u r a l c h o i c e i t c a n b e i n t e r p r e t e d a s t h e e n e r g y i n t h e e r r o r a n d a r i s e s o f t e n i n t h e c a s e o f s i g n a l s c o r r u p t e d b y G a u s s i a n n o i s e . H o w e v e r , m o r e o f t e n t h a n n o t , i t

i s u s e d s i m p l y b e c a u s e i t i s e a s y t o d e a l w i t h .

I n s o m e c a s e s w e m i g h t b e i n t e r e s t e d i n a p p r o x i m a t i n g w i t h r e s p e c t t o o t h e r n o r m s i n p a r t i c u l a r w e

w i l l c o n s i d e r a p p r o x i m a t i o n w i t h r e s p e c t t o p - n o r m s f o r p = 0 . F i r s t , w e i n t r o d u c e t h e c o n c e p t o f a u n i t b a l l . A n y n o r m g i v e s u s r i s e t o a u n i t b a l l , i . e . , {x : x = 1}. S o m e i m p o r t a n t e x a m p l e s o f u n i t b a l l s f o r t h e p n o r m s i n R

2a r e d e p i c t e d b e l o w .

( a ) ( b ) ( c )

F i g u r e 1 . 1 8

W e n o w c o n s i d e r a n e x a m p l e o f a p p r o x i m a t i n g a p o i n t i n R2 w i t h a p o i n t i n a 1 - D s u b s p a c e w h i l e

m e a s u r i n g e r r o r u s i n g t h e p n o r m f o r p = 1, 2, .E x a m p l e 1 . 2 2

S u p p o s e V = R2 ,

A = span 21

, and x = 21

. ( 1 . 4 5 )

W e w i l l w a n t t o n d

x A t h a t m i n i m i z e s x x p . S i n c e

x A, w e c a n w r i t e

x=

2

( 1 . 4 6 )

2 2


8/2/2019 col11172

36/74

3 0



a n d t h u s

e = x

x=

2 2

1 +

. ( 1 . 4 7 )

W h i l e w e c a n s o l v e f o r

R t o m i n i m i z e ep d i r e c t l y i n s o m e c a s e s , a g e o m e t r i c i n t e r p r e t a t i o n i s a l s o u s e f u l . I n e a c h c a s e , o n c a n i m a g i n e g r o w i n g a n

p b a l l c e n t e r e d o n x u n t i l t h e b a l l i n t e r s e c t s

w i t h A. T h i s w i l l b e t h e p o i n t

x A. t h a t i s c l o s e s t t o x i n t h e p n o r m . W e r s t i l l u s t r a t e t h i s f o r t h e 2 n o r m b e l o w :

F i g u r e 1 . 1 9

I n o r d e r t o c a l c u l a t e

xw e c a n a p p l y t h e o r t h o g o n a l i t y p r i n c i p l e . S i n c e < e, [2 1]

T >= 0 w eo b t a i n a s o l u t i o n d e n e d b y = 35 .

W e n o w o b s e r v e t h a t i n t h e c a s e o f t h e n o r m t h e p i c t u r e c h a n g e s s o m e w h a t . T h e c l o s e s t p o i n t i n i s i l l u s t r a t e d b e l o w :

8/2/2019 col11172

37/74

3 1

F i g u r e 1 . 2 0

N o t e t h a t t h e e r r o r i s n o l o n g e r o r t h o g o n a l t o t h e s u b s p a c e A. I n t h i s c a s e w e c a n s t i l l c a l c u l a t e

xf r o m t h e o b s e r v a t i o n t h a t t h e t w o t e r m s i n t h e e r r o r s h o u l d b e e q u a l , w h i c h y i e l d s = 13 .

T h e s i t u a t i o n i s e v e n m o r e d i e r e n t f o r t h e c a s e o f t h e 1 n o r m , w h i c h i s i l l u s t r a t e d b e l o w :

F i g u r e 1 . 2 1

W e n o w o b s e r v e t h a t

xc o r r e s p o n d s t o = 1. N o t e t h a t i n t h i s c a s e t h e e r r o r t e r m i s [0 2]T .

T h i s p u n c t u a t e s a g e n e r a l t r e n d : f o r l a r g e v a l u e s o f

p, t h e

p n o r m t e n d s t o s p r e a d e r r o r e v e n l y

8/2/2019 col11172

38/74

3 2



a c r o s s a l l t e r m s , w h i l e f o r s m a l l v a l u e s o f p t h e e r r o r i s m o r e h i g h l y c o n c e n t r a t e d .

W h e n i s i t u s e f u l t o a p p r o x i m a t e i n

p o r Lp n o r m s f o r p = 0?E x a m p l e 1 . 2 3

F i l t e r D e s i g n : I n s o m e c a s e s w e w i l l w a n t t h e b e s t t t o a s p e c i e d f r e q u e n c y r e s p o n s e i n a n Ls e n s e r a t h e r t h a n t h e L2 s e n s e . T h i s m i n i m i z e s t h e m a x i m u m e r r o r r a t h e r t h a n t o t a l e n e r g y i n t h e e r r o r . I n t h e g u r e b e l o w w e i l l u s t r a t e a d e s i r e d f r e q u e n c y r e s p o n s e . I f t h e L n o r m o f t h e e r r o r i s s m a l l , t h e n w e a r e g u a r a n t e e d t h a t t h e a p p r o x i m a t i o n t o o u r d e s i r e d f r e q u e n c y

r e s p o n s e w i l l l i e w i t h i n t h e i l l u s t r a t e d b o u n d s .

F i g u r e 1 . 2 2

G e o m e t r y r e p r e s e n t a t i o n : I n c o m p r e s s i n g 3 D g e o m e t r y , c a n b e u s e f u l t o b o u n d t h e L e r r o r t o e n s u r e t h a t b a s i c s h a p e s o f n a r r o w f e a t u r e s ( l i k e p o l e s , p o w e r l i n e s , e t c . ) a r e p r e s e r v e d .

S p a r s i t y : I n t h e c a s e w h e r e t h e e r r o r i s k n o w n t o b e s p a r s e ( i . e . , z e r o o n m o s t i n d i c e s ) i t c a n b e

u s e f u l t o m e a s u r e t h e e r r o r i n t h e 1 n o r m .

8/2/2019 col11172

39/74

C h a p t e r 2

R e p r e s e n t a t i o n a n d A n a l y s i s o f S y s t e m s

2 . 1 L i n e a r S y s t e m s

1

I n t h i s c o u r s e w e w i l l f o c u s m u c h o f o u r a t t e n t i o n o n l i n e a r s y s t e m s . W h e n o u r i n p u t a n d o u t p u t s i g n a l s a r e

v e c t o r s , t h e n t h e s y s t e m i s a l i n e a r o p e r a t o r .

S u p p o s e t h a t L : X Y i s a l i n e a r o p e r a t o r f r o m a v e c t o r s p a c e X t o a v e c t o r s p a c e Y . I f X a n d Y a r en o r m e d v e c t o r s p a c e s , t h e n w e c a n a l s o d e n e a n o r m o n L. S p e c i c a l l y , w e c a n l e t

LL(X,Y) = maxxXLxYx

X

= maxxX:xX=1

LxY( 2 . 1 )

A n o p e r a t o r f o r w h i c h LL(X,Y) < i s c a l l e d a b o u n d e d o p e r a t o r .E x a m p l e 2 . 1

B I B O ( b o u n d e d - i n p u t , b o u n d e d - o u t p u t ) s t a b l e s y s t e m s a r e s y s t e m s f o r w h i c h

x < A[U+27F9]Lx < B . ( 2 . 2 ) S u c h a s y s t e m s a t i s e s L < BA .

O n e c a n s h o w t h a t L(X,Y) s a t i s e s t h e r e q u i r e m e n t s o f a v a l i d n o r m . I n f a c t L (X, Y) ={ b o u n d e d l i n e a r o p e r a t o r s f r o m X to Y} i s i t s e l f a n o r m e d v e c t o r s p a c e ! I f Y i s a B a n a c h s p a c e , t h e n s o i s L (X, Y)!

B o u n d e d l i n e a r o p e r a t o r s a r e c o m m o n i n D S P t h e y a r e s a f e i n t h a t n o r m a l i n p u t s a r e g u a r a n t e e d

t o n o t m a k e y o u r s y s t e m e x p l o d e .

A r e t h e r e a n y c o m m o n s y s t e m s t h a t a r e u n b o u n d e d ? N o t i n n i t e d i m e n s i o n s , b u t i n i n n i t e d i m e n s i o n s

t h e r e a r e p l e n t y o f e x a m p l e s !

E x a m p l e 2 . 2

C o n s i d e r L2

[

, ] . F o r a n y k , fk

(t) = 12

ejkt

i s a n e l e m e n t o f L2

[

, ] w i t h

fk

(t)2

= 1 .

C o n s i d e r t h e s y s t e m D = ddt , a n d n o t e t h a t

d

dtfk (t) =

jk2

ejkt[U+27F9]Dfk (t) 2 = |k| . ( 2 . 3 )

S i n c e

fk (t) L2 [, ] f o r a l l k , w e c a n s e t k t o b e a s l a r g e a s w e w a n t , s o D c a n n o t b e b o u n d e d . A v e r y i m p o r t a n t c l a s s o f l i n e a r o p e r a t o r s a r e t h o s e f o r w h i c h X = Y . I n t h i s c a s e w e h a v e t h e f o l l o w i n g i m p o r t a n t d e n i t i o n .

1


3 3

8/2/2019 col11172

40/74

3 4

C H A P T E R 2 . R E P R E S E N T A T I O N A N D A N A L Y S I S O F S Y S T E M S

D e n i t i o n 1


L = X X i s a l i n e a r o p e r a t o r . A n e i g e n v e c t o r i s a v e c t o r x f o r w h i c h Lx = x f o r s o m e K ( i . e . R o r C) . I n t h i s c a s e , i s c a l l e d t h e c o r r e s p o n d i n g e i g e n v a l u e .

E i g e n v a l u e s a n d e i g e n v e c t o r s t e l l y o u a l o t a b o u t a s y s t e m ( m o r e o n t h i s l a t e r ! ) . W h i l e t h e y c a n s o m e t i m e s

b e t r i c k y t o c a l c u l a t e ( u n l e s s y o u k n o w t h e e i g c o m m a n d i n M a t l a b ) , w e w i l l s e e t h a t a s e n g i n e e r s w e c a n

u s u a l l y g e t a w a y w i t h t h e t i m e - h o n o r e d m e t h o d o f g u e s s a n d c h e c k .

2 . 2 D i s c r e t e - T i m e S y s t e m s

2

W e b e g i n w i t h t h e s i m p l e s t o f d i s c r e t e - t i m e s y s t e m s , w h e r e X = CN a n d Y = CM. I n t h i s c a s e a l i n e a r o p e r a t o r i s j u s t a n

M N m a t r i x . W e c a n g e n e r a l i z e t h i s c o n c e p t b y l e t t i n g M a n d N g o t o , i n w h i c h c a s e w e c a n t h i n k o f a l i n e a r o p e r a t o r

L : 2 (Z) 2 (Z) a s a n i n n i t e m a t r i x . E x a m p l e 2 . 3

C o n s i d e r t h e s h i f t o p e r a t o r k : 2 (Z) 2 (Z) t h a t t a k e s a s e q u e n c e a n d s h i f t s i t b y k . A s a n e x a m p l e , 1 c a n b e v i e w e d a s t h e i n n i t e m a t r i x g i v e n b y

.

.

.

.

.

.

.

.

.

y1

y0

y1.

.

.

.

.

.

=

.

.

. 0.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

0 1 0

0 1 0

0 1 0.

.

.

.

.

.

.

.

.

.

.

.

0

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

x1

x0

x1.

.

.

.

.

.

( 2 . 4 )

N o t e t h a t k2 = 1 ( f o r a n y k a n d p) s i n c e t h e d e l a y d o e s n ' t c h a n g e t h e n o r m o f x. T h e d e l a y o p e r a t o r i s a l s o a n e x a m p l e o f a l i n e a r s h i f t - i n v a r i a n t ( L S I ) s y s t e m .

D e n i t i o n 1

A n o p e r a t o r

L : 2 (Z) 2 (Z) i s c a l l e d s h i f t - i n v a r i a n t i f L (k (x)) = k (L (x)) f o r a l l x 2 (Z) a n d f o r a n y

k Z.O b s e r v e t h a t k1 (k2 (x)) = k1+k2 (x) s o t h a t k i t s e l f i s a n L S I o p e r a t o r . L e t s t a k e a c l o s e r l o o k a t t h e s t r u c t u r e o f a n L S I s y s t e m b y v i e w i n g i t a s a n i n n i t e m a t r i x . I n t h i s c a s e

w e w r i t e y = Hx t o d e n o t e

.

.

.

y1

y0

y1.

.

.

=

.

.

.

.

.

.

.

.

.

| | | h1 h0 h1

| | |.

.

.

.

.

.

.

.

.

.

.

.

x1

x0

x1.

.

.

( 2 . 5 )

2


8/2/2019 col11172

41/74

3 5

S u p p o s e w e w a n t t o g u r e o u t t h e c o l u m n o f H c o r r e s p o n d i n g t o h0 . W h a t i n p u t x c o u l d h e l p u s d e t e r m i n e h0

? C o n s i d e r t h e v e c t o r

x =

.

.

.

0

1

0.

.

.

, ( 2 . 6 )

i . e . , x = [n] . F o r t h i s i n p u t y = Hx = h0 . W h a t a b o u t h1 ? 1 (x) = [n 1] w o u l d y i e l d h1 . I n g e n e r a l k (x) = [n k] t e l l u s t h e c o l u m n hk . B u t , i f H i s L S I , t h e n

hk = H(k ( [n]))

= k (H( [n]))

= k

h0 ( 2 . 7 )

T h i s m e a n s t h a t e a c h c o l u m n i s j u s t a s h i f t e d v e r s i o n o f h0 , w h i c h i s u s u a l l y c a l l e d t h e i m p u l s e r e s p o n s e . N o w j u s t t o k e e p n o t a t i o n c l e a n , l e t h = h0 d e n o t e t h e i m p u l s e r e s p o n s e . C a n w e g e t a s i m p l e f o r m u l a

f o r t h e o u t p u t y i n t e r m s o f h a n d x? O b s e r v e t h a t w e c a n w r i t e

.

.

.

y1

y0

y1.

.

.

=

.

.

.

.

.

.

.

.

.

h0 h1 h2

h1 h0 h1 h2 h1 h0

.

.

.

.

.

.

.

.

.

.

.

.

x1

x0

x1.

.

.

( 2 . 8 )

E a c h c o l u m n i s j u s t s h i f t e d d o w n o n e . ( E a c h s u c c e s s i v e r o w i s a l s o s h i f t e d r i g h t o n e . ) L o o k i n g a t y1 , y0a n d y1 , w e c a n r e w r i t e t h i s f o r m u l a a s

y [1]y [0]

y [1]

= + x [1]

h [0]

h [1]

h [2]

+ x [0]

h [1]h [0]

h [1]

+ x [1]

h [2]h [1]h [0]

+ ( 2 . 9 )

F r o m t h i s w e c a n o b s e r v e t h e g e n e r a l p a t t e r n

y [n] = + x [1] h [n + 1] + x [0] h [n + 0] + x [1] h [n 1] + ( 2 . 1 0 ) o r m o r e c o n c i s e l y

y [n] =

k=x [k] h [n k] . ( 2 . 1 1 )

D o e s t h i s l o o k f a m i l i a r ? I t i s s i m p l y t h e f o r m u l a f o r t h e d i s c r e t e - t i m e c o n v o l u t i o n o f x a n d h, i . e . ,

y = x h. ( 2 . 1 2 )

8/2/2019 col11172

42/74

3 6


2 . 3 E i g e n v e c t o r s o f L S I S y s t e m s

3

S u p p o s e t h a t h i s t h e i m p u l s e r e s p o n s e o f a n L S I s y s t e m . C o n s i d e r a n i n p u t x [n] = zn w h e r e z i s a c o m p l e x n u m b e r . W h a t i s t h e o u t p u t o f t h e s y s t e m ? R e c a l l t h a t x

h = h

x. I n t h i s c a s e , i t i s e a s i e r t o u s e t h e

f o r m u l a :

y [n] =k=

h [k] x [n k]

=k=

h [k] znk

= znk=

h [k] zk

= x [n] H(z)

( 2 . 1 3 )

w h e r e

H(z) =

k=

h [k] zk. ( 2 . 1 4 )

I n t h e e v e n t t h a t H(z) c o n v e r g e s , w e s e e t h a t y [n] i s j u s t a r e - s c a l e d v e r s i o n o f x [n] . T h u s , x [n] i s a n e i g e n v e c t o r o f t h e s y s t e m H, r i g h t ? N o t e x a c t l y , b u t a l m o s t . . . t e c h n i c a l l y , s i n c e zn / 2 (Z) i t i s n ' t r e a l l y a n e i g e n v e c t o r . H o w e v e r , m o s t D S P t e x t s i g n o r e t h i s s u b t l e t y . T h e i n t u i t i o n p r o v i d e d b y t h i n k i n g o f zn a s a n e i g e n v e c t o r i s w o r t h t h e s l i g h t a b u s e o f t e r m i n o l o g y .

N e x t t i m e w e w i l l a n a l y z e t h e f u n c t i o n H(z) i n g r e a t e r d e t a i l . H(z) i s c a l l e d t h e z - t r a n s f o r m o f h, a n d p r o v i d e s a n e x t r e m e l y u s e f u l c h a r a c t e r i z a t i o n o f a d i s c r e t e - t i m e s y s t e m .

2 . 4 T h e z - T r a n s f o r m

4

2 . 4 . 1 T h e z - t r a n s f o r m

W e i n t r o d u c e d t h e z - t r a n s f o r m b e f o r e a s

H(z) =

k=

h [k] zk ( 2 . 1 5 )

w h e r e z i s a c o m p l e x n u m b e r . W h e n H(z) e x i s t s ( t h e s u m c o n v e r g e s ) , i t c a n b e i n t e r p r e t e d a s t h e r e s p o n s e o f a n L S I s y s t e m w i t h i m p u l s e r e s p o n s e h [n] t o t h e i n p u t o f zn . T h e z - t r a n s f o r m i s u s e f u l m o s t l y d u e t o i t s a b i l i t y t o s i m p l i f y s y s t e m a n a l y s i s v i a t h e f o l l o w i n g r e s u l t .

T h e o r e m

I f

y = h x, t h e n Y (z) = H(z) X(z).P r o o f

F i r s t o b s e r v e t h a t

n= y [n] zn =

n=

k= x [k] h [n k]

zn

=k= x [k]

n= h [n k] zn

( 2 . 1 6 )

3


4


8/2/2019 col11172

43/74

3 7

L e t m = n k , a n d n o t e t h a t zn = zm zk . T h u s w e h a v e

n=y [n] zn =

k=x [k]

n=

h [m] zm

zk

=

k= x [k] H(z) zk

= H(z)

k= x [k] z

k

= H(z) X(z)

( 2 . 1 7 )

T h i s y i e l d s t h e t r a n s f e r f u n c t i o n

H(z) =Y (z)

X(z). ( 2 . 1 8 )

2 . 5 T h e D i s c r e t e - T i m e F o u r i e r T r a n s f o r m

5

2 . 5 . 1 T h e d i s c r e t e - t i m e F o u r i e r t r a n s f o r m

T h e ( n o n - n o r m a l i z e d ) D T F T i s s i m p l y a s p e c i a l c a s e o f t h e z - t r a n s f o r m f o r t h e c a s e |z| = 1 , i . e . , z = ej f o rs o m e v a l u e [, ]

X

ej

=

n=x [n] ejn . ( 2 . 1 9 )

T h e p i c t u r e y o u s h o u l d h a v e i n m i n d i s t h e c o m p l e x p l a n e . T h e

z- t r a n s f o r m i s d e n e d o n t h e w h o l e p l a n e ,

a n d t h e D T F T i s s i m p l y t h e v a l u e o f t h e

z- t r a n s f o r m o n t h e u n i t c i r c l e , a s i l l u s t r a t e d b e l o w .

5


8/2/2019 col11172

44/74

3 8


F i g u r e 2 . 1

T h i s p i c t u r e s h o u l d m a k e i t c l e a r w h y t h e D T F T i s d e n e d o n l y f o r

[, ] ( o r w h y i t i s p e r i o d i c ) . U s i n g t h e n o r m a l i z a t i o n a b o v e , w e a l s o h a v e t h e i n v e r s e D T F T f o r m u l a :

x [n] =1

2

X

ej

ejnd. ( 2 . 2 0 )

2 . 6 z - T r a n s f o r m E x a m p l e s

6

2 . 6 . 1 z

- t r a n s f o r m e x a m p l e s

E x a m p l e 2 . 4

C o n s i d e r t h e z - t r a n s f o r m g i v e n b y H(z) = z , a s i l l u s t r a t e d b e l o w .

6


8/2/2019 col11172

45/74

8/2/2019 col11172

46/74

4 0


F i g u r e 2 . 4

W h a t c o u l d t h e s y s t e m

Hb e d o i n g ? I t i s a p e r f e c t a l l - p a s s , l i n e a r - p h a s e s y s t e m . B u t w h a t d o e s

t h i s m e a n ?

S u p p o s e h [n] = [n n0]. T h e n

H(z) =n= h [n] z

n

=n= [n n0] zn

= zn0 .

( 2 . 2 1 )

T h u s ,

H(z) = zn0

i s t h e

z- t r a n s f o r m o f a s y s t e m t h a t s i m p l y d e l a y s t h e i n p u t b y

n0.

H(z) = z1

i s t h e z - t r a n s f o r m o f a u n i t - d e l a y .

E x a m p l e 2 . 5

N o w c o n s i d e r x [n] = nu [n]

8/2/2019 col11172

47/74

4 1

F i g u r e 2 . 5

X(z) =n= x [n] z

n =n=0

nzn

=n=0

z

n= 11

z

(i f |/z| < 1) ( G e o m e t r i c S e r i e s )

=z

z

( 2 . 2 2 )

W h a t i f

az

1? T h e n n=0 nn d o e s n o t c o n v e r g e ! T h e r e f o r e , w h e n e v e r w e c o m p u t e a z -t r a n s f o r m , w e m u s t a l s o s p e c i f y t h e s e t o f

z' s f o r w h i c h t h e

z- t r a n s f o r m e x i s t s . T h i s i s c a l l e d t h e

r e g i o n o f c o n v e r g e n c e ( R O C ) . I n t h e a b o v e e x a m p l e , t h e R O C = {z : |z| > ||} .

8/2/2019 col11172

48/74

4 2


F i g u r e 2 . 6

E x a m p l e 2 . 6

W h a t a b o u t t h e e v i l t w i n x [n] = nu [1 n]?

X(z) =

n=

n

u [1 n] zn

=

1n=

n

zn

= 1n=

z

n=

n=1

z

n= 1

n=0

z

n( c o n v e r g e s i f |z/| < 1)

= 1 11 z

= zz =z

z

( 2 . 2 3 )

W e g e t t h e e x a c t s a m e r e s u l t b u t w i t h R O C = {z : |z| < ||} .

2 . 7 z - T r a n s f o r m A n a l y s i s o f D i s c r e t e - T i m e F i l t e r s

7

2 . 7 . 1 z

- t r a n s f o r m a n a l y s i s o f d i s c r e t e - t i m e l t e r s

T h e z - t r a n s f o r m m i g h t s e e m s l i g h t l y u g l y . W e h a v e t o w o r r y a b o u t t h e r e g i o n o f c o n v e r g e n c e , a n d w e h a v e n ' t e v e n t a l k e d a b o u t h o w t o i n v e r t i t y e t ( i t i s n ' t p r e t t y ) . H o w e v e r , i n t h e e n d i t i s w o r t h i t b e c a u s e

i t i s e x t r e m e l y u s e f u l i n a n a l y z i n g d i g i t a l l t e r s w i t h f e e d b a c k . F o r e x a m p l e , c o n s i d e r t h e s y s t e m i l l u s t r a t e d

b e l o w

7


8/2/2019 col11172

49/74

4 3

F i g u r e 2 . 7

W e c a n a n a l y z e t h i s s y s t e m v i a t h e e q u a t i o n s

v [n] = b0x [n] + b1x [n 1] + b2x [n 2] ( 2 . 2 4 ) a n d

y [n] = v [n] + a1y [n 1] + a2y [n 2] . ( 2 . 2 5 ) M o r e g e n e r a l l y ,

v [n] =Nk=0

bkx [n k] ( 2 . 2 6 )

a n d

y [n] =Mk=1

aky [n k] + v [n] ( 2 . 2 7 )

o r e q u i v a l e n t l y

Nk=0

bkx [n k] = y [n] Mk=1

aky [n k] . ( 2 . 2 8 )

I n g e n e r a l , m a n y L S I s y s t e m s s a t i s f y l i n e a r d i e r e n c e e q u a t i o n s o f t h e f o r m :

Mk=0

aky [n k] =Nk=0

bkx [n k] . ( 2 . 2 9 )

W h a t d o e s t h e z - t r a n s f o r m o f t h i s r e l a t i o n s h i p l o o k l i k e ?

Z{Mk=0 aky [n k]} = Z{

Mk=0 bkx [n k]}

Mk=0 akZ{y [n k]} =

Nk=0 bkZ{x [n k]}.

( 2 . 3 0 )

8/2/2019 col11172

50/74

8/2/2019 col11172

51/74

4 5

F i g u r e 2 . 8

N o t e t h a t t h e p o l e s a n d z e r o s o f X1 (z) a n d X2 (z) a r e i d e n t i c a l , b u t w i t h o p p o s i t e R O C s . N o t e a l s o t h a t n e i t h e r R O C c o n t a i n s t h e p o i n t .

E x a m p l e 2 . 8

C o n s i d e r

x3 [n] =

1

2

nu [n] +

1

3

nu [n] . ( 2 . 3 6 )

8/2/2019 col11172

52/74

4 6


F i g u r e 2 . 9

W e c a n c o m p u t e t h e

z- t r a n s f o r m o f

x3 [n] b y s i m p l y a d d i n g t h e z - t r a n s f o r m s o f t h e t w o d i e r e n t t e r m s i n t h e s u m , w h i c h a r e g i v e n b y

1

2

nu [n]

Z

[U+27F7]z

z 12R O C : |z| > 1

2( 2 . 3 7 )

a n d

1

3

nu [n]

Z

[U+27F7]z

z + 13R O C : |z| > 1

3. ( 2 . 3 8 )

T h e p o l e s a n d z e r o s f o r t h e s e z - t r a n s f o r m s a r e i l l u s t r a t e d b e l o w .

8/2/2019 col11172

53/74

4 7

F i g u r e 2 . 1 0

F i g u r e 2 . 1 1

8/2/2019 col11172

54/74

4 8


X3 (z) i s g i v e n b y

X3 (z) =z

z 12+ z

z+ 13

=z

(z+ 1

3 )+z

(z

1

2 )(z+ 13 )(z 12 )

=z(2z 16 )

(z+ 13 )(z 12 )R O C : |z| > 12

( 2 . 3 9 )

F i g u r e 2 . 1 2

N o t e t h a t t h e p o l e s d o n o t c h a n g e , b u t t h e z e r o s d o , a s i l l u s t r a t e d a b o v e .

E x a m p l e 2 . 9

N o w c o n s i d e r t h e n i t e - l e n g t h s e q u e n c e

x4 [n] = {n 0 n N 10 o t h e r w i s e .

( 2 . 4 0 )

8/2/2019 col11172

55/74

4 9

F i g u r e 2 . 1 3

T h e

z- t r a n s f o r m f o r t h i s s e q u e n c e i s

X4 (z) =N1n=0 x4 [n] z

n =N1n=0

nzn

=1(z )

N

1z

= zN

N

zN1(z) R O C : z = 0

( 2 . 4 1 )

W e c a n i m m e d i a t e l y s e e t h a t t h e z e r o s o f X4 (z) o c c u r w h e n zN = N. R e c a l l i n g t h e N t h r o o t s o f u n i t y , w e s e e t h a t t h e z e r o s a r e g i v e n b y

zk = ej 2Nk, k = 0, 1,...,N 1. ( 2 . 4 2 )

A t r s t g l a n c e , i t m i g h t a p p e a r t h a t t h e r e a r e N 1 p o l e s a t z e r o a n d 1 p o l e a t , b u t t h e p o l e a t i s c a n c e l l e d b y t h e z e r o ( z0 ) a t . T h u s , X4 (z) a c t u a l l y h a s o n l y N 1 p o l e s a t z e r o a n d N 1z e r o s a r o u n d a c i r c l e o f r a d i u s

a s i l l u s t r a t e d b e l o w .

8/2/2019 col11172

56/74

5 0


F i g u r e 2 . 1 4

S o , p r o v i d e d t h a t || < , t h e R O C i s t h e e n t i r e z - p l a n e e x c e p t f o r t h e o r i g i n . T h i s a c t u a l l y h o l d s f o r a l l n i t e - l e n g t h s e q u e n c e s .

2 . 9 S t a b i l i t y , C a u s a l i t y , a n d t h e z - T r a n s f o r m

9

2 . 9 . 1 S t a b i l i t y , c a u s a l i t y , a n d t h e z - t r a n s f o r m

I n g o i n g f r o m

Nk=0

aky [n k] =mk=0

bkx [n k] ( 2 . 4 3 )

t o

H(z) =Y (z)

X(z)( 2 . 4 4 )

w e d i d n o t s p e c i f y a n R O C . I f w e f a c t o r H(z) , w e c a n p l o t t h e p o l e s a n d z e r o s i n t h e z - p l a n e a s b e l o w .

9


8/2/2019 col11172

57/74

5 1

F i g u r e 2 . 1 5

S e v e r a l R O C s m a y b e p o s s i b l e . E a c h R O C c o r r e s p o n d s t o a d i e r e n t i m p u l s e r e s p o n s e , s o w h i c h o n e

s h o u l d w e c h o o s e ? I n g e n e r a l , t h e r e i s n o r i g h t c h o i c e , h o w e v e r , t h e r e a r e s o m e c h o i c e s t h a t m a k e s e n s e i n

p r a c t i c e .

I n p a r t i c u l a r , i f h [n] i s c a u s a l , i . e . , i f h [n] = 0 , n < 0 , t h e n t h e R O C e x t e n d s o u t w a r d f r o m t h e o u t e r m o s t p o l e . T h i s c a n b e s e e n i n t h e e x a m p l e s u p t o t h i s p o i n t . M o r e o v e r , r e c a l l t h a t a s y s t e m i s B I B O s t a b l e i f

t h e i m p u l s e r e s p o n s e h 1 (Z) . I n t h i s c a s e ,

|H(z)| = n= h [n] zn n= |h [n]| |zn|

( 2 . 4 5 )

C o n s i d e r t h e u n i t c i r c l e z = ej . I n t h i s c a s e w e h a v e |zn| = |ejn | = 1, s o t h a t Hej

n=

|h [n]| < ( 2 . 4 6 )

f o r a l l

. T h u s , i f a s y s t e m i s B I B O s t a b l e , t h e R O C o f

H(z)m u s t i n c l u d e t h e u n i t c i r c l e . I n g e n e r a l , a n y

R O C c o n t a i n i n g t h e u n i t c i r c l e w i l l b e B I B O s t a b l e .

T h i s l e a d s t o a k e y q u e s t i o n a r e s t a b i l i t y a n d c a u s a l i t y a l w a y s c o m p a t i b l e ? T h e a n s w e r i s n o . F o r

e x a m p l e , c o n s i d e r

H(z) =z2

(z 2) z + 12 =45z

z 2 +15z

z + 12( 2 . 4 7 )

a n d i t s v a r i o u s R O C ' s a n d c o r r e s p o n d i n g i n v e r s e s . I f t h e R O C c o n t a i n s t h e u n i t - c i r c l e ( s o t h a t t h e c o r r e -

s p o n d i n g s y s t e m i s s t a b l e ) a n d i s n o t t o c o n t a i n a n y p o l e s , t h e n i t m u s t e x t e n d i n w a r d t o w a r d s t h e o r i g i n , a n d

8/2/2019 col11172

58/74

5 2


h e n c e i t c a n n o t b e c a u s a l . A l t e r n a t i v e l y , i f t h e R O C i s t o e x t e n d o u t w a r d , i t w i l l n o t c o n t a i n t h e u n i t - c i r c l e

s o t h a t t h e c o r r e s p o n d i n g s y s t e m w i l l n o t b e B I B O s t a b l e .

2 . 1 0 I n v e r s e S y s t e m s

1 0

2 . 1 0 . 1 I n v e r s e s y s t e m s

M a n y s i g n a l p r o c e s s i n g p r o b l e m s c a n b e i n t e r p r e t e d a s t r y i n g t o u n d o t h e a c t i o n o f s o m e s y s t e m . F o r

e x a m p l e , e c h o c a n c e l l a t i o n , c h a n n e l o b v o l u t i o n , e t c . T h e p r o b l e m i s i l l u s t r a t e d b e l o w .

F i g u r e 2 . 1 6

I f o u r g o a l i s t o d e s i g n a s y s t e m

HI t h a t r e v e r s e s t h e a c t i o n o f H, t h e n w e c l e a r l y n e e d H(z) HI (z) = 1 .I n t h e c a s e w h e r e

H(z) =P (z)

Q (z)( 2 . 4 8 )

t h e n t h i s c a n b e a c h i e v e d v i a

HI (z) =Q (z)

P (z).

( 2 . 4 9 )

T h u s , t h e z e r o s o f

H(z)b e c o m e p o l e s o f

HI (z), a n d t h e p o l e s o f

H(z)b e c o m e z e r o s o f

HI (z). R e c a l l t h a t

H(z) b e i n g s t a b l e a n d c a u s a l i m p l i e s t h a t a l l p o l e s a r e i n s i d e t h e u n i t c i r c l e . I f w e w a n t H(z) t o h a v e a s t a b l e , c a u s a l i n v e r s e HI (z) , t h e n w e m u s t h a v e a l l z e r o s i n s i d e t h e u n i t c i r c l e , ( s i n c e t h e y b e c o m e t h e p o l e s o f HI (z). ) C o m b i n i n g t h e s e , H(z) i s s t a b l e a n d c a u s a l w i t h a s t a b l e a n d c a u s a l i n v e r s e i f a n d o n l y i f a l l p o l e s a n d z e r o s o f H(z) a r e i n s i d e t h e u n i t c i r c l e . T h i s t y p e o f s y s t e m i s c a l l e d a m i n i m u m p h a s e s y s t e m .

2 . 1 1 I n v e r s e z - T r a n s f o r m

1 1

2 . 1 1 . 1 I n v e r s e z

- t r a n s f o r m

U p t o t h i s p o i n t , w e h a v e i g n o r e d h o w t o a c t u a l l y i n v e r t a z - t r a n s f o r m t o n d x [n] f r o m X(z) . D o i n g s o i s v e r y d i e r e n t f r o m i n v e r t i n g a D T F T . W e w i l l c o n s i d e r t h r e e m a i n t e c h n i q u e s :

1 . I n s p e c t i o n ( l o o k i t u p i n a t a b l e )

2 . P a r t i a l f r a c t i o n e x p a n s i o n

3 . P o w e r s e r i e s e x p a n s i o n

O n e c a n a l s o u s e c o n t o u r i n t e g r a t i o n c o m b i n e d w i t h t h e C a u c h y R e s i d u e T h e o r e m . S e e O p p e n h e i m a n d

S c h a f e r f o r d e t a i l s .

1 0


1 1


8/2/2019 col11172

59/74

5 3

2 . 1 1 . 1 . 1 I n s p e c t i o n

B a s i c a l l y , b e c o m e f a m i l i a r w i t h t h e z - t r a n s f o r m p a i r s l i s t e d i n t a b l e s , a n d r e v e r s e e n g i n e e r

E x a m p l e 2 . 1 0


X(z) =z

z a , |z| > |a|. ( 2 . 5 0 )

B y n o w y o u s h o u l d b e a b l e t o r e c o g n i z e t h a t x [n] = anu [n] .

2 . 1 1 . 1 . 2 P a r t i a l f r a c t i o n e x p a n s i o n

I f X(z) i s r a t i o n a l , b r e a k i t u p i n t o a s u m o f e l e m e n t a r y f o r m s , e a c h o f w h i c h c a n b e i n v e r t e d b y i n s p e c t i o n .

E x a m p l e 2 . 1 1


X(z) =1 + 2z1 + z2

1 32z1 + 12z2, |z| > 1. ( 2 . 5 1 )

B y c o m p u t i n g a p a r t i a l f r a c t i o n e x p a n s i o n w e c a n d e c o m p o s e X(z) i n t o

X(z) =8

1 z1 9

1 12z1+ 2, ( 2 . 5 2 )

w h e r e e a c h t e r m i n t h e s u m c a n b e i n v e r t e d b y i n s p e c t i o n .

2 . 1 1 . 1 . 3 P o w e r S e r i e s E x p a n s i o n

R e c a l l t h a t

X(z) =

n= x [n] zn

= ...x [2] z2 + x [1] z + x [0] + x [1] z1 + x [2] z2 + ....( 2 . 5 3 )

I f w e k n o w t h e c o e c i e n t s f o r t h e L a u r e n t s e r i e s e x p a n s i o n o f

X(z) , t h e n t h e s e c o e c i e n t s g i v e u s t h e i n v e r s e

z- t r a n s f o r m .

E x a m p l e 2 . 1 2

S u p p o s e

X(z) = z2

1 12z1

1 + z1

1 z1= z2 12z 1 + 12z1

( 2 . 5 4 )

T h e n

x [n] = [n + 2] 12

[n + 1] [n] + 12

[n 1] . ( 2 . 5 5 )

E x a m p l e 2 . 1 3

S u p p o s e

X(z) = log

1 + az1

, |z| > |a| ( 2 . 5 6 )

8/2/2019 col11172

60/74

5 4


w h e r e log d e n o t e s t h e c o m p l e x l o g a r i t h m . R e c a l l i n g t h e L a u r e n t s e r i e s e x p a n s i o n

log (1 + x) =

n=1

(1)n+1xnn

( 2 . 5 7 )

w e c a n w r i t e

X(z) =

n=1

(1)n+1ann

zn. ( 2 . 5 8 )

T h u s w e c a n i n f e r t h a t

x [n] = {(1)n+1an

n n 10 n 0.

( 2 . 5 9 )

2 . 1 2 F o u r i e r R e p r e s e n t a t i o n s

1 2

2 . 1 2 . 1 F o u r i e r R e p r e s e n t a t i o n s

T h r o u g h o u t t h e c o u r s e w e h a v e b e e n a l l u d i n g t o v a r i o u s F o u r i e r r e p r e s e n t a t i o n s . W e r s t r e c a l l t h e a p p r o -

p r i a t e t r a n s f o r m s :

F o u r i e r S e r i e s ( C T F S ) : x (t): c o n t i n u o u s - t i m e , n i t e / p e r i o d i c o n [, ]

X[k] =12

x (t) ejktdt ( 2 . 6 0 )

x (t) = 12

k=

X[k] ejkt ( 2 . 6 1 )

D i s c r e t e - T i m e F o u r i e r T r a n s f o r m ( D T F T ) : x [n] : i

Date post:	06-Apr-2018
Category:	Documents
Upload:	aquasalman
View:	219 times
Download:	0 times

col11172

Documents