Finding Moments of the blobs

8/9/2019 Finding Moments of the blobs

1/149

I m a g e A n a l y s i s b y M o m e n t s

b y

S i m o n X i n m e n g L i a o

A T h e s i s

S u b m i t t e d t o t h e F a c u l t y o f G r a d u a t e S t u d i e s

i n P a r t i a l F u l l l m e n t o f t h e R e q u i r e m e n t s

f o r t h e D e g r e e o f D o c t o r o f P h i l o s o p h y

T h e D e p a r t m e n t o f

E l e c t r i c a l a n d C o m p u t e r E n g i n e e r i n g

T h e U n i v e r s i t y o f M a n i t o b a

W i n n i p e g , M a n i t o b a , C a n a d a

c

S i m o n X i n m e n g L i a o 1 9 9 3

i


2/149

T o t h e s t u d e n t s w h o w e r e m a s s a c r e d i n B e i j i n g , J u n e 4 t h , 1 9 8 9 ,

a n d c o u l d n o t n i s h t h e i r e d u c a t i o n .

i i


3/149

I h e r e b y d e c l a r e t h a t I a m t h e s o l e a u t h o r o f t h i s t h e s i s .

I a u t h o r i z e t h e U n i v e r s i t y o f M a n i t o b a t o l e n d t h i s t h e s i s t o o t h e r i n s t i t u t i o n s o r

i n d i v i d u a l s f o r t h e p u r p o s e o f s c h o l a r l y r e s e a r c h .


I f u r t h e r a u t h o r i z e t h e U n i v e r s i t y o f M a n i t o b a t o r e p r o d u c e t h i s t h e s i s b y p h o t o -

c o p y i n g o r b y o t h e r m e a n s , i n t o t a l o r i n p a r t , a t t h e r e q u e s t o f o t h e r i n s t i t u t i o n s o r

i n d i v i d u a l s f o r t h e p u r p o s e o f s c h o l a r l y r e s e a r c h .


i i i


4/149

T h e U n i v e r s i t y o f M a n i t o b a r e q u i r e s t h e s i g n a t u r e s o f a l l p e r s o n s u s i n g o r p h o t o -

c o p y i n g t h i s t h e s i s . P l e a s e s i g n b e l o w , a n d g i v e a d d r e s s a n d d a t e .

i v


5/149

A b s t r a c t

T o s e l e c t a s e t o f a p p r o p r i a t e n u m e r i c a l a t t r i b u t e s o f f e a t u r e s f r o m t h e i n t e r e s t e d

o b j e c t s f o r t h e p u r p o s e o f c l a s s i c a t i o n h a s b e e n a m o n g t h e f u n d a m e n t a l p r o b l e m s

i n t h e d e s i g n o f a n i m a g e r y p a t t e r n r e c o g n i t i o n s y s t e m . O n e o f t h e s o l u t i o n s , t h e

u t i l i z a t i o n o f m o m e n t s f o r o b j e c t c h a r a c t e r i z a t i o n h a s r e c e i v e d c o n s i d e r a b l e a t t e n -

t i o n s i n r e c e n t y e a r s . I n t h i s r e s e a r c h , t h e n e w t e c h n i q u e s d e r i v e d t o i n c r e a s e t h e

a c c u r a c y a n d t h e e c i e n c y i n m o m e n t c o m p u t i n g a r e a d d r e s s e d . B a s e d o n t h e s e

d e v e l o p m e n t s , t h e s i g n i c a n t i m p r o v e m e n t o n i m a g e r e c o n s t r u c t i o n s v i a L e g e n d r e

m o m e n t s a n d Z e r n i k e m o m e n t s h a s b e e n a c h i e v e d . T h e e e c t o f i m a g e n o i s e o n

i m a g e r e c o n s t r u c t i o n , t h e a u t o m a t i c s e l e c t i o n o f t h e o p t i m a l o r d e r o f m o m e n t s f o r

i m a g e r e c o n s t r u c t i o n f r o m n o i s y i m a g e , a n d t h e u s a g e o f m o m e n t s a s i m a g e f e a t u r e s

f o r c h a r a c t e r r e c o g n i t i o n a r e a n a l y z e d a s w e l l .

v


6/149

A c k n o w l e d g e m e n t s

M a n y p e o p l e h a v e p r o v i d e d a d v i c e , s u p p o r t , a n d e n c o u r a g e m e n t t o t h e a u t h o r , d u r i n g

t h e r e s e a r c h w h i c h l e d t o t h i s t h e s i s . I w o u l d l i k e t o e x p r e s s m y h e a r t f e l t a p p r e c i a t i o n

t o :

M y s u p e r v i s o r , P r o f . D r . M i r o s l a w P a w l a k , f o r h i s g e n e r o u s s u p p o r t a n d i n t e l l e c -

t u a l g u i d a n c e t h r o u g h o u t m y y e a r s a s a g r a d u a t e s t u d e n t h i s i n s i g h t f u l a d v i c e , c l e a r

v i s i o n , m a n y s u g g e s t i o n s , a n d e n d l e s s e o r t s t o b e a v a i l a b l e f o r m a n y e d u c a t i o n a l

d i s c u s s i o n s , w e r e i n v a l u a b l e

P r o f . D r . D a v i d E r b a c h , w h o s e f r i e n d s h i p a n d e n c o u r a g e m e n t w e r e i n v a l u a b l e

a n d k e p t m e t h i n k i n g t h a t t h e r e r e a l l y w a s a l i g h t a t t h e e n d o f t h e t u n n e l , a n d w h o

p r o v i d e d m a n y v a l u a b l e c o m m e n t s o n d r a f t s o f t h i s t h e s i s

m y c o m m i t t e e m e m b e r s , P r o f . D r . R i c h a r d G o r d o n a n d P r o f . D r . W a l d e m a r

L e h n , f o r v a l u a b l e i n s i g h t s a n d s u g g e s t i o n s w h i c h h a v e s i g n i c a n t l y i m p r o v e d t h i s

t h e s i s i n b o t h s t r u c t u r e a n d c o n t e n t s

m y E x t e r n a l E x a m i n e r , P r o f . D r . A d a m K r z y z a k , f o r h i s c r i t i c a l c o m m e n t s a n d

c o n s t r u c t i v e s u g g e s t i o n s o n t h i s t h e s i s

m y w i f e , D r . M i n g Y a n g , w h o s h a r e d w i t h t h e p a i n s a n d h a p p i n e s s d u r i n g t h e

c o u r s e o f t h i s w o r k h e r e n d l e s s s u p p o r t , s a c r i c e , a n d u n d e r s t a n d i n g k e p t m e g o i n g

t h r o u g h i t a l l

a n d n a l l y , m y p a r e n t s , L i B o f a n a n d L i a o C u i c h u a n , w h o r s t t a u g h t m e t h e

i m p o r t a n c e o f e d u c a t i o n .

v i


7/149

C o n t e n t s

A b s t r a c t v

A c k n o w l e d g e m e n t s v i

L i s t o f F i g u r e s x i v

L i s t o f T a b l e s x i v

L i s t o f S y m b o l s x v

1 I n t r o d u c t i o n 1

2 T h e o r y o f M o m e n t s 6

2 . 1 I n t r o d u c t i o n : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 6

2 . 2 G e o m e t r i c M o m e n t s i n I m a g e P r o c e s s i n g : : : : : : : : : : : : : : : : 7

2 . 2 . 1 P r e l i m i n a r i e s : : : : : : : : : : : : : : : : : : : : : : : : : : : 7

2 . 2 . 2 P r o p e r t i e s o f G e o m e t r i c M o m e n t s : : : : : : : : : : : : : : : : 8

2 . 2 . 3 M o m e n t I n v a r i a n t s : : : : : : : : : : : : : : : : : : : : : : : : 1 2

2 . 3 C o m p l e x M o m e n t s : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1 3

2 . 4 O r t h o g o n a l M o m e n t s : : : : : : : : : : : : : : : : : : : : : : : : : : : 1 4

2 . 4 . 1 L e g e n d r e M o m e n t s : : : : : : : : : : : : : : : : : : : : : : : : 1 4

2 . 4 . 2 Z e r n i k e M o m e n t s : : : : : : : : : : : : : : : : : : : : : : : : : 1 8

2 . 4 . 3 P s e u d o - Z e r n i k e M o m e n t s : : : : : : : : : : : : : : : : : : : : : 2 2

v i i


8/149

3 A c c u r a c y a n d E c i e n c y o f M o m e n t C o m p u t i n g 2 4

3 . 1 I n t r o d u c t i o n : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 2 4

3 . 2 G e o m e t r i c M o m e n t s C o m p u t i n g : : : : : : : : : : : : : : : : : : : : : 2 5

3 . 3 L e g e n d r e M o m e n t s C o m p u t i n g : : : : : : : : : : : : : : : : : : : : : : 2 9

3 . 3 . 1 A p p r o x i m a t i o n E r r o r : : : : : : : : : : : : : : : : : : : : : : : 2 9

3 . 3 . 2 E c i e n c y : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 3 2

3 . 4 Z e r n i k e M o m e n t s : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 3 3

3 . 4 . 1 I n t r o d u c t i o n : : : : : : : : : : : : : : : : : : : : : : : : : : : : 3 3

3 . 4 . 2 G e o m e t r i c E r r o r : : : : : : : : : : : : : : : : : : : : : : : : : : 3 4

3 . 4 . 3 T h e L a t t i c e P o i n t s o f a C i r c l e P r o b l e m : : : : : : : : : : : : : 3 6

3 . 4 . 4 A p p r o x i m a t i o n E r r o r : : : : : : : : : : : : : : : : : : : : : : : 3 8

3 . 4 . 5 A N e w P r o p o s e d S o l u t i o n t o R e d u c e A p p r o x i m a t i o n E r r o r 4 6

3 . 5 C o n c l u s i o n s : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 4 9

3 . 5 . 1 L e g e n d r e M o m e n t C o m p u t i n g : : : : : : : : : : : : : : : : : : 4 9

3 . 5 . 2 Z e r n i k e M o m e n t C o m p u t i n g : : : : : : : : : : : : : : : : : : : 4 9

4 I m a g e R e c o n s t r u c t i o n f r o m M o m e n t s 5 3

4 . 1 I n v e r s e M o m e n t P r o b l e m : : : : : : : : : : : : : : : : : : : : : : : : : 5 3

4 . 2 M e t h o d o f L e g e n d r e M o m e n t s : : : : : : : : : : : : : : : : : : : : : : 5 5

4 . 2 . 1 T h e o r y o f I m a g e R e c o n s t r u c t i o n f r o m L e g e n d r e M o m e n t s 5 5

4 . 2 . 2 R e c o n s t r u c t i o n E r r o r A n a l y s i s : : : : : : : : : : : : : : : : : : 5 6

4 . 2 . 3 E x p e r i m e n t a l R e s u l t s : : : : : : : : : : : : : : : : : : : : : : : 5 7

4 . 3 M e t h o d o f Z e r n i k e M o m e n t s : : : : : : : : : : : : : : : : : : : : : : : 6 1

4 . 3 . 1 T h e o r y o f I m a g e R e c o n s t r u c t i o n f r o m Z e r n i k e M o m e n t s : : : : 6 1

4 . 3 . 2 R e c o n s t r u c t i o n E r r o r A n a l y s i s : : : : : : : : : : : : : : : : : : 6 3

4 . 3 . 3 E x p e r i m e n t a l R e s u l t s : : : : : : : : : : : : : : : : : : : : : : : 6 4

4 . 4 C o n c l u s i o n s : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 7 2

v i i i


9/149

4 . 4 . 1 I m a g e R e c o n s t r u c t i o n v i a L e g e n d r e M o m e n t s : : : : : : : : : : 7 2

4 . 4 . 2 I m a g e R e c o n s t r u c t i o n v i a Z e r n i k e M o m e n t s : : : : : : : : : : : 7 3

5 R e c o n s t r u c t i o n o f N o i s y I m a g e s v i a M o m e n t s 7 5

5 . 1 I n t r o d u c t i o n : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 7 5

5 . 2 L e g e n d r e M o m e n t s : : : : : : : : : : : : : : : : : : : : : : : : : : : : 7 5

5 . 3 T h e R e c o n s t r u c t i o n E r r o r : : : : : : : : : : : : : : : : : : : : : : : : 7 6

5 . 4 D a t a - D r i v e n S e l e c t i o n o f t h e O p t i m a l N u m b e r : : : : : : : : : : : : : 8 2

6 C h a r a c t e r R e c o g n i t i o n v i a M o m e n t s 8 6

6 . 1 I n t r o d u c t i o n : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 8 6

6 . 2 C h a r a c t e r R e c o g n i t i o n v i a C e n t r a l M o m e n t s : : : : : : : : : : : : : : 8 7

6 . 3 C h a r a c t e r R e c o g n i t i o n w i t h L e g e n d r e M o m e n t s : : : : : : : : : : : : : 9 1

6 . 4 C o n c l u s i o n s : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 9 7

7 C o n c l u s i o n s a n d R e c o m m e n d a t i o n s 1 0 1

7 . 1 C o n c l u s i o n s : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1 0 1

7 . 2 R e c o m m e n d a t i o n s : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1 0 2

B i b l i o g r a p h y 1 0 4

A 1 1 2

i x


10/149

L i s t o f F i g u r e s

2 . 1 M o m e n t s p r o j e c t i o n s o n t o x a n d y a x e s . : : : : : : : : : : : : : : : : 1 1

2 . 2 T h e p l o t s o f s o m e t w o - d i m e n s i o n a l P

m

( x ) P

n

( y ) L e g e n d r e p o l y n o m i a l s .

( a ) P

2

( x ) P

2

( y ) , ( b ) P

4

( x ) P

4

( y ) , ( c ) P

6

( x ) P

6

( y ) , a n d ( d ) P

8

( x ) P

8

( y ) 1 6

2 . 3 T h e p l o t s o f s o m e t w o - d i m e n s i o n a l P

m

( x ) P

n


( a ) P

2

( x ) P

4

( y ) , ( b ) P

2

( x ) P

6

( y ) , ( c ) P

4

( x ) P

8

( y ) , a n d ( d ) P

6

( x ) P

8

( y ) 1 7

2 . 4 T h e p l o t s o f t h e m a g n i t u d e s o f s o m e V

n m

( x y ) p o l y n o m i a l s . ( a ) V

2 0

( x y ) ,

( b ) V

4 0

( x y ) , ( c ) V

8 0

( x y ) , a n d ( d ) V

1 2 0

( x y ) : : : : : : : : : : : 1 9

2 . 5 T h e p l o t s o f t h e m a g n i t u d e s o f s o m e V

n m

( x y ) p o l y n o m i a l s . ( a ) V

1 1

( x y ) ,

( b ) V

2 2

( x y ) , ( c ) V

3 1

( x y ) , a n d ( d ) V

4 2

( x y ) : : : : : : : : : : : 2 0

3 . 1 N o r m a l i z e d E

' s o b t a i n e d b y a p p l y i n g v e d i e r e n t n u m e r i c a l i n t e g -

r a t i o n r u l e s t o a c o n s t a n t i m a g e . : : : : : : : : : : : : : : : : : : : : : 3 0

3 . 2 D i e r e n t a r e a s c o v e r e d b y a d i s k a n d a l l p i x e l s w h o s e c e n t r e s f a l l

i n s i d e t h e d i s k . : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 3 5

3 . 3 5 - d i m e n s i o n a l f o r m u l a I . : : : : : : : : : : : : : : : : : : : : : : : : : 4 1

3 . 4 5 - d i m e n s i o n a l f o r m u l a I I . : : : : : : : : : : : : : : : : : : : : : : : : : 4 2

3 . 5 1 3 - d i m e n s i o n a l f o r m u l a : : : : : : : : : : : : : : : : : : : : : : : : : : 4 3

3 . 6 N o r m a l i z e d a p p r o x i m a t i o n e r r o r s o b t a i n e d b y a p p l y i n g v e d i e r e n t

t y p e s o f m u l t i - d i m e n s i o n a l c u b a t u r e f o r m u l a s o n a c o n s t a n t i m a g e . 4 5

x


11/149

3 . 7 N o r m a l i z e d E

A

' s o b t a i n e d b y a p p l y i n g v e d i e r e n t t y p e s o f m u l t i -

d i m e n s i o n a l c u b a t u r e f o r m u l a s o n a c o n s t a n t i m a g e w i t h t h e n e w p r o -

p o s e d t e c h n i q u e . : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 4 7

4 . 1 F i v e o r i g i n a l C h i n e s e c h a r a c t e r s u s e d i n i m a g e r e c o n s t r u c t i o n v i a L e -

g e n d r e m o m e n t s . F r o m l e f t t o r i g h t a r e C

1

, C

2

, C

3

, C

4

, a n d C

5

5 8

4 . 2 F i v e C h i n e s e c h a r a c t e r s a n d t h e i r r e c o n s t r u c t e d p a t t e r n s v i a L e g e n d r e

m o m e n t s . : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 6 0

4 . 3 N o r m a l i z e d r e c o n s t r u c t i o n e r r o r s f o r t h e v e r e c o n s t r u c t e d C h i n e s e

c h a r a c t e r s . : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 6 0

4 . 4 F i v e o r i g i n a l C h i n e s e c h a r a c t e r s u s e d i n i m a g e r e c o n s t r u c t i o n v i a

Z e r n i k e m o m e n t s . F r o m l e f t t o r i g h t a r e C

1

, C

2

, C

3

, C

4

, a n d C

5

6 5

4 . 5 T h e C h i n e s e c h a r a c t e r C

1

a n d i t s r e c o n s t r u c t e d p a t t e r n s v i a Z e r n i k e

m o m e n t s . : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 6 6

4 . 6 T h e n o r m a l i z e d m e a n s q u a r e e r r o r s f r o m a p p l i n g v e d i e r e n t f o r m u -

l a s t o c h a r a c t e r C

1

: : : : : : : : : : : : : : : : : : : : : : : : : : : : 6 7

4 . 7 T h e C h i n e s e c h a r a c t e r C

1

a n d i t s r e c o n s t r u c t e d p a t t e r n s v i a t h e m o d -

i e d Z e r n i k e m o m e n t s . : : : : : : : : : : : : : : : : : : : : : : : : : 7 0

4 . 8 N o r m a l i z e d r e c o n s t r u c t i o n e r r o r s f r o m t h e r e c o n s t r u c t e d v e C h i n e s e

c h a r a c t e r s v i a t h e n e w p r o p o s e d Z e r n i k e m o m e n t t e c h n i q u e . : : : : : 7 1

4 . 9 T h e v e C h i n e s e c h a r a c t e r s a n d t h e i r r e c o n s t r u c t e d p a t t e r n s v i a t h e

m o d i e d Z e r n i k e m o m e n t s w i t h 5 - d i m e n s i o n a l f o r m u l a I I . : : : : : : 7 2

5 . 1 S q u a r e e r r o r E r r o r (

e

g

M

m a x

) ,

2

= 4 0 : : : : : : : : : : : : : : : : : : 7 9

5 . 2 N o i s y v e r s i o n o f C

1

, w i t h

2

= 4 0 , a n d i t s r e c o n s t r u c t e d v e r s i o n s . 8 1

5 . 3 O p t i m a l m o m e n t s n u m b e r s . : : : : : : : : : : : : : : : : : : : : : : : 8 3

6 . 1 F i v e o r i g i n a l C h i n e s e c h a r a c t e r s u s e d f o r t e s t i n g . : : : : : : : : : : : : 8 8

x i


12/149

6 . 2 R e p r e s e n t a t i o n s o f t h e v e C h i n e s e c h a r a c t e r s i n t h e c e n t r a l m o m e n t

f e a t u r e s p a c e . : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 8 9

6 . 3 N i n e t y C h i n e s e c h a r a c t e r s . : : : : : : : : : : : : : : : : : : : : : : : : 9 0

6 . 4 R e p r e s e n t a t i o n s o f t h e n i n e t y C h i n e s e c h a r a c t e r s i n t h e c e n t r a l m o -

m e n t f e a t u r e s p a c e . : : : : : : : : : : : : : : : : : : : : : : : : : : : : 9 3

6 . 5 R e p r e s e n t a t i o n s o f t h e v e C h i n e s e c h a r a c t e r s i n t h e L e g e n d r e m o -

m e n t f e a t u r e s p a c e . : : : : : : : : : : : : : : : : : : : : : : : : : : : : 9 4

6 . 6 R e p r e s e n t a t i o n s o f t h e n i n e t y C h i n e s e c h a r a c t e r s i n t h e L e g e n d r e

m o m e n t f e a t u r e s p a c e . : : : : : : : : : : : : : : : : : : : : : : : : : : 9 5

x i i


13/149

L i s t o f T a b l e s

3 . 1 N i s t h e n u m b e r o f p o i n t s w h i c h a r e e q u a l l y s p a c e d a p a r t b y c o n s t a n t

h i n s i d e a s i n g l e i n t e r v a l . : : : : : : : : : : : : : : : : : : : : : : : : : 3 1

3 . 2 R a n g e o f g e o m e t r i c e r r o r s f o r s e v e r a l c o m m o n l y u s e d i m a g e s i z e s . 3 8

3 . 3 V a l u e s o f t h e n o r m a l i z e d a p p r o x i m a t i o n e r r o r s f r o m a p p l i n g v e d i f -

f e r e n t t y p e s o f m u l t i - d i m e n s i o n a l c u b a t u r e f o r m u l a s o n a c o n s t a n t

i m a g e . : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 4 5

3 . 4 V a l u e s o f t h e n o r m a l i z e d E

A

' s f r o m a p p l i n g v e d i e r e n t t y p e s o f

m u l t i - d i m e n s i o n a l c u b a t u r e f o r m u l a s o n a c o n s t a n t i m a g e w i t h t h e

n e w p r o p o s e d t e c h n i q u e . : : : : : : : : : : : : : : : : : : : : : : : : : 4 8

4 . 1 T h e v a l u e s o f n o r m a l i z e d r e c o n s t r u c t i o n e r r o r s f o r t h e v e r e c o n s t r u c -

t e d C h i n e s e c h a r a c t e r s . : : : : : : : : : : : : : : : : : : : : : : : : : : 5 9

4 . 2 V a l u e s o f t h e n o r m a l i z e d m e a n s q u a r e e r r o r s f r o m a p p l i n g v e d i e r -

e n t f o r m u l a s t o c h a r a c t e r C

1

: : : : : : : : : : : : : : : : : : : : : : : 6 5

4 . 3 V a l u e s o f t h e n o r m a l i z e d r e c o n s t r u c t i o n e r r o r s f r o m t h e r e c o n s t r u c -

t e d v e C h i n e s e c h a r a c t e r s w i t h t h e n e w p r o p o s e d Z e r n i k e m o m e n t

t e c h n i q u e . : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 6 9

4 . 4 V a l u e s o f t h e n o r m a l i z e d r e c o n s t r u c t i o n e r r o r s f r o m t h e r e c o n s t r u c -

t e d v e C h i n e s e c h a r a c t e r s v i a t h e n e w p r o p o s e d Z e r n i k e m o m e n t

t e c h n i q u e . : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 7 3

x i i i


14/149

5 . 1 S q u a r e r e c o n s t r u c t i o n e r r o r E r r o r (

e

g

M

m a x

) w i t h

2

= 4 0 : : : : : : : 8 0

6 . 1 V a l u e s o f t h e v e C h i n e s e c h a r a c t e r s i n t h e c e n t r a l m o m e n t f e a t u r e

s p a c e . : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 8 8

6 . 2 V a l u e s o f t h e n i n e t y C h i n e s e c h a r a c t e r s i n t h e c e n t r a l m o m e n t f e a t u r e

s p a c e . : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 9 2

6 . 3 V a l u e s o f t h e v e C h i n e s e c h a r a c t e r s i n t h e L e g e n d r e m o m e n t f e a t u r e

s p a c e . : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 9 4

6 . 4 V a l u e s o f t h e n i n e t y C h i n e s e c h a r a c t e r s i n t h e L e g e n d r e m o m e n t

f e a t u r e s p a c e . : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 9 6

6 . 5 V a l u e s o f t h e n i n e t y C h i n e s e c h a r a c t e r s i n t h e L e g e n d r e m o m e n t

t h r e e - d i m e n s i o n a l f e a t u r e s p a c e . : : : : : : : : : : : : : : : : : : : : : 9 8

x i v


15/149

L i s t o f S y m b o l s

S o m e o f t h e m o s t f r e q u e n t l y o c c u r r i n g a b b r e v i a t i o n s a n d s y m b o l s u s e d i n t h e t e x t

a r e t a b u l a t e d h e r e . O t h e r s y m b o l s a r e e x p l a i n e d w h e r e u s e d .

A

n m

= Z e r n i k e m o m e n t s o f o r d e r n w i t h r e p e t i t i o n m

b

A

n m

= D i g i t a l v e r s i o n o f A

n m

C

n

f = c u b a t u r e f o r m u l a

C

p q

= c o m p l e x m o m e n t s

E

A

=

P P

b

A

n m

2

m = n 6= 0

E

=

P

M

m a x

m = 0

P

m

n = 0

b

2

m n

m = n 6= 0

b

f ( x y ) = r e c o n s t r u c t e d i m a g e f r o m f ( x y )

F ( u v ) = c h a r a c t e r i s t i c f u n c t i o n o f t h e i m a g e f u n c t i o n f ( x y )

g ( x y ) = n o i s y d e g r a d e d v e r s i o n o f f ( x y )

M

p q

= g e o m e t r i c m o m e n t s o f o r d e r ( p + q )

N = t h e n u m b e r o f p o i n t s w h i c h a r e s p a c e d a p a r t b y a c o n s t a n t s t e p

h i n s i d e a s i n g l e i n t e r v a l

P

n

( x ) = L e g e n d r e p o l y n o m i a l s

R

n m

= R a d i a l p o l y n o m i a l s

V

n m

= Z e r n i k e p o l y n o m i a l s

m n

= K r o n e c k e r s y m b o l

m n

= L e g e n d r e m o m e n t s

b

m n

= D i g i t a l v e r s i o n o f

m n

x v


16/149

e

m n

= L e g e n d r e m o m e n t s f r o m g ( x y )

p q

= c e n t r a l m o m e n t s

x v i


17/149

C h a p t e r 1

I n t r o d u c t i o n

O n e o f t h e b a s i c p r o b l e m s i n t h e d e s i g n o f a n i m a g e r y p a t t e r n r e c o g n i t i o n s y s t e m

r e l a t e s t o t h e s e l e c t i o n o f a s e t o f a p p r o p r i a t e n u m e r i c a l a t t r i b u t e s o f f e a t u r e s t o b e

e x t r a c t e d f r o m t h e o b j e c t o f i n t e r e s t f o r t h e p u r p o s e o f c l a s s i c a t i o n . T h e r e c o g n i t i o n

o f o b j e c t s f r o m i m a g e r y m a y b e a c h i e v e d w i t h m a n y m e t h o d s b y i d e n t i f y i n g a n

u n k n o w n o b j e c t a s a m e m b e r o f a s e t o f k n o w n o b j e c t s . E c i e n t o b j e c t r e c o g n i t i o n

t e c h n i q u e s a b s t r a c t i n g c h a r a c t e r i z a t i o n s u n i q u e l y f r o m o b j e c t s f o r r e p r e s e n t a t i o n a n d

c o m p a r i s o n a r e c r u c i a l l y i m p o r t a n t f o r a g i v e n p a t t e r n r e c o g n i t i o n s y s t e m .

R e s e a r c h o n t h e u t i l i z a t i o n o f m o m e n t s f o r o b j e c t c h a r a c t e r i z a t i o n i n b o t h i n -

v a r i a n t a n d n o n i n v a r i a n t t a s k s h a s r e c e i v e d c o n s i d e r a b l e a t t e n t i o n i n r e c e n t y e a r s .

T h e p r i n c i p a l t e c h n i q u e s e x p l o r e d i n c l u d e M o m e n t I n v a r i a n t s , G e o m e t r i c M o m e n t s ,

R o t a t i o n a l M o m e n t s , O r t h o g o n a l M o m e n t s , a n d C o m p l e x M o m e n t s . V a r i o u s f o r m s

o f m o m e n t d e s c r i p t o r s h a v e b e e n e x t e n s i v e l y e m p l o y e d a s p a t t e r n f e a t u r e s i n s c e n e

r e c o g n i t i o n , r e g i s t r a t i o n , o b j e c t m a t c h i n g a s w e l l a s d a t a c o m p r e s s i o n .

T h e m a t h e m a t i c a l c o n c e p t o f m o m e n t s h a s b e e n a r o u n d f o r m a n y y e a r s a n d h a s

b e e n u s e d i n m a n y d i v e r s e e l d s r a n g i n g f r o m m e c h a n i c s a n d s t a t i s t i c s t o p a t t e r n

r e c o g n i t i o n a n d i m a g e u n d e r s t a n d i n g . D e s c r i b i n g i m a g e s w i t h m o m e n t s i n s t e a d o f

o t h e r m o r e c o m m o n l y u s e d i m a g e f e a t u r e s m e a n s t h a t g l o b a l p r o p e r t i e s o f t h e i m a g e

a r e u s e d r a t h e r t h a n l o c a l p r o p e r t i e s .

1


18/149

H i s t o r i c a l l y , H u 3 6 ] 3 7 ] p u b l i s h e d t h e r s t s i g n i c a n t p a p e r o n t h e u t i l i z a t i o n o f

m o m e n t i n v a r i a n t s f o r i m a g e a n a l y s i s a n d o b j e c t r e p r e s e n t a t i o n i n 1 9 6 1 . H u ' s a p -

p r o a c h w a s b a s e d o n t h e w o r k o f t h e n i n e t e e n t h c e n t u r y m a t h e m a t i c i a n s B o o l e , C a y -

l e y , a n d S y l v e s t e r , o n t h e t h e o r y o f a l g e b r a i c f o r m s . H u ' s U n i q u e n e s s T h e o r e m s t a t e s

t h a t i f f ( x y ) i s p i e c e w i s e c o n t i n u o u s a n d h a s n o n z e r o v a l u e s o n l y i n t h e n i t e p a r t

o f t h e ( x y ) p l a n e , t h e n g e o m e t r i c m o m e n t s o f a l l o r d e r s e x i s t . I t c a n t h e n b e s h o w n

t h a t t h e m o m e n t s e t f m

p q

g i s u n i q u e l y d e t e r m i n e d b y f ( x y ) a n d c o n v e r s e l y , f ( x y )

i s u n i q u e l y d e t e r m i n e d b y f m

p q

g . S i n c e a n i m a g e s e g m e n t h a s n i t e a r e a a n d , i n

t h e w o r s t c a s e , i s p i e c e w i s e c o n t i n u o u s , a m o m e n t s e t c a n b e c o m p u t e d a n d u s e d t o

u n i q u e l y d e s c r i b e t h e i n f o r m a t i o n c o n t a i n e d i n t h e i m a g e s e g m e n t . U s i n g n o n l i n e a r

c o m b i n a t i o n s o f g e o m e t r i c m o m e n t s , H u d e r i v e d a s e t o f i n v a r i a n t m o m e n t s w h i c h

h a s t h e d e s i r a b l e p r o p e r t i e s o f b e i n g i n v a r i a n t u n d e r i m a g e t r a n s l a t i o n , s c a l i n g , a n d

r o t a t i o n . H o w e v e r , t h e r e c o n s t r u c t i o n o f t h e i m a g e f r o m t h e s e m o m e n t s i s d e e m e d

t o b e q u i t e d i c u l t .

T h e R o t a t i o n a l m o m e n t i s a n a l t e r n a t i v e t o t h e r e g u l a r g e o m e t r i c m o m e n t . T h e

R o t a t i o n a l m o m e n t s a r e b a s e d o n a p o l a r c o o r d i n a t e r e p r e s e n t a t i o n o f t h e i m a g e a n d

c a n b e u s e d t o e x t e n d t h e d e n i t i o n o f m o m e n t i n v a r i a n t s t o a r b i t r a r y o r d e r i n a

m a n n e r w h i c h e n s u r e s t h a t t h e i r m a g n i t u d e s d o n o t d i m i n i s h s i g n i c a n t l y w i t h i n -

c r e a s i n g o r d e r . S m i t h a n d W r i g h t 6 9 ] u s e d a s i m p l i e d R o t a t i o n a l m o m e n t t e c h n i q u e

t o d e r i v e i n v a r i a n t f e a t u r e s f r o m n o i s y l o w r e s o l u t i o n i m a g e s o f s h i p s . B o y c e a n d

H o s s a c k 1 5 ] d e r i v e d t h e R o t a t i o n a l m o m e n t s o f a r b i t r a r y o r d e r t h a t a r e i n v a r i a n t t o

r o t a t i o n , r a d i a l s c a l i n g , a n d i n t e n s i t y c h a n g e .

I n 1 9 8 0 , T e a g u e 7 3 ] p r e s e n t e d t w o i n v e r s e m o m e n t t r a n s f o r m t e c h n i q u e s t o d e -

t e r m i n e h o w w e l l a n i m a g e c o u l d b e r e c o n s t r u c t e d f r o m a s e t o f m o m e n t s . T h e r s t

m e t h o d , c a l l e d m o m e n t m a t c h i n g , d e r i v e s a c o n t i n u o u s f u n c t i o n

g ( x y ) = g

0 0

+ g

1 0

x + g

0 1

y + g

2 0

x

2

+ g

1 1

x y + g

0 2

y

2

+

2


19/149

g

3 0

x

3

+ g

2 1

x

2

y + g

1 2

x y

2

+ g

0 3

y

3

+ : : :

w h o s e m o m e n t s e x a c t l y m a t c h t h e g e o m e t r i c m o m e n t s f m

p q

g o f f ( x y ) t h r o u g h o r -

d e r n . H o w e v e r , t h i s t e c h n i q u e i s i m p r a c t i c a l f o r c a l c u l a t i o n a s i t r e q u i r e s o n e t o

s o l v e a n i n c r e a s i n g n u m b e r o f c o u p l e d e q u a t i o n s w h e n h i g h e r o r d e r m o m e n t s a r e

c o n s i d e r e d . T h e n , T e a g u e s u g g e s t e d t h e n o t i o n o f o r t h o g o n a l m o m e n t s t o r e c o v e r

t h e i m a g e f r o m m o m e n t s b a s e d o n t h e t h e o r y o f o r t h o g o n a l p o l y n o m i a l s . T e a g u e

i n t r o d u c e d t h e r o t a t i o n a l l y i n v a r i a n t Z e r n i k e m o m e n t , w h i c h e m p l o y s t h e c o m p l e x

Z e r n i k e p o l y n o m i a l s a s t h e m o m e n t b a s i s s e t , a n d t h e L e g e n d r e m o m e n t , u s i n g

L e g e n d r e p o l y n o m i a l s a s i t s b a s i s s e t . S i g n i c a n t e o r t s h a v e b e e n m a d e i n v a r i -

o u s e x p e r i m e n t a l i m a g e r e c o n s t r u c t i o n t a s k s p e r f o r m e d b y T e a g u e , t h e n B o y c e a n d

H o s s a c k 1 5 ] , T e h a n d C h i n 7 5 ] , T a y l o r a n d R e e v e s 7 2 ] , a n d m o r e r e c e n t l y , K h o t a n -

z a d a n d H o n g 4 5 ] 4 6 ] w i t h b o t h Z e r n i k e a n d L e g e n d r e m e t h o d s . H o w e v e r , n o

h i g h q u a l i t y m u l t i - g r a y l e v e l i m a g e h a s e v e r b e e n s u c c e s s f u l l y r e c o n s t r u c t e d f r o m i t s

o r i g i n a l v e r s i o n .

L a t e r , t h e n o t i o n o f C o m p l e x m o m e n t s w a s i n t r o d u c e d b y A b u - M o s t a f a a n d P s a l t i s 1 ]

a s a s i m p l e a n d s t r a i g h t f o r w a r d w a y t o d e r i v e a s e t o f i n v a r i a n t m o m e n t s . A b u -

M o s t a f a a n d P s a l t i s u s e d C o m p l e x m o m e n t s t o i n v e s t i g a t e t h e i n f o r m a t i o n a l p r o p e r -

t i e s o f m o m e n t i n v a r i a n t s . H o w e v e r , c o m p a r i n g C o m p l e x m o m e n t s w i t h t h e Z e r n i k e

m o m e n t s , t h e y c o n c l u d e d t h a t t h e C o m p l e x m o m e n t i n v a r i a n t s a r e n o t g o o d i m a g e

f e a t u r e s . I n o t h e r w o r k , A b u - M o s t a f a a n d P s a l t i s 2 ] e x a m i n e d t h e u t i l i z a t i o n o f m o -

m e n t s i n a g e n e r a l i z e d i m a g e n o r m a l i z a t i o n s c h e m e f o r i n v a r i a n t p a t t e r n r e c o g n i t i o n .

T h e y r e d e n e d t h e c l a s s i c i m a g e n o r m a l i z a t i o n s o f s i z e , p o s i t i o n , r o t a t i o n , a n d c o n -

t r a s t , i n t e r m s o f C o m p l e x m o m e n t s . M o m e n t i n v a r i a n t s w e r e s h o w n t o b e d e r i v a b l e

f r o m C o m p l e x m o m e n t s o f t h e n o r m a l i z e d i m a g e a s w e l l .

T e h a n d C h i n 7 5 ] p e r f o r m e d a n e x t e n s i v e a n a l y s i s a n d c o m p a r i s o n o f t h e m o s t

c o m m o n m o m e n t d e n i t i o n s . T h e y e x a m i n e d t h e n o i s e s e n s i t i v i t y a n d i n f o r m a t i o n

3


20/149

r e d u n d a n c y o f L e g e n d r e m o m e n t s a l o n g w i t h v e o t h e r t y p e s o f m o m e n t s . T e h a n d

C h i n c o n c l u d e d t h a t h i g h e r o r d e r m o m e n t s a r e m o r e s e n s i t i v e t o n o i s e . A m o n g t h e

e x p l o r e d t e c h n i q u e s , C o m p l e x m o m e n t s a r e l e a s t s e n s i t i v e t o n o i s e w h i l e L e g e n d r e

m o m e n t s a r e m o s t s e v e r e l y a e c t e d b y n o i s e . I n t e r m s o f i n f o r m a t i o n r e d u n d a n c y ,

L e g e n d r e , Z e r n i k e , a n d p s e u d o - Z e r n i k e m o m e n t s a r e u n c o r r e l a t e d a n d h a v e t h e

l e a s t r e d u n d a n c y . I n t e r m s o f o v e r a l l p e r f o r m a n c e , Z e r n i k e a n d p s e u d o - Z e r n i k e

m o m e n t s a r e t h e b e s t . I n g e n e r a l , o r t h o g o n a l m o m e n t s a r e b e t t e r t h a n o t h e r t y p e s

o f m o m e n t s i n t e r m s o f i n f o r m a t i o n r e d u n d a n c y a n d i m a g e r e p r e s e n t a t i o n .

M o r e r e c e n t l y , P r o k o p a n d R e e v e s 6 2 ] r e v i e w e d t h e b a s i c g e o m e t r i c m o m e n t t h e -

o r y a n d i t s a p p l i c a t i o n t o o b j e c t r e c o g n i t i o n a n d i m a g e a n a l y s i s . T h e g e o m e t r i c

p r o p e r t i e s o f l o w - o r d e r m o m e n t s w e r e d i s c u s s e d a l o n g w i t h t h e d e n i t i o n o f s e v e r a l

m o m e n t - s p a c e l i n e a r g e o m e t r i c t r a n s f o r m s . P r o k o p a n d R e e v e s a l s o p r e s e n t e d a n

e x t e n s i v e r e v i e w s u m m a r i z i n g m o s t o f r e s e a r c h a d v a n c e m e n t s r e l a t e d t o t h e m o m e n t -

b a s e d o b j e c t r e p r e s e n t a t i o n a n d r e c o g n i t i o n t e c h n i q u e s o v e r t h e p a s t 3 0 y e a r s .

T h e s p e e d o f c o m p u t i n g i m a g e m o m e n t s i s e x t r a o r d i n a r i l y i m p o r t a n t w h e n h i g h e r

o r d e r m o m e n t s a r e i n v o l v e d . S e v e r a l s c h e m e s o f h a r d w a r e a r c h i t e c t u r e s h a v e b e e n

p e r f o r m e d t o s p e e d u p t h e c o m p u t a t i o n o f i m a g e m o m e n t s . R e e v e s 6 4 ] p r o p o s e d

a p a r a l l e l , m e s h - c o n n e c t e d S I M D c o m p u t e r a r c h i t e c t u r e f o r r a p i d l y m a n i p u l a t i n g

m o m e n t s e t s . T h e a r c h i t e c t u r e o e r e d a r e a s o n a b l e s p e e d i n g u p o v e r a s i n g l e p r o -

c e s s o r f o r h i g h s p e e d i m a g e a n a l y s i s o p e r a t i o n s a n d w a s e x p e c t e d t o b e i m p l e m e n t e d

i n V L S I t e c h n o l o g y . A n d e r s s o n 6 ] d e v e l o p e d a V L S I m o m e n t - g e n e r a t i n g c h i p a n d

p r e s e n t e d a r e a l - t i m e s y s t e m b y i m p l e m e n t i n g t h e p r o c e s s o r . H a t a m i a n 3 3 ] p r o p o s e d

a n a l g o r i t h m a n d s i n g l e c h i p V L S I i m p l e m e n t a t i o n t o g e n e r a t e r a w m o m e n t s . I t i s

c l a i m e d t h a t 1 6 g e o m e t r i c m o m e n t s , m

p q

( p = 0 1 2 3 q = 0 1 2 3 ) , o f a 5 1 2 5 1 2 8

b i t i m a g e c a n b e c o m p u t e d a t 3 0 f r a m e s / s e c . T h e m o m e n t a l g o r i t h m i s b a s e d o n

u s i n g t h e o n e - d i m e n s i o n a l d i s c r e t e m o m e n t - g e n e r a t i n g f u n c t i o n a s a d i g i t a l l t e r .

4


21/149

T h e o r g a n i z a t i o n o f t h i s t h e s i s i s a s f o l l o w s . C h a p t e r 2 w i l l r e v i e w t h e g e n e r a l

c h a r a c t e r i s t i c s o f v a r i o u s t y p e s o f m o m e n t s a n d t h e i r p r o p e r t i e s . I n C h a p t e r 3 ,

t h e n e w t e c h n i q u e s d e r i v e d t o i n c r e a s e t h e a c c u r a c y a n d t h e e c i e n c y i n m o m e n t

c o m p u t i n g , w i l l b e a d d r e s s e d . C h a p t e r 4 w i l l d i s c u s s t h e r e c o n s t r u c t i o n a l g o r i t h m s

o f t h e L e g e n d r e m o m e n t s a n d t h e Z e r n i k e m o m e n t s , a n d p r o v i d e s i g n i c a n t l y

i m p r o v e d r e c o n s t r u c t e d i m a g e s f r o m t h e s e o r t h o g o n a l m o m e n t s . T h e n , t h e e e c t

o f i m a g e n o i s e o n i m a g e r e c o n s t r u c t i o n a n d t h e a u t o m a t i c s e l e c t i o n o f t h e o p t i m a l

o r d e r o f m o m e n t s f o r i m a g e r e c o n s t r u c t i o n w i l l b e a n a l y z e d i n C h a p t e r 5 . S e v e r a l

s p e c i c r e c o g n i t i o n a s p e c t s o f p r o p o s e d m o m e n t t e c h n i q u e s f o r c h a r a c t e r r e c o g n i t i o n

a r e s t u d i e d i n C h a p t e r 6 . F i n a l l y , C h a p t e r 7 w i l l s u m m a r i z e t h e i m p o r t a n t r e s u l t s

a n d c o n c l u s i o n s o f t h e e n t i r e s t u d y .

5


22/149

C h a p t e r 2

T h e o r y o f M o m e n t s

2 . 1 I n t r o d u c t i o n

N u m e r o u s p r o b l e m s i n m e c h a n i c s , p h y s i c s , a n d e n g i n e e r i n g l e a d t o t h e p r o b l e m o f

c h a r a c t e r i z a t i o n o f a f u n c t i o n i n t e r m s o f s o m e f u n c t i o n a l s . I n p a r t i c u l a r , m o m e n t

f u n c t i o n a l s h a v e a t t r a c t e d g r e a t a t t e n t i o n 7 8 ] d u e t o t h e i r m a t h e m a t i c a l s i m p l i c i t y

a n d n u m e r o u s p h y s i c a l i n t e r p r e t a t i o n s .

A c o m p l e t e c h a r a c t e r i z a t i o n o f m o m e n t f u n c t i o n a l s o v e r a c l a s s o f u n i v a r i a t e f u n c -

t i o n s w a s g i v e n b y H a u s d o r 2 6 ] i n 1 9 2 1 .

L e t f

n

g b e a r e a l s e q u e n c e o f n u m b e r s a n d l e t u s d e n e

m

n

=

m

X

i = 0

( ; 1 )

i

m

i

!

n + i

( 2 . 1 )

N o t e t h a t

m

n

c a n b e v i e w e d a s t h e m t h o r d e r d e r i v a t i v e o f

n

B y H a u s d o r ' s t h e o r e m , a n e c e s s a r y a n d s u c i e n t c o n d i t i o n t h a t t h e r e e x i s t s a

m o n o t o n i c f u n c t i o n F ( x ) s a t i s f y i n g t h e s y s t e m

n

=

Z

1

0

x

n

d F ( x ) n = 0 1 2 : : : ( 2 . 2 )

i s t h a t t h e s y s t e m o f l i n e a r i n e q u a l i t i e s

k

n

0 k = 0 1 2 : : : ( 2 . 3 )

6


23/149

s h o u l d b e s a t i s e d . I . e . , i f f ( x ) i s a p o s i t i v e f u n c t i o n ( w h i c h i s t h e c a s e i n i m a g e

p r o c e s s i n g ) , t h e n t h e s e t o f f u n c t i o n a l s

Z

1

0

x

n

f ( x ) d x n = 0 1 : : :

c o m p l e t e l y c h a r a c t e r i z e s t h e f u n c t i o n .

A n e c e s s a r y a n d s u c i e n t c o n d i t i o n t h a t t h e r e e x i s t s a f u n c t i o n F ( x ) o f b o u n d e d

v a r i a t i o n s a t i s f y i n g ( 2 . 2 ) i s t h a t t h e s e q u e n c e

p

X

m = 0

p

m

!

p ; m

m

p = 0 1 2 : : :

s h o u l d b e b o u n d e d .

T h e s e r e s u l t s w e r e e x t e n d e d t o t h e t w o - d i m e n s i o n a l c a s e b y H i l d e b r a n d t a n d

S c h o e n b e r g 3 4 ] i n 1 9 3 3 .

S i n c e t h e n , m o m e n t s a n d f u n c t i o n s o f m o m e n t s h a v e b e e n u t i l i z e d i n a n u m -

b e r o f a p p l i c a t i o n s t o a c h i e v e b o t h i n v a r i a n t a n d n o n i n v a r i a n t r e c o g n i t i o n s o f t w o -

d i m e n s i o n a l a n d t h r e e - d i m e n s i o n a l i m a g e p a t t e r n s 6 2 ] .

I n t h i s c h a p t e r , t h e v a r i o u s t y p e s o f m o m e n t s a r e d e n e d a n d t h e i r p r o p e r t i e s

a r e s u m m a r i z e d . I t i s a s s u m e d t h a t a n i m a g e c a n b e r e p r e s e n t e d b y a r e a l v a l u e d

m e a s u r a b l e f u n c t i o n f ( x y )

2 . 2 G e o m e t r i c M o m e n t s i n I m a g e P r o c e s s i n g

2 . 2 . 1 P r e l i m i n a r i e s

T h e t w o - d i m e n s i o n a l g e o m e t r i c m o m e n t o f o r d e r ( p + q ) o f a f u n c t i o n f ( x y ) i s

d e n e d a s

M

p q

=

Z

a

2

a

1

Z

b

2

b

1

x

p

y

q

f ( x y ) d x d y ( 2 . 4 )

w h e r e p q = 0 1 2 : : : 1 . N o t e t h a t t h e m o n o m i a l p r o d u c t x

p

y

q

i s t h e b a s i s f u n c t i o n

f o r t h i s m o m e n t d e n i t i o n .

7


24/149

A s e t o f n m o m e n t s c o n s i s t s o f a l l M

p q

' s f o r p + q n , i . e . , t h e s e t c o n t a i n s

1

2

( n + 1 ) ( n + 2 ) e l e m e n t s .

T h e u s e o f m o m e n t s f o r i m a g e a n a l y s i s a n d p a t t e r n r e c o g n i t i o n w a s i n s p i r e d b y

H u 3 7 ] a n d A l t 5 ] . H u s t a t e d t h a t i f f ( x y ) i s p i e c e w i s e c o n t i n u o u s a n d h a s n o n z e r o

v a l u e s o n l y i n a n i t e r e g i o n o f t h e ( x y ) p l a n e , t h e n t h e m o m e n t s e q u e n c e f M

p q

g

i s u n i q u e l y d e t e r m i n e d b y f ( x y ) , a n d c o n v e r s e l y , f ( x y ) i s u n i q u e l y d e t e r m i n e d b y

f M

p q

g . C o n s i d e r i n g t h e f a c t t h a t a n i m a g e s e g m e n t h a s n i t e a r e a , o r i n t h e w o r s t

c a s e i s p i e c e w i s e c o n t i n u o u s , m o m e n t s o f a l l o r d e r s e x i s t a n d a c o m p l e t e m o m e n t

s e t c a n b e c o m p u t e d a n d u s e d u n i q u e l y t o d e s c r i b e t h e i n f o r m a t i o n c o n t a i n e d i n t h e

i m a g e . H o w e v e r , t o o b t a i n a l l o f t h e i n f o r m a t i o n c o n t a i n e d i n a n i m a g e r e q u i r e s a n

i n n i t e n u m b e r o f m o m e n t v a l u e s . T h e r e f o r e , t o s e l e c t a m e a n i n g f u l s u b s e t o f t h e

m o m e n t v a l u e s t h a t c o n t a i n s u c i e n t i n f o r m a t i o n t o c h a r a c t e r i z e t h e i m a g e u n i q u e l y

f o r a s p e c i c a p p l i c a t i o n b e c o m e s v e r y i m p o r t a n t .

2 . 2 . 2 P r o p e r t i e s o f G e o m e t r i c M o m e n t s

T h e l o w e r o r d e r m o m e n t s r e p r e s e n t s o m e w e l l k n o w n f u n d a m e n t a l g e o m e t r i c p r o p -

e r t i e s o f t h e u n d e r l y i n g i m a g e f u n c t i o n s .

C e n t r a l M o m e n t s

T h e c e n t r a l m o m e n t s o f f ( x y ) a r e d e n e d a s

p q

=

Z

a

2

a

1

Z

b

2

b

1

( x ; x )

p

( y ; y )

q

f ( x y ) d x d y ( 2 . 5 )

w h e r e x a n d y a r e d e n e d i n ( 2 . 1 0 ) .

T h e c e n t r a l m o m e n t s

p q

d e n e d i n E q . ( 2 . 5 ) a r e i n v a r i a n t u n d e r t h e t r a n s l a t i o n

o f c o o r d i n a t e s 3 7 ] :

x

0

= x +

y

0

= y + ( 2 . 6 )

8


25/149

w h e r e a n d a r e c o n s t a n t s .

M a s s a n d A r e a

T h e d e n i t i o n o f t h e z e r o t h o r d e r m o m e n t , f M

0 0

g , o f t h e f u n c t i o n f ( x y )

M

0 0

=

Z

a

2

a

1

Z

b

2

b

1

f ( x y ) d x d y ( 2 . 7 )

r e p r e s e n t s t h e t o t a l m a s s o f t h e g i v e n f u n c t i o n o r i m a g e f ( x y ) . W h e n c o m p u t e d f o r

a b i n a r y i m a g e , t h e z e r o t h m o m e n t ( 2 . 7 ) r e p r e s e n t s t h e t o t a l a r e a o f t h e i m a g e .

C e n t r e o f M a s s

T h e t w o r s t o r d e r m o m e n t s ,

M

1 0

=

Z

a

2

a

1

Z

b

2

b

1

x f ( x y ) d x d y ( 2 . 8 )

a n d

M

0 1

=

Z

a

2

a

1

Z

b

2

b

1

y f ( x y ) d x d y ( 2 . 9 )

r e p r e s e n t t h e c e n t r e o f m a s s o f t h e i m a g e f ( x y ) . T h e c e n t r e o f m a s s i s t h e p o i n t

w h e r e a l l t h e m a s s o f t h e i m a g e c o u l d b e c o n c e n t r a t e d w i t h o u t c h a n g i n g t h e r s t

m o m e n t o f t h e i m a g e a b o u t a n y a x i s . I n t h e t w o - d i m e n s i o n a l c a s e , i n t e r m s o f

m o m e n t v a l u e s , t h e c o o r d i n a t e s o f t h e c e n t r e o f m a s s a r e

x =

M

1 0

M

0 0

y =

M

0 1

M

0 0

( 2 . 1 0 )

A s a u s u a l p r a c t i c e , t h e c e n t r e o f m a s s i s c h o s e n t o r e p r e s e n t t h e p o s i t i o n o f a n

i m a g e i n t h e e l d o f v i e w . T h e e q u a t i o n s i n ( 2 . 1 0 ) d e n e a u n i q u e l o c a t i o n o f t h e

i m a g e f ( x y ) t h a t c a n b e u s e d a s a r e f e r e n c e p o i n t t o d e s c r i b e t h e p o s i t i o n o f t h e

i m a g e .

9


26/149

O r i e n t a t i o n s

T h e s e c o n d o r d e r m o m e n t s , f M

0 2

M

1 1

M

2 0

g , k n o w n a s t h e m o m e n t s o f i n t e r t i a ,

m a y b e u s e d t o d e t e r m i n e a n i m p o r t a n t i m a g e f e a t u r e , o r i e n t a t i o n . I n g e n e r a l , t h e

o r i e n t a t i o n o f a n i m a g e d e s c r i b e s h o w t h e i m a g e l i e s i n t h e e l d o f v i e w , o r t h e

d i r e c t i o n s o f t h e p r i n c i p a l a x e s .

I n t e r m s o f m o m e n t s , t h e o r i e n t a t i o n s o f t h e p r i n c i p a l a x e s , , a r e g i v e n b y 3 5 ]

=

1

2

t a n

; 1

(

2

1 1

2 0

;

0 2

) ( 2 . 1 1 )

I n ( 2 . 1 1 ) , i s t h e a n g l e o f t h e p r i n c i p a l a x i s n e a r e s t t o t h e x a x i s a n d i s i n t h e r a n g e

; = 4 = 4

P r o j e c t i o n s

A n a l t e r n a t i v e m e a n s o f d e s c r i b i n g i m a g e p r o p e r t i e s r e p r e s e n t e d b y m o m e n t s i s

t o c o n s i d e r t h e r e l a t i o n s h i p b e t w e e n t h e m o m e n t s o f a n i m a g e a n d t h o s e o f t h e

p r o j e c t i o n s o f t h a t i m a g e . T h e m o m e n t s i n t h e s e t s f M

p 0

g a n d f M

0 p

g a r e e q u i v a l e n t

t o t h e m o m e n t s o f t h e i m a g e p r o j e c t i o n o n t o t h e x a x i s a n d y a x i s r e s p e c t i v e l y .

C o n s i d e r t h e h o r i z o n t a l p r o j e c t i o n , h ( y ) , o f a n i m a g e f ( x y ) o n t o t h e y a x i s g i v e n

b y

h ( y ) =

Z

a

2

a

1

f ( x y ) d x ( 2 . 1 2 )

T h e n , t h e o n e - d i m e n s i o n a l m o m e n t s , M

q

, o f h ( y ) a r e o b t a i n e d b y

M

q

=

Z

b

2

b

1

y

q

h ( y ) d y ( 2 . 1 3 )

S u b s t i t u t i n g ( 2 . 1 2 ) i n t o ( 2 . 1 3 ) g i v e s

M

q

=

Z

a

2

a

1

Z

b

2

b

1

y

q

f ( x y ) d x d y = M

0 q

( 2 . 1 4 )

F i g u r e 2 . 1 i l l u s t r a t e s t h e p r o j e c t i o n s o f a n o b j e c t o n t o t h e x a x i s a n d y a x i s a n d

t h e m o m e n t s u b s e t s c o r r e s p o n d i n g t o t h e p r o j e c t i o n s .

1 0


27/149

v(x)

h(y)

M40

M31 M30

M22 M21 M20

M13 M12 M11 M10

M04 M03 M02 M01 M00

F i g u r e 2 . 1 : M o m e n t s p r o j e c t i o n s o n t o x a n d y a x e s .

1 1


28/149

2 . 2 . 3 M o m e n t I n v a r i a n t s

T h e e a r l i e s t s i g n i c a t w o r k e m p l o y i n g m o m e n t s f o r i m a g e p r o c e s s i n g a n d p a t t e r n

r e c o g n i t i o n w a s p e r f o r m e d b y H u 3 7 ] a n d A l t 5 ] . B a s e d o n t h e t h e o r y o f a l g e b r a i c

i n v a r i a n t s , H u 3 6 ] 3 7 ] d e r i v e d r e l a t i v e a n d a b s o l u t e c o m b i n a t i o n s o f m o m e n t s t h a t

a r e i n v a r i a n t w i t h r e s p e c t t o s c a l e , p o s i t i o n , a n d o r i e n t a t i o n .

T h e m e t h o d o f m o m e n t i n v a r i a n t s i s d e r i v e d f r o m a l g e b r a i c i n v a r i a n t s a p p l i e d t o

t h e m o m e n t g e n e r a t i n g f u n c t i o n u n d e r a r o t a t i o n t r a n s f o r m a t i o n . T h e s e t o f a b s o l u t e

m o m e n t i n v a r i a n t s c o n s i s t s o f a s e t o f n o n l i n e a r c o m b i n a t i o n s o f c e n t r a l m o m e n t s t h a t

r e m a i n i n v a r i a n t u n d e r r o t a t i o n . H u d e n e s t h e f o l l o w i n g s e v e n f u n c t i o n s , c o m p u t e d

f r o m c e n t r a l m o m e n t s t h r o u g h o r d e r t h r e e , t h a t a r e i n v a r i a n t w i t h r e s p e c t t o o b j e c t

s c a l e , t r a n s l a t i o n a n d r o t a t i o n :

1

=

2 0

+

0 2

( 2 . 1 5 )

2

= (

2 0

;

0 2

)

2

+ 4

2

1 1

( 2 . 1 6 )

3

= (

3 0

; 3

1 2

)

2

+ ( 3

2 1

;

0 3

)

2

( 2 . 1 7 )

4

= (

3 0

;

1 2

)

2

+ (

2 1

;

0 3

)

2

( 2 . 1 8 )

5

= (

3 0

; 3

1 2

) (

3 0

+

1 2

) (

3 0

+

1 2

)

2

; 3 (

2 1

+

0 3

)

2

+ ( 3

2 1

;

0 3

) (

2 1

+

0 3

) 3 (

3 0

+

1 2

)

2

; (

2 1

+

0 3

)

2

] ( 2 . 1 9 )

6

= (

2 0

;

0 2

) (

3 0

+

1 2

)

2

; (

2 1

+

0 3

)

2

+ 4

1 1

(

3 0

+

1 2

) (

2 1

+

0 3

) ( 2 . 2 0 )

7

= ( 3

2 1

;

0 3

) (

3 0

+

1 2

) (

3 0

+

1 2

)

2

; 3 (

2 1

+

0 3

)

2

; (

3 0

; 3

1 2

) (

2 1

+

0 3

) 3 (

3 0

+

1 2

)

2

; (

2 1

+

0 3

)

2

( 2 . 2 1 )

T h e f u n c t i o n s

1

t h r o u g h

6

a r e i n v a r i a n t w i t h r e s p e c t t o r o t a t i o n a n d r e e c t i o n

w h i l e

7

c h a n g e s s i g n u n d e r r e e c t i o n .

H u ' s o r i g i n a l r e s u l t h a s b e e n s l i g h t l y m o d i e d b y R e i s s 6 6 ] i n 1 9 9 1 . R e i s s r e v i s e d

1 2


29/149

t h e f u n d a m e n t a l t h e o r e m o f m o m e n t i n v a r i a n t s w i t h f o u r n e w i n v a r i a n t s . T h e c o r -

r e c t i o n p r e s e n t e d b y R e i s s a e c t s n e i t h e r s i m i l i t u d e ( s c a l e ) n o r r o t a t i o n i n v a r i a n t s

d e r i v e d u s i n g t h e o r i g i n a l t h e o r e m , b u t i t d o e s a e c t f e a t u r e s i n v a r i a n t t o g e n e r a l

l i n e a r t r a n s f o r m a t i o n s .

T h e d e n i t i o n o f t h e g e o m e t r i c m o m e n t s ( 2 . 4 ) h a s t h e f o r m o f t h e p r o j e c t i o n o f

t h e i m a g e f u n c t i o n f ( x y ) o n t o t h e m o n o m i a l x

p

y

q

. H o w e v e r , w i t h t h e W e i e r s t r a s s

a p p r o x i m a t i o n t h e o r e m 1 7 ] , t h e b a s i s s e t f x

p

y

q

g , w h i l e c o m p l e t e , i s n o t o r t h o g o n a l .

2 . 3 C o m p l e x M o m e n t s

T h e n o t i o n o f c o m p l e x m o m e n t s w a s i n t r o d u c e d i n 1 ] a s a s i m p l e a n d s t r a i g h t f o r -

w a r d t e c h n i q u e t o d e r i v e a s e t o f i n v a r i a n t m o m e n t s . T h e t w o - d i m e n s i o n a l c o m p l e x

m o m e n t s o f o r d e r ( p q ) f o r t h e i m a g e f u n c t i o n f ( x y ) a r e d e n e d b y :

C

p q

=

Z

a

2

a

1

Z

b

2

b

1

( x + j y )

p

( x ; j y )

q

f ( x y ) d x d y ( 2 . 2 2 )

w h e r e p a n d q a r e n o n n e g a t i v e i n t e g e r s a n d j =

p

; 1

T h e c o m p l e x m o m e n t s o f o r d e r ( p q ) a r e a l i n e a r c o m b i n a t i o n w i t h c o m p l e x c o e f -

c i e n t s o f a l l o f t h e g e o m e t r i c m o m e n t s f M

n m

g s a t i s f y i n g p + q = n + m

I n p o l a r c o o r d i n a t e s , t h e c o m p l e x m o m e n t s o f o r d e r ( p + q ) c a n b e w r i t t e n a s

C

p q

=

Z

2

0

Z

+ 1

0

p + q

e

j ( p ; q )

f ( c o s s i n ) d d : ( 2 . 2 3 )

I f t h e c o m p l e x m o m e n t o f t h e o r i g i n a l i m a g e a n d t h a t o f t h e r o t a t e d i m a g e i n t h e

s a m e p o l a r c o o r d i n a t e s a r e d e n o t e d b y C

p q

a n d C

r

p q

, t h e r e l a t i o n s h i p b e t w e e n t h e m

i s

C

r

p q

= C

p q

e

; j ( p ; q )

( 2 . 2 4 )

w h e r e i s t h e a n g l e t h a t t h e o r i g i n a l i m a g e h a s b e e n r o t a t e d .

T h e c o m p l e x m o m e n t i n v a r i a n t s c a n b e w r i t t e n i n t h e f o r m o f

C

r s

C

k

t u

+ C

s r

C

k

u t

( 2 . 2 5 )

1 3


30/149

w h e r e

( r ; s ) + k ( t ; u ) = 0 ( 2 . 2 6 )

T h i s c o m b i n a t i o n o f c o m p l e x m o m e n t s c a n c e l s b o t h t h e i m a g i n a r y m o m e n t a n d t h e

r o t a t i o n a l p h a s e f a c t o r , a n d t h u s p r o v i d e s r e a l - v a l u e d r o t a t i o n i n v a r i a n t s .

H o w e v e r , t h e s e c o m p l e x m o m e n t i n v a r i a n t s a r e n o t , i n g e n e r a l , g o o d f e a t u r e s 1 ] .

T h e y s u e r f r o m i n f o r m a t i o n l o s s , s u p p r e s s i o n , a n d r e d u n d a n c y w h i c h l i m i t t h e i r

d i s c r i m i n a t i o n p o w e r .

2 . 4 O r t h o g o n a l M o m e n t s

2 . 4 . 1 L e g e n d r e M o m e n t s

L e g e n d r e P o l y n o m i a l s

T h e n t h - o r d e r L e g e n d r e p o l y n o m i a l i s d e n e d b y

P

n

( x ) =

n

X

j = 0

a

n j

x

j

=

1

2

n

n !

d

n

d x

n

( x

2

; 1 )

n

( 2 . 2 7 )

T h e L e g e n d r e p o l y n o m i a l s h a v e t h e g e n e r a t i n g f u n c t i o n

1

p

1 ; 2 r x + r

2

=

1

X

s = 0

r

s

P

s

( x ) r


31/149

o r , t h e r e c u r r e n t f o r m u l a o f t h e L e g e n d r e p o l y n o m i a l s :

P

n + 1

( x ) =

2 n + 1

n + 1

x P

n

( x ) ;

n

n + 1

P

n ; 1

( x ) ( 2 . 2 9 )

T h e L e g e n d r e p o l y n o m i a l s f P

m

( x ) g 1 7 ] a r e a c o m p l e t e o r t h o g o n a l b a s i s s e t o n

t h e i n t e r v a l - 1 , 1 ] :

Z

+ 1

; 1

P

m

( x ) P

n

( x ) d x =

2

2 m + 1

m n

( 2 . 3 0 )

w h e r e

m n

i s t h e K r o n e c k e r s y m b o l .

F i g u r e 2 . 2 a n d F i g u r e 2 . 3 s h o w s o m e o f t h e t w o - d i m e n s i o n a l L e g e n d r e p o l y n o -

m i a l s i n t h e i m a g e s p a c e .

L e g e n d r e M o m e n t s

T h e ( m + n ) t h o r d e r o f L e g e n d r e m o m e n t o f f ( x y ) d e n e d o n t h e s q u a r e ; 1 1

; 1 1 ] i s

m n

( 2 m + 1 ) ( 2 n + 1 )

4

Z

+ 1

; 1

Z

+ 1

; 1

P

m

( x ) P

n

( y ) f ( x y ) d x d y ( 2 . 3 1 )

w h e r e m n = 0 1 2 : : :

U s i n g ( 2 . 4 ) , ( 2 . 2 7 ) , a n d ( 2 . 3 1 ) , w e h a v e

m n

=

( 2 m + 1 ) ( 2 n + 1 )

4

Z

+ 1

; 1

Z

1

; 1

P

m

( x ) P

n

( y ) f ( x y ) d x d y

=

( 2 m + 1 ) ( 2 n + 1 )

4

Z

1

; 1

Z

1

; 1

m

X

j = 0

a

m j

x

j

n

X

k = 0

a

n k

y

k

f ( x y ) d x d y

=

( 2 m + 1 ) ( 2 n + 1 )

4

m

X

j = 0

n

X

k = 0

a

m j

a

n k

Z

1

; 1

Z

1

; 1

x

j

y

k

f ( x y ) d x d y :

T h e r e f o r e , t h e L e g e n d r e m o m e n t s a n d g e o m e t r i c m o m e n t s a r e r e l a t e d b y

m n

=

( 2 m + 1 ) ( 2 n + 1 )

4

m

X

j = 0

n

X

k = 0

a

m j

a

n k

M

j k

( 2 . 3 2 )

T h e a b o v e r e l a t i o n s h i p i n d i c a t e s t h a t a g i v e n L e g e n d r e m o m e n t d e p e n d s o n l y o n

g e o m e t r i c m o m e n t s o f t h e s a m e o r d e r a n d l o w e r , a n d c o n v e r s e l y .

1 5


32/149

( a )

- 1 . 0

- 0 . 5

0 .0

0. 5

1. 0

X

-1.0

-0.50 .0

0. 5

1. 0

Y

F

- 0 . 5 0

- 0 . 2 5

0 . 0 0

0 . 2 5

0 . 5 0

( b)

- 1 . 0

- 0 . 5

0 .0

0. 5

1. 0

X

- 1 . 0

- 0 . 50. 0

0 .5

1 .0

Y

F

- 0 . 5 0

- 0 . 2 5

0 . 0 0

0 . 2 5

0 . 5 0

( c )

- 1 . 0

- 0 . 5

0 .0

0. 5

1. 0

X

-1.0

-0.5

0 .0

0. 5

1. 0

Y

F

- 0 . 5 0

- 0 . 2 5

0 . 0 0

0 . 2 5

0 . 5 0

( d)

- 1 . 0

- 0 . 5

0 .0

0. 5

1. 0

X

- 1 . 0

- 0 . 5

0. 0

0 .5

1 .0

Y

F

- 0 . 5 0

- 0 . 2 5

0 . 0 0

0 . 2 5

0 . 5 0

F i g u r e 2 . 2 : T h e p l o t s o f s o m e t w o - d i m e n s i o n a l P

m

( x ) P

n


( a ) P

2

( x ) P

2

( y ) , ( b ) P

4

( x ) P

4

( y ) , ( c ) P

6

( x ) P

6

( y ) , a n d ( d ) P

8

( x ) P

8

( y )

1 6


33/149

( a )

- 1 . 0

- 0 . 5

0 .0

0. 5

1. 0

X

-1.0

-0.50 .0

0. 5

1. 0

Y

F

- 0 . 5 0

- 0 . 2 5

0 . 0 0

0 . 2 5

0 . 5 0

( b)

- 1 . 0

- 0 . 5

0 .0

0. 5

1. 0

X

- 1 . 0

- 0 . 50. 0

0 .5

1 .0

Y

F

- 0 . 5 0

- 0 . 2 5

0 . 0 0

0 . 2 5

0 . 5 0

( c )

- 1 . 0

- 0 . 5

0 .0

0. 5

1. 0

X

-1.0

-0.5

0 .0

0. 5

1. 0

Y

F

- 0 . 5 0

- 0 . 2 5

0 . 0 0

0 . 2 5

0 . 5 0

( d)

- 1 . 0

- 0 . 5

0 .0

0. 5

1. 0

X

- 1 . 0

- 0 . 5

0. 0

0 .5

1 .0

Y

F

- 0 . 5 0

- 0 . 2 5

0 . 0 0

0 . 2 5

0 . 5 0

F i g u r e 2 . 3 : T h e p l o t s o f s o m e t w o - d i m e n s i o n a l P

m

( x ) P

n


( a ) P

2

( x ) P

4

( y ) , ( b ) P

2

( x ) P

6

( y ) , ( c ) P

4

( x ) P

8

( y ) , a n d ( d ) P

6

( x ) P

8

( y )

1 7


34/149

2 . 4 . 2 Z e r n i k e M o m e n t s

T h e u s a g e o f Z e r n i k e p o l y n o m i a l s i n o p t i c s d a t e s b a c k t o t h e e a r l y 2 0 t h c e n t u r y ,

w h i l e t h e a p p l i c a t i o n s o f o r t h o g o n a l m o m e n t s b a s e d o n Z e r n i k e p o l y n o m i a l s f o r

i m a g e p r o c e s s i n g w e r e p i o n e e r e d b y T e a g u e 7 3 ] i n 1 9 8 0 .

Z e r n i k e P o l y n o m i a l s

A s e t o f o r t h o g o n a l f u n c t i o n s w i t h s i m p l e r o t a t i o n p r o p e r t i e s w h i c h f o r m s a c o m p l e t e

o r t h o g o n a l s e t o v e r t h e i n t e r i o r o f t h e u n i t c i r c l e w a s i n t r o d u c e d b y Z e r n i k e 7 9 ] . T h e

f o r m o f t h e s e p o l y n o m i a l s i s

V

n m

( x y ) = V

n m

( s i n c o s ) = R

n m

( ) e x p ( j m ) ( 2 . 3 3 )

w h e r e n i s e i t h e r a p o s i t i v e i n t e g e r o r z e r o , a n d m t a k e s p o s i t i v e a n d n e g a t i v e i n t e g e r s

s u b j e c t t o c o n s t r a i n t s n ; m = e v e n , m n , i s t h e l e n g t h o f t h e v e c t o r f r o m

t h e o r i g i n t o t h e p i x e l a t ( x y ) , a n d i s t h e a n g l e b e t w e e n v e c t o r a n d t h e x a x i s

i n t h e c o u n t e r c l o c k w i s e d i r e c t i o n .

T h e R a d i a l p o l y n o m i a l R

n m

( ) i s d e n e d a s

R

n m

( ) =

( n ; m ) = 2

X

s = 0

( ; 1 )

s

( n ; s ) !

s ! (

n + m

2

; s ) ! (

n ; m

2

; s ) !

n ; 2 s

( 2 . 3 4 )

w i t h R

n ; m

( ) = R

n m

( )

F i g u r e 2 . 4 a n d F i g u r e 2 . 5 s h o w s o m e o f t h e V

n m

( x y ) p o l y n o m i a l s .

T h e Z e r n i k e p o l y n o m i a l s ( 2 . 3 3 ) a r e a c o m p l e t e s e t o f c o m p l e x - v a l u e d f u n c t i o n s

o r t h o g o n a l o n t h e u n i t d i s k x

2

+ y

2

1 :

Z Z

x

2

+ y

2

1

V

n m

( x y )

V

p q

( x y ) d x d y =

n + 1

n p

m q

( 2 . 3 5 )

o r , i n p o l a r c o o r d i n a t e s

Z

2

0

Z

1

0

V

n m

( r )

V

p q

( r ) r d r d =

n + 1

n p

m q

( 2 . 3 6 )

1 8


35/149

( a )

- 0 . 9 8

- 0 . 4 9

0 . 0 0

0 . 4 9

0 . 9 8

X

- 0 . 9 8

- 0 . 4 90.00

0.49

0.98

Y

F

0.00

0.25

0.50

0.75

1.00

( b)

- 0 . 9 8

- 0 . 4 9

0 . 0 0

0.49

0 . 9 8

X

- 0 . 9 8

- 0 . 4 90 . 0 0

0.49

0 . 9 8

Y

F

0 . 0 0

0 . 2 5

0 . 5 0

0 . 7 5

1 . 0 0

( c )

- 0 . 9 8

- 0 . 4 9

0 . 0 0

0 . 4 9

0 . 9 8

X

- 0 . 9 8

- 0 . 4 9

0.00

0.49

0.98

Y

F

0.00

0.25

0.50

0.75

1.00

( d)

- 0 . 9 8

- 0 . 4 9

0 . 0 0

0.49

0 . 9 8

X

- 0 . 9 8

- 0 . 4 9

0 . 0 0

0.49

0 . 9 8

Y

F

0 . 0 0

0 . 2 5

0 . 5 0

0 . 7 5

1 . 0 0

F i g u r e 2 . 4 : T h e p l o t s o f t h e m a g n i t u d e s o f s o m e V

n m


( a ) V

2 0

( x y ) , ( b ) V

4 0

( x y ) , ( c ) V

8 0

( x y ) , a n d ( d ) V

1 2 0

( x y )

1 9


36/149

( a )

- 0 . 9 8

- 0 . 4 9

0 . 0 0

0 . 4 9

0 . 9 8

X

- 0 . 9 8

- 0 . 4 90.00

0.49

0.98

Y

F

0.00

0.25

0.50

0.75

1.00

( b)

- 0 . 9 8

- 0 . 4 9

0 . 0 0

0.49

0 . 9 8

X

- 0 . 9 8

- 0 . 4 90 . 0 0

0.49

0 . 9 8

Y

F

0 . 0 0

0 . 2 5

0 . 5 0

0 . 7 5

1 . 0 0

( c )

- 0 . 9 8

- 0 . 4 9

0 . 0 0

0 . 4 9

0 . 9 8

X

- 0 . 9 8

- 0 . 4 9

0.00

0.49

0.98

Y

F

0.00

0.25

0.50

0.75

1.00

( d)

- 0 . 9 8

- 0 . 4 9

0 . 0 0

0.49

0 . 9 8

X

- 0 . 9 8

- 0 . 4 9

0 . 0 0

0.49

0 . 9 8

Y

F

0 . 0 0

0 . 2 5

0 . 5 0

0 . 7 5

1 . 0 0

F i g u r e 2 . 5 : T h e p l o t s o f t h e m a g n i t u d e s o f s o m e V

n m


( a ) V

1 1

( x y ) , ( b ) V

2 2

( x y ) , ( c ) V

3 1

( x y ) , a n d ( d ) V

4 2

( x y )

2 0


37/149

w h e r e t h e a s t e r i s k d e n o t e s t h e c o m p l e x c o n j u g a t e .

A s i s s e e n f r o m ( 2 . 3 3 ) a n d ( 2 . 3 6 ) , t h e r e a l - v a l u e d r a d i a l p o l y n o m i a l s f R

n m

( r ) g

s a t i s f y t h e r e l a t i o n

Z

1

0

R

n l

( r ) R

m l

( r ) r d r =

1

2 ( n + 1 )

m n

( 2 . 3 7 )

T h e r a d i a l p o l y n o m i a l s R

n m

( ) h a v e t h e g e n e r a t i n g f u n c t i o n

1 + t ;

q

1 ; 2 t ( 1 ; 2

2

) + t

2

m

( 2 t )

m

q

1 ; 2 t ( 1 ; 2

2

) + t

2

=

1

X

s = 0

t

s

R

m + 2 s m

( ) ( 2 . 3 8 )

W h e n m = 0 , i t i s i n t e r e s t i n g t o s e e t h a t t h e e q u a t i o n ( 2 . 3 8 ) r e d u c e s t o

1

q

1 ; 2 t ( 1 ; 2

2

) + t

2

=

1

X

s = 0

t

s

P

s

( 1 ; 2

2

) ( 2 . 3 9 )

a n d b e c o m e s t h e g e n e r a t i n g f u n c t i o n f o r t h e L e g e n d r e p o l y n o m i a l s o f a r g u m e n t

2

2

; 1 , s o t h a t

R

2 n 0

( ) = P

n

( 2

2

; 1 ) ( 2 . 4 0 )

Z e r n i k e M o m e n t s

T h e c o m p l e x Z e r n i k e m o m e n t s o f o r d e r n w i t h r e p e t i t i o n m f o r a n i m a g e f u n c t i o n

f ( x y ) a r e d e n e d a s

A

n m

=

n + 1

Z Z

x

2

+ y

2

1

f ( x y ) V

n m

( ) d x d y ( 2 . 4 1 )

o r , i n p o l a r c o o r d i n a t e s

A

n m

=

n + 1

Z

2

0

Z

1

0

f ( ) R

n m

( ) e x p ( ; j m ) d d : ( 2 . 4 2 )

w h e r e t h e r e a l - v a l u e d r a d i a l p o l y n o m i a l R

n m

( ) i s d e n e d i n ( 2 . 3 4 ) .

D u e t o t h e c o n d i t i o n s n ; m = e v e n a n d m n f o r t h e Z e r n i k e p o l y n o m i a l s

( 2 . 3 3 ) , t h e s e t o f Z e r n i k e p o l y n o m i a l s c o n t a i n s

1

2

( n + 1 ) ( n + 2 ) l i n e a r l y i n d e p e n d e n t

p o l y n o m i a l s i f t h e g i v e n m a x i m u m d e g r e e i s n

S i n c e A

n m

= A

n ; m

, t h e n A

n m

= A

n ; m

, t h e r e f o r e , o n e o n l y n e e d s t o c o n s i d e r

A

n m

w i t h m 0

2 1


38/149

R o t a t i o n a l P r o p e r t i e s o f Z e r n i k e M o m e n t s

U n d e r a r o t a t i o n t r a n s f o r m a t i o n , t h e a n g l e o f r o t a t i o n o f t h e Z e r n i k e m o m e n t s i s

s i m p l y a p h a s e f a c t o r . T h e r e f o r e , t h e Z e r n i k e m o m e n t s a r e i n v a r i a n t u n d e r i m a g e

r o t a t i o n .

I f t h e o r i g i n a l i m a g e a n d t h e r o t a t e d i m a g e i n t h e s a m e p o l a r c o o r d i n a t e s a r e

d e n o t e d b y f ( ) a n d f

r

( ) r e s p e c t i v e l y , t h e r e l a t i o n s h i p b e t w e e n t h e m i s

f

r

( ) = f ( ; ) ( 2 . 4 3 )

w h e r e i s t h e a n g l e t h a t t h e o r i g i n a l i m a g e h a s b e e n r o t a t e d . U s i n g ( 2 . 4 2 ) , t h e

Z e r n i k e m o m e n t o f t h e r o t a t e d i m a g e i s

A

r

n m

=

n + 1

Z

2

0

Z

1

0

f ( ; ) R

n m

( ) e x p ( ; j m ) d d

=

n + 1

Z

2

0

Z

1

0

f ( ; ) R

n m

( ) e x p ( ; j m ( ; + ) ) d d

=

n + 1

Z

2

0

Z

1

0

f ( ; ) R

n m

( ) e x p ( ; j m ( ; ) ) e x p ( ; j m ) d d

t h e r e f o r e , t h e r e l a t i o n s h i p b e t w e e n A

r

n m

a n d A

n m

i s

A

r

n m

= A

n m

e x p ( ; j m ) ( 2 . 4 4 )

E q u a t i o n ( 2 . 4 4 ) i n d i c a t e s t h a t t h e Z e r n i k e m o m e n t s h a v e s i m p l e r o t a t i o n a l t r a n s -

f o r m a t i o n p r o p e r t i e s . T h e m a g n i t u d e s o f t h e Z e r n i k e m o m e n t s o f a r o t a t e d i m a g e

f u n c t i o n r e m a i n i d e n t i c a l t o t h e o r i g i n a l i m a g e f u n c t i o n . T h u s t h e m a g n i t u d e o f

t h e Z e r n i k e m o m e n t , A

n m

, c a n b e e m p l o y e d a s a r o t a t i o n i n v a r i a n t f e a t u r e o f t h e

f u n d a m e n t a l i m a g e f u n c t i o n .

2 . 4 . 3 P s e u d o - Z e r n i k e M o m e n t s

I f w e e l i m i n a t e t h e c o n d i t i o n n ; m = e v e n f r o m t h e t h e Z e r n i k e p o l y n o m i a l s

d e n e d i n ( 2 . 3 3 ) , f V

n m

g b e c o m e s t h e s e t o f p s e u d o - Z e r n i k e p o l y n o m i a l s . T h e s e t o f

2 2


39/149

p s e u d o - Z e r n i k e p o l y n o m i a l s w a s d e r i v e d b y B h a t i a a n d W o l f 1 2 ] a n d h a s p r o p e r t i e s

a n a l o g o u s t o t h o s e o f Z e r n i k e p o l y n o m i a l s .

F o r t h e p s e u d o - Z e r n i k e p o l y n o m i a l s , t h e r e a l - v a l u e d r a d i a l p o l y n o m i a l R

n m

( )

i s d e n e d a s

R

n m

( ) =

n ; m

X

s = 0

( ; 1 )

s

( 2 n + 1 ; s ) !

s ! ( n ; m ; s ) ! ( n + m + 1 ; s ) !

n ; s

( 2 . 4 5 )

w h e r e n = 0 1 2 : : : 1 a n d m t a k e s o n p o s i t i v e a n d n e g a t i v e i n t e g e r s s u b j e c t t o

m n o n l y . U n l i k e t h e s e t o f Z e r n i k e p o l y n o m i a l s , t h i s s e t o f p s e u d o - Z e r n i k e

p o l y n o m i a l s c o n t a i n s ( n + 1 )

2

l i n e a r l y i n d e p e n d e n t p o l y n o m i a l s i n s t e a d o f

1

2

( n + 1 ) ( n + 2 ) i f t h e g i v e n m a x i m u m o r d e r i s n

T h e d e n i t i o n o f t h e p s e u d o - Z e r n i k e m o m e n t s i s t h e s a m e a s t h a t o f t h e Z e r n i k e

m o m e n t s i n ( 2 . 4 1 ) a n d ( 2 . 4 2 ) e x c e p t t h a t t h e r a d i a l p o l y n o m i a l s f R

n m

( ) g i n ( 2 . 4 5 )

a r e u s e d .

S i n c e t h e s e t o f p s e u d o - Z e r n i k e o r t h o g o n a l p o l y n o m i a l s i s a n a l o g o u s t o t h a t o f

Z e r n i k e p o l y n o m i a l s , m o s t o f t h e p r e v i o u s d i s c u s s i o n f o r t h e Z e r n i k e m o m e n t s c a n

b e a d a p t e d t o t h e c a s e o f p s e u d o - Z e r n i k e m o m e n t s .

2 3


40/149

C h a p t e r 3

A c c u r a c y a n d E c i e n c y o f M o m e n t

C o m p u t i n g

3 . 1 I n t r o d u c t i o n

A n e s s e n t i a l i s s u e i n t h e e l d o f p a t t e r n a n a l y s i s i s t h e r e c o g n i t i o n o f p a t t e r n s a n d

c h a r a c t e r s r e g a r d l e s s o f t h e i r p o s i t i o n s , s i z e s , a n d o r i e n t a t i o n s . A s d i s c u s s e d i n

t h e p r e v i o u s c h a p t e r , m o m e n t s a n d f u n c t i o n s o f m o m e n t s c a n b e e m p l o y e d a s t h e

i n v a r i a n t g l o b a l f e a t u r e s o f a n i m a g e i n p a t t e r n r e c o g n i t i o n , i m a g e c l a s s i c a t i o n ,

t a r g e t i d e n t i c a t i o n , a n d s c e n e a n a l y s i s .

G e n e r a l l y , t h e s e f e a t u r e s a r e i n v a r i a n t u n d e r i m a g e t r a n s l a t i o n , s c a l e c h a n g e , a n d

r o t a t i o n o n l y w h e n t h e y a r e c o m p u t e d f r o m t h e o r i g i n a l t w o - d i m e n s i o n a l i m a g e s .

I n p r a c t i c e , o n e o b s e r v e s t h e d i g i t i z e d , q u a n t i z e d , a n d o f t e n n o i s y v e r s i o n o f t h e

i m a g e a n d a l l t h e s e p r o p e r t i e s a r e s a t i s e d o n l y a p p r o x i m a t e l y . T h e p r o b l e m o f t h e

d i s c r e t i z a t i o n e r r o r f o r m o m e n t c o m p u t i n g h a s b e e n b a r e l y i n v e s t i g a t e d , t h o u g h s o m e

i n i t i a l s t u d i e s i n t o t h i s d i r e c t i o n f o r t h e c a s e o f g e o m e t r i c m o m e n t s w e r e p e r f o r m e d

b y T e h a n d C h i n 7 4 ] .

I n t h i s c h a p t e r , t h e d e t a i l e d a n a l y s i s o f t h e d i s c r e t i z a t i o n e r r o r f o r m o m e n t c o m -

p u t i n g i s a d d r e s s e d . S e v e r a l n e w t e c h n i q u e s d e v e l o p e d t o i n c r e a s e t h e a c c u r a c y i n

m o m e n t c o m p u t i n g a r e p r o v i d e d .

2 4


41/149

3 . 2 G e o m e t r i c M o m e n t s C o m p u t i n g

G e o m e t r i c m o m e n t s a r e t h e m o s t p o p u l a r t y p e o f m o m e n t s . T h e d e n i t i o n o f g e o -

m e t r i c m o m e n t s ( 2 . 4 ) i s r e w r i t t e n h e r e f o r c o n v e n i e n c e :

M

p q

=

Z

+ 1

; 1

Z

+ 1

; 1

x

p

y

q

f ( x y ) d x d y : ( 3 . 1 )

I f a n a n a l o g o r i g i n a l i m a g e f u n c t i o n f ( x y ) i s d i g i t i z e d i n t o i t s d i s c r e t e v e r s i o n

f ( x

i

y

j

) w i t h a n M N a r r a y o f p i x e l s , t h e d o u b l e i n t e g r a t i o n o f ( 3 . 1 ) m u s t b e

a p p r o x i m a t e d b y d o u b l e s u m m a t i o n s . I n f a c t , i n d i g i t a l i m a g e p r o c e s s i n g , o n e

c a n o b s e r v e f ( x y ) o n l y a t d i s c r e t e p i x e l s , i . e . , i n s t e a d o f f f ( x y ) ( x y ) 2 R g ,

f f ( x

i

y

j

) 1 i M 1 j N g i s u s e d . I t h a s b e e n a c o m m o n p r e s c r i p t i o n t o

r e p l a c e M

p q

i n ( 3 . 1 ) w i t h i t s d i g i t a l v e r s i o n

c

M

p q

=

M

X

i = 1

N

X

j = 1

x

p

i

y

q

j

f ( x

i

y

j

) x y ( 3 . 2 )

w h e r e x a n d y a r e s a m p l i n g i n t e r v a l s i n t h e x a n d y d i r e c t i o n s . H o w e v e r , w h e n

t h e m o m e n t o r d e r i n c r e a s e s , ( 3 . 2 ) c a n n o t p r o d u c e a c c u r a t e r e s u l t s .

B y ( 3 . 1 ) , o n e o b t a i n s

M

p q

=

Z

+ 1

; 1

Z

+ 1

; 1

x

p

y

q

f ( x y ) d x d y

=

Z Z

A

x

p

y

q

f ( x y ) d x d y

=

Z

a

2

a

1

Z

b

2

b

1

x

p

y

q

f ( x y ) d x d y ( 3 . 3 )

w h e r e

A = a

1

a

2

b

1

b

2

i s t h e a r e a c o v e r e d b y t h e i m a g e .

T h e n , i t i s c l e a r t h a t

M

p q

=

M

X

i = 1

N

X

j = 1

Z

x +

x

2

x ;

x

2

Z

y

j

+

y

2

y

j

;

y

2

x

p

y

q

f ( x y ) d x d y ( 3 . 4 )

2 5


42/149

w h e r e x = x

i

; x

i ; 1

a n d y = y

j

; y

j ; 1

a r e t h e s a m p l i n g i n t e r v a l s i n t h e x a n d y

d i r e c t i o n s , a n d

x

M

+

x

2

= a

2

( 3 . 5 )

x

1

;

x

2

= a

1

( 3 . 6 )

y

N

+

y

2

= b

2

( 3 . 7 )

y

1

;

y

2

= b

1

( 3 . 8 )

B y t h e s e c o n d m e a n v a l u e t h e o r e m f o r i n t e g r a t i o n , i f f a n d g a r e i n t e g r a b l e f u n c -

t i o n s o n t h e s e t A , a n d i f f i s a l s o c o n t i n u o u s , t h e n

Z

A

f ( z ) g ( z ) d z = f ( )

Z

A

g ( z ) d z ( 3 . 9 )

f o r s o m e 2 A

A p p l y i n g t h i s r e s u l t t o ( 3 . 4 ) y i e l d s

M

p q

=

M

X

i = 1

N

X

j = 1

f (

i

j

)

Z

x +

x

2

x ;

x

2

Z

y

j

+

y

2

y

j

;

y

2

x

p

y

q

d x d y ( 3 . 1 0 )

w h e r e (

i

j

) b e l o n g s t o t h e ( i j ) p i x e l .

L e t u s a s s u m e w i t h o u t l o s s o f g e n e r a l i t y t h a t e a c h p i x e l i s q u a n t i z e d t o o n e v a l u e ,

i t i s n o r m a l t o r e p l a c e f (

i

j

) b y f ( x

i

y

j

) . T h i s g i v e s t h e f o l l o w i n g a p p r o x i m a t i o n

o f M

p q

:

c

M

p q

=

M

X

i = 1

N

X

j = 1

h

p q

( x

i

y

j

) f ( x

i

y

j

) ( 3 . 1 1 )

w h e r e

h

p q

( x

i

y

j

) =

Z

x +

x

2

x ;

x

2

Z

y

j

+

y

2

y

j

;

y

2

x

p

y

q

d x d y ( 3 . 1 2 )

r e p r e s e n t s t h e d o u b l e i n t e g r a t i o n o f x

p

y

q

o v e r t h e p i x e l x

i

;

x

2

x

i

+

x

2

y

j

;

y

2

y

j

+

y

2

N o t e t h a t

h

p q

( x

i

y

j

) =

( x

i

+

x

2

)

p + 1

; ( x

i

;

x

2

)

p + 1

( p + 1 )

( y

j

+

y

2

)

q + 1

; ( y

j

;

y

2

)

q + 1

( q + 1 )

( 3 . 1 3 )

2 6


43/149

T h e n t h e q u e s t i o n i s h o w t o a c q u i r e t h e d o u b l e i n t e g r a t i o n ( 3 . 1 2 ) ? T h e s i m p l e s t

m e t h o d t o c a r r y o u t t h e c o m p u t a t i o n o f h

p q

( x

i

y

j

) i s t o u s e t h e f o l l o w i n g f o r m u l a :

h

0

p q

( x

i

y

j

) = x

p

i

y

q

j

x y ( 3 . 1 4 )

t o r e p l a c e ( 3 . 1 2 ) . H o w e v e r , t h e a b o v e a p p r o x i m a t i o n w i l l r e s u l t i n a s u b s t a n t i a l e r r o r

w h e n t h e o r d e r p + q i n c r e a s e s .

S i n c e t h e d o u b l e i n t e g r a t i o n i n ( 3 . 1 2 ) c a n b e s e p a r a t e d a s

h

p q

( x

i

y

j

) =

Z

x +

x

2

x ;

x

2

x

p

d x

Z

y

j

+

y

2

y

j

;

y

2

y

q

d y ( 3 . 1 5 )

f o r s i m p l i c i t y , w e c o n s i d e r t h e s i n g l e i n t e g r a t i o n

h

p

( x

i

) =

Z

x +

x

2

x ;

x

2

x

p

d x ( 3 . 1 6 )

a n d r e p l a c e h

p

( x

i

) w i t h

h

0

p

( x

i

) = x

p

i

x ( 3 . 1 7 )

W h e n p = 1 , h

0

p

( x

i

) h o l d s .

W h e n t h e o r d e r p i n c r e a s e s t o 2 , f r o m ( 3 . 1 6 ) , w e h a v e

h

2

( x

i

) =

Z

x +

x

2

x ;

x

2

x

2

d x

=

1

3

( x

i

+

x

2

)

3

; ( x

i

;

x

2

)

3

= x

2

i

x +

( x )

3

1 2

h

2

( x

i

) = h

0

2

( x

i

) +

( x )

3

1 2

T h e a p p r o x i m a t i o n e r r o r f o r t h e s i n g l e i n t e g r a t i o n i s

x

3

1 2

I n t h e c a s e o f p = 3 ,

h

3

( x

i

) =

Z

x +

x

2

x ;

x

2

x

3

d x

=

1

4

( x

i

+

x

2

)

4

; ( x

i

;

x

2

)

4

2 7


44/149

= x

3

i

x +

x

i

( x )

3

4

h

3

( x

i

) = h

0

3

( x

i

) +

x

i

( x )

3

4

T h e e r r o r i s i n c r e a s e d .

T h e a p p r o x i m a t i o n e r r o r w i l l q u i c k l y g e t o u t o f c o n t r o l w h e n t h e o r d e r p i n c r e a s e s .

O b v i o u s l y , w h e n t h e h i g h e r o r d e r m o m e n t s a r e i n v o l v e d , t h e p r o b l e m o f n u m e r i c a l

a p p r o x i m a t i o n e r r o r i n t h e m o m e n t c o m p u t i n g m u s t b e s o l v e d b e f o r e a n y i m p l e m e n t -

a t i o n .

B y t h e w e l l - k n o w n t e c h n i q u e s o f n u m e r i c a l i n t e g r a t i o n 1 8 ] , t h e i n t e g r a t i o n o f ( 3 . 1 6 )

c a n b e a p p r o x i m a t e d w i t h v a r i o u s a c c u r a c i e s . F o r e x a m p l e , a p p l y i n g S i m p s o n ' s r u l e

i n t h e c a s e o f m o m e n t o r d e r p = 3 , w e g e t

Z

x +

x

2

x ;

x

2

x

3

d x =

x

2

1

3

( x

i

;

x

2

)

3

+

4

3

x

3

i

+

1

3

( x

i

+

x

2

)

3

= x

3

i

x +

x

i

( x )

3

4

T h i s i s t h e s a m e r e s u l t a s t h a t o f t h e i n t e g r a t i o n .

E v i d e n t l y , w h e n t h e o r d e r p g o e s h i g h e r , m o r e a c c u r a t e r u l e s a r e r e q u i r e d t o l i m i t

t h e a p p r o x i m a t e e r r o r t o a t o l e r a b l e l e v e l .

A s t h e s o l u t i o n , t

Date post:	01-Jun-2018
Category:	Documents
Upload:	abhishek-patil
View:	218 times
Download:	0 times

Finding Moments of the blobs

Documents