7/27/2019 10.1.1.52.9208

1/15

A C h r o m a t i c i t y S p a c e f o r S p e c u l a r i t y , I l l u m i n a t i o n

C o l o r - a n d I l l u m i n a t i o n P o s e - I n v a r i a n t 3 - D O b j e c t

R e c o g n i t i o n

D a n i e l B e r w i c k a n d S a n g W o o k L e e

( d b e r w i c k @ u m i c h . e d u a n d s w l e e @ u m i c h . e d u )

D e p t . o f E l e c t r i c a l E n g i n n e r i n g a n d C o m p u t e r S c i e n c e

U n i v e r s i t y o f M i c h i g a n

A n n A r b o r , M I 4 8 1 0 4

A b s t r a c t

M o s t o f t h e r e c e n t c o l o r r e c o g n i t i o n / i n d e x i n g a p p r o a c h e s c o n c e n t r a t e o n e s t a b l i s h -

i n g i n v a r i a n c e t o i l l u m i n a t i o n c o l o r t o i m p r o v e t h e u t i l i t y o f c o l o r r e c o g n i t i o n . H o w -

e v e r , o t h e r e e c t s c a u s e d b y i l l u m i n a t i o n p o s e a n d s p e c u l a r i t y o n t h r e e - d i m e n s i o n a l

o b j e c t s u r f a c e s h a v e n o t r e c e i v e d n o t a b l e a t t e n t i o n . W e p r e s e n t a c h r o m a t i c i t y r e c o g -

n i t i o n m e t h o d t h a t d i s c o u n t s t h e e e c t s o f i l l u m i n a t i o n p o s e , i l l u m i n a t i o n c o l o r a n d

s p e c u l a r i t y . I t u t i l i z e s a c h r o m a t i c i t y s p a c e b a s e d o n l o g - r a t i o o f s e n s o r r e s p o n s e s f o r

i l l u m i n a t i o n p o s e a n d c o l o r i n v a r i a n c e . A m o d e l - b a s e d s p e c u l a r i t y d e t e c t i o n / r e j e c t i o n

a l g o r i t h m c a n b e u s e d t o i m p r o v e t h e c h r o m a t i c i t y r e c o g n i t i o n a n d i l l u m i n a t i o n e s t i m a -

t i o n f o r o b j e c t s i n c l u d i n g s p e c u l a r r e e c t i o n s .

1

7/27/2019 10.1.1.52.9208

2/15

1 I n t r o d u c t i o n

R e e c t a n c e - b a s e d r e c o g n i t i o n / i n d e x i n g i s a c l e a r c o n t r a s t t o t h e p r e v i o u s r e c o g n i t i o n a p -

p r o a c h e s . T r a d i t i o n a l o b j e c t r e c o g n i t i o n a n d v i e w i n g c o n d i t i o n e s t i m a t i o n u s e s g e o m e t -

r i c c u e s s u c h a s 3 - D o b j e c t s h a p e m o d e l s a n d g e o m e t r i c r e l a t i o n s h i p s b e t w e e n o b j e c t f e a -

t u r e s , a n d r e c e n t a p p e a r a n c e - b a s e d a p p r o a c h e s d e s c r i b e a n o b j e c t b y u s i n g r e l a t i v e l y c o m p a c t

e i g e n s p a c e s d e r i v e d o n l y f r o m i m a g e a p p e a r a n c e s u n d e r v a r i o u s v i e w i n g c o n d i t i o n s 5 ] 1 7 ]

3 3 ] 2 5 ] . A l t h o u g h c o l o r r e e c t a n c e h a s b e e n c o n c e i v e d a s a n o b v i o u s o b j e c t d e s c r i p t o r a n d

c o l o r m a t c h i n g h a s b e e n a c e n t r a l f o c u s o f c o l o r s c i e n c e a n d e n g i n e e r i n g , o n l y r e c e n t l y h a v e a

n u m b e r o f r e s e a r c h e r s b e g u n t o e x p l o r e t h e u s e o f c o l o r d i s t r i b u t i o n s a s s i g n a t u r e s f o r o b j e c t

r e c o g n i t i o n . T h e i r w o r k h a s d e m o n s t r a t e d t h a t c o l o r c a n p o t e n t i a l l y b e a s t r o n g c u e 3 2 ]

2 6 ] 2 9 ] 1 4 ] 1 6 ] 3 0 ] . F o r i m a g e r e t r i e v a l f r o m a n i m a g e d a t a b a s e , c o l o r i s o n e o f t h e m o s t

e e c t i v e c u e s 8 ] 1 ] .

T h e e a r l y a p p r o a c h e s f o r r e c o g n i z i n g o b j e c t s b a s e d o n t h e i r c o l o r d i s t r i b u t i o n s w e r e d e -

v e l o p e d b y N a g a o e t a l . a n d b y S w a i n a n d B a l l a r d 2 6 ] 3 2 ] . A l t h o u g h t h i s i n i t i a l w o r k

d o e s n o t a d d r e s s t h e p r o b l e m s o f c h a n g i n g v i e w i n g c o n d i t i o n s s u c h a s i l l u m i n a t i o n d i r e c t i o n

a n d c o l o r c h a n g e , i t i n t r o d u c e d t h e u s e f u l n e s s o f c o l o r i n r e c o g n i t i o n a n d m o t i v a t e d w o r k

f o r i l l u m i n a t i o n c o l o r - i n v a r i a n t r e c o g n i t i o n . I n o r d e r f o r o b j e c t c o l o r t o b e s t a b l e t o d i f -

f e r e n t i l l u m i n a t i o n e n v i r o n m e n t s , v a r i a t i o n s i n c o l o r d i s t r i b u t i o n s d u e t o s h a d i n g , l i g h t i n g

c o l o r , a n d s p e c u l a r r e e c t i o n s n e e d t o b e d i s c o u n t e d . T h e p r o b l e m o f c o l o r c o n s t a n c y f o r

d i s c o u n t i n g i l l u m i n a t i o n c o l o r t o o b t a i n r e e c t a n c e c o l o r h a s b e e n t h e t o p i c o f m u c h r e s e a r c h

i n p s y c h o l o g y a n d c o m p u t e r v i s i o n 2 0 ] 3 4 ] 2 4 ] 1 3 ] 1 1 ] . T h e k n o w l e d g e g a i n e d t h r o u g h

c o l o r c o n s t a n c y r e s e a r c h i s r e e c t e d i n r e c e n t r e c o g n i t i o n / i n d e x i n g m e t h o d s t h a t e x p l o r e

i l l u m i n a t i o n - i n v a r i a n t d e s c r i p t o r s f r o m c o l o r d i s t r i b u t i o n s .

F u n t a n d F i n l a y s o n 1 4 ] d e v e l o p e d c o l o r - c o n s t a n t c o l o r i n d e x i n g ( C C C I ) t o d e a l w i t h

s c e n e s w i t h v a r i a t i o n s i n i l l u m i n a t i o n c o l o r . B y h i s t o g r a m m i n g r a t i o s o f R G B v a l u e s o f

a d j a c e n t p i x e l s , t h e y a c h i e v e a d e g r e e o f c o l o r c o n s t a n c y t h a t i s r e l a t i v e l y i n s e n s i t i v e t o

i l l u m i n a t i o n c h a n g e s . I n d e p e n d e n t l y , N a y a r a n d B o l l e a l s o u s e d r e e c t a n c e r a t i o s f o r o b j e c t

r e c o g n i t i o n 2 9 ] . H e a l e y e t a l . p r e s e n t e d v a r i o u s m e t h o d s m o s t l y b a s e d o n t h e a n e p r o p e r t y

o f c o l o r d i s t r i b u t i o n c h a n g e . B y a s s u m i n g a n i t e - d i m e n s i o n a l l i n e a r s u r f a c e r e e c t a n c e

m o d e l , c h a n g e s i n i l l u m i n a t i o n c o l o r r e s u l t i n a l i n e a r t r a n s f o r m a t i o n o f g l o b a l c o l o r p i x e l

d i s t r i b u t i o n s i n R G B s p a c e 1 6 ] 3 0 ] 3 1 ] . T h e i r w o r k h a s b e e n e x t e n d e d t o n d l o c a l c o l o r

f e a t u r e s b y r e s t r i c t i n g t h e s p a t i a l e x t e n t o f r e g i o n s i n a c o l o r i m a g e .

I n t h i s p a p e r , w e p r e s e n t a n a p p r o a c h f o r i n c r e a s i n g t h e u t i l i t y o f c o l o r d i s t r i b u t i o n s

a n d t h e i m p a c t o f c o l o r - b a s e d r e c o g n i t i o n . P r e v i o u s w o r k p a i d l i t t l e a t t e n t i o n t o c o l o r

d i s t r i b u t i o n c h a n g e s d u e t o i l l u m i n a t i o n p o s e . A c o l o r h i s t o g r a m i n R G B s e n s o r s p a c e ,

o r o t h e r l i n e a r l y t r a n s f o r m e d t h r e e - d i m e n s i o n a l s p a c e , w h e n c o n s t r u c t e d a s a 3 - D b i n a r y

o c c u p a n c y g r i d i s i n s e n s i t i v e t o v i e w i n g p o s e ( b a r r i n g o c c l u s i o n s ) . G e o m e t r i c i n f o r m a t i o n

i s g e n e r a l l y c o l l a p s e d i n a c o l o r h i s t o g r a m . H o w e v e r , c h a n g e s i n i l l u m i n a t i o n d i r e c t i o n c a n

p r o d u c e v a r y i n g c o l o r d i s t r i b u t i o n s f r o m a 3 - D o b j e c t . I n p r e v i o u s w o r k , m o s t o f t h e c o l o r

f e a t u r e s u s e d a r e l o c a t e d o n 2 - D p l a n a r s u r f a c e s , o r a x e d i l l u m i n a t i o n p o s e i s u s e d f o r

3 - D o b j e c t s . M o s t c o l o r c o n s t a n c y w o r k a s s u m e s a M o n d r i a n w o r l d w h e r e s h a d i n g c h a n g e

2

7/27/2019 10.1.1.52.9208

3/15

d e p e n d i n g o n i l l u m i n a t i o n p o s e i s u n i f o r m t h r o u g h o u t a n i m a g e p l a n e . I t m a y b e n o t e d t h a t

t h e C C C I m e t h o d i s r e l a t i v e l y i n s e n s i t i v e t o i l l u m i n a t i o n c h a n g e f o r s m o o t h s u r f a c e s h a p e s ,

a n d t h a t t h e p r o b l e m o f i l l u m i n a t i o n p o s e - i n v a r i a n c e i s r e c e n t l y g a i n i n g a t t e n t i o n 1 0 ] 2 3 ] .

W e s u g g e s t t h e u s e o f i n t e n s i t y - n o r m a l i z e d c o l o r s p a c e , i . e . , c h r o m a t i c i t y s p a c e , t o d i s -

c o u n t c h a n g e s i n c o l o r d i s t r i b u t i o n s d u e t o i l l u m i n a t i o n p o s e . T h e s p a c e i s b a s e d o n t h e

l o g a r i t h m s o f s e n s o r - r e s p o n s e r a t i o s , a n d c h r o m a t i c i t y d e f o r m a t i o n d u e t o i l l u m i n a t i o n c o l o r

c h a n g e i s l i m i t e d t o t r a n s l a t i o n . W e a l s o a d d r e s s t h e p r o b l e m o f s p e c u l a r i t y i n o b j e c t c o l o r

a p p e a r a n c e s . P r e v i o u s r e s e a r c h i n c o l o r r e c o g n i t i o n a s s u m e s t h e l a c k o f s t r o n g s p e c u l a r i t y

a n d i t s e e c t s i n t h e c o l o r d i s t r i b u t i o n . D e t e c t i o n o f s p e c u l a r i t y h a s b e e n a t o p i c o f a c t i v e

r e s e a r c h i n t h e e l d o f p h y s i c s - b a s e d v i s i o n 1 8 ] 1 5 ] 2 1 ] 3 ] 2 8 ] 2 ] 3 5 ] 2 7 ] 2 2 ] . M o s t o f

t h i s w o r k d e a l s w i t h b a s i c m o d e l i n g a n d a l g o r i t h m d e v e l o p m e n t . W e p r e s e n t a s y s t e m a t i c

m e t h o d t h a t c o u p l e s s p e c u l a r i t y d e t e c t i o n w i t h c o l o r - b a s e d o b j e c t r e c o g n i t i o n . I n s u m m a r y ,

w e p r o p o s e a c o l o r - b a s e d o b j e c t r e c o g n i t i o n a l g o r i t h m i n v a r i a n t t o : ( 1 ) i l l u m i n a t i o n p o s e ,

( 2 ) i l l u m i n a t i o n c o l o r , a n d ( 3 ) s p e c u l a r i t y . T o o u r k n o w l e d g e , t h e w o r k t h a t f u l l y a d d r e s s e s

t h e s e m u l t i p l e p r o b l e m s s i m u l t a n e o u s l y i s s c a r c e .

2 I l l u m i n a t i o n P o s e - I n v a r i a n c e

A s m e n t i o n e d p r e v i o u s l y , a c o l o r h i s t o g r a m i n t h e f o r m o f a m u l t i - d i m e n s i o n a l b i n a r y o c c u -

p a n c y g r i d i s i n v a r i a n t t o m i l d c h a n g e o f v i e w i n g o r i e n t a t i o n a n d s c a l e o f t h e o b j e c t w i t h i n t h e

i m a g e , a s s u m i n g r o t a t i o n d o e s n o t r e s u l t i n a s i g n i c a n t l y d i e r e n t c o l o r d i s t r i b u t i o n d u e t o

o c c l u s i o n o r d i s o c c l u s i o n . T h i s m e a n s t h a t b i n a r y o c c u p a n c y g r i d d o e s n o t s i g n i f y t h e n u m -

b e r o f p i x e l s o c c u p y i n g t h e s a m e c o l o r s p a c e . H o w e v e r , c o l o r d i s t r i b u t i o n s i n t h e 3 - D R G B

o c c u p a n c y g r i d m a y c h a n g e t h e i r s h a p e d e p e n d i n g o n o b j e c t s u r f a c e s h a d i n g d e t e r m i n e d b y

i l l u m i n a t i o n d i r e c t i o n . I f c o l o r f e a t u r e s a r e d i s t r i b u t e d o v e r s u r f a c e s w i t h d i e r e n t o r i e n -

t a t i o n s , a c h a n g e i n i l l u m i n a t i o n d i r e c t i o n r e s u l t s i n n o n u n i f o r m i n t e n s i t y c h a n g e s a m o n g

t h e c o l o r f e a t u r e s . T h i s i l l u m i n a t i o n p o s e p r o b l e m h a s b e e n n o t e d b e f o r e , b u t h a s n o t b e e n

e x p l i c i t l y a d d r e s s e d .

A c o m m o n r e p r e s e n t a t i o n o f c o l o r d i s t r i b u t i o n s i s a t h r e e - d i m e n s i o n a l h i s t o g r a m a s s h o w n

i n F i g u r e 1 ( b ) . T h e a x e s m e a s u r e r e s p o n s e s t o t h e R G B s e n s o r s o f t h e c a m e r a i n t h e r a n g e

o f v i s i b l e l i g h t , = 4 0 0 n m t o 7 0 0 n m , a c c o r d i n g t o t h e e q u a t i o n

q

k

=

Z

( n

s

n

p

) e ( ) s

p

( ) Q

k

( ) d ; ( 1 )

w h e r e e ( ) i s t h e i l l u m i n a t i o n s p e c t r u m , s

p

( ) i s t h e s u r f a c e r e e c t a n c e a t t h e p o i n t p ,

a n d Q

k

a n d q

k

f o r k = 0 ; 1 ; 2 o r R ; G ; B a r e t h e s p e c t r a l r e s p o n s e a n d c a m e r a o u t p u t s ,

r e s p e c t i v e l y . S u r f a c e s h a d i n g i s d e t e r m i n e d b y t h e i l l u m i n a t i o n d i r e c t i o n v e c t o r n

s

a n d t h e

s u r f a c e n o r m a l v e c t o r n

p

. O n l y t h e d i u s e r e e c t i o n i s i n c l u d e d i n t h e a b o v e m o d e l . T h e

d i s t r i b u t i o n o f d i r e c t c o l o r s e n s o r r e s p o n s e s i n a R G B s p a c e i s a e c t e d b y i l l u m i n a t i o n p o s e .

T h i s i s a c o n s e q u e n c e o f s u r f a c e n o r m a l v a r i a t i o n s o n a 3 - D o b j e c t .

T h e r e l a t i o n s h i p b e t w e e n s e n s o r r e s p o n s e s u n d e r d i e r e n t i l l u m i n a t i o n c o l o r s c a n b e

m o d e l l e d a s a l i n e a r t r a n s f o r m 1 6 ] 3 0 ] . F o r t h r e e - d i m e n s i o n a l a p p r o x i m a t i o n o f s u r f a c e

3

7/27/2019 10.1.1.52.9208

4/15

r e e c t i o n 6 ] 2 4 ] ,

s

p

( ) =

2

X

i = 0

p

i

S

i

( ) : ( 2 )

w h e r e S

i

' s a r e b a s i s f u n c t i o n s a n d

i

' s a r e w e i g h t i n g c o e c i e n t s ( i = 0 ; 1 ; 2 ) , t h e s e n s o r

r e s p o n s e s q

p

= q

R

; q

G

; q

B

]

T

a n d r e e c t a n c e c o e c i e n t s

p

=

0

;

1

;

2

]

T

a r e r e l a t e d a s :

q

p

= n

s

n

p

]

p

; w h e r e

k i

=

Z

e ( ) S

i

( ) Q

k

( ) d : ( 3 )

A c h a n g e i n i l l u m i n a t i o n p o s e (

e

n

s

) a n d c o l o r (

e

) w o u l d r e s u l t i n a d i e r e n t s e t o f s e n s o r

r e s p o n s e s

e

q

p

=

e

n

s

n

p

]

e

p

, a n d t h e t r a n s f o r m a t i o n b e t w e e n t h e s e n s o r r e s p o n s e s i s g i v e n

a s :

e

q

p

= r

p

M q

p

; ( 4 )

w h e r e

r

p

=

e

n

s

n

p

n

s

n

p

; a n d M =

e

? 1

( 5 )

I f t h e c o l o r m e a s u r e m e n t s q

p

a r e d i s t r i b u t e d o v e r a 2 - D p l a n a r s u r f a c e , i . e . , n

p

i s x e d

f o r t h e s u r f a c e p o i n t s , t h e s c a l i n g f a c t o r d u e t o s h a d i n g i s u n i f o r m . T h e r e f o r e , t h e l i n e a r

r e l a t i o n s h i p , M , b e t w e e n t h e s e n s o r r e s p o n s e v e c t o r s

e

q

p

a n d q

p

h o l d s . O n t h e o t h e r h a n d , i f

t h e c o l o r m e a s u r e m e n t s q

p

a r e o b t a i n e d f r o m s u r f a c e p o i n t s w i t h d i e r e n t o r i e n t a t i o n s , t h e

c o l o r v a l u e s a t t h e s e p o i n t s w i l l u n d e r g o d i e r e n t t r a n s f o r m a t i o n s b e c a u s e o f d i e r e n t n

p

.

H e n c e , t h e l i n e a r t r a n s f o r m r e l a t i o n s h i p i s n o t a p p r o p r i a t e f o r e s t a b l i s h i n g i l l u m i n a t i o n - c o l o r

i n v a r i a n c e f o r a g e n e r a l 3 - D o b j e c t .

A p o p u l a r 2 - D c h r o m a t i c i t y s p a c e x = x

1

; x

2

]

T

i s c o n s t r u c t e d b y n o r m a l i z i n g t h e s e n s o r

r e s p o n s e s a s :

x

1

=

q

R

q

R

+ q

G

+ q

B

; x

2

=

q

G

q

R

+ q

G

+ q

B

; ( 6 )

I n t h i s p r o j e c t i v e s p a c e t h e s c a l i n g f a c t o r r

p

d u e t o s h a d i n g d i s a p p e a r s b y t h e n o r m a l i z a t i o n ,

h e n c e c h r o m a t i c i t y i s i n d e p e n d e n t o f i l l u m i n a t i o n p o s e . T h i s p r o c e s s r e m o v e s t h e i n t e n s i t y

c o m p o n e n t f r o m t h e c o l o r d i s t r i b u t i o n s o t h a t d i e r e n c e s i n s h a d i n g a r e n o t d i s t i n g u i s h e d .

F i g u r e 1 s h o w s a s y n t h e t i c s p h e r e u n d e r t h e s a m e i l l u m i n a t i o n c o l o r b u t w i t h d i e r e n t

i l l u m i n a t i o n d i r e c t i o n s , a n d t h e R G B h i s t o g r a m s a n d c h r o m a t i c i t y d i a g r a m s o f t h e s p h e r e

i m a g e s . T h e R G B h i s t o g r a m s m a y d e f o r m s i g n i c a n t l y w h e n i l l u m i n a t i o n p o s e v a r i e s f o r

o b j e c t s w i t h d i e r e n t s u r f a c e o r i e n t a t i o n s . H o w e v e r , t h e c h r o m a t i c i t y d i s t r i b u t i o n r e m a i n s

t h e s a m e .

3 I l l u m i n a t i o n C o l o r - I n v a r i a n t C h r o m a t i c i t y S p a c e

T h e a d o p t i o n o f t h e c h r o m a t i c i t y s p a c e i n i t i a t e s a n e w p r o b l e m : i d e n t i c a t i o n o f c h r o m a t i c -

i t y s i g n a t u r e s i n u e n c e d b y i l l u m i n a t i o n c o l o r c h a n g e . D i e r e n c e s i n l i g h t i n g c o l o r p r o d u c e a

n o n l i n e a r d e f o r m a t i o n o f c h r o m a t i c i t y d e s c r i p t o r s d u e t o t h e n o n l i n e a r i t y i n t r o d u c e d b y t h e

n o r m a l i z a t i o n . D e f o r m a t i o n o f c h r o m a t i c i t y s i g n a t u r e s i s g o v e r n e d b y t h e t r a n s f o r m a t i o n

4

7/27/2019 10.1.1.52.9208

5/15

(a) (b) (c)

(d) (e) (f)

F i g u r e 1 : E e c t s o f i l l u m i n a t i o n p o s e ( a , d ) I l l u m i n a t i o n f r o m t h e l e f t a n d r i g h t , r e s p e c t i v e l y ,

( b , e ) R G B c o l o r h i s t o g r a m s , ( c , f ) C h r o m a t i c i t y d i s t r i b u t i o n s

r e l a t i o n s h i p s i n E q u a t i o n s 4 a n d 6 . F o r m u l a t i o n o f i n v a r i a n c e u s i n g t h e g e n e r a l m a t r i x M i n

E q u a t i o n s 4 a n d t h e n o r m a l i z a t i o n i n 6 m a y n o t b e e a s i l y a c h i e v e d . F o r e s t a b l i s h i n g a n i l l u -

m i n a t i o n c o l o r - i n v a r i a n t c h r o m a t i c i t y s p a c e , w e s i m p l i f y t h e c h r o m a t i c i t y d e f o r m a t i o n b a s e d

o n t h e d i a g o n a l m a t r i x t r a n s f o r m w h i c h h a s l o n g b e e n p r o p o s e d a s a f e a s i b l e m e c h a n i s m

f o r c o l o r c o n s t a n c y . C o l o r c o n s t a n c y b a s e d o n t h e d i a g o n a l m a t r i x t r a n s f o r m a t i o n a n d i t s

i m p a c t a r e a n a l y z e d i n d e t a i l b y F i n l a y s o n , D r e w a n d F u n t , W o r t h e y a n d B r i l l , W e s t a n d

B r i l l , a n d D ' Z m u r a a n d L e n n i e 1 1 ] 1 2 ] 3 4 ] 7 ] . F i n l a y s o n , D r e w a n d F u n t s h o w e d t h a t

i l l u m i n a t i o n c h a n g e c a n b e m o d e l l e d a s d i a g o n a l m a t r i x t r a n s f o r m u n d e r l o w - d i m e n s i o n a l

m o d e l c o n s t r a i n t s f o r i l l u m i n a t i o n a n d r e e c t a n c e 1 1 ] .

W i t h o u t t h e l o w - d i m e n s i o n a l c o n s t r a i n t s o n i l l u m i n a t i o n a n d r e e c t a n c e , t h e d i a g o n a l

m a t r i x t r a n s f o r m c a n b e a p p r o x i m a t e d u s i n g v e r y n a r r o w c o l o r l t e r s ( i d e a l l y t h e D i r a c

d e l t a f u n c t i o n ) . I f t h e l t e r f u n c t i o n Q

k

( ) i n E q u a t i o n 1 h a s a n a r r o w b a n d w i d t h 4 Q

k

a r o u n d t h e w a v e l e n g t h

k

a n d b o t h e ( ) a n d s

p

( ) a r e a p p r o x i m a t e l y c o n s t a n t w i t h i n t h e

l t e r b a n d w i d t h , t h e s e n s o r r e s p o n s e s c a n b e a p p r o x i m a t e d a s

q

k

n

s

n

p

] e (

k

) s

p

(

k

) Q

m

4 Q

k

; ( 7 )

w h e r e Q

m

i s t h e m a g n i t u d e o f l t e r r e s p o n s e . T h e r e l a t i o n s h i p b e t w e e n t h e s e n s o r r e s p o n s e s

q

p

a n d

e

q

p

( w h e r e

e

q

k

=

e

n

s

n

p

] e (

k

) s

p

(

k

) Q

m

4 Q

k

) i s g i v e n b y a d i a g o n a l t r a n s f o r m , i . e . ,

e

q

p

= r

p

D q

p

; ( 8 )

a n d t h e d i a g o n a l e l e m e n t s a r e g i v e n b y

D

0 0

=

e

e (

0

) = e (

0

) ; D

1 1

=

e

e (

1

) = e (

1

) ; D

2 2

=

e

e (

2

) = e (

2

) :

5

7/27/2019 10.1.1.52.9208

6/15

T h e d i a g o n a l m a t r i x t r a n s f o r m h a s b e e n s u g g e s t e d a s a b a s e f o r m a n y c o l o r c o n s t a n c y a l -

g o r i t h m s s u c h a s v o n K r i e s a d a p t a t i o n , r e t i n e x / l i g h t n e s s a l g o r i t h m s , a n d F o r s y t h ' s C R U L E

a l g o r i t h m 3 4 ] 2 0 ] 1 3 ] . T h e n a r r o w - b a n d l t e r s h a v e b e e n u s e d s u c c e s s f u l l y b y F u n t a n d

F i n l a y s o n a n d b y N a y a r a n d B o l l e 1 4 ] 2 9 ] . F i n l a y s o n , D r e w , a n d F u n t s u g g e s t e d m e t h -

o d s f o r s h a r p e n i n g s e n s o r f u n c t i o n s a n d r e p o r t e d t h a t t h e s e n s o r s h a r p e n i n g i m p r o v e s t h e

p e r f o r m a n c e o f c o l o r c o n s t a n c y a l g o r i t h m s b a s e d o n d i a g o n a l t r a n s f o r m s 1 2 ] .

U n d e r t h e d i a g o n a l t r a n s f o r m c o n d i t i o n , w e s u g g e s t a c h r o m a t i c i t y s p a c e =

1

;

2

]

T

t h a t i s i n v a r i a n t t o i l l u m i n a t i o n c o l o r u p t o t r a n s l a t i o n :

1

= l n

q

R

q

G

;

2

= l n

q

B

q

G

; ( 9 )

I n t h i s s p a c e , t h e c h r o m a t i c i t y d i s t r i b u t i o n s f r o m a n o b j e c t u n d e r d i e r e n t i l l u m i n a t i o n

c o l o r s s h o u l d a p p e a r i d e n t i c a l u p t o t r a n s l a t i o n , i . e . ,

e

= + ; w h e r e = l n

D

0 0

D

1 1

; l n

D

2 2

D

1 1

]

T

:

W e u s e t h i s s p a c e f o r o b j e c t i d e n t i c a t i o n a n d i l l u m i n a t i o n e s t i m a t i o n . T h e r e l a t i o n s h i p

b e t w e e n t h e c h r o m a t i c i t y s p a c e x i n E q u a t i o n 6 a n d i s g i v e n a s :

1

= l n

x

1

x

2

;

2

= l n

1 ? x

1

? x

2

x

2

;

T h e u s e o f r e e c t a n c e r a t i o s h a s b e e n s u g g e s t e d p r e v i o u s l y i n 1 4 ] a n d 2 9 ] . T h e C C C I

a p p r o a c h u t i l i z e s t h e d i s t r i b u t i o n o f r a t i o s f r o m s p a t i a l l y n e i g h b o r i n g p i x e l s , a n d t h u s o n l y

t h e i m a g e r e g i o n s w h e r e c o l o r v a l u e s s p a t i a l l y v a r y c o n t r i b u t e t o t h e d i s t r i b u t i o n e e c t i v e l y .

O u r l o g - s e n s o r - r a t i o c h r o m a t i c i t y s p a c e i n E q u a t i o n 9 u s e s t h e r a t i o s o f s e n s o r r e s p o n s e s f r o m

d i e r e n t b a n d s a t e a c h s u r f a c e p o i n t a n d t h e d i s t r i b u t i o n o f t h e i r l o g a r i t h m s a s a s i g n a t u r e

f o r o b j e c t i d e n t i c a t i o n . T h e r e f o r e , a l l t h e c o l o r p i x e l s a r e u s e d t o f o r m t h e d i s t r i b u t i o n

r e g a r d l e s s o f t h e i r s p a t i a l v a r i a t i o n . I t m a y b e n o t e d t h a t t h e d e s c r i p t o r s u s e d i n h o m o m o r -

p h i c i m a g e p r o c e s s i n g o f o p p o n e n t c o l o r s a r e s i m i l a r t o t h e l o g a r i t h m o f s e n s o r r a t i o s , e . g . ,

l n ( q

R

= q

G

) 9 ] 1 9 ] . S e n s o r r a t i o s a r e a l s o u s e d f o r t h e g a m u t m a p p i n g m e t h o d b y F i n l a y s o n

1 0 ] .

A l t h o u g h b a s i c c r o s s - c o r r e l a t i o n i n c a n b e u s e d f o r s i m i l a r i t y m e a s u r e , c r o s s - c o r r e l a t i o n

o f t e s t c h r o m a t i c i t y d i s t r i b u t i o n w i t h a l l t h o s e o f d a t a b a s e o b j e c t s w o u l d r e q u i r e h i g h c o m -

p u t a t i o n a l c o s t a n d e s t i m a t i o n o f m a y b e i n a c c u r a t e i f t h e c o r r e l a t i o n c u r v e s h o w s a b r o a d

p e a k . A n a l t e r n a t i v e f a s t a n d a c c u r a t e m e t h o d i s t o u s e t h e F o u r i e r m a g n i t u d e s p e c t r u m

f o r s i m i l a r i t y m e a s u r e a n d t h e F o u r i e r p h a s e f o r e s t i m a t i n g 4 ] . L e t f b e a c h r o m a t i c i t y

d i s t r i b u t i o n f u n c t i o n i n t h e n e w c o o r d i n a t e s y s t e m . T h e d e f o r m a t i o n b y G r e s u l t s i n t h e

t r a n s l a t i o n o f f , i . e . ,

f

G

( ) = f ( + ) ;

a n d t h e i r F o u r i e r t r a n s f o r m s w i l l d i e r o n l y i n t h e i r p h a s e s :

F f

G

( ) ] ( ! ) = e

? i

F f ( ) ] ( ! ) ( 1 0 )

6

7/27/2019 10.1.1.52.9208

7/15

N o t e t h a t t h e m a g n i t u d e o f t h e F o u r i e r s p e c t r u m j F f

G

( ) ] ( ! ) j i s i n v a r i a n t t o . T h e p h a s e

t e r m Q ( ! ) c a n b e e x t r a c t e d b y t h e f o l l o w i n g n o n l i n e a r l t e r i n g :

Q ( ! ) = e

? i

=

F

f

G

] ( ! ) F f ] ( ! )

j F f

G

] ( ! ) j j F f ] ( ! ) j

; ( 1 1 )

a n d t h e i n v e r s e F o u r i e r t r a n s f o r m q ( ) = F

? 1

Q ( ! ) ] w i l l e x h i b i t a p e a k a t t h e i l l u m i n a t i o n

p a r a m e t e r i n t h e d o m a i n .

4 S p e c u l a r i t y R e j e c t i o n

S p e c u l a r r e e c t i o n s i n a n i m a g e m a y p r o d u c e a s u b s t a n t i a l c h a n g e i n a n o b j e c t ' s c h r o m a t i c -

i t y d i s t r i b u t i o n . S t r o n g s p e c u l a r i t i e s c a n s i g n i c a n t l y e r o d e t h e s i m i l a r i t y o f c h r o m a t i c i t y

d i s t r i b u t i o n s b e t w e e n t h e m o d e l a n d t e s t o b j e c t s . C o n s e q u e n t l y , t h e i l l u m i n a t i o n - i n v a r i a n c e

c a n b e w e a k e n e d . A l t h o u g h p r e v i o u s w o r k i n c o l o r - b a s e d r e c o g n i t i o n a s s u m e s l a c k o f s t r o n g

s p e c u l a r i t i e s , t h i s p r o b l e m n e e d s t o b e a d d r e s s e d f o r r e l i a b l e r e c o g n i t i o n .

T h e a d d i t i o n o f s p e c u l a r i t y m o d i e s s e n s o r r e s p o n s e i n E q u a t i o n 1 t o b e :

q

k

=

Z

e ( ) ( n

s

n

p

) s

p

( ) + G

p

s

s

p

s

( ) ] Q

k

( ) d ; ( 1 2 )

w h e r e s

p

a n d s

p

s

d e n o t e d i u s e a n d s p e c u l a r r e e c t i o n c o m p o n e n t s , r e s p e c t i v e l y . G

p

s

r e p r e -

s e n t s t h e g e o m e t r i c f a c t o r f o r s p e c u l a r r e e c t i o n , a n d i s a f u n c t i o n o f m a n y i l l u m i n a t i o n ,

v i e w i n g a n d r e e c t a n c e v a r i a b l e s . I n t h e c h r o m a t i c i t y p l a n e , s p e c u l a r r e e c t i o n s w i l l a p p e a r

a s a c l u s t e r o f p o i n t s s t r e t c h i n g f r o m i t s u n d e r l y i n g d i u s e r e e c t i o n c h r o m a t i c i t y t o w a r d t h e

c h r o m a t i c i t y o f t h e i n c i d e n t l i g h t ( F i g u r e 2 ( a ) ) 2 ] . T o a v o i d d e v i a t i o n s f r o m a n o b j e c t ' s

c h r o m a t i c i t y s i g n a t u r e o f o n l y d i u s e r e e c t i o n s , s p e c u l a r i t i e s n e e d t o b e d e t e c t e d a n d r e -

m o v e d f r o m t h e t e s t i m a g e . T h e g o a l o f s p e c u l a r i t y d e t e c t i o n i s t o n d i m a g e r e g i o n s w h e r e

s

p

s

i s n o n z e r o . \ S p e c u l a r i t y r e j e c t i o n " e x c l u d e s t h e d e t e c t e d r e g i o n s f r o m t h e c h r o m a t i c i t y

s i g n a t u r e .

S i n c e s p e c u l a r i t y d e t e c t i o n i s n o t i n g e n e r a l a w e l l - c o n s t r a i n e d p r o b l e m , m o s t p h y s i c s -

b a s e d d e t e c t i o n m e t h o d s r e q u i r e r e s t r i c t i n g a s s u m p t i o n s i n o b j e c t r e e c t a n c e o r n e e d e x t r a

s e n s o r d a t a t o p r o v i d e p h y s i c a l c o n s t r a i n t s . T h e s e c o n s t r a i n t s i n c l u d e r e s t r i c t e d m a t e r i a l

t y p e s a n d p i e c e w i s e u n i f o r m o b j e c t c o l o r s . E x t r a p h y s i c a l c u e s i n c l u d e s t r u c t u r e d l i g h t ,

p o l a r i z a t i o n s e n s o r s , a n d m u l t i p l e - v i e w i m a g e s e n s i n g 1 8 ] 2 ] 2 1 ] 2 8 ] 3 5 ] 2 7 ] 2 2 ] . T h e s e

a d d i t i o n a l r e q u i r e m e n t s s e n s i n g m a y b e d i c u l t t o a c h i e v e , e s p e c i a l l y f o r t e s t i m a g e s .

A n a d d i t i o n a l s o u r c e o f i n f o r m a t i o n f o r s p e c u l a r i t y d e t e c t i o n i n l i e u o f e x t r a s e n s i n g

n e e d s t o b e f o u n d . O u r s o l u t i o n t o t h i s p r o b l e m l i e s i n t h e m o d e l i m a g e s , f r o m w h i c h w e

p r o p o s e \ m o d e l - b a s e d s p e c u l a r i t y d e t e c t i o n / r e j e c t i o n " . U s i n g a p o t e n t i a l m a t c h b e t w e e n

t h e t e s t o b j e c t s i g n a t u r e a n d a m o d e l o b j e c t s i g n a t u r e i n t h e m o d e l b a s e , a r o u g h i n i t i a l

e s t i m a t i o n o f i l l u m i n a t i o n c o l o r c a n b e m a d e . T h e c h r o m a t i c i t y d i s t r i b u t i o n o f t h e t e s t i m a g e

c a n b e c o m p a r e d w i t h t h e m o d e l d i s t r i b u t i o n c o n s i d e r i n g t h e e s t i m a t e d i l l u m i n a t i o n . F r o m

t h e c o m p a r i s o n , s o m e o f t h e c o l o r c l u s t e r s t h a t e n s u e f r o m s p e c u l a r i t y c a n b e e l i m i n a t e d ,

7

7/27/2019 10.1.1.52.9208

8/15

(a) (b)

U (( ) ) =

test test translatedmodel

resultillluminationto model

illumination

specular

diffuse

F i g u r e 2 : ( a ) E e c t o f s p e c u l a r i t i e s i n c h r o m a t i c i t y p l a n e . ( b ) C h r o m a t i c i t y d i e r e n c i n g

f r o m i l l u m i n a t i o n e s t i m a t i o n

a n d t h e i l l u m i n a t i o n e s t i m a t i o n c a n b e r e n e d a n d u s e d t o e m e n d f u r t h e r t h e c h r o m a t i c i t y

d i s t r i b u t i o n . T h i s c h r o m a t i c i t y h i s t o g r a m c o m p a r i s o n i s m o t i v a t e d b y h i s t o g r a m d i e r e n c i n g

t e c h n i q u e s 2 1 ] 2 2 ] .

O u r a p p r o a c h t o s p e c u l a r i t y r e j e c t i o n b e g i n s w i t h c o n s e r v a t i v e i n t e n s i t y - b a s e d p r o c e s s i n g

o f a t e s t i m a g e , s u c h a s i n t e n s i t y t h r e s h o l d i n g , t o e l i m i n a t e s h a r p a n d i n t e n s e s p e c u l a r i t y

w i t h o u t a n y p r i o r i n f o r m a t i o n 3 ] . F r o m t h e r e s u l t i n g s i g n a t u r e , a h y p o t h e s i s f o r i n i t i a l

o b j e c t i d e n t i c a t i o n a n d i l l u m i n a t i o n e s t i m a t i o n i s g e n e r a t e d . T h i s s i g n a t u r e i s i t e r a t i v e l y

r e n e d b y c h r o m a t i c i t y d i e r e n c i n g .

F i g u r e 2 ( b ) i l l u s t r a t e s t h i s d i e r e n c i n g p r o c e s s . B a s e d o n t h e i d e n t i e d o b j e c t a n d i n i t i a l

i l l u m i n a t i o n e s t i m a t i o n a f t e r t h r e s h o l d i n g , t h e c h r o m a t i c i t y p l a n e a s s o c i a t e d w i t h t h e o b j e c t

a n d e s t i m a t e d i l l u m i n a t i o n i s u s e d f o r c o a r s e d i e r e n c i n g w i t h t h e t e s t c h r o m a t i c i t y d i a g r a m .

T h e d i e r e n c e b e t w e e n t w o s i g n a t u r e s c a n b e c o m p u t e d b y s u b t r a c t i n g t h e p o t e n t i a l

m o d e l s i g n a t u r e f r o m t h e t e s t s i g n a t u r e . T h e r e s u l t o f t h i s o p e r a t i o n a r e t h e c h r o m a t i c i t i e s

t h a t m a y b e t h e r e s u l t o f s p e c u l a r i t y . O f t h e s e c h r o m a t i c i t i e s , t h o s e t h a t l i e b e t w e e n a

p a r t o f t h e m o d e l s i g n a t u r e a n d t h e e s t i m a t e d i l l u m i n a t i o n a r e c o n s i d e r e d t o b e c a u s e d b y

s p e c u l a r i t y . A n e w s i g n a t u r e f o r t h e t e s t o b j e c t i s c r e a t e d t h a t r e m o v e s p a r t s o f t h e s i g n a t u r e

c o n s i d e r e d t o b e s p e c u l a r i t y .

S i n c e d i e r e n c i n g p r o d u c e s a c h r o m a t i c i t y p l a n e t h a t i s l e s s a e c t e d b y s p e c u l a r i t i e s ,

t h e p e a k v a l u e o f j q ( ) j m a y i n c r e a s e a n d m a y y i e l d a m o r e a c c u r a t e i l l u m i n a t i o n e s t i m a t e .

T h i s r e s u l t d r i v e s t h e p r o c e s s i n t o a n o t h e r r o u n d o f d i e r e n c i n g . B y i t e r a t i v e l y r e n i n g

t h e c h r o m a t i c i t y d i a g r a m o f t h e t e s t o b j e c t b y s p e c u l a r i t y r e m o v a l , t h e p e a k v a l u e o f j q ( ) j

k e e p s i n c r e a s i n g i f t h e h y p o t h e s i z e d o b j e c t i s i n d e e d c o r r e c t . F o r a n i n c o r r e c t h y p o t h e s i s ,

t h e r e n e m e n t p r o c e s s w i l l t e r m i n a t e w i t h t h e d e c r e a s e d p e a k v a l u e o f j q ( ) j . T h e s p e c u l a r -

i t y r e j e c t i o n a l g o r i t h m i s i n i t i a t e d w h e n t h e r e i s n o d o m i n a n t m a t c h t o t h e o b j e c t s i n t h e

d a t a b a s e . T h e t e s t i s d i e r e n c e d w i t h e a c h o f t h e b e s t m a t c h i n g o b j e c t s . T h e s p e c u l a r i t y

8

7/27/2019 10.1.1.52.9208

9/15

r e j e c t i o n a l g o r i t h m i s s u m m a r i z e d a s f o l l o w s .

1 . A p p l y a c o n s e r v a t i v e i n t e n s i t y t h r e s h o l d T

I

f o r i n i t i a l s p e c u l a r i t y r e j e c t i o n , a n d c o m -

p u t e q ( ) .

2 . I f t h e p e a k j q ( ) j

m a x

i s w i t h i n s o m e p e r c e n t t h r e s h o l d T

S

, o f t h e h i g h e s t j q ( ) j

m a x

o f

t h e d a t a b a s e , e s t i m a t e a n i n i t i a l i l l u m i n a t i o n c o l o r .

3 . U s i n g , t r a n s l a t e t h e m o d e l c h r o m a t i c i t y s i g n a t u r e a n d d o c h r o m a t i c i t y d i e r e n c i n g

u s i n g t h e i l l u m i n a t i o n e s t i m a t i o n a n d t h e m o d e l s i g n a t u r e t o d e t e r m i n e t h e r e g i o n o f

s p e c u l a r i t y .

4 . C r e a t e t h e n e w t e s t s i g n a t u r e

5 . C o m p u t e j q ( ) j

m a x

o f t h e n e w t e s t s i g n a t u r e a n d u p d a t e .

6 . W h i l e t h e p e a k j q ( ) j

m a x

i n c r e a s e s , r e p e a t s t e p s 3 , 4 , 5 , a n d 6 . O t h e r w i s e , s t o p .

T h e t h r e s h o l d s T

I

a n d T

S

a r e x e d a n d p r e d e t e r m i n e d .

W h e n t h e o b j e c t m a t c h i s c o r r e c t a n d t h e i l l u m i n a t i o n e s t i m a t i o n s a r e r e a s o n a b l e , i t -

e r a t i v e s p e c u l a r i t y r e m o v a l w i l l k e e p t h e p e a k j q ( ) j

m a x

i n c r e a s i n g . I f t h e d e f o r m a t i o n b y

t h e p r e s e n c e o f s p e c u l a r i t y i s t o o s e v e r e a n d i n i t i a l i n t e n s i t y t h r e s h o l d i n g d o e s n o t m a k e a

d i e r e n c e , t h i s p r o c e s s s i m p l y s t o p s i m m e d i a t e l y , a n d a t e s t o b j e c t r e m a i n s u n i d e n t i e d .

5 E x p e r i m e n t a l R e s u l t s

T h e p r o p o s e d c h r o m a t i c i t y s p a c e a n d s p e c u l a r i t y r e j e c t i o n a l g o r i t h m a r e t e s t e d u s i n g

a d a t a b a s e o f e i g h t o b j e c t s . T h e o b j e c t s a r e i l l u m i n a t e d w i t h t w o 5 0 0 W a t t , 3 2 0 0 K , G E

P h o t o o o d s m o u n t e d i n r e e c t e d s c o o p s . D i g i t a l I m a g e s a r e g a t h e r e d w i t h a S o n y X C - 7 7 R R

a n d c o l o r i m a g e s a r e g e n e r a t e d f r o m t h i s g r e y s c a l e c a m e r a u s i n g a s e t o f r e l a t i v e l y n a r r o w -

b a n d R G B l t e r s . T h e s e a r e K o d a k W r a t t e n l t e r s n u m b e r s 2 9 , 4 7 , a n d 6 1 . T h e a p e r t u r e

o f t h e c a m e r a i s a d j u s t e d f o r e a c h o b j e c t t o p r e v e n t s a t u r a t i o n , a n d . 3 n e u t r a l d e n s i t y g e l

i s a d d e d t o t h e r e d a n d g r e e n l t e r s t o m o r e c l o s e l y m a t c h t h e t r a n s m i s s i o n o f t h e b l u e

l t e r . T h e i l l u m i n a t i o n c o l o r i s a l t e r e d b y p l a c i n g g e l l t e r s i n f r o n t o f t h e l a m p s . T h e r e i s

s o m e v a r i a t i o n i n t h e i l l u m i n a t i o n o f o b j e c t s c e n e s . T h e l t e r s c a n n o t n o t b e p l a c e d c l o s e

e n o u g h t o l a m p s t o p r e v e n t a l l t h e u n l t e r e d l i g h t f r o m f a l l i n g o n t h e o b j e c t . A l t h o u g h w e

a r e u n a b l e t o m e a s u r e t h e e e c t s o f t h i s a m b i e n t i l l u m i n a t i o n , t h e c h r o m a t i c i t y d e s c r i p t i o n s

a r e s t i l l u n i q u e e n o u g h f o r r e c o g n i t i o n .

T h e d a t a b a s e i m a g e s a r e t a k e n w i t h t h e i l l u m i n a t i o n l t e r e d b y L e e F i l t e r 2 0 1 ( F u l l

C T B l u e ) w h i c h m o v e s t h e i n c a n d e s c e n t l i g h t t o w a r d s a n e u t r a l c o l o r . S p e c u l a r i t i e s i n t h e

m o d e l i m a g e s a r e r e m o v e d b y i n t e n s i t y t h r e s h o l d i n g m e t h o d s 2 1 ] o r b y h a n d b e f o r e t h e

c h r o m a t i c i t y d e s c r i p t o r s a r e c r e a t e d . F i g u r e 3 ( a ) , ( b ) a n d ( c ) s h o w t h e d a t a b a s e o b j e c t s ,

t h e i r c h r o m a t i c i t y d i a g r a m s i n t h e x s p a c e , a n d i n t h e s p a c e , r e s p e c t i v e l y . T h e r a n g e o f

t h e c h r o m a t i c i t y s p a c e i s f r o m - 1 t o 1 a l o n g t h e

1

a n d

2

a x e s . A s q u a r e w i n d o w i s

9

7/27/2019 10.1.1.52.9208

10/15

c y l g e l g u n g u n ' h o r s e n u t p a d p e a t o o t h

c y l . 3 4 . 3 2 . 3 1 . 3 3 . 3 3 . 2 6 . 2 7 . 2 9 . 3 1

g e l . 2 9 . 3 3 . 2 9 . 3 5 . 3 2 . 2 8 . 3 1 . 3 4 . 2 7

g u n . 2 9 . 2 9 . 3 8 . 3 9 . 3 4 . 3 1 . 2 9 . 3 0 . 2 7

h o r s e . 3 0 . 3 4 . 3 8 . 3 9 . 3 6 . 3 5 . 3 2 . 3 2 . 3 3

n u t . 2 7 . 2 9 . 2 7 . 2 9 . 2 8 . 2 6 . 2 8 . 2 8 . 2 5

p a d . 2 8 . 3 0 . 2 9 . 3 2 . 2 9 . 2 7 . 3 0 . 3 0 . 3 3

p e a . 2 5 . 2 7 . 3 0 . 3 1 . 2 8 . 2 6 . 2 6 . 3 7 . 2 4

t o o t h . 2 3 . 2 7 . 2 9 . 2 8 . 2 7 . 2 5 . 2 9 . 2 9 . 2 7

T a b l e 1 : R e s u l t s f r o m t h e x - c h r o m a t i c i t y d i a g r a m s

c y l g e l g u n g u n ' h o r s e n u t p a d p e a t o o t h

c y l . 8 2 . 5 7 . 4 3 . 4 6 . 5 8 . 5 3 . 5 0 . 5 6 . 4 7

g e l . 6 4 . 8 7 . 5 2 . 5 5 . 7 0 . 7 0 . 6 9 . 6 6 . 6 4

g u n . 5 0 . 5 2 . 8 3 . 8 2 . 5 9 . 4 5 . 6 1 . 5 8 . 4 4

h o r s e . 6 6 . 7 7 . 6 1 . 6 6 . 9 0 . 7 1 . 7 8 . 7 1 . 5 9

n u t . 5 7 . 7 3 . 5 1 . 5 5 . 7 3 . 9 0 . 6 9 . 7 3 . 6 6

p a d . 5 1 . 6 7 . 6 0 . 6 9 . 7 7 . 5 6 . 8 4 . 5 6 . 5 9

p e a . 7 2 . 7 2 . 5 4 . 6 1 . 7 6 . 7 6 . 7 0 . 8 8 . 6 3

t o o t h . 5 4 . 6 4 . 5 1 . 5 2 . 6 9 . 7 2 . 6 6 . 6 8 . 8 4

T a b l e 2 : R e s u l t s f r o m t h e - c h r o m a t i c i t y d i a g r a m s

p l a c e d o v e r t h e c h r o m a t i c i t y s p a c e r a n g i n g f r o m - 4 . 0 t o 4 . 0 . T e s t i m a g e s a r e c r e a t e d b y

v a r y i n g t h e p o s e o f t h e n e w o b j e c t s a n d b y n o t l t e r i n g t h e i n c a n d e s c e n t l i g h t . T e s t i m a g e s ,

t h e i r c h r o m a t i c i t y d i a g r a m s i n t h e x s p a c e a n d i n t h e s p a c e a r e s h o w n i n F i g u r e 3 ( d ) ,

( e ) a n d ( f ) , r e s p e c t i v e l y . S o m e o f t h e t e s t i m a g e s c o n t a i n s p e c u l a r i t i e s w h i l e s o m e d o n o t .

T h e s e t e s t o b j e c t s a r e t h e n u s e d t o t e s t t h e i l l u m i n a t i o n p o s e a n d c o l o r i n v a r i a n c e . N o t i c e

t h a t t h e x - c h r o m a t i c i t y d i a g r a m s s h o w s u b s t a n t i a l d e f o r m a t i o n b e t w e e n t h e d a t a b a s e a n d

t e s t o b j e c t s w h i l e t h e - c h r o m a t i c i t y d i a g r a m s d o n o t .

T o p r o v i d e a r e f e r e n c e f o r t h e - c h r o m a t i c i t y p e r f o r m a c e , t h e x - c h r o m a t i c i t y p e r f o r m a n c e

i s t e s t e d , a n d t h e r e s u l t s a r e s h o w n i n T a b l e 1 . T h e l e f t m o s t c o l u m n r e p r e s e n t s t h e d a t a b a s e

o b j e c t s u n d e r t h e r e f e r e n c e l i g h t a n d t h e t o p r o w t h e t e s t o b j e c t s u n d e r t h e u n l t e r e d

i n c a n d e s c e n t l i g h t . F o r t h e p l a s t i c g u n , a n e x t r a p o s e i s g e n e r a t e d f o r m o r e s p e c u l a r i t i e s

( d e n o t e d b y \ g u n ' " ) . T h e d a t a e n t r i e s i n t h e t a b l e a r e c o r r e l a t i o n v a l u e s b e t w e e n t h e t e s t

a n d d a t a b a s e o b j e c t s . N o t s u r p r i s i n g l y , t h i s a p p r o a c h d o e s n o t p e r f o r m v e r y w e l l . B e c a u s e

t h e t e s t i m a g e s a r e t a k e n u n d e r a d i e r e n t i l l u m i n a t i o n c o l o r , t h e x d i a g r a m s a r e d e f o r m e d

b e y o n d a s i m p l e t r a n s l a t i o n . O f t h e n i n e t e s t i m a g e s o n l y t h r e e a r e r e c o g n i z e d s u c c e s s f u l l y .

S i x o f t h e t e s t s i m a g e s a r e m a r k e d a s n o n - d i s t i n c t b e c a u s e t h e t e s t i m a g e r e t u r n s m a t c h e d

v a l u e s w i t h i n t e n p e r c e n t o f e a c h o t h e r . T h e r e s u l t s p r o v i d e a r e f e r e n c e t o j u d g e t h e e e c t

o f t h e c h r o m a t i c i t y s p a c e .

1 0

7/27/2019 10.1.1.52.9208

11/15

(a) (b) (c) (d) (e) (f)

F i g u r e 3 : ( a ) D a t a b a s e o b j e c t s , ( b ) x c h r o m a t i c i t y d i a g r a m s , ( c ) c h r o m a t i c i t y d i a g r a m s ,

( d ) t e s t o b j e c t s , ( e ) x c h r o m a t i c i t y d i a g r a m s , a n d ( f ) c h r o m a t i c i t y d i a g r a m s . C o l o r v e r s i o n s

o f c o l u m n s ( a ) a n d ( d ) a r e a v a i l a b l e a t h t t p : / / a i . e e c s . u m i c h . e d u / v i s i o n / d a t a b a s e . h t m l

1 1

7/27/2019 10.1.1.52.9208

12/15

x - c h r o m a t i c i t y - c h r o m a t i c i t y

N o . o f T e s t s 9 9

N o . R e c o g 3 9

N o . N o n - d i s t i n c t 6 0

A v e r a g e R a n k 1 . 2 1

T a b l e 3 : S u m m a r y o f r e s u l t s f r o m x - c h r o m a t i c i t y a n d - c h r o m a t i c i t y d i a g r a m s

T h e m a t c h i n g r e s u l t s f r o m t h e c h r o m a t i c i t y d i a g r a m s a r e s h o w n i n T a b l e 2 . T h e

a l g o r i t h m s h o w e d s i g n i c a n t i m p r o v e m e n t o v e r t h e x c h r o m a t i c i t y m e t h o d . A l l e x c e p t o n e

o f t h e t e s t i m a g e s a r e c o r r e c t l y m a t c h e d . T h e r e m a i n i n g i m a g e , o f t h e g e l ( w h i c h c o n t a i n e d

s i g n i c a n t s p e c u l a r i t i e s ) , i s o r i g i n a l l y m a r k e d n o n - d i s t i n c t b e c a u s e t w o h i g h m a t c h v a l u e s

a r e r e t u r n e d . E v e n t h o u g h t h e a l g o r i t h m c a n n o t d e t e r m i n e w i t h c e r t a i n t y w h i c h o b j e c t i s

i n t h e t e s t i m a g e , i t i s a w a r e o f i t s f a i l u r e . O u r s p e c u l a r i t y d e t e c t i o n / r e j e c t i o n m e t h o d w a s

a p p l i e d t o t h e n o n - d i s t i n c t t e s t i m a g e a n d t h e t w o b e s t m a t c h i n g m o d e l i m a g e s : t h e g e l a n d

t h e h o r s e . T h e d i e r e n c i n g i n c r e a s e d t h e c o r r e l a t i o n o f t h e t e s t i m a g e w i t h t h e g e l m o d e l ,

b u t d i d n o t c h a n g e t h e c o r r e l a t i o n w i t h t h e m o d e l h o r s e i m a g e . T a b l e 3 s u m m a r i z e s t h e

p e r f o r m a n c e o f t h e x a n d c h r o m a t i c i t y s p a c e s i n t e r m s o f s o m e m e a s u r e s : \ N o . R e c o g " ,

a n d \ N o . N o n - d i s t i n c t " d e n o t e t h e n u m b e r o f t i m e s t h e a l g o r i t h m c o r r e c t l y r e c o g n i z e s a t e s t

o b j e c t a n d c a n n o t d i s t i n g u i s h b e t w e e n m a t c h e s , r e s p e c t i v e l y , a n d t h e r a n k i s t h e p o s i t i o n o f

t h e c o r r e c t m a t c h i n g i n t h e s o r t e d l i s t o f m a t c h v a l u e s .

6 D i s c u s s i o n

C h r o m a t i c i t y r e p r e s e n t a t i o n s o f o b j e c t c o l o r s d i s c o u n t o b j e c t s h a d i n g v a r i a t i o n t h a t r e s u l t s

f r o m i l l u m i n a t i o n p o s e c h a n g e . I t i s o u r i n t e n t t o s e p a r a t e t h e c o l o r i n f o r m a t i o n f r o m g e o m e t -

r i c i n f o r m a t i o n t h a t i s o t h e r w i s e c o n f o u n d e d i n R G B v a l u e s . T h e p r o p o s e d l o g - s e n s o r - r a t i o

c h r o m a t i c i t y s p a c e f u r t h e r p r o v i d e s i l l u m i n a t i o n c o l o r i n v a r i a n c e u p t o t r a n s l a t i o n a n d o u r

s p e c u l a r i t y r e j e c t i o n m e t h o d r e d u c e t h e i n u e n c e o f s p e c u l a r r e e c t i o n s o n c h r o m a t i c i t y

d i s t r i b u t i o n .

M e t h o d s t h a t a r e b a s e d o n r e e c t a n c e r a t i o s a n d n a r r o w - b a n d l t e r s h a v e b e e n s u g g e s t e d

p r e v i o u s l y b y F u n t a n d F i n l a y s o n 1 4 ] a n d N a y a r a n d B o l l e 2 9 ] . T h e m a i n d i e r e n c e i s t h a t

t h e p r o p o s e d l o g - s e n s o r - r a t i o m e t h o d c r e a t e s t h e s i g n a t u r e f r o m t h e r a t i o o f d i e r e n t c o l o r

b a n d s a t t h e s a m e p i x e l , w h i l e t h e p r e v i o u s r a t i o - b a s e d m e t h o d s u s e r a t i o s o f d i e r e n t

p i x e l s i n t h e s a m e c o l o r b a n d . A n o t h e r d i e r e n c e i s t h a t t h e p r e v i o u s r a t i o - b a s e d m e t h o d s

c o n c e n t r a t e o n l y o n i m a g e r e g i o n s w h e r e c o l o r v a r i e s s u b s t a n t i a l l y , s u c h a s c o l o r e d g e s , a n d

d o n o t u t i l i z e u n i f o r m l y c o l o r e d a r e a s . I f s u r f a c e o r i e n t a t i o n s d o n o t v a r y o v e r n e i g h b o r i n g

p i x e l s , t h e p r e v i o u s r e e c t a n c e - r a t i o m e t h o d s a c h i e v e i l l u m i n a t i o n c o l o r a n d p o s e i n v a r i a n c e .

T h i s i n v a r i a n c e o c c u r s b e c a u s e t h e i l l u m i n a t i o n a n d s u r f a c e n o r m a l a r e c o n s i d e r e d t o b e t h e

s a m e f o r t h e p i x e l s u s e d i n t h e r a t i o a n d h e n c e o n l y t h e r a t i o o f o b j e c t c o l o r r e m a i n s .

H o w e v e r , i f t h e s u r f a c e n o r m a l s a r e n o t t h e s a m e , t h e n t h e r a t i o w i l l n o t b e i n v a r i a n t . T h e

1 2

7/27/2019 10.1.1.52.9208

13/15

d i e r e n t s h a d i n g t h a t m a y r e s u l t f r o m a l t e r i n g t h e i n c i d e n t l i g h t c o n g u r a t i o n w i l l c a u s e

t h e r a t i o s t o v a r y . T h i s m a y o c c u r w h e r e s u r f a c e o r i e n t a t i o n c h a n g e s s u b s t a n t i a l l y s u c h a s

v e r t i c e s o f p o l y h e d r a l o b j e c t s . O u r p r o p o s e d m e t h o d e l i m i n a t e s t h i s p r o b l e m b y e l i m i n a t i n g

t h e e e c t s o f s h a d i n g u s i n g t h e c h r o m a t i c i t y s p a c e . O n t h e o t h e r h a n d , t h e p r e v i o u s r a t i o -

b a s e d m e t h o d s r e q u i r e o n l y l o c a l i l l u m i n a t i o n c o l o r u n i f o r m i t y a n d l e s s s e n s i t i v e t o g r a d u a l

c h a n g e o f i l l u m i n a t i o n c o l o r a c r o s s a s c e n e . V a r y i n g i l l u m i n a t i o n i n t h e l o g - s e n s o r - r a t i o

c h r o m a t i c i t y s p a c e w i l l c a u s e d i e r e n t p i x e l s t o e x p e r i e n c e a d i e r e n t t r a n s l a t i o n . T h e s e

d i e r i n g t r a n s l a t i o n w i l l c a u s e t h e s i g n a t u r e t o w a r p b e y o n d a s i m p l e t r a n s l a t i o n o f t h e

m o d e l s i g n a t u r e . T h u s , t h e l o g - s e n s o r - r a t i o s p a c e c a n o n l y b e e e c t i v e i f i l l u m i n a t i o n c o l o r

i s u n i f o r m t h r o u g h o u t t h e s c e n e .

I n t h i s p a p e r , w e i n t r o d u c e a s p e c u l a r i t y r e j e c t i o n m e t h o d t h a t i s c l o s e l y c o u p l e d w i t h

i l l u m i n a t i o n c o l o r - i n v a r i a n t c h r o m a t i c i t y m a t c h i n g . T o o u r k n o w l e d g e , s p e c u l a r i t y h a s n o t

b e e n a d d r e s s e d b y p r e v i o u s m e t h o d s . W e a s s u m e t h a t s p e c u l a r i t y i s l o c a l i z e d i n s p a c e

( s p e c u l a r s p i k e ) a n d d o e s n o t f u l l y o c c l u d e c r i t i c a l c o l o r s i n d i u s e r e e c t i o n s . T h e c o l o r

d i s t r i b u t i o n i s i n g e n e r a l i n s e n s i t i v e t o p a r t i a l o c c l u s i o n s s i n c e a c o l o r d i s t r i b u t i o n s i g n a t u r e

i s g e n e r a t e d f r o m a w h o l e o b j e c t s u r f a c e . S l i g h t c o l o r v a r i a t i o n d u e t o s p a t i a l l y e x t e n d e d

b u t w e a k l u s t e r i s r e g a r d e d a s n o i s e . B e y o n d t h i s c o n d i t i o n , o u r m e t h o d a d d s c h r o m a t i c i t y

d i e r e n c i n g t o h e l p r e d u c e t h e e e c t o f s p e c u l a r i t y . I n a t e s t i m a g e c o n t a i n i n g s p e c u l a r i t y ,

t h e s p e c u l a r r e g i o n w i l l a d d c h r o m a t i c i t y c l u s t e r s r a n g i n g f r o m t h e o b j e c t c h r o m a t i c i t y t o t h e

i l l u m i n a t i o n c h r o m a t i c i t y . T h e s e a d d i t i o n a l c h r o m a t i c i t i e s s h o u l d a p p e a r a s a n a d d i t i o n a l

l o b e t o t h e m o d e l s i g n a t u r e . C h r o m a t i c i t y d i e r e n c i n g f o r c e s t h e t e s t s i g n a t u r e t o b e c l o s e r

t o t h e m o d e l s i g n a t u r e e l i m i n a t i n g l o b e s t h a t e x t e n d f r o m m o d e l c h r o m a t i c i t y c l u s t e r s t o

i l l u m i n a t i o n c h r o m a t i c i t y .

7 C o n c l u s i o n

T o e e c t i v e l y e m p l o y c o l o r i n f o r m a t i o n a s a r e l i a b l e d e s c r i p t o r o f a n o b j e c t f o r r e c o g n i t i o n ,

c o l o r r e e c t a n c e i n t r i n s i c t o t h e o b j e c t s u r f a c e s h o u l d b e e x t r a c t e d , a n d t h e v a r i a t i o n o f c o l o r

a p p e a r a n c e d u e t o v i e w i n g a n d i l l u m i n a t i o n p o s e , i l l u m i n a t i o n c o l o r , a n d s p e c u l a r i t y n e e d s

t o b e d i s c o u n t e d . W e p r o p o s e t h e u s e o f a c h r o m a t i c i t y s p a c e b a s e d o n l o g - s e n s o r - r a t i o o f

s e n s o r r e s p o n s e s f o r i l l u m i n a t i o n - p o s e a n d i l l u m i n a t i o n - c o l o r i n v a r i a n c e . W e a l s o s u g g e s t a

s p e c u l a r i t y r e j e c t i o n m e t h o d b a s e d o n c h r o m a t i c i t y d i e r e n c i n g . E x p e r i m e n t a l r e s u l t s a r e

p r e s e n t e d t o d e m o n s t r a t e t h e e c a c y o f t h e p r o p o s e d c h r o m a t i c i t y s p a c e a n d s p e c u l a r i t y

r e j e c t i o n m e t h o d .

R e f e r e n c e s

1 ] J . R . B a c h , C . F u l l e r , A . G u p t a , A . H a m p a p u r , R . H o r o w i t z , R . H u m p h r e y , R . C . J a i n ,

a n d C . S h u . V i r a g e i m a g e s e a r c h e n g i n e : A n o p e n f r a m e w o r k f o r i m a g e m a n a g e m e n t . I n

P r o c . S P I E S t o r a g e a n d R e t r i e v a l o f S t i l l I m a g e a n d V i d e o D a t a b a s e s I V , p a g e s 7 6 { 8 7 ,

S a n J o s e , C A , 1 9 9 6 .

1 3

7/27/2019 10.1.1.52.9208

14/15

2 ] R . B a j c s y , S . W . L e e , a n d A . L e o n a r d i s . D e t e c t i o n o f d i u s e a n d s p e c u l a r i n t e r f a c e

r e e c t i o n s a n d i n t e r - r e e c t i o n s b y c o l o r i m a g e s e g m e n t a t i o n . I J C V , 1 7 , 1 9 9 6 .

3 ] G . B r e l s t a a n d A . B l a k e . D e t e c t i n g s p e c u l a r r e e c t i o n s u s i n g l a m b e r t a i n c o n s t r a i n t s .

I n P r o c . o f I E E E I n t . C o n f . o n C o m p u t e r V i s i o n , p a g e s 2 9 7 { 3 0 2 , T a r p o n S p r i n g s , F L ,

1 9 8 8 .

4 ] Q . S . C h e n , M . D e f r i s e , a n d F . D e c o n i n c k . S y m m e t r i c p h a s e - o n l y m a t c h e d l t e r i n g o f

f o u r i e r - m e l l i n t r a n s f o r m s f o r i m a g e r e g i s t r a t i o n a n d r e c o g n i t i o n . I E E E T r a n s . P A M I ,

1 6 : 1 1 5 6 { 1 1 6 8 , 1 9 9 4 .

5 ] R . T . C h i n a n d C . R . D y e r . M o d e l - b a s e d r e c o g n i t i o n i n r o b o t v i s i o n . A C M C o m p u t i n g

S u r v e y s , 1 8 , 1 9 8 6 .

6 ] J . C o h e n . D e p e n d e n c y o f t h e s p e c t r a l r e e c t a n c e c u r v e s o f t h e m u n s e l l c o l o r c h i p s .

P s y c h o n . S c i . , 1 : 3 6 9 { 3 7 0 , 1 9 6 4 .

7 ] M . D ' Z m u r a a n d P . L e n n i e . M e c h a n i s m s o f c o l o r c o n s t a n c y . J O S A , 3 : 1 6 6 2 { 1 6 7 2 , 1 9 8 6 .

8 ] M . F l i c k n e r e t a l . Q u e r y b y i m a g e a n d v i d e o c o n t e n t : T h e q b i c s y s t e m . I E E E C o m p u t e r ,

2 8 : 2 3 { 3 2 , 1 9 9 5 .

9 ] O . D . F a u g e r a s . D i g i t a l c o l o r i m a g e p r o c e s s i n g w i t h i n t h e f r a m e w o r k o f a h u m a n v i s u a l

m o d e l . I E E E T r a n s . A S S P , 2 7 : 3 8 0 { 3 9 3 , 1 9 7 9 .

1 0 ] G . D . F i n l a y s o n . C o l o r i n p e r s p e c t i v e . I E E E T r a n s . P A M I , 1 8 ( 1 0 ) : 1 0 3 4 { 1 0 3 8 , 1 9 9 6 .

1 1 ] G . D . F i n l a y s o n , M . S . D r e w , a n d B . V . F u n t . C o l o r c o n s t a n c y : G e n e r a l i z e d d i a g o n a l

t r a n s f o r m s s u c e . J O S A , 1 1 : 3 0 1 1 { 3 0 1 9 , 1 9 9 4 .

1 2 ] G . D . F i n l a y s o n , M . S . D r e w , a n d B . V . F u n t . S p e c t r a l s h a r p e n i n g : S e n s o r t r a n s f o r m a -

t i o n s f o r i m p r o v e d c o l o r c o n s t a n c y . J O S A , 1 1 : 1 5 5 3 { 1 5 6 3 , 1 9 9 4 .

1 3 ] D . A . F o r s y t h . A n o v e l a p p r o a c h t o c o l o u r c o n s t a n c y . I J C V , 5 : 5 { 3 6 , 1 9 9 0 .

1 4 ] B . V . F u n t a n d G . D . F i n l a y s o n . C o l o r c o n s t a n t c o l o r i n d e x i n g . I E E E T r a n s . P A M I ,

1 7 : 5 2 2 { 5 2 9 , 1 9 9 5 .

1 5 ] G . H . H e a l e y . U s i n g c o l o r f o r g e o m e t r y - i n s e n s i t i v e s e g m e n t a t i o n . J O S A , 6 , 1 9 8 9 .

1 6 ] G . H . H e a l e y a n d D . S l a t e r . G l o b a l c o l o r c o n s t a n c y : R e c o g n i t i o n o f o b j e c t s b y u s e o f

i l l u m i n a t i o n - i n v a r i a n t p r o p e r t i e s o f c o l o r d i s t r i b u t i o n s . J O S A , 1 1 , 1 9 9 4 .

1 7 ] D . P . H u t t e n l o c h e r a n d S . U l l m a n . R e c o g n i z i n g s o l i d o b j e c t s b y a l i g n m e n t . I J C V , 5 ,

1 9 9 0 .

1 8 ] G . J . K l i n k e r , S . A . S h a f e r , a n d T . K a n a d e . A p h y s i c a l a p p r o a c h t o c o l o r i m a g e u n d e r -

s t a n d i n g . I J C V , 4 , 1 9 9 0 .

1 9 ] J . J . K o e n d e r i k , W . A . v a n d e G r i n d , a n d M . A . B o u m a n . O p p o n e n t c o l o r c o d i n g : A

m e c h a n i c a l m o d e l a n d a n e w m e t r i c f o r c o l o r s p a c e . K y b e r n e t i k , 1 0 : 7 8 { 9 8 , 1 9 7 2 .

2 0 ] E . H . L a n d a n d J . J . M c C a n n . L i g h t n e s s a n d r e t i n e x t h e o r y . J O S A , 6 1 : 1 { 1 1 , 1 9 7 1 .

1 4

7/27/2019 10.1.1.52.9208

15/15

2 1 ] S . W . L e e a n d R . B a j c s y . D e t e c t i o n o f s p e c u l a r i t y u s i n g c o l o r a n d m u l t i p l e v i e w s . I m a g e

a n d V i s i o n C o m p u t i n g , 1 0 : 6 4 3 { 6 5 3 , 1 9 9 2 .

2 2 ] S . L i n a n d S . W . L e e . D e t e c t i o n o f s p e c u l a r i t y u s i n g s t e r e o i n c o l o r a n d p o l a r i z a t i o n

s p a c e . C o m p u t e r V i s i o n a n d I m a g e U n d e r s t a n d i n g , 1 9 9 7 .

2 3 ] S . L i n a n d S . W . L e e . U s i n g c h r o m a t i c i t y d i s t r i b u t i o n s a n d e i g e n s p a c e f o r p o s e - ,

i l l u m i n a t i o n - , a n d s p e c u l a r i t y - i n v a r i a n t 3 d o b j e c t r e c o g n i t i o n . I n T o A p p e a r i n P r o c .

I E E E C o n f . C o m p t . V i s i o n a n d P a t t e r n R e c o g . , 1 9 9 7 .

2 4 ] L . T . M a l o n e y a n d B . A . W a n d e l l . A c o m p u t a t i o n a l m o d e l o f c o l o r c o n s t a n c y . J O S A ,

1 : 2 9 { 3 3 , 1 9 8 6 .

2 5 ] H . M u r a s e a n d S . K . N a y a r . V i s u a l l e a r n i n g a n d r e c o g n i t i o n o f 3 - d o b j e c t s f r o m a p p e a r -

a n c e . I J C V , 1 4 , 1 9 9 5 .

2 6 ] M . N a g a o , T . M a t s u y a m a , a n d Y . I k e d a . R e g i o n e x t r a c t i o n a n d s h a p e a n a l y s i s i n a e r i a l

i m a g e s . C G I P , 1 0 ( 3 ) : 1 9 5 { 2 2 3 , J u l y 1 9 7 9 .

2 7 ] S . K . N a y a r , X . S . F a n g , a n d T . B o u l t . S e p a r a t i o n o f r e e c t i o n c o m p o n e n t s u s i n g c o l o r

a n d p o l a r i z a t i o n . I n P r o c . D A R P A I U W o r k s h o p , p a g e s 1 0 4 9 { 1 0 6 0 , W a s h i n g t o n , D C ,

1 9 9 3 .

2 8 ] S . K . N a y a r , K . I k e u c h i , a n d T . K a n a d e . D e t e r m i n i n g s h a p e a n d r e e c t a n c e o f h y b r i d

s u r f a c e s b y p h o t o m e t r i c s a m p l i n g . I E E E T r a n s . R o b o . A u t o m . , 6 : 4 1 8 { 4 3 1 , 1 9 9 0 .

2 9 ] S . K . N a y a r a n d R . M . B o l l e . R e e c t a n c e b a s e d o b j e c t r e c o g n i t i o n . I J C V , 1 7 , 1 9 9 6 .

3 0 ] D . S l a t e r a n d G . H . H e a l e y . T h e i l l u m i n a t i o n - i n v a r i a n t r e c o g n i t i o n o f 3 d o b j e c t s u s i n g

l o c a l c o l o r i n v a r i a n t s . I E E E T r a n s . P A M I , 1 8 ( 2 ) , 1 9 9 6 .

3 1 ] D . S l a t e r a n d G . H . H e a l e y . U s i n g s p e c t r a l r e e c t a n c e m o d e l f o r t h e i l l u m i n a t i o n -

i n v a r i a n t r e c o g n i t i o n o f l o c a l i m a g e s t r u c t u r e . I n P r o c . C V P R , p a g e s 7 7 0 { 7 7 5 , 1 9 9 6 .

3 2 ] M . J . S w a i n . C o l o r i n d e x i n g . I J C V , 7 : 1 1 { 3 2 , 1 9 9 1 .

3 3 ] M . A . T u r k a n d A . P e n t l a n d . F a c e r e c o g n i t i o n u s i n g e i g e n f a c e s . I n P r o c . C V P R , p a g e s

5 8 6 { 5 9 1 , 1 9 9 1 .

3 4 ] G . W e s t a n d M . H . B r i l l . N e c e s s a r y a n d s u c i e n t c o n d i t i o n s f o r v o n k r i e s c h r o m a t i c

a d p t a t i o n t o g i v e c o l o u r c o n s t a n c y . J . M a t h . B i o l . , 1 5 : 2 4 9 { 2 5 8 , 1 9 8 2 .

3 5 ] L . B . W o l . U s i n g p o l a r i z a t i o n t o s e p a r a t e r e e c t i o n c o m p o n e n t s . I n P r o c . o f C V P R ,

p a g e s 3 6 3 { 3 6 9 , S a n D i e g o , 1 9 8 9 .

1 5