7/27/2019 10.1.1.52.9208
1/15
A C h r o m a t i c i t y S p a c e f o r S p e c u l a r i t y , I l l u m i n a t i o n
C o l o r - a n d I l l u m i n a t i o n P o s e - I n v a r i a n t 3 - D O b j e c t
R e c o g n i t i o n
D a n i e l B e r w i c k a n d S a n g W o o k L e e
( d b e r w i c k @ u m i c h . e d u a n d s w l e e @ u m i c h . e d u )
D e p t . o f E l e c t r i c a l E n g i n n e r i n g a n d C o m p u t e r S c i e n c e
U n i v e r s i t y o f M i c h i g a n
A n n A r b o r , M I 4 8 1 0 4
A b s t r a c t
M o s t o f t h e r e c e n t c o l o r r e c o g n i t i o n / i n d e x i n g a p p r o a c h e s c o n c e n t r a t e o n e s t a b l i s h -
i n g i n v a r i a n c e t o i l l u m i n a t i o n c o l o r t o i m p r o v e t h e u t i l i t y o f c o l o r r e c o g n i t i o n . H o w -
e v e r , o t h e r e e c t s c a u s e d b y i l l u m i n a t i o n p o s e a n d s p e c u l a r i t y o n t h r e e - d i m e n s i o n a l
o b j e c t s u r f a c e s h a v e n o t r e c e i v e d n o t a b l e a t t e n t i o n . W e p r e s e n t a c h r o m a t i c i t y r e c o g -
n i t i o n m e t h o d t h a t d i s c o u n t s t h e e e c t s o f i l l u m i n a t i o n p o s e , i l l u m i n a t i o n c o l o r a n d
s p e c u l a r i t y . I t u t i l i z e s a c h r o m a t i c i t y s p a c e b a s e d o n l o g - r a t i o o f s e n s o r r e s p o n s e s f o r
i l l u m i n a t i o n p o s e a n d c o l o r i n v a r i a n c e . A m o d e l - b a s e d s p e c u l a r i t y d e t e c t i o n / r e j e c t i o n
a l g o r i t h m c a n b e u s e d t o i m p r o v e t h e c h r o m a t i c i t y r e c o g n i t i o n a n d i l l u m i n a t i o n e s t i m a -
t i o n f o r o b j e c t s i n c l u d i n g s p e c u l a r r e e c t i o n s .
1
7/27/2019 10.1.1.52.9208
2/15
1 I n t r o d u c t i o n
R e e c t a n c e - b a s e d r e c o g n i t i o n / i n d e x i n g i s a c l e a r c o n t r a s t t o t h e p r e v i o u s r e c o g n i t i o n a p -
p r o a c h e s . T r a d i t i o n a l o b j e c t r e c o g n i t i o n a n d v i e w i n g c o n d i t i o n e s t i m a t i o n u s e s g e o m e t -
r i c c u e s s u c h a s 3 - D o b j e c t s h a p e m o d e l s a n d g e o m e t r i c r e l a t i o n s h i p s b e t w e e n o b j e c t f e a -
t u r e s , a n d r e c e n t a p p e a r a n c e - b a s e d a p p r o a c h e s d e s c r i b e a n o b j e c t b y u s i n g r e l a t i v e l y c o m p a c t
e i g e n s p a c e s d e r i v e d o n l y f r o m i m a g e a p p e a r a n c e s u n d e r v a r i o u s v i e w i n g c o n d i t i o n s 5 ] 1 7 ]
3 3 ] 2 5 ] . A l t h o u g h c o l o r r e e c t a n c e h a s b e e n c o n c e i v e d a s a n o b v i o u s o b j e c t d e s c r i p t o r a n d
c o l o r m a t c h i n g h a s b e e n a c e n t r a l f o c u s o f c o l o r s c i e n c e a n d e n g i n e e r i n g , o n l y r e c e n t l y h a v e a
n u m b e r o f r e s e a r c h e r s b e g u n t o e x p l o r e t h e u s e o f c o l o r d i s t r i b u t i o n s a s s i g n a t u r e s f o r o b j e c t
r e c o g n i t i o n . T h e i r w o r k h a s d e m o n s t r a t e d t h a t c o l o r c a n p o t e n t i a l l y b e a s t r o n g c u e 3 2 ]
2 6 ] 2 9 ] 1 4 ] 1 6 ] 3 0 ] . F o r i m a g e r e t r i e v a l f r o m a n i m a g e d a t a b a s e , c o l o r i s o n e o f t h e m o s t
e e c t i v e c u e s 8 ] 1 ] .
T h e e a r l y a p p r o a c h e s f o r r e c o g n i z i n g o b j e c t s b a s e d o n t h e i r c o l o r d i s t r i b u t i o n s w e r e d e -
v e l o p e d b y N a g a o e t a l . a n d b y S w a i n a n d B a l l a r d 2 6 ] 3 2 ] . A l t h o u g h t h i s i n i t i a l w o r k
d o e s n o t a d d r e s s t h e p r o b l e m s o f c h a n g i n g v i e w i n g c o n d i t i o n s s u c h a s i l l u m i n a t i o n d i r e c t i o n
a n d c o l o r c h a n g e , i t i n t r o d u c e d t h e u s e f u l n e s s o f c o l o r i n r e c o g n i t i o n a n d m o t i v a t e d w o r k
f o r i l l u m i n a t i o n c o l o r - i n v a r i a n t r e c o g n i t i o n . I n o r d e r f o r o b j e c t c o l o r t o b e s t a b l e t o d i f -
f e r e n t i l l u m i n a t i o n e n v i r o n m e n t s , v a r i a t i o n s i n c o l o r d i s t r i b u t i o n s d u e t o s h a d i n g , l i g h t i n g
c o l o r , a n d s p e c u l a r r e e c t i o n s n e e d t o b e d i s c o u n t e d . T h e p r o b l e m o f c o l o r c o n s t a n c y f o r
d i s c o u n t i n g i l l u m i n a t i o n c o l o r t o o b t a i n r e e c t a n c e c o l o r h a s b e e n t h e t o p i c o f m u c h r e s e a r c h
i n p s y c h o l o g y a n d c o m p u t e r v i s i o n 2 0 ] 3 4 ] 2 4 ] 1 3 ] 1 1 ] . T h e k n o w l e d g e g a i n e d t h r o u g h
c o l o r c o n s t a n c y r e s e a r c h i s r e e c t e d i n r e c e n t r e c o g n i t i o n / i n d e x i n g m e t h o d s t h a t e x p l o r e
i l l u m i n a t i o n - i n v a r i a n t d e s c r i p t o r s f r o m c o l o r d i s t r i b u t i o n s .
F u n t a n d F i n l a y s o n 1 4 ] d e v e l o p e d c o l o r - c o n s t a n t c o l o r i n d e x i n g ( C C C I ) t o d e a l w i t h
s c e n e s w i t h v a r i a t i o n s i n i l l u m i n a t i o n c o l o r . B y h i s t o g r a m m i n g r a t i o s o f R G B v a l u e s o f
a d j a c e n t p i x e l s , t h e y a c h i e v e a d e g r e e o f c o l o r c o n s t a n c y t h a t i s r e l a t i v e l y i n s e n s i t i v e t o
i l l u m i n a t i o n c h a n g e s . I n d e p e n d e n t l y , N a y a r a n d B o l l e a l s o u s e d r e e c t a n c e r a t i o s f o r o b j e c t
r e c o g n i t i o n 2 9 ] . H e a l e y e t a l . p r e s e n t e d v a r i o u s m e t h o d s m o s t l y b a s e d o n t h e a n e p r o p e r t y
o f c o l o r d i s t r i b u t i o n c h a n g e . B y a s s u m i n g a n i t e - d i m e n s i o n a l l i n e a r s u r f a c e r e e c t a n c e
m o d e l , c h a n g e s i n i l l u m i n a t i o n c o l o r r e s u l t i n a l i n e a r t r a n s f o r m a t i o n o f g l o b a l c o l o r p i x e l
d i s t r i b u t i o n s i n R G B s p a c e 1 6 ] 3 0 ] 3 1 ] . T h e i r w o r k h a s b e e n e x t e n d e d t o n d l o c a l c o l o r
f e a t u r e s b y r e s t r i c t i n g t h e s p a t i a l e x t e n t o f r e g i o n s i n a c o l o r i m a g e .
I n t h i s p a p e r , w e p r e s e n t a n a p p r o a c h f o r i n c r e a s i n g t h e u t i l i t y o f c o l o r d i s t r i b u t i o n s
a n d t h e i m p a c t o f c o l o r - b a s e d r e c o g n i t i o n . P r e v i o u s w o r k p a i d l i t t l e a t t e n t i o n t o c o l o r
d i s t r i b u t i o n c h a n g e s d u e t o i l l u m i n a t i o n p o s e . A c o l o r h i s t o g r a m i n R G B s e n s o r s p a c e ,
o r o t h e r l i n e a r l y t r a n s f o r m e d t h r e e - d i m e n s i o n a l s p a c e , w h e n c o n s t r u c t e d a s a 3 - D b i n a r y
o c c u p a n c y g r i d i s i n s e n s i t i v e t o v i e w i n g p o s e ( b a r r i n g o c c l u s i o n s ) . G e o m e t r i c i n f o r m a t i o n
i s g e n e r a l l y c o l l a p s e d i n a c o l o r h i s t o g r a m . H o w e v e r , c h a n g e s i n i l l u m i n a t i o n d i r e c t i o n c a n
p r o d u c e v a r y i n g c o l o r d i s t r i b u t i o n s f r o m a 3 - D o b j e c t . I n p r e v i o u s w o r k , m o s t o f t h e c o l o r
f e a t u r e s u s e d a r e l o c a t e d o n 2 - D p l a n a r s u r f a c e s , o r a x e d i l l u m i n a t i o n p o s e i s u s e d f o r
3 - D o b j e c t s . M o s t c o l o r c o n s t a n c y w o r k a s s u m e s a M o n d r i a n w o r l d w h e r e s h a d i n g c h a n g e
2
7/27/2019 10.1.1.52.9208
3/15
d e p e n d i n g o n i l l u m i n a t i o n p o s e i s u n i f o r m t h r o u g h o u t a n i m a g e p l a n e . I t m a y b e n o t e d t h a t
t h e C C C I m e t h o d i s r e l a t i v e l y i n s e n s i t i v e t o i l l u m i n a t i o n c h a n g e f o r s m o o t h s u r f a c e s h a p e s ,
a n d t h a t t h e p r o b l e m o f i l l u m i n a t i o n p o s e - i n v a r i a n c e i s r e c e n t l y g a i n i n g a t t e n t i o n 1 0 ] 2 3 ] .
W e s u g g e s t t h e u s e o f i n t e n s i t y - n o r m a l i z e d c o l o r s p a c e , i . e . , c h r o m a t i c i t y s p a c e , t o d i s -
c o u n t c h a n g e s i n c o l o r d i s t r i b u t i o n s d u e t o i l l u m i n a t i o n p o s e . T h e s p a c e i s b a s e d o n t h e
l o g a r i t h m s o f s e n s o r - r e s p o n s e r a t i o s , a n d c h r o m a t i c i t y d e f o r m a t i o n d u e t o i l l u m i n a t i o n c o l o r
c h a n g e i s l i m i t e d t o t r a n s l a t i o n . W e a l s o a d d r e s s t h e p r o b l e m o f s p e c u l a r i t y i n o b j e c t c o l o r
a p p e a r a n c e s . P r e v i o u s r e s e a r c h i n c o l o r r e c o g n i t i o n a s s u m e s t h e l a c k o f s t r o n g s p e c u l a r i t y
a n d i t s e e c t s i n t h e c o l o r d i s t r i b u t i o n . D e t e c t i o n o f s p e c u l a r i t y h a s b e e n a t o p i c o f a c t i v e
r e s e a r c h i n t h e e l d o f p h y s i c s - b a s e d v i s i o n 1 8 ] 1 5 ] 2 1 ] 3 ] 2 8 ] 2 ] 3 5 ] 2 7 ] 2 2 ] . M o s t o f
t h i s w o r k d e a l s w i t h b a s i c m o d e l i n g a n d a l g o r i t h m d e v e l o p m e n t . W e p r e s e n t a s y s t e m a t i c
m e t h o d t h a t c o u p l e s s p e c u l a r i t y d e t e c t i o n w i t h c o l o r - b a s e d o b j e c t r e c o g n i t i o n . I n s u m m a r y ,
w e p r o p o s e a c o l o r - b a s e d o b j e c t r e c o g n i t i o n a l g o r i t h m i n v a r i a n t t o : ( 1 ) i l l u m i n a t i o n p o s e ,
( 2 ) i l l u m i n a t i o n c o l o r , a n d ( 3 ) s p e c u l a r i t y . T o o u r k n o w l e d g e , t h e w o r k t h a t f u l l y a d d r e s s e s
t h e s e m u l t i p l e p r o b l e m s s i m u l t a n e o u s l y i s s c a r c e .
2 I l l u m i n a t i o n P o s e - I n v a r i a n c e
A s m e n t i o n e d p r e v i o u s l y , a c o l o r h i s t o g r a m i n t h e f o r m o f a m u l t i - d i m e n s i o n a l b i n a r y o c c u -
p a n c y g r i d i s i n v a r i a n t t o m i l d c h a n g e o f v i e w i n g o r i e n t a t i o n a n d s c a l e o f t h e o b j e c t w i t h i n t h e
i m a g e , a s s u m i n g r o t a t i o n d o e s n o t r e s u l t i n a s i g n i c a n t l y d i e r e n t c o l o r d i s t r i b u t i o n d u e t o
o c c l u s i o n o r d i s o c c l u s i o n . T h i s m e a n s t h a t b i n a r y o c c u p a n c y g r i d d o e s n o t s i g n i f y t h e n u m -
b e r o f p i x e l s o c c u p y i n g t h e s a m e c o l o r s p a c e . H o w e v e r , c o l o r d i s t r i b u t i o n s i n t h e 3 - D R G B
o c c u p a n c y g r i d m a y c h a n g e t h e i r s h a p e d e p e n d i n g o n o b j e c t s u r f a c e s h a d i n g d e t e r m i n e d b y
i l l u m i n a t i o n d i r e c t i o n . I f c o l o r f e a t u r e s a r e d i s t r i b u t e d o v e r s u r f a c e s w i t h d i e r e n t o r i e n -
t a t i o n s , a c h a n g e i n i l l u m i n a t i o n d i r e c t i o n r e s u l t s i n n o n u n i f o r m i n t e n s i t y c h a n g e s a m o n g
t h e c o l o r f e a t u r e s . T h i s i l l u m i n a t i o n p o s e p r o b l e m h a s b e e n n o t e d b e f o r e , b u t h a s n o t b e e n
e x p l i c i t l y a d d r e s s e d .
A c o m m o n r e p r e s e n t a t i o n o f c o l o r d i s t r i b u t i o n s i s a t h r e e - d i m e n s i o n a l h i s t o g r a m a s s h o w n
i n F i g u r e 1 ( b ) . T h e a x e s m e a s u r e r e s p o n s e s t o t h e R G B s e n s o r s o f t h e c a m e r a i n t h e r a n g e
o f v i s i b l e l i g h t , = 4 0 0 n m t o 7 0 0 n m , a c c o r d i n g t o t h e e q u a t i o n
q
k
=
Z
( n
s
n
p
) e ( ) s
p
( ) Q
k
( ) d ; ( 1 )
w h e r e e ( ) i s t h e i l l u m i n a t i o n s p e c t r u m , s
p
( ) i s t h e s u r f a c e r e e c t a n c e a t t h e p o i n t p ,
a n d Q
k
a n d q
k
f o r k = 0 ; 1 ; 2 o r R ; G ; B a r e t h e s p e c t r a l r e s p o n s e a n d c a m e r a o u t p u t s ,
r e s p e c t i v e l y . S u r f a c e s h a d i n g i s d e t e r m i n e d b y t h e i l l u m i n a t i o n d i r e c t i o n v e c t o r n
s
a n d t h e
s u r f a c e n o r m a l v e c t o r n
p
. O n l y t h e d i u s e r e e c t i o n i s i n c l u d e d i n t h e a b o v e m o d e l . T h e
d i s t r i b u t i o n o f d i r e c t c o l o r s e n s o r r e s p o n s e s i n a R G B s p a c e i s a e c t e d b y i l l u m i n a t i o n p o s e .
T h i s i s a c o n s e q u e n c e o f s u r f a c e n o r m a l v a r i a t i o n s o n a 3 - D o b j e c t .
T h e r e l a t i o n s h i p b e t w e e n s e n s o r r e s p o n s e s u n d e r d i e r e n t i l l u m i n a t i o n c o l o r s c a n b e
m o d e l l e d a s a l i n e a r t r a n s f o r m 1 6 ] 3 0 ] . F o r t h r e e - d i m e n s i o n a l a p p r o x i m a t i o n o f s u r f a c e
3
7/27/2019 10.1.1.52.9208
4/15
r e e c t i o n 6 ] 2 4 ] ,
s
p
( ) =
2
X
i = 0
p
i
S
i
( ) : ( 2 )
w h e r e S
i
' s a r e b a s i s f u n c t i o n s a n d
i
' s a r e w e i g h t i n g c o e c i e n t s ( i = 0 ; 1 ; 2 ) , t h e s e n s o r
r e s p o n s e s q
p
= q
R
; q
G
; q
B
]
T
a n d r e e c t a n c e c o e c i e n t s
p
=
0
;
1
;
2
]
T
a r e r e l a t e d a s :
q
p
= n
s
n
p
]
p
; w h e r e
k i
=
Z
e ( ) S
i
( ) Q
k
( ) d : ( 3 )
A c h a n g e i n i l l u m i n a t i o n p o s e (
e
n
s
) a n d c o l o r (
e
) w o u l d r e s u l t i n a d i e r e n t s e t o f s e n s o r
r e s p o n s e s
e
q
p
=
e
n
s
n
p
]
e
p
, a n d t h e t r a n s f o r m a t i o n b e t w e e n t h e s e n s o r r e s p o n s e s i s g i v e n
a s :
e
q
p
= r
p
M q
p
; ( 4 )
w h e r e
r
p
=
e
n
s
n
p
n
s
n
p
; a n d M =
e
? 1
( 5 )
I f t h e c o l o r m e a s u r e m e n t s q
p
a r e d i s t r i b u t e d o v e r a 2 - D p l a n a r s u r f a c e , i . e . , n
p
i s x e d
f o r t h e s u r f a c e p o i n t s , t h e s c a l i n g f a c t o r d u e t o s h a d i n g i s u n i f o r m . T h e r e f o r e , t h e l i n e a r
r e l a t i o n s h i p , M , b e t w e e n t h e s e n s o r r e s p o n s e v e c t o r s
e
q
p
a n d q
p
h o l d s . O n t h e o t h e r h a n d , i f
t h e c o l o r m e a s u r e m e n t s q
p
a r e o b t a i n e d f r o m s u r f a c e p o i n t s w i t h d i e r e n t o r i e n t a t i o n s , t h e
c o l o r v a l u e s a t t h e s e p o i n t s w i l l u n d e r g o d i e r e n t t r a n s f o r m a t i o n s b e c a u s e o f d i e r e n t n
p
.
H e n c e , t h e l i n e a r t r a n s f o r m r e l a t i o n s h i p i s n o t a p p r o p r i a t e f o r e s t a b l i s h i n g i l l u m i n a t i o n - c o l o r
i n v a r i a n c e f o r a g e n e r a l 3 - D o b j e c t .
A p o p u l a r 2 - D c h r o m a t i c i t y s p a c e x = x
1
; x
2
]
T
i s c o n s t r u c t e d b y n o r m a l i z i n g t h e s e n s o r
r e s p o n s e s a s :
x
1
=
q
R
q
R
+ q
G
+ q
B
; x
2
=
q
G
q
R
+ q
G
+ q
B
; ( 6 )
I n t h i s p r o j e c t i v e s p a c e t h e s c a l i n g f a c t o r r
p
d u e t o s h a d i n g d i s a p p e a r s b y t h e n o r m a l i z a t i o n ,
h e n c e c h r o m a t i c i t y i s i n d e p e n d e n t o f i l l u m i n a t i o n p o s e . T h i s p r o c e s s r e m o v e s t h e i n t e n s i t y
c o m p o n e n t f r o m t h e c o l o r d i s t r i b u t i o n s o t h a t d i e r e n c e s i n s h a d i n g a r e n o t d i s t i n g u i s h e d .
F i g u r e 1 s h o w s a s y n t h e t i c s p h e r e u n d e r t h e s a m e i l l u m i n a t i o n c o l o r b u t w i t h d i e r e n t
i l l u m i n a t i o n d i r e c t i o n s , a n d t h e R G B h i s t o g r a m s a n d c h r o m a t i c i t y d i a g r a m s o f t h e s p h e r e
i m a g e s . T h e R G B h i s t o g r a m s m a y d e f o r m s i g n i c a n t l y w h e n i l l u m i n a t i o n p o s e v a r i e s f o r
o b j e c t s w i t h d i e r e n t s u r f a c e o r i e n t a t i o n s . H o w e v e r , t h e c h r o m a t i c i t y d i s t r i b u t i o n r e m a i n s
t h e s a m e .
3 I l l u m i n a t i o n C o l o r - I n v a r i a n t C h r o m a t i c i t y S p a c e
T h e a d o p t i o n o f t h e c h r o m a t i c i t y s p a c e i n i t i a t e s a n e w p r o b l e m : i d e n t i c a t i o n o f c h r o m a t i c -
i t y s i g n a t u r e s i n u e n c e d b y i l l u m i n a t i o n c o l o r c h a n g e . D i e r e n c e s i n l i g h t i n g c o l o r p r o d u c e a
n o n l i n e a r d e f o r m a t i o n o f c h r o m a t i c i t y d e s c r i p t o r s d u e t o t h e n o n l i n e a r i t y i n t r o d u c e d b y t h e
n o r m a l i z a t i o n . D e f o r m a t i o n o f c h r o m a t i c i t y s i g n a t u r e s i s g o v e r n e d b y t h e t r a n s f o r m a t i o n
4
7/27/2019 10.1.1.52.9208
5/15
(a) (b) (c)
(d) (e) (f)
F i g u r e 1 : E e c t s o f i l l u m i n a t i o n p o s e ( a , d ) I l l u m i n a t i o n f r o m t h e l e f t a n d r i g h t , r e s p e c t i v e l y ,
( b , e ) R G B c o l o r h i s t o g r a m s , ( c , f ) C h r o m a t i c i t y d i s t r i b u t i o n s
r e l a t i o n s h i p s i n E q u a t i o n s 4 a n d 6 . F o r m u l a t i o n o f i n v a r i a n c e u s i n g t h e g e n e r a l m a t r i x M i n
E q u a t i o n s 4 a n d t h e n o r m a l i z a t i o n i n 6 m a y n o t b e e a s i l y a c h i e v e d . F o r e s t a b l i s h i n g a n i l l u -
m i n a t i o n c o l o r - i n v a r i a n t c h r o m a t i c i t y s p a c e , w e s i m p l i f y t h e c h r o m a t i c i t y d e f o r m a t i o n b a s e d
o n t h e d i a g o n a l m a t r i x t r a n s f o r m w h i c h h a s l o n g b e e n p r o p o s e d a s a f e a s i b l e m e c h a n i s m
f o r c o l o r c o n s t a n c y . C o l o r c o n s t a n c y b a s e d o n t h e d i a g o n a l m a t r i x t r a n s f o r m a t i o n a n d i t s
i m p a c t a r e a n a l y z e d i n d e t a i l b y F i n l a y s o n , D r e w a n d F u n t , W o r t h e y a n d B r i l l , W e s t a n d
B r i l l , a n d D ' Z m u r a a n d L e n n i e 1 1 ] 1 2 ] 3 4 ] 7 ] . F i n l a y s o n , D r e w a n d F u n t s h o w e d t h a t
i l l u m i n a t i o n c h a n g e c a n b e m o d e l l e d a s d i a g o n a l m a t r i x t r a n s f o r m u n d e r l o w - d i m e n s i o n a l
m o d e l c o n s t r a i n t s f o r i l l u m i n a t i o n a n d r e e c t a n c e 1 1 ] .
W i t h o u t t h e l o w - d i m e n s i o n a l c o n s t r a i n t s o n i l l u m i n a t i o n a n d r e e c t a n c e , t h e d i a g o n a l
m a t r i x t r a n s f o r m c a n b e a p p r o x i m a t e d u s i n g v e r y n a r r o w c o l o r l t e r s ( i d e a l l y t h e D i r a c
d e l t a f u n c t i o n ) . I f t h e l t e r f u n c t i o n Q
k
( ) i n E q u a t i o n 1 h a s a n a r r o w b a n d w i d t h 4 Q
k
a r o u n d t h e w a v e l e n g t h
k
a n d b o t h e ( ) a n d s
p
( ) a r e a p p r o x i m a t e l y c o n s t a n t w i t h i n t h e
l t e r b a n d w i d t h , t h e s e n s o r r e s p o n s e s c a n b e a p p r o x i m a t e d a s
q
k
n
s
n
p
] e (
k
) s
p
(
k
) Q
m
4 Q
k
; ( 7 )
w h e r e Q
m
i s t h e m a g n i t u d e o f l t e r r e s p o n s e . T h e r e l a t i o n s h i p b e t w e e n t h e s e n s o r r e s p o n s e s
q
p
a n d
e
q
p
( w h e r e
e
q
k
=
e
n
s
n
p
] e (
k
) s
p
(
k
) Q
m
4 Q
k
) i s g i v e n b y a d i a g o n a l t r a n s f o r m , i . e . ,
e
q
p
= r
p
D q
p
; ( 8 )
a n d t h e d i a g o n a l e l e m e n t s a r e g i v e n b y
D
0 0
=
e
e (
0
) = e (
0
) ; D
1 1
=
e
e (
1
) = e (
1
) ; D
2 2
=
e
e (
2
) = e (
2
) :
5
7/27/2019 10.1.1.52.9208
6/15
T h e d i a g o n a l m a t r i x t r a n s f o r m h a s b e e n s u g g e s t e d a s a b a s e f o r m a n y c o l o r c o n s t a n c y a l -
g o r i t h m s s u c h a s v o n K r i e s a d a p t a t i o n , r e t i n e x / l i g h t n e s s a l g o r i t h m s , a n d F o r s y t h ' s C R U L E
a l g o r i t h m 3 4 ] 2 0 ] 1 3 ] . T h e n a r r o w - b a n d l t e r s h a v e b e e n u s e d s u c c e s s f u l l y b y F u n t a n d
F i n l a y s o n a n d b y N a y a r a n d B o l l e 1 4 ] 2 9 ] . F i n l a y s o n , D r e w , a n d F u n t s u g g e s t e d m e t h -
o d s f o r s h a r p e n i n g s e n s o r f u n c t i o n s a n d r e p o r t e d t h a t t h e s e n s o r s h a r p e n i n g i m p r o v e s t h e
p e r f o r m a n c e o f c o l o r c o n s t a n c y a l g o r i t h m s b a s e d o n d i a g o n a l t r a n s f o r m s 1 2 ] .
U n d e r t h e d i a g o n a l t r a n s f o r m c o n d i t i o n , w e s u g g e s t a c h r o m a t i c i t y s p a c e =
1
;
2
]
T
t h a t i s i n v a r i a n t t o i l l u m i n a t i o n c o l o r u p t o t r a n s l a t i o n :
1
= l n
q
R
q
G
;
2
= l n
q
B
q
G
; ( 9 )
I n t h i s s p a c e , t h e c h r o m a t i c i t y d i s t r i b u t i o n s f r o m a n o b j e c t u n d e r d i e r e n t i l l u m i n a t i o n
c o l o r s s h o u l d a p p e a r i d e n t i c a l u p t o t r a n s l a t i o n , i . e . ,
e
= + ; w h e r e = l n
D
0 0
D
1 1
; l n
D
2 2
D
1 1
]
T
:
W e u s e t h i s s p a c e f o r o b j e c t i d e n t i c a t i o n a n d i l l u m i n a t i o n e s t i m a t i o n . T h e r e l a t i o n s h i p
b e t w e e n t h e c h r o m a t i c i t y s p a c e x i n E q u a t i o n 6 a n d i s g i v e n a s :
1
= l n
x
1
x
2
;
2
= l n
1 ? x
1
? x
2
x
2
;
T h e u s e o f r e e c t a n c e r a t i o s h a s b e e n s u g g e s t e d p r e v i o u s l y i n 1 4 ] a n d 2 9 ] . T h e C C C I
a p p r o a c h u t i l i z e s t h e d i s t r i b u t i o n o f r a t i o s f r o m s p a t i a l l y n e i g h b o r i n g p i x e l s , a n d t h u s o n l y
t h e i m a g e r e g i o n s w h e r e c o l o r v a l u e s s p a t i a l l y v a r y c o n t r i b u t e t o t h e d i s t r i b u t i o n e e c t i v e l y .
O u r l o g - s e n s o r - r a t i o c h r o m a t i c i t y s p a c e i n E q u a t i o n 9 u s e s t h e r a t i o s o f s e n s o r r e s p o n s e s f r o m
d i e r e n t b a n d s a t e a c h s u r f a c e p o i n t a n d t h e d i s t r i b u t i o n o f t h e i r l o g a r i t h m s a s a s i g n a t u r e
f o r o b j e c t i d e n t i c a t i o n . T h e r e f o r e , a l l t h e c o l o r p i x e l s a r e u s e d t o f o r m t h e d i s t r i b u t i o n
r e g a r d l e s s o f t h e i r s p a t i a l v a r i a t i o n . I t m a y b e n o t e d t h a t t h e d e s c r i p t o r s u s e d i n h o m o m o r -
p h i c i m a g e p r o c e s s i n g o f o p p o n e n t c o l o r s a r e s i m i l a r t o t h e l o g a r i t h m o f s e n s o r r a t i o s , e . g . ,
l n ( q
R
= q
G
) 9 ] 1 9 ] . S e n s o r r a t i o s a r e a l s o u s e d f o r t h e g a m u t m a p p i n g m e t h o d b y F i n l a y s o n
1 0 ] .
A l t h o u g h b a s i c c r o s s - c o r r e l a t i o n i n c a n b e u s e d f o r s i m i l a r i t y m e a s u r e , c r o s s - c o r r e l a t i o n
o f t e s t c h r o m a t i c i t y d i s t r i b u t i o n w i t h a l l t h o s e o f d a t a b a s e o b j e c t s w o u l d r e q u i r e h i g h c o m -
p u t a t i o n a l c o s t a n d e s t i m a t i o n o f m a y b e i n a c c u r a t e i f t h e c o r r e l a t i o n c u r v e s h o w s a b r o a d
p e a k . A n a l t e r n a t i v e f a s t a n d a c c u r a t e m e t h o d i s t o u s e t h e F o u r i e r m a g n i t u d e s p e c t r u m
f o r s i m i l a r i t y m e a s u r e a n d t h e F o u r i e r p h a s e f o r e s t i m a t i n g 4 ] . L e t f b e a c h r o m a t i c i t y
d i s t r i b u t i o n f u n c t i o n i n t h e n e w c o o r d i n a t e s y s t e m . T h e d e f o r m a t i o n b y G r e s u l t s i n t h e
t r a n s l a t i o n o f f , i . e . ,
f
G
( ) = f ( + ) ;
a n d t h e i r F o u r i e r t r a n s f o r m s w i l l d i e r o n l y i n t h e i r p h a s e s :
F f
G
( ) ] ( ! ) = e
? i
F f ( ) ] ( ! ) ( 1 0 )
6
7/27/2019 10.1.1.52.9208
7/15
N o t e t h a t t h e m a g n i t u d e o f t h e F o u r i e r s p e c t r u m j F f
G
( ) ] ( ! ) j i s i n v a r i a n t t o . T h e p h a s e
t e r m Q ( ! ) c a n b e e x t r a c t e d b y t h e f o l l o w i n g n o n l i n e a r l t e r i n g :
Q ( ! ) = e
? i
=
F
f
G
] ( ! ) F f ] ( ! )
j F f
G
] ( ! ) j j F f ] ( ! ) j
; ( 1 1 )
a n d t h e i n v e r s e F o u r i e r t r a n s f o r m q ( ) = F
? 1
Q ( ! ) ] w i l l e x h i b i t a p e a k a t t h e i l l u m i n a t i o n
p a r a m e t e r i n t h e d o m a i n .
4 S p e c u l a r i t y R e j e c t i o n
S p e c u l a r r e e c t i o n s i n a n i m a g e m a y p r o d u c e a s u b s t a n t i a l c h a n g e i n a n o b j e c t ' s c h r o m a t i c -
i t y d i s t r i b u t i o n . S t r o n g s p e c u l a r i t i e s c a n s i g n i c a n t l y e r o d e t h e s i m i l a r i t y o f c h r o m a t i c i t y
d i s t r i b u t i o n s b e t w e e n t h e m o d e l a n d t e s t o b j e c t s . C o n s e q u e n t l y , t h e i l l u m i n a t i o n - i n v a r i a n c e
c a n b e w e a k e n e d . A l t h o u g h p r e v i o u s w o r k i n c o l o r - b a s e d r e c o g n i t i o n a s s u m e s l a c k o f s t r o n g
s p e c u l a r i t i e s , t h i s p r o b l e m n e e d s t o b e a d d r e s s e d f o r r e l i a b l e r e c o g n i t i o n .
T h e a d d i t i o n o f s p e c u l a r i t y m o d i e s s e n s o r r e s p o n s e i n E q u a t i o n 1 t o b e :
q
k
=
Z
e ( ) ( n
s
n
p
) s
p
( ) + G
p
s
s
p
s
( ) ] Q
k
( ) d ; ( 1 2 )
w h e r e s
p
a n d s
p
s
d e n o t e d i u s e a n d s p e c u l a r r e e c t i o n c o m p o n e n t s , r e s p e c t i v e l y . G
p
s
r e p r e -
s e n t s t h e g e o m e t r i c f a c t o r f o r s p e c u l a r r e e c t i o n , a n d i s a f u n c t i o n o f m a n y i l l u m i n a t i o n ,
v i e w i n g a n d r e e c t a n c e v a r i a b l e s . I n t h e c h r o m a t i c i t y p l a n e , s p e c u l a r r e e c t i o n s w i l l a p p e a r
a s a c l u s t e r o f p o i n t s s t r e t c h i n g f r o m i t s u n d e r l y i n g d i u s e r e e c t i o n c h r o m a t i c i t y t o w a r d t h e
c h r o m a t i c i t y o f t h e i n c i d e n t l i g h t ( F i g u r e 2 ( a ) ) 2 ] . T o a v o i d d e v i a t i o n s f r o m a n o b j e c t ' s
c h r o m a t i c i t y s i g n a t u r e o f o n l y d i u s e r e e c t i o n s , s p e c u l a r i t i e s n e e d t o b e d e t e c t e d a n d r e -
m o v e d f r o m t h e t e s t i m a g e . T h e g o a l o f s p e c u l a r i t y d e t e c t i o n i s t o n d i m a g e r e g i o n s w h e r e
s
p
s
i s n o n z e r o . \ S p e c u l a r i t y r e j e c t i o n " e x c l u d e s t h e d e t e c t e d r e g i o n s f r o m t h e c h r o m a t i c i t y
s i g n a t u r e .
S i n c e s p e c u l a r i t y d e t e c t i o n i s n o t i n g e n e r a l a w e l l - c o n s t r a i n e d p r o b l e m , m o s t p h y s i c s -
b a s e d d e t e c t i o n m e t h o d s r e q u i r e r e s t r i c t i n g a s s u m p t i o n s i n o b j e c t r e e c t a n c e o r n e e d e x t r a
s e n s o r d a t a t o p r o v i d e p h y s i c a l c o n s t r a i n t s . T h e s e c o n s t r a i n t s i n c l u d e r e s t r i c t e d m a t e r i a l
t y p e s a n d p i e c e w i s e u n i f o r m o b j e c t c o l o r s . E x t r a p h y s i c a l c u e s i n c l u d e s t r u c t u r e d l i g h t ,
p o l a r i z a t i o n s e n s o r s , a n d m u l t i p l e - v i e w i m a g e s e n s i n g 1 8 ] 2 ] 2 1 ] 2 8 ] 3 5 ] 2 7 ] 2 2 ] . T h e s e
a d d i t i o n a l r e q u i r e m e n t s s e n s i n g m a y b e d i c u l t t o a c h i e v e , e s p e c i a l l y f o r t e s t i m a g e s .
A n a d d i t i o n a l s o u r c e o f i n f o r m a t i o n f o r s p e c u l a r i t y d e t e c t i o n i n l i e u o f e x t r a s e n s i n g
n e e d s t o b e f o u n d . O u r s o l u t i o n t o t h i s p r o b l e m l i e s i n t h e m o d e l i m a g e s , f r o m w h i c h w e
p r o p o s e \ m o d e l - b a s e d s p e c u l a r i t y d e t e c t i o n / r e j e c t i o n " . U s i n g a p o t e n t i a l m a t c h b e t w e e n
t h e t e s t o b j e c t s i g n a t u r e a n d a m o d e l o b j e c t s i g n a t u r e i n t h e m o d e l b a s e , a r o u g h i n i t i a l
e s t i m a t i o n o f i l l u m i n a t i o n c o l o r c a n b e m a d e . T h e c h r o m a t i c i t y d i s t r i b u t i o n o f t h e t e s t i m a g e
c a n b e c o m p a r e d w i t h t h e m o d e l d i s t r i b u t i o n c o n s i d e r i n g t h e e s t i m a t e d i l l u m i n a t i o n . F r o m
t h e c o m p a r i s o n , s o m e o f t h e c o l o r c l u s t e r s t h a t e n s u e f r o m s p e c u l a r i t y c a n b e e l i m i n a t e d ,
7
7/27/2019 10.1.1.52.9208
8/15
(a) (b)
U (( ) ) =
test test translatedmodel
resultillluminationto model
illumination
specular
diffuse
F i g u r e 2 : ( a ) E e c t o f s p e c u l a r i t i e s i n c h r o m a t i c i t y p l a n e . ( b ) C h r o m a t i c i t y d i e r e n c i n g
f r o m i l l u m i n a t i o n e s t i m a t i o n
a n d t h e i l l u m i n a t i o n e s t i m a t i o n c a n b e r e n e d a n d u s e d t o e m e n d f u r t h e r t h e c h r o m a t i c i t y
d i s t r i b u t i o n . T h i s c h r o m a t i c i t y h i s t o g r a m c o m p a r i s o n i s m o t i v a t e d b y h i s t o g r a m d i e r e n c i n g
t e c h n i q u e s 2 1 ] 2 2 ] .
O u r a p p r o a c h t o s p e c u l a r i t y r e j e c t i o n b e g i n s w i t h c o n s e r v a t i v e i n t e n s i t y - b a s e d p r o c e s s i n g
o f a t e s t i m a g e , s u c h a s i n t e n s i t y t h r e s h o l d i n g , t o e l i m i n a t e s h a r p a n d i n t e n s e s p e c u l a r i t y
w i t h o u t a n y p r i o r i n f o r m a t i o n 3 ] . F r o m t h e r e s u l t i n g s i g n a t u r e , a h y p o t h e s i s f o r i n i t i a l
o b j e c t i d e n t i c a t i o n a n d i l l u m i n a t i o n e s t i m a t i o n i s g e n e r a t e d . T h i s s i g n a t u r e i s i t e r a t i v e l y
r e n e d b y c h r o m a t i c i t y d i e r e n c i n g .
F i g u r e 2 ( b ) i l l u s t r a t e s t h i s d i e r e n c i n g p r o c e s s . B a s e d o n t h e i d e n t i e d o b j e c t a n d i n i t i a l
i l l u m i n a t i o n e s t i m a t i o n a f t e r t h r e s h o l d i n g , t h e c h r o m a t i c i t y p l a n e a s s o c i a t e d w i t h t h e o b j e c t
a n d e s t i m a t e d i l l u m i n a t i o n i s u s e d f o r c o a r s e d i e r e n c i n g w i t h t h e t e s t c h r o m a t i c i t y d i a g r a m .
T h e d i e r e n c e b e t w e e n t w o s i g n a t u r e s c a n b e c o m p u t e d b y s u b t r a c t i n g t h e p o t e n t i a l
m o d e l s i g n a t u r e f r o m t h e t e s t s i g n a t u r e . T h e r e s u l t o f t h i s o p e r a t i o n a r e t h e c h r o m a t i c i t i e s
t h a t m a y b e t h e r e s u l t o f s p e c u l a r i t y . O f t h e s e c h r o m a t i c i t i e s , t h o s e t h a t l i e b e t w e e n a
p a r t o f t h e m o d e l s i g n a t u r e a n d t h e e s t i m a t e d i l l u m i n a t i o n a r e c o n s i d e r e d t o b e c a u s e d b y
s p e c u l a r i t y . A n e w s i g n a t u r e f o r t h e t e s t o b j e c t i s c r e a t e d t h a t r e m o v e s p a r t s o f t h e s i g n a t u r e
c o n s i d e r e d t o b e s p e c u l a r i t y .
S i n c e d i e r e n c i n g p r o d u c e s a c h r o m a t i c i t y p l a n e t h a t i s l e s s a e c t e d b y s p e c u l a r i t i e s ,
t h e p e a k v a l u e o f j q ( ) j m a y i n c r e a s e a n d m a y y i e l d a m o r e a c c u r a t e i l l u m i n a t i o n e s t i m a t e .
T h i s r e s u l t d r i v e s t h e p r o c e s s i n t o a n o t h e r r o u n d o f d i e r e n c i n g . B y i t e r a t i v e l y r e n i n g
t h e c h r o m a t i c i t y d i a g r a m o f t h e t e s t o b j e c t b y s p e c u l a r i t y r e m o v a l , t h e p e a k v a l u e o f j q ( ) j
k e e p s i n c r e a s i n g i f t h e h y p o t h e s i z e d o b j e c t i s i n d e e d c o r r e c t . F o r a n i n c o r r e c t h y p o t h e s i s ,
t h e r e n e m e n t p r o c e s s w i l l t e r m i n a t e w i t h t h e d e c r e a s e d p e a k v a l u e o f j q ( ) j . T h e s p e c u l a r -
i t y r e j e c t i o n a l g o r i t h m i s i n i t i a t e d w h e n t h e r e i s n o d o m i n a n t m a t c h t o t h e o b j e c t s i n t h e
d a t a b a s e . T h e t e s t i s d i e r e n c e d w i t h e a c h o f t h e b e s t m a t c h i n g o b j e c t s . T h e s p e c u l a r i t y
8
7/27/2019 10.1.1.52.9208
9/15
r e j e c t i o n a l g o r i t h m i s s u m m a r i z e d a s f o l l o w s .
1 . A p p l y a c o n s e r v a t i v e i n t e n s i t y t h r e s h o l d T
I
f o r i n i t i a l s p e c u l a r i t y r e j e c t i o n , a n d c o m -
p u t e q ( ) .
2 . I f t h e p e a k j q ( ) j
m a x
i s w i t h i n s o m e p e r c e n t t h r e s h o l d T
S
, o f t h e h i g h e s t j q ( ) j
m a x
o f
t h e d a t a b a s e , e s t i m a t e a n i n i t i a l i l l u m i n a t i o n c o l o r .
3 . U s i n g , t r a n s l a t e t h e m o d e l c h r o m a t i c i t y s i g n a t u r e a n d d o c h r o m a t i c i t y d i e r e n c i n g
u s i n g t h e i l l u m i n a t i o n e s t i m a t i o n a n d t h e m o d e l s i g n a t u r e t o d e t e r m i n e t h e r e g i o n o f
s p e c u l a r i t y .
4 . C r e a t e t h e n e w t e s t s i g n a t u r e
5 . C o m p u t e j q ( ) j
m a x
o f t h e n e w t e s t s i g n a t u r e a n d u p d a t e .
6 . W h i l e t h e p e a k j q ( ) j
m a x
i n c r e a s e s , r e p e a t s t e p s 3 , 4 , 5 , a n d 6 . O t h e r w i s e , s t o p .
T h e t h r e s h o l d s T
I
a n d T
S
a r e x e d a n d p r e d e t e r m i n e d .
W h e n t h e o b j e c t m a t c h i s c o r r e c t a n d t h e i l l u m i n a t i o n e s t i m a t i o n s a r e r e a s o n a b l e , i t -
e r a t i v e s p e c u l a r i t y r e m o v a l w i l l k e e p t h e p e a k j q ( ) j
m a x
i n c r e a s i n g . I f t h e d e f o r m a t i o n b y
t h e p r e s e n c e o f s p e c u l a r i t y i s t o o s e v e r e a n d i n i t i a l i n t e n s i t y t h r e s h o l d i n g d o e s n o t m a k e a
d i e r e n c e , t h i s p r o c e s s s i m p l y s t o p s i m m e d i a t e l y , a n d a t e s t o b j e c t r e m a i n s u n i d e n t i e d .
5 E x p e r i m e n t a l R e s u l t s
T h e p r o p o s e d c h r o m a t i c i t y s p a c e a n d s p e c u l a r i t y r e j e c t i o n a l g o r i t h m a r e t e s t e d u s i n g
a d a t a b a s e o f e i g h t o b j e c t s . T h e o b j e c t s a r e i l l u m i n a t e d w i t h t w o 5 0 0 W a t t , 3 2 0 0 K , G E
P h o t o o o d s m o u n t e d i n r e e c t e d s c o o p s . D i g i t a l I m a g e s a r e g a t h e r e d w i t h a S o n y X C - 7 7 R R
a n d c o l o r i m a g e s a r e g e n e r a t e d f r o m t h i s g r e y s c a l e c a m e r a u s i n g a s e t o f r e l a t i v e l y n a r r o w -
b a n d R G B l t e r s . T h e s e a r e K o d a k W r a t t e n l t e r s n u m b e r s 2 9 , 4 7 , a n d 6 1 . T h e a p e r t u r e
o f t h e c a m e r a i s a d j u s t e d f o r e a c h o b j e c t t o p r e v e n t s a t u r a t i o n , a n d . 3 n e u t r a l d e n s i t y g e l
i s a d d e d t o t h e r e d a n d g r e e n l t e r s t o m o r e c l o s e l y m a t c h t h e t r a n s m i s s i o n o f t h e b l u e
l t e r . T h e i l l u m i n a t i o n c o l o r i s a l t e r e d b y p l a c i n g g e l l t e r s i n f r o n t o f t h e l a m p s . T h e r e i s
s o m e v a r i a t i o n i n t h e i l l u m i n a t i o n o f o b j e c t s c e n e s . T h e l t e r s c a n n o t n o t b e p l a c e d c l o s e
e n o u g h t o l a m p s t o p r e v e n t a l l t h e u n l t e r e d l i g h t f r o m f a l l i n g o n t h e o b j e c t . A l t h o u g h w e
a r e u n a b l e t o m e a s u r e t h e e e c t s o f t h i s a m b i e n t i l l u m i n a t i o n , t h e c h r o m a t i c i t y d e s c r i p t i o n s
a r e s t i l l u n i q u e e n o u g h f o r r e c o g n i t i o n .
T h e d a t a b a s e i m a g e s a r e t a k e n w i t h t h e i l l u m i n a t i o n l t e r e d b y L e e F i l t e r 2 0 1 ( F u l l
C T B l u e ) w h i c h m o v e s t h e i n c a n d e s c e n t l i g h t t o w a r d s a n e u t r a l c o l o r . S p e c u l a r i t i e s i n t h e
m o d e l i m a g e s a r e r e m o v e d b y i n t e n s i t y t h r e s h o l d i n g m e t h o d s 2 1 ] o r b y h a n d b e f o r e t h e
c h r o m a t i c i t y d e s c r i p t o r s a r e c r e a t e d . F i g u r e 3 ( a ) , ( b ) a n d ( c ) s h o w t h e d a t a b a s e o b j e c t s ,
t h e i r c h r o m a t i c i t y d i a g r a m s i n t h e x s p a c e , a n d i n t h e s p a c e , r e s p e c t i v e l y . T h e r a n g e o f
t h e c h r o m a t i c i t y s p a c e i s f r o m - 1 t o 1 a l o n g t h e
1
a n d
2
a x e s . A s q u a r e w i n d o w i s
9
7/27/2019 10.1.1.52.9208
10/15
c y l g e l g u n g u n ' h o r s e n u t p a d p e a t o o t h
c y l . 3 4 . 3 2 . 3 1 . 3 3 . 3 3 . 2 6 . 2 7 . 2 9 . 3 1
g e l . 2 9 . 3 3 . 2 9 . 3 5 . 3 2 . 2 8 . 3 1 . 3 4 . 2 7
g u n . 2 9 . 2 9 . 3 8 . 3 9 . 3 4 . 3 1 . 2 9 . 3 0 . 2 7
h o r s e . 3 0 . 3 4 . 3 8 . 3 9 . 3 6 . 3 5 . 3 2 . 3 2 . 3 3
n u t . 2 7 . 2 9 . 2 7 . 2 9 . 2 8 . 2 6 . 2 8 . 2 8 . 2 5
p a d . 2 8 . 3 0 . 2 9 . 3 2 . 2 9 . 2 7 . 3 0 . 3 0 . 3 3
p e a . 2 5 . 2 7 . 3 0 . 3 1 . 2 8 . 2 6 . 2 6 . 3 7 . 2 4
t o o t h . 2 3 . 2 7 . 2 9 . 2 8 . 2 7 . 2 5 . 2 9 . 2 9 . 2 7
T a b l e 1 : R e s u l t s f r o m t h e x - c h r o m a t i c i t y d i a g r a m s
c y l g e l g u n g u n ' h o r s e n u t p a d p e a t o o t h
c y l . 8 2 . 5 7 . 4 3 . 4 6 . 5 8 . 5 3 . 5 0 . 5 6 . 4 7
g e l . 6 4 . 8 7 . 5 2 . 5 5 . 7 0 . 7 0 . 6 9 . 6 6 . 6 4
g u n . 5 0 . 5 2 . 8 3 . 8 2 . 5 9 . 4 5 . 6 1 . 5 8 . 4 4
h o r s e . 6 6 . 7 7 . 6 1 . 6 6 . 9 0 . 7 1 . 7 8 . 7 1 . 5 9
n u t . 5 7 . 7 3 . 5 1 . 5 5 . 7 3 . 9 0 . 6 9 . 7 3 . 6 6
p a d . 5 1 . 6 7 . 6 0 . 6 9 . 7 7 . 5 6 . 8 4 . 5 6 . 5 9
p e a . 7 2 . 7 2 . 5 4 . 6 1 . 7 6 . 7 6 . 7 0 . 8 8 . 6 3
t o o t h . 5 4 . 6 4 . 5 1 . 5 2 . 6 9 . 7 2 . 6 6 . 6 8 . 8 4
T a b l e 2 : R e s u l t s f r o m t h e - c h r o m a t i c i t y d i a g r a m s
p l a c e d o v e r t h e c h r o m a t i c i t y s p a c e r a n g i n g f r o m - 4 . 0 t o 4 . 0 . T e s t i m a g e s a r e c r e a t e d b y
v a r y i n g t h e p o s e o f t h e n e w o b j e c t s a n d b y n o t l t e r i n g t h e i n c a n d e s c e n t l i g h t . T e s t i m a g e s ,
t h e i r c h r o m a t i c i t y d i a g r a m s i n t h e x s p a c e a n d i n t h e s p a c e a r e s h o w n i n F i g u r e 3 ( d ) ,
( e ) a n d ( f ) , r e s p e c t i v e l y . S o m e o f t h e t e s t i m a g e s c o n t a i n s p e c u l a r i t i e s w h i l e s o m e d o n o t .
T h e s e t e s t o b j e c t s a r e t h e n u s e d t o t e s t t h e i l l u m i n a t i o n p o s e a n d c o l o r i n v a r i a n c e . N o t i c e
t h a t t h e x - c h r o m a t i c i t y d i a g r a m s s h o w s u b s t a n t i a l d e f o r m a t i o n b e t w e e n t h e d a t a b a s e a n d
t e s t o b j e c t s w h i l e t h e - c h r o m a t i c i t y d i a g r a m s d o n o t .
T o p r o v i d e a r e f e r e n c e f o r t h e - c h r o m a t i c i t y p e r f o r m a c e , t h e x - c h r o m a t i c i t y p e r f o r m a n c e
i s t e s t e d , a n d t h e r e s u l t s a r e s h o w n i n T a b l e 1 . T h e l e f t m o s t c o l u m n r e p r e s e n t s t h e d a t a b a s e
o b j e c t s u n d e r t h e r e f e r e n c e l i g h t a n d t h e t o p r o w t h e t e s t o b j e c t s u n d e r t h e u n l t e r e d
i n c a n d e s c e n t l i g h t . F o r t h e p l a s t i c g u n , a n e x t r a p o s e i s g e n e r a t e d f o r m o r e s p e c u l a r i t i e s
( d e n o t e d b y \ g u n ' " ) . T h e d a t a e n t r i e s i n t h e t a b l e a r e c o r r e l a t i o n v a l u e s b e t w e e n t h e t e s t
a n d d a t a b a s e o b j e c t s . N o t s u r p r i s i n g l y , t h i s a p p r o a c h d o e s n o t p e r f o r m v e r y w e l l . B e c a u s e
t h e t e s t i m a g e s a r e t a k e n u n d e r a d i e r e n t i l l u m i n a t i o n c o l o r , t h e x d i a g r a m s a r e d e f o r m e d
b e y o n d a s i m p l e t r a n s l a t i o n . O f t h e n i n e t e s t i m a g e s o n l y t h r e e a r e r e c o g n i z e d s u c c e s s f u l l y .
S i x o f t h e t e s t s i m a g e s a r e m a r k e d a s n o n - d i s t i n c t b e c a u s e t h e t e s t i m a g e r e t u r n s m a t c h e d
v a l u e s w i t h i n t e n p e r c e n t o f e a c h o t h e r . T h e r e s u l t s p r o v i d e a r e f e r e n c e t o j u d g e t h e e e c t
o f t h e c h r o m a t i c i t y s p a c e .
1 0
7/27/2019 10.1.1.52.9208
11/15
(a) (b) (c) (d) (e) (f)
F i g u r e 3 : ( a ) D a t a b a s e o b j e c t s , ( b ) x c h r o m a t i c i t y d i a g r a m s , ( c ) c h r o m a t i c i t y d i a g r a m s ,
( d ) t e s t o b j e c t s , ( e ) x c h r o m a t i c i t y d i a g r a m s , a n d ( f ) c h r o m a t i c i t y d i a g r a m s . C o l o r v e r s i o n s
o f c o l u m n s ( a ) a n d ( d ) a r e a v a i l a b l e a t h t t p : / / a i . e e c s . u m i c h . e d u / v i s i o n / d a t a b a s e . h t m l
1 1
7/27/2019 10.1.1.52.9208
12/15
x - c h r o m a t i c i t y - c h r o m a t i c i t y
N o . o f T e s t s 9 9
N o . R e c o g 3 9
N o . N o n - d i s t i n c t 6 0
A v e r a g e R a n k 1 . 2 1
T a b l e 3 : S u m m a r y o f r e s u l t s f r o m x - c h r o m a t i c i t y a n d - c h r o m a t i c i t y d i a g r a m s
T h e m a t c h i n g r e s u l t s f r o m t h e c h r o m a t i c i t y d i a g r a m s a r e s h o w n i n T a b l e 2 . T h e
a l g o r i t h m s h o w e d s i g n i c a n t i m p r o v e m e n t o v e r t h e x c h r o m a t i c i t y m e t h o d . A l l e x c e p t o n e
o f t h e t e s t i m a g e s a r e c o r r e c t l y m a t c h e d . T h e r e m a i n i n g i m a g e , o f t h e g e l ( w h i c h c o n t a i n e d
s i g n i c a n t s p e c u l a r i t i e s ) , i s o r i g i n a l l y m a r k e d n o n - d i s t i n c t b e c a u s e t w o h i g h m a t c h v a l u e s
a r e r e t u r n e d . E v e n t h o u g h t h e a l g o r i t h m c a n n o t d e t e r m i n e w i t h c e r t a i n t y w h i c h o b j e c t i s
i n t h e t e s t i m a g e , i t i s a w a r e o f i t s f a i l u r e . O u r s p e c u l a r i t y d e t e c t i o n / r e j e c t i o n m e t h o d w a s
a p p l i e d t o t h e n o n - d i s t i n c t t e s t i m a g e a n d t h e t w o b e s t m a t c h i n g m o d e l i m a g e s : t h e g e l a n d
t h e h o r s e . T h e d i e r e n c i n g i n c r e a s e d t h e c o r r e l a t i o n o f t h e t e s t i m a g e w i t h t h e g e l m o d e l ,
b u t d i d n o t c h a n g e t h e c o r r e l a t i o n w i t h t h e m o d e l h o r s e i m a g e . T a b l e 3 s u m m a r i z e s t h e
p e r f o r m a n c e o f t h e x a n d c h r o m a t i c i t y s p a c e s i n t e r m s o f s o m e m e a s u r e s : \ N o . R e c o g " ,
a n d \ N o . N o n - d i s t i n c t " d e n o t e t h e n u m b e r o f t i m e s t h e a l g o r i t h m c o r r e c t l y r e c o g n i z e s a t e s t
o b j e c t a n d c a n n o t d i s t i n g u i s h b e t w e e n m a t c h e s , r e s p e c t i v e l y , a n d t h e r a n k i s t h e p o s i t i o n o f
t h e c o r r e c t m a t c h i n g i n t h e s o r t e d l i s t o f m a t c h v a l u e s .
6 D i s c u s s i o n
C h r o m a t i c i t y r e p r e s e n t a t i o n s o f o b j e c t c o l o r s d i s c o u n t o b j e c t s h a d i n g v a r i a t i o n t h a t r e s u l t s
f r o m i l l u m i n a t i o n p o s e c h a n g e . I t i s o u r i n t e n t t o s e p a r a t e t h e c o l o r i n f o r m a t i o n f r o m g e o m e t -
r i c i n f o r m a t i o n t h a t i s o t h e r w i s e c o n f o u n d e d i n R G B v a l u e s . T h e p r o p o s e d l o g - s e n s o r - r a t i o
c h r o m a t i c i t y s p a c e f u r t h e r p r o v i d e s i l l u m i n a t i o n c o l o r i n v a r i a n c e u p t o t r a n s l a t i o n a n d o u r
s p e c u l a r i t y r e j e c t i o n m e t h o d r e d u c e t h e i n u e n c e o f s p e c u l a r r e e c t i o n s o n c h r o m a t i c i t y
d i s t r i b u t i o n .
M e t h o d s t h a t a r e b a s e d o n r e e c t a n c e r a t i o s a n d n a r r o w - b a n d l t e r s h a v e b e e n s u g g e s t e d
p r e v i o u s l y b y F u n t a n d F i n l a y s o n 1 4 ] a n d N a y a r a n d B o l l e 2 9 ] . T h e m a i n d i e r e n c e i s t h a t
t h e p r o p o s e d l o g - s e n s o r - r a t i o m e t h o d c r e a t e s t h e s i g n a t u r e f r o m t h e r a t i o o f d i e r e n t c o l o r
b a n d s a t t h e s a m e p i x e l , w h i l e t h e p r e v i o u s r a t i o - b a s e d m e t h o d s u s e r a t i o s o f d i e r e n t
p i x e l s i n t h e s a m e c o l o r b a n d . A n o t h e r d i e r e n c e i s t h a t t h e p r e v i o u s r a t i o - b a s e d m e t h o d s
c o n c e n t r a t e o n l y o n i m a g e r e g i o n s w h e r e c o l o r v a r i e s s u b s t a n t i a l l y , s u c h a s c o l o r e d g e s , a n d
d o n o t u t i l i z e u n i f o r m l y c o l o r e d a r e a s . I f s u r f a c e o r i e n t a t i o n s d o n o t v a r y o v e r n e i g h b o r i n g
p i x e l s , t h e p r e v i o u s r e e c t a n c e - r a t i o m e t h o d s a c h i e v e i l l u m i n a t i o n c o l o r a n d p o s e i n v a r i a n c e .
T h i s i n v a r i a n c e o c c u r s b e c a u s e t h e i l l u m i n a t i o n a n d s u r f a c e n o r m a l a r e c o n s i d e r e d t o b e t h e
s a m e f o r t h e p i x e l s u s e d i n t h e r a t i o a n d h e n c e o n l y t h e r a t i o o f o b j e c t c o l o r r e m a i n s .
H o w e v e r , i f t h e s u r f a c e n o r m a l s a r e n o t t h e s a m e , t h e n t h e r a t i o w i l l n o t b e i n v a r i a n t . T h e
1 2
7/27/2019 10.1.1.52.9208
13/15
d i e r e n t s h a d i n g t h a t m a y r e s u l t f r o m a l t e r i n g t h e i n c i d e n t l i g h t c o n g u r a t i o n w i l l c a u s e
t h e r a t i o s t o v a r y . T h i s m a y o c c u r w h e r e s u r f a c e o r i e n t a t i o n c h a n g e s s u b s t a n t i a l l y s u c h a s
v e r t i c e s o f p o l y h e d r a l o b j e c t s . O u r p r o p o s e d m e t h o d e l i m i n a t e s t h i s p r o b l e m b y e l i m i n a t i n g
t h e e e c t s o f s h a d i n g u s i n g t h e c h r o m a t i c i t y s p a c e . O n t h e o t h e r h a n d , t h e p r e v i o u s r a t i o -
b a s e d m e t h o d s r e q u i r e o n l y l o c a l i l l u m i n a t i o n c o l o r u n i f o r m i t y a n d l e s s s e n s i t i v e t o g r a d u a l
c h a n g e o f i l l u m i n a t i o n c o l o r a c r o s s a s c e n e . V a r y i n g i l l u m i n a t i o n i n t h e l o g - s e n s o r - r a t i o
c h r o m a t i c i t y s p a c e w i l l c a u s e d i e r e n t p i x e l s t o e x p e r i e n c e a d i e r e n t t r a n s l a t i o n . T h e s e
d i e r i n g t r a n s l a t i o n w i l l c a u s e t h e s i g n a t u r e t o w a r p b e y o n d a s i m p l e t r a n s l a t i o n o f t h e
m o d e l s i g n a t u r e . T h u s , t h e l o g - s e n s o r - r a t i o s p a c e c a n o n l y b e e e c t i v e i f i l l u m i n a t i o n c o l o r
i s u n i f o r m t h r o u g h o u t t h e s c e n e .
I n t h i s p a p e r , w e i n t r o d u c e a s p e c u l a r i t y r e j e c t i o n m e t h o d t h a t i s c l o s e l y c o u p l e d w i t h
i l l u m i n a t i o n c o l o r - i n v a r i a n t c h r o m a t i c i t y m a t c h i n g . T o o u r k n o w l e d g e , s p e c u l a r i t y h a s n o t
b e e n a d d r e s s e d b y p r e v i o u s m e t h o d s . W e a s s u m e t h a t s p e c u l a r i t y i s l o c a l i z e d i n s p a c e
( s p e c u l a r s p i k e ) a n d d o e s n o t f u l l y o c c l u d e c r i t i c a l c o l o r s i n d i u s e r e e c t i o n s . T h e c o l o r
d i s t r i b u t i o n i s i n g e n e r a l i n s e n s i t i v e t o p a r t i a l o c c l u s i o n s s i n c e a c o l o r d i s t r i b u t i o n s i g n a t u r e
i s g e n e r a t e d f r o m a w h o l e o b j e c t s u r f a c e . S l i g h t c o l o r v a r i a t i o n d u e t o s p a t i a l l y e x t e n d e d
b u t w e a k l u s t e r i s r e g a r d e d a s n o i s e . B e y o n d t h i s c o n d i t i o n , o u r m e t h o d a d d s c h r o m a t i c i t y
d i e r e n c i n g t o h e l p r e d u c e t h e e e c t o f s p e c u l a r i t y . I n a t e s t i m a g e c o n t a i n i n g s p e c u l a r i t y ,
t h e s p e c u l a r r e g i o n w i l l a d d c h r o m a t i c i t y c l u s t e r s r a n g i n g f r o m t h e o b j e c t c h r o m a t i c i t y t o t h e
i l l u m i n a t i o n c h r o m a t i c i t y . T h e s e a d d i t i o n a l c h r o m a t i c i t i e s s h o u l d a p p e a r a s a n a d d i t i o n a l
l o b e t o t h e m o d e l s i g n a t u r e . C h r o m a t i c i t y d i e r e n c i n g f o r c e s t h e t e s t s i g n a t u r e t o b e c l o s e r
t o t h e m o d e l s i g n a t u r e e l i m i n a t i n g l o b e s t h a t e x t e n d f r o m m o d e l c h r o m a t i c i t y c l u s t e r s t o
i l l u m i n a t i o n c h r o m a t i c i t y .
7 C o n c l u s i o n
T o e e c t i v e l y e m p l o y c o l o r i n f o r m a t i o n a s a r e l i a b l e d e s c r i p t o r o f a n o b j e c t f o r r e c o g n i t i o n ,
c o l o r r e e c t a n c e i n t r i n s i c t o t h e o b j e c t s u r f a c e s h o u l d b e e x t r a c t e d , a n d t h e v a r i a t i o n o f c o l o r
a p p e a r a n c e d u e t o v i e w i n g a n d i l l u m i n a t i o n p o s e , i l l u m i n a t i o n c o l o r , a n d s p e c u l a r i t y n e e d s
t o b e d i s c o u n t e d . W e p r o p o s e t h e u s e o f a c h r o m a t i c i t y s p a c e b a s e d o n l o g - s e n s o r - r a t i o o f
s e n s o r r e s p o n s e s f o r i l l u m i n a t i o n - p o s e a n d i l l u m i n a t i o n - c o l o r i n v a r i a n c e . W e a l s o s u g g e s t a
s p e c u l a r i t y r e j e c t i o n m e t h o d b a s e d o n c h r o m a t i c i t y d i e r e n c i n g . E x p e r i m e n t a l r e s u l t s a r e
p r e s e n t e d t o d e m o n s t r a t e t h e e c a c y o f t h e p r o p o s e d c h r o m a t i c i t y s p a c e a n d s p e c u l a r i t y
r e j e c t i o n m e t h o d .
R e f e r e n c e s
1 ] J . R . B a c h , C . F u l l e r , A . G u p t a , A . H a m p a p u r , R . H o r o w i t z , R . H u m p h r e y , R . C . J a i n ,
a n d C . S h u . V i r a g e i m a g e s e a r c h e n g i n e : A n o p e n f r a m e w o r k f o r i m a g e m a n a g e m e n t . I n
P r o c . S P I E S t o r a g e a n d R e t r i e v a l o f S t i l l I m a g e a n d V i d e o D a t a b a s e s I V , p a g e s 7 6 { 8 7 ,
S a n J o s e , C A , 1 9 9 6 .
1 3
7/27/2019 10.1.1.52.9208
14/15
2 ] R . B a j c s y , S . W . L e e , a n d A . L e o n a r d i s . D e t e c t i o n o f d i u s e a n d s p e c u l a r i n t e r f a c e
r e e c t i o n s a n d i n t e r - r e e c t i o n s b y c o l o r i m a g e s e g m e n t a t i o n . I J C V , 1 7 , 1 9 9 6 .
3 ] G . B r e l s t a a n d A . B l a k e . D e t e c t i n g s p e c u l a r r e e c t i o n s u s i n g l a m b e r t a i n c o n s t r a i n t s .
I n P r o c . o f I E E E I n t . C o n f . o n C o m p u t e r V i s i o n , p a g e s 2 9 7 { 3 0 2 , T a r p o n S p r i n g s , F L ,
1 9 8 8 .
4 ] Q . S . C h e n , M . D e f r i s e , a n d F . D e c o n i n c k . S y m m e t r i c p h a s e - o n l y m a t c h e d l t e r i n g o f
f o u r i e r - m e l l i n t r a n s f o r m s f o r i m a g e r e g i s t r a t i o n a n d r e c o g n i t i o n . I E E E T r a n s . P A M I ,
1 6 : 1 1 5 6 { 1 1 6 8 , 1 9 9 4 .
5 ] R . T . C h i n a n d C . R . D y e r . M o d e l - b a s e d r e c o g n i t i o n i n r o b o t v i s i o n . A C M C o m p u t i n g
S u r v e y s , 1 8 , 1 9 8 6 .
6 ] J . C o h e n . D e p e n d e n c y o f t h e s p e c t r a l r e e c t a n c e c u r v e s o f t h e m u n s e l l c o l o r c h i p s .
P s y c h o n . S c i . , 1 : 3 6 9 { 3 7 0 , 1 9 6 4 .
7 ] M . D ' Z m u r a a n d P . L e n n i e . M e c h a n i s m s o f c o l o r c o n s t a n c y . J O S A , 3 : 1 6 6 2 { 1 6 7 2 , 1 9 8 6 .
8 ] M . F l i c k n e r e t a l . Q u e r y b y i m a g e a n d v i d e o c o n t e n t : T h e q b i c s y s t e m . I E E E C o m p u t e r ,
2 8 : 2 3 { 3 2 , 1 9 9 5 .
9 ] O . D . F a u g e r a s . D i g i t a l c o l o r i m a g e p r o c e s s i n g w i t h i n t h e f r a m e w o r k o f a h u m a n v i s u a l
m o d e l . I E E E T r a n s . A S S P , 2 7 : 3 8 0 { 3 9 3 , 1 9 7 9 .
1 0 ] G . D . F i n l a y s o n . C o l o r i n p e r s p e c t i v e . I E E E T r a n s . P A M I , 1 8 ( 1 0 ) : 1 0 3 4 { 1 0 3 8 , 1 9 9 6 .
1 1 ] G . D . F i n l a y s o n , M . S . D r e w , a n d B . V . F u n t . C o l o r c o n s t a n c y : G e n e r a l i z e d d i a g o n a l
t r a n s f o r m s s u c e . J O S A , 1 1 : 3 0 1 1 { 3 0 1 9 , 1 9 9 4 .
1 2 ] G . D . F i n l a y s o n , M . S . D r e w , a n d B . V . F u n t . S p e c t r a l s h a r p e n i n g : S e n s o r t r a n s f o r m a -
t i o n s f o r i m p r o v e d c o l o r c o n s t a n c y . J O S A , 1 1 : 1 5 5 3 { 1 5 6 3 , 1 9 9 4 .
1 3 ] D . A . F o r s y t h . A n o v e l a p p r o a c h t o c o l o u r c o n s t a n c y . I J C V , 5 : 5 { 3 6 , 1 9 9 0 .
1 4 ] B . V . F u n t a n d G . D . F i n l a y s o n . C o l o r c o n s t a n t c o l o r i n d e x i n g . I E E E T r a n s . P A M I ,
1 7 : 5 2 2 { 5 2 9 , 1 9 9 5 .
1 5 ] G . H . H e a l e y . U s i n g c o l o r f o r g e o m e t r y - i n s e n s i t i v e s e g m e n t a t i o n . J O S A , 6 , 1 9 8 9 .
1 6 ] G . H . H e a l e y a n d D . S l a t e r . G l o b a l c o l o r c o n s t a n c y : R e c o g n i t i o n o f o b j e c t s b y u s e o f
i l l u m i n a t i o n - i n v a r i a n t p r o p e r t i e s o f c o l o r d i s t r i b u t i o n s . J O S A , 1 1 , 1 9 9 4 .
1 7 ] D . P . H u t t e n l o c h e r a n d S . U l l m a n . R e c o g n i z i n g s o l i d o b j e c t s b y a l i g n m e n t . I J C V , 5 ,
1 9 9 0 .
1 8 ] G . J . K l i n k e r , S . A . S h a f e r , a n d T . K a n a d e . A p h y s i c a l a p p r o a c h t o c o l o r i m a g e u n d e r -
s t a n d i n g . I J C V , 4 , 1 9 9 0 .
1 9 ] J . J . K o e n d e r i k , W . A . v a n d e G r i n d , a n d M . A . B o u m a n . O p p o n e n t c o l o r c o d i n g : A
m e c h a n i c a l m o d e l a n d a n e w m e t r i c f o r c o l o r s p a c e . K y b e r n e t i k , 1 0 : 7 8 { 9 8 , 1 9 7 2 .
2 0 ] E . H . L a n d a n d J . J . M c C a n n . L i g h t n e s s a n d r e t i n e x t h e o r y . J O S A , 6 1 : 1 { 1 1 , 1 9 7 1 .
1 4
7/27/2019 10.1.1.52.9208
15/15
2 1 ] S . W . L e e a n d R . B a j c s y . D e t e c t i o n o f s p e c u l a r i t y u s i n g c o l o r a n d m u l t i p l e v i e w s . I m a g e
a n d V i s i o n C o m p u t i n g , 1 0 : 6 4 3 { 6 5 3 , 1 9 9 2 .
2 2 ] S . L i n a n d S . W . L e e . D e t e c t i o n o f s p e c u l a r i t y u s i n g s t e r e o i n c o l o r a n d p o l a r i z a t i o n
s p a c e . C o m p u t e r V i s i o n a n d I m a g e U n d e r s t a n d i n g , 1 9 9 7 .
2 3 ] S . L i n a n d S . W . L e e . U s i n g c h r o m a t i c i t y d i s t r i b u t i o n s a n d e i g e n s p a c e f o r p o s e - ,
i l l u m i n a t i o n - , a n d s p e c u l a r i t y - i n v a r i a n t 3 d o b j e c t r e c o g n i t i o n . I n T o A p p e a r i n P r o c .
I E E E C o n f . C o m p t . V i s i o n a n d P a t t e r n R e c o g . , 1 9 9 7 .
2 4 ] L . T . M a l o n e y a n d B . A . W a n d e l l . A c o m p u t a t i o n a l m o d e l o f c o l o r c o n s t a n c y . J O S A ,
1 : 2 9 { 3 3 , 1 9 8 6 .
2 5 ] H . M u r a s e a n d S . K . N a y a r . V i s u a l l e a r n i n g a n d r e c o g n i t i o n o f 3 - d o b j e c t s f r o m a p p e a r -
a n c e . I J C V , 1 4 , 1 9 9 5 .
2 6 ] M . N a g a o , T . M a t s u y a m a , a n d Y . I k e d a . R e g i o n e x t r a c t i o n a n d s h a p e a n a l y s i s i n a e r i a l
i m a g e s . C G I P , 1 0 ( 3 ) : 1 9 5 { 2 2 3 , J u l y 1 9 7 9 .
2 7 ] S . K . N a y a r , X . S . F a n g , a n d T . B o u l t . S e p a r a t i o n o f r e e c t i o n c o m p o n e n t s u s i n g c o l o r
a n d p o l a r i z a t i o n . I n P r o c . D A R P A I U W o r k s h o p , p a g e s 1 0 4 9 { 1 0 6 0 , W a s h i n g t o n , D C ,
1 9 9 3 .
2 8 ] S . K . N a y a r , K . I k e u c h i , a n d T . K a n a d e . D e t e r m i n i n g s h a p e a n d r e e c t a n c e o f h y b r i d
s u r f a c e s b y p h o t o m e t r i c s a m p l i n g . I E E E T r a n s . R o b o . A u t o m . , 6 : 4 1 8 { 4 3 1 , 1 9 9 0 .
2 9 ] S . K . N a y a r a n d R . M . B o l l e . R e e c t a n c e b a s e d o b j e c t r e c o g n i t i o n . I J C V , 1 7 , 1 9 9 6 .
3 0 ] D . S l a t e r a n d G . H . H e a l e y . T h e i l l u m i n a t i o n - i n v a r i a n t r e c o g n i t i o n o f 3 d o b j e c t s u s i n g
l o c a l c o l o r i n v a r i a n t s . I E E E T r a n s . P A M I , 1 8 ( 2 ) , 1 9 9 6 .
3 1 ] D . S l a t e r a n d G . H . H e a l e y . U s i n g s p e c t r a l r e e c t a n c e m o d e l f o r t h e i l l u m i n a t i o n -
i n v a r i a n t r e c o g n i t i o n o f l o c a l i m a g e s t r u c t u r e . I n P r o c . C V P R , p a g e s 7 7 0 { 7 7 5 , 1 9 9 6 .
3 2 ] M . J . S w a i n . C o l o r i n d e x i n g . I J C V , 7 : 1 1 { 3 2 , 1 9 9 1 .
3 3 ] M . A . T u r k a n d A . P e n t l a n d . F a c e r e c o g n i t i o n u s i n g e i g e n f a c e s . I n P r o c . C V P R , p a g e s
5 8 6 { 5 9 1 , 1 9 9 1 .
3 4 ] G . W e s t a n d M . H . B r i l l . N e c e s s a r y a n d s u c i e n t c o n d i t i o n s f o r v o n k r i e s c h r o m a t i c
a d p t a t i o n t o g i v e c o l o u r c o n s t a n c y . J . M a t h . B i o l . , 1 5 : 2 4 9 { 2 5 8 , 1 9 8 2 .
3 5 ] L . B . W o l . U s i n g p o l a r i z a t i o n t o s e p a r a t e r e e c t i o n c o m p o n e n t s . I n P r o c . o f C V P R ,
p a g e s 3 6 3 { 3 6 9 , S a n D i e g o , 1 9 8 9 .
1 5