8/22/2019 10.1.1.36.4052

1/4

C O N T E N T - B A S E D I M A G E R E T R I E V A L W I T H R E L E V A N C E F E E D B A C K

I N M A R S

Y o n g R u i , T h o m a s S . H u a n g a n d S h a r a d M e h r o t r a

B e c k m a n I n s t i t u t e a n d D e p a r t m e n t o f C o m p u t e r S c i e n c e

U n i v e r s i t y o f I l l i n o i s a t U r b a n a - C h a m p a i g n

U r b a n a , I L 6 1 8 0 1 , U S A

E - m a i l : y r u i @ i f p . u i u c . e d u , h u a n g @ i f p . u i u c . e d u a n d s h a r a d @ c s . u i u c . e d u

A B S T R A C T

T e c h n o l o g y a d v a n c e s i n t h e a r e a s o f I m a g e p r o c e s s i n g

I P a n d I n f o r m a t i o n R e t r i e v a l I R h a v e e v o l v e d s e p a r a t e l y

f o r a l o n g t i m e H o w e v e r , s u c c e s s f u l c o n t e n t - b a s e d i m a g e

r e t r i e v a l s y s t e m s r e q u i r e t h e i n t e g r a t i o n o f t h e t w o . T h e r e

i s a n u r g e n t n e e d t o d e v e l o p i n t e g r a t i o n m e c h a n i s m s t o l i n k

t h e i m a g e r e t r i e v a l m o d e l t o t e x t r e t r i e v a l m o d e l , s u c h t h a t

t h e w e l l e s t a b l i s h e d t e x t r e t r i e v a l t e c h n i q u e s c a n b e u t i l i z e d .

A p p r o a c h e s o f c o n v e r t i n g i m a g e f e a t u r e v e c t o r s I P d o -

m a i n t o w e i g h t e d - t e r m v e c t o r s I R d o m a i n a r e p r o p o s e d

i n t h i s p a p e r . F u r t h e r m o r e , t h e r e l e v a n c e f e e d b a c k t e c h n i q u e

f r o m t h e I R d o m a i n i s u s e d i n c o n t e n t - b a s e d i m a g e r e t r i e v a l

t o d e m o n s t r a t e t h e e e c t i v e n e s s o f t h i s c o n v e r s i o n . E x p e r -

i m e n t a l r e s u l t s s h o w t h a t t h e i m a g e r e t r i e v a l p r e c i s i o n i n -

c r e a s e s c o n s i d e r a b l y b y u s i n g t h e p r o p o s e d i n t e g r a t i o n a p -

p r o a c h .

1 . I N T R O D U C T I O N

T e c h n o l o g y a d v a n c e s a s w e l l a s t h e e m e r g e n c e o f l a r g e s c a l e

m u l t i m e d i a a p p l i c a t i o n s h a v e m a d e d e v e l o p m e n t o f e e c -

t i v e t e c h n i q u e s f o r v i s u a l a n d m u l t i m e d i a r e t r i e v a l s y s t e m

o n e o f t h e m o s t c h a l l e n g i n g a n d i m p o r t a n t d i r e c t i o n s o f t h e

f u t u r e r e s e a r c h . S u c h s y s t e m s w i l l s u p p o r t v i s u a l d a t a r e -

t r i e v a l b a s e d o n t h e i r r i c h i n t e r n a l c o n t e n t s . D e v e l o p m e n t

o f s u c h r e t r i e v a l s y s t e m s r e q u i r e s t h e i n t e g r a t i o n o f v a r i -

o u s t e c h n i q u e s i n t h e e l d s o f I m a g e P r o c e s s i n g I P a n d

I n f o r m a t i o n R e t r i e v a l I R .

T r a d i t i o n a l l y , t h e a b o v e t w o r e s e a r c h a r e a s h a v e b e e n

s t u d i e d i n i s o l a t i o n w i t h l i t t l e o r n o i n t e r a c t i o n . A l t h o u g h

e e c t i v e a l g o r i t h m s f o r i m a g e f e a t u r e e x t r a c t i o n a n d r e p r e -

s e n t a t i o n h a v e b e e n d e v e l o p e d i n I P , h o w t h e s e a l g o r i t h m s

c a n b e i n c o r p o r a t e d i n t h e v i s u a l d a t a m a n a g e m e n t s y s t e m

t o s u p p o r t e e c t i v e r e t r i e v a l h a s n o t b e e n f u l l y e x p l o r e d .

O n t h e o t h e r h a n d , a l t h o u g h t h e r e t r i e v a l s y s t e m f r a m e -

w o r k a n d v a r i o u s r e t r i e v a l t e c h n i q u e s h a v e b e e n e s t a b l i s h e d

i n I R , r e s e a r c h h a s p r i m a r i l y f o c u s s e d o n t e x t u a l d a t a a n d

h a s n o t c o n s i d e r e d i m a g e o r o t h e r v i s u a l m e d i a .

T h e i s o l a t i o n o f t h e s e t w o r e s e a r c h a r e a s i s f u r t h e r e v -

i d e n c e d b y e a c h a r e a ' s r e s e a r c h l i t e r a t u r e . M o s t o f t h e e x -

i s t i n g i m a g e r e t r i e v a l s y s t e m s 1 , 2 h a v e n o t m a d e u s e o f

T h i s w o r k w a s s u p p o r t e d i n p a r t b y N S F D A R P A N A S A

D L I P r o g r a m u n d e r C o o p e r a t i v e A g r e e m e n t 9 4 - 1 1 3 1 8 , i n p a r t

b y A R L C o o p e r a t i v e A g r e e m e n t N o . D A A L 0 1 - 9 6 - 2 - 0 0 0 3 , a n d i n

p a r t b y C S E F e l l o w s h i p , U I U C .

t h e r e t r i e v a l t e c h n i q u e s d e v e l o p e d i n I R . O n t h e o t h e r h a n d ,

m o s t e x i s t i n g I R s y s t e m s 3 , 4 f o c u s s o l e l y o n t h e t e x t - b a s e d

i n f o r m a t i o n .

W e b e l i e v e t h a t e e c t i v e c o n t e n t - b a s e d r e t r i e v a l o f i m -

a g e a n d m u l t i m e d i a d a t a r e q u i r e s a n i n t e g r a t i o n o f t h e r e -

t r i e v a l m o d e l s d e v e l o p e d i n t h e I R l i t e r a t u r e a n d t h e f e a -

t u r e e x t r a c t i o n a n d r e p r e s e n t a t i o n m e t h o d s d e v e l o p e d i n

I P a r e a . T o i l l u s t r a t e t h e u s e f u l n e s s o f s u c h a n i n t e g r a t i o n ,

i n t h i s p a p e r w e a d o p t t h e t e r m w e i g h t i n g a n d r e l e v a n c e

f e e d b a c k t e c h n i q u e s t o c o n t e n t - b a s e d i m a g e r e t r i e v a l . T h i s

i n t e g r a t i o n a p p r o a c h h a s b e e n i m p l e m e n t e d i n M A R S

1

I n

s e c t i o n 2 , t e r m w e i g h t i n g a n d r e l e v a n c e f e e d b a c k t e c h n i q u e s

w i l l b e b r i e y r e v i e w e d . I m a g e t e x t u r e f e a t u r e r e p r e s e n t a -

t i o n s a r e b r i e y d e s c r i b e d i n s e c t i o n 3 . I n s e c t i o n 4 , h o w

t o c o n v e r t t h e i m a g e f e a t u r e v e c t o r s t o I R w e i g h t v e c t o r s i s

a d d r e s s e d i n d e t a i l . E x p e r i m e n t a l r e s u l t s a n d c o n c l u s i o n s

w i l l b e g i v e n i n s e c t i o n s 4 a n d 5 r e s p e c t i v e l y .

2 . T E R M W E I G H T I N G A N D R E L E V A N C E

F E E D B A C K

A n I R m o d e l c o n s i s t s o f a d o c u m e n t m o d e l , a q u e r y m o d e l ,

a n d a m o d e l f o r c o m p u t i n g s i m i l a r i t y b e t w e e n t h e d o c u -

m e n t s a n d t h e q u e r i e s . O n e o f t h e m o s t p o p u l a r I R m o d e l s

i s t h e v e c t o r m o d e l 1 4 , 3 , 1 5 . V a r i o u s e e c t i v e r e t r i e v a l

t e c h n i q u e s h a v e b e e n d e v e l o p e d f o r t h i s m o d e l . A m o n g

t h e m , t e r m w e i g h t i n g a n d r e l e v a n c e f e e d b a c k a r e o f f u n d a -

m e n t a l i m p o r t a n c e .

2 . 1 . T e r m W e i g h t i n g

T e r m w e i g h t i n g i s a t e c h n i q u e o f a s s i g n i n g d i e r e n t w e i g h t s

f o r d i e r e n t k e y w o r d s t e r m s a c c o r d i n g t o t h e i r r e l a t i v e

i m p o r t a n c e t o t h e d o c u m e n t 1 5 , 3 .

I f w e d e n e w

i k

t o b e t h e w e i g h t f o r t e r m t

k

; k = 1 ; : : : ; N ,

i n d o c u m e n t i , w h e r e N i s t h e n u m b e r o f t e r m s , d o c u m e n t

i c a n b e r e p r e s e n t e d a s a w e i g h t v e c t o r i n t h e t e r m s p a c e :

D

i

= w

i 1

; ; w

i k

; ; w

i N

1

T o c o r r e c t l y e s t i m a t e t h e w e i g h t s , w e n e e d t o c o n s i d e r

t w o a s p e c t s . F i r s t , i f t e r m k i s f r e q u e n t l y o c c u r r e d i n t h e

1

M u l t i m e d i a A n a l y s i s a n d R e t r i e v a l S y s t e m M A R S 5 , 6 ,

7 , 8 , 9 , 1 0 , 1 1 , 1 2 , 1 3 i s t h e c o n t e n t - b a s e d m u l t i m e d i a r e -

t r i e v a l s y s t e m d e v e l o p e d a t t h e U n i v e r s i t y o f I l l i n o i s a t U r b a n a -

C h a m p a i g n . U R L : h t t p : j a d z i a . i f p . u i u c . e d u : 8 0 0 0 .

8/22/2019 10.1.1.36.4052

2/4

d o c u m e n t i , t h e n w

i k

s h o u l d b e a s s i g n e d h i g h v a l u e . T h i s

i n t u i t i o n s u g g e s t s t h a t a t e r m f r e q u e n c y t f f a c t o r s h o u l d

b e i n c l u d e d i n t h e e s t i m a t i o n o f w

i k

. S e c o n d , t f a l o n e c a n -

n o t e n s u r e a n a c c e p t a b l e e s t i m a t i o n . W h e n t h e h i g h f r e -

q u e n c y t e r m i s n o t c o n c e n t r a t e d i n a f e w d o c u m e n t s , b u t

i n s t e a d s p r e a d i n g o v e r a l l d o c u m e n t s , w e s h o u l d g i v e t h i s

t e r m l o w w e i g h t . T h i s i n t r o d u c e s t h e w e l l - k n o w n i n v e r s e

d o c u m e n t f r e q u e n c y i d f , w h i c h v a r i e s i n v e r s e l y w i t h t h e

n u m b e r o f d o c u m e n t s i n w h i c h a t e r m a p p e a r s .

i d f

k

= l o g

2

M

d f

k

+ 1 2

w h e r e d f

k

i s t h e d o c u m e n t f r e q u e n c y f o r t e r m k a n d M i s

t h e t o t a l n u m b e r o f d o c u m e n t s i n t h e c o l l e c t i o n . E x p e r i -

m e n t s h a v e s h o w n t h a t t h e p r o d u c t o f t f a n d i d f i s a g o o d

e s t i m a t i o n o f t h e w e i g h t s 1 4 , 3 , 1 5 .

T h e q u e r y Q h a s t h e s a m e m o d e l a s t h a t o f d o c u m e n t

D , i . e . i t i s a w e i g h t v e c t o r i n t h e t e r m s p a c e :

Q = w

q 1

; ; w

q k

; ; w

q N

3

T h e s i m i l a r i t y b e t w e e n D a n d Q i s d e n e d a s t h e C o s i n e

d i s t a n c e .

S i m D ; Q =

D Q

j j D j j j j Q j j

4

w h e r e j j j j d e n o t e s n o r m - 2 .

2 . 2 . R e l e v a n c e F e e d b a c k

A s w e c a n s e e f r o m t h e p r e v i o u s s u b s e c t i o n , i n t h e v e c t o r

m o d e l , t h e s p e c i c a t i o n o f w

q k

' s i n Q i s v e r y c r i t i c a l , s i n c e

t h e s i m i l a r i t y v a l u e s S i m D ; Q ' s a r e c o m p u t e d b a s e d o n

t h e m . H o w e v e r , i t i s u s u a l l y d i c u l t f o r a u s e r t o m a p h i s

i n f o r m a t i o n n e e d i n t o a s e t o f t e r m s p r e c i s e l y . T o o v e r c o m e

t h i s d i c u l t y , t h e t e c h n i q u e o f r e l e v a n c e f e e d b a c k h a s b e e n

p r o p o s e d 3 , 1 5 , 1 4 . R e l e v a n c e f e e d b a c k i s t h e p r o c e s s o f

a u t o m a t i c a l l y a d j u s t i n g a n e x i s t i n g q u e r y u s i n g i n f o r m a -

t i o n f e d - b a c k b y t h e u s e r a b o u t t h e r e l e v a n c e o f p r e v i o u s l y

r e t r i e v e d d o c u m e n t s .

T h e m e c h a n i s m o f t h i s m e t h o d c a n b e d e s c r i b e d e l e -

g a n t l y i n t h e v e c t o r s p a c e . I f t h e s e t s o f r e l e v a n t d o c u -

m e n t s D

R

a n d n o n - r e l e v a n t d o c u m e n t s D

N

a r e k n o w n ,

t h e o p t i m a l q u e r y c a n b e p r o v e n t o b e 1 4 , 3 , 1 5

Q

o p t

=

1

N

R

X

i 2 D

R

D

i

,

1

N

T

, N

R

X

i 2 D

N

D

i

5

w h e r e N

R

i s t h e n u m b e r o f d o c u m e n t s i n D

R

a n d N

T

t h e

n u m b e r o f t h e t o t a l d o c u m e n t s .

I n p r a c t i c e , D

R

a n d D

N

a r e n o t k n o w n i n a d v a n c e .

H o w e v e r , t h e r e l e v a n c e f e e d b a c k o b t a i n e d f r o m t h e u s e r f u r -

n i s h e s a p p r o x i m a t i o n s t o D

R

a n d D

N

, w h i c h a r e r e f e r r e d

a s , D

0

R

a n d D

0

N

T h e o r i g i n a l q u e r y Q c a n b e m o d i e d b y p u t t i n g m o r e

w e i g h t s o n t h e r e l e v a n t t e r m s a n d l e s s w e i g h t s o n t h e n o n -

r e l e v a n t t e r m s .

Q

0

= Q +

1

N

R

0

X

i 2 D

0

R

D

i

,

1

N

N

0

X

i 2 D

0

N

D

i

6

w h e r e ; a n d a r e s u i t a b l e c o n s t a n t s 3 , 1 5 ; N

R

0

a n d

N

N

0

a r e t h e n u m b e r s o f d o c u m e n t s i n D

0

R

a n d D

0

N

Q

0

a p p r o a c h e s Q

o p t

, a s t h e r e l e v a n c e f e e d b a c k i t e r a t i o n m o v e s

o n . E x p e r i m e n t s s h o w t h a t t h e r e t r i e v a l p e r f o r m a n c e c a n

b e i m p r o v e d c o n s i d e r a b l y b y u s i n g r e l e v a n c e f e e d b a c k 1 4 ,

3 , 1 5 .

3 . I M A G E T E X T U R E F E A T U R E

R E P R E S E N T A T I O N S

W e w i l l u s e t e x t u r e f e a t u r e b a s e d i m a g e r e t r i e v a l i n t h i s

p a p e r t o s h o w h o w t o i n t e g r a t e t h e t e c h n i q u e s i n I P a n d

I R . T o d e m o n s t r a t e t h e v a l i d i t y o f t h e p r o p o s e d a p p r o a c h ,

w e w i l l c o n v e r t t w o w e l l k n o w n t e x t u r e r e p r e s e n t a t i o n s t o

t h e w e i g h t e d - t e r m v e c t o r m o d e l . W e b r i e y d e s c r i b e t h e

t w o r e p r e s e n t a t i o n s i n t h i s s e c t i o n .

3 . 1 . W a v e l e t r e p r e s e n t a t i o n

A n i n p u t i m a g e i s f e d i n t o a w a v e l e t l t e r b a n k a n d i s

d e c o m p o s e d i n t o d e - c o r r e l a t e d s u b - b a n d s . E a c h s u b - b a n d

c a p t u r e s t h e f e a t u r e o f s o m e s c a l e a n d o r i e n t a t i o n o f t h e

o r i g i n a l i m a g e .

S p e c i c a l l y , w e d e c o m p o s e a n i m a g e i n t o t h r e e w a v e l e t

l e v e l s ; t h u s h a v i n g 1 0 s u b - b a n d s . F o r e a c h s u b - b a n d , t h e

s t a n d a r d d e v i a t i o n o f t h e w a v e l e t c o e c i e n t s i s e x t r a c t e d .

T h e 1 0 s t a n d a r d d e v i a t i o n s a r e u s e d a s t h e t e x t u r e r e p r e -

s e n t a t i o n f o r t h e i m a g e .

3 . 2 . C o - o c c u r r e n c e m a t r i x r e p r e s e n t a t i o n

T h i s a p p r o a c h e x p l o r e s t h e t e x t u r e f e a t u r e s b y a n a l y z i n g

t h e g r a y - t o n e s p a t i a l d e p e n d e n c i e s 1 6 . W e r s t d e n e a

m a t r i x o f r e l a t i v e f r e q u e n c i e s w i t h w h i c h t w o p i x e l s s e p a -

r a t e d b y d i s t a n c e d a t a s p e c i e d a n g l e o c c u r o n t h e i m a g e ,

o n e w i t h g r a y - t o n e i a n d t h e o t h e r w i t h g r a y - t o n e j . S u c h

a m a t r i x d e p e n d s o n t h e a n g l e s e l e c t e d . W e c o n s t r u c t f o u r

s u c h m a t r i c e s , c o r r e s p o n d i n g t o 0

o

; 4 5

o

; 9 0

o

a n d 1 3 5

o

A f t e r w e c o n s t r u c t t h e c o - o c c u r r e n c e m a t r i c e s , v a r i o u s

s t a t i s t i c a l p r o p e r t i e s c a n b e e x t r a c t e d a s t h e t e x t u r e f e a -

t u r e . I n t h i s p a p e r , w e u s e t h e m o s t e e c t i v e t w o f e a t u r e s ,

i . e . c o n t r a s t C T R , a n d i n v e r s e d i e r e n c e m o m e n t I D M .

S i n c e w e h a v e 2 f e a t u r e s f o r e a c h o r i e n t a t i o n , a l e n g t h - 8

v e c t o r i s u s e d a s t h e t e x t u r e r e p r e s e n t a t i o n .

3 . 3 . F e a t u r e v e c t o r

B o t h t h e w a v e l e t t e x t u r e r e p r e s e n t a t i o n a n d t h e c o - o c c u r r e n c e

m a t r i x t e x t u r e r e p r e s e n t a t i o n c o n s i s t o f m u l t i p l e c o m p o -

n e n t s a n d c a n b e r e p r e s e n t e d a s a f e a t u r e v e c t o r :

F

i

= f

i 1

; : : : ; f

i k

; : : : ; f

i N

7

N e q u a l s 1 0 i n t h e w a v e l e t c a s e a n d e q u a l s 8 i n t h e c o -

o c c u r r e n c e m a t r i x c a s e . N o t e t h a t w i t h i n t h e s a m e f e a t u r e

v e c t o r , t h e c o m p o n e n t s f

i k

' s m a y b e d e n e d o v e r d i e r -

e n t p h y s i c a l d o m a i n s . F o r e x a m p l e , o n e m a y b e C T R w h i l e

a n o t h e r m a y b e I D M . T h e i r d y n a m i c r a n g e s m a y v a r y d r a s -

t i c a l l y .

4 . T H E I N T E G R A T E D M O D E L

T h e r e l e v a n c e f e e d b a c k t e c h n i q u e d e s c r i b e d i n S e c t i o n 2 i s

a p o w e r f u l t e c h n i q u e b u t i t i s o n l y a p p l i c a b l e i n t h e v e c t o r

I R m o d e l . I n o r d e r t o m a k e u s e o f i t , w e n e e d t o d e v e l o p

t e c h n i q u e s w h i c h c a n c o n v e r t t h e i m a g e f e a t u r e v e c t o r s i n t o

w e i g h t v e c t o r s i n v e c t o r m o d e l . I n t h e r e m a i n i n g o f t h e

s e c t i o n , w e w i l l d e s c r i b e t w o a p p r o a c h e s . O n e i s b a s e o n

t f i d f a n d t h e o t h e r i s b a s e d o n G a u s s i a n N o r m a l i z a t i o n .

8/22/2019 10.1.1.36.4052

3/4

4 . 1 . t f i d f

I n t e x t r e t r i e v a l , t h e p r o d u c t o f t f a n d i d f p r o v i d e s a g o o d

e s t i m a t i o n o f t h e w e i g h t s o f t h e t e r m s t o a d o c u m e n t . M o -

t i v a t e d b y t f a n d i d f , w e p r o p o s e t h e f a c t o r s o f c o m p o n e n t

i m p o r t a n c e c i a n d i n v e r s e c o l l e c t i o n i m p o r t a n c e i c i i n

i m a g e r e t r i e v a l . T h e f a c t o r o f c i c a p t u r e s t h e r e l a t i v e i m -

p o r t a n c e o f c o m p o n e n t s w i t h i n a f e a t u r e v e c t o r w h i l e t h e

f a c t o r o f i c i c a p t u r e s t h e i m p o r t a n c e o f c o m p o n e n t s a c r o s s

d i e r e n t f e a t u r e v e c t o r s o v e r t h e w h o l e c o l l e c t i o n .

T o e s t i m a t e c i , n o t e t h a t c i a n d f

i k

h a v e q u i t e s i m i l a r

m e a n i n g s . T h e f o r m e r r e p r e s e n t s t h e r e l a t i v e i m p o r t a n t o f

a c o m p o n e n t , a n d t h e l a t t e r r e p r e s e n t s t h e m a g n i t u d e o f t o

w h a t e x t e n t a p r o p e r t y a p p e a r s i n a n i m a g e . B u t t o h a v e a n

a c c u r a t e e s t i m a t i o n , w e n e e d t o t a k e i n t o a c c o u n t t h e f a c t

t h a t f

i k

' s m a y b e d e n e d o v e r d i e r e n t p h y s i c a l d o m a i n s .

T o n o r m a l i z e t h e i r d y n a m i c r a n g e s t o c o m p a r a b l e s c a l e , w e

p r o p o s e t h e f o l l o w i n g t o e s t i m a t e c i :

c i

i

=

f

i 1

m e a n

1

; : : : ;

f

i k

m e a n

k

; : : : ;

f

i N

m e a n

N

w h e r e m e a n

k

i s t h e m e a n o f f

i k

o v e r a l l t h e i m a g e s .

J u s t l i k e i n t h e t e x t r e t r i e v a l , u s i n g t f a l o n e m a y n o t

b e a g o o d e s t i m a t i o n o f t h e t e r m w e i g h t s , w e a l s o n e e d t o

e s t i m a t e t h e i c i f a c t o r , w h i c h c a p t u r e s t h e i m p o r t a n c e o f a

c o m p o n e n t a c r o s s t h e w h o l e i m a g e c o l l e c t i o n :

i c i

i

= l o g

2

i 1

+ 2 ; : : : ; l o g

2

i k

+ 2 ; : : : ; l o g

2

i N

+ 2

w h e r e

i k

i s t h e s t a n d a r d d e v i a t i o n o f t h e k

t h

c o m p o n e n t

i n c i

i

o v e r a l l t h e i m a g e s i n t h e c o l l e c t i o n . N o t e t h a t , i c i

p e n a l i z e s t h o s e c o m p o n e n t s w h o h a v e s m a l l d i s c r i m i n a t i n g

p o w e r b u t f a v o r s t h o s e h a v i n g l a r g e d i s c r i m i n a t i n g p o w e r .

T h i s i n t u i t i o n j u s t i e s t h e s t a n d a r d d e v i a t i o n b e i n g a

g o o d m e a s u r e o f i c i

T h e n a l w e i g h t v e c t o r W

i

i s t h e p r o d u c t o f c i a n d i c i :

W

i

= c i

i

i c i

i

8

A f t e r t h e c o n v e r s i o n f r o m F

i

t o W

i

, t h e r e l e v a n c e f e e d -

b a c k t e c h n i q u e d e s c r i b e d i n s e c t i o n 2 c a n b e a p p l i e d .

4 . 2 . G a u s s i a n N o r m a l i z a t i o n

T h e r e a r e d i e r e n t w a y s o f c o n v e r t i n g a f e a t u r e v e c t o r t o

a w e i g h t v e c t o r . I n t h e p r e v i o u s s u b s e c t i o n w e d e s c r i b e d

a t f i d f b a s e a p p r o a c h , i n w h i c h t h e w e i g h t s a r e i n c o r -

p o r a t e d i n s i d e t h e v e c t o r i t s e l f . T h e w e i g h t s c a n a l s o b e

o u t s i d e t h e v e c t o r . I n t h i s s u b s e c t i o n w e w i l l d e s c r i b e a n a p -

p r o a c h w h i c h r s t n o r m a l i z e s e a c h c o m p o n e n t t o t h e s a m e

i m p o r t a n c e a n d t h e n d y n a m i c a l l y a d j u s t s t h e w e i g h t s d u r -

i n g t h e r e l e v a n c e f e e d b a c k p r o c e s s .

S u p p o s e t h e r e a r e M i m a g e s i n t h e d a t a b a s e . T h e n

w e c a n f o r m a n M N f e a t u r e m a t r i x F = f

i j

, w h e r e f

i j

i s t h e j t h f e a t u r e c o m p o n e n t i n f e a t u r e v e c t o r F

i

. N o w ,

e a c h c o l u m n o f F i s a l e n g t h - M s e q u e n c e o f t h e j t h f e a t u r e

c o m p o n e n t , r e p r e s e n t e d a s F

j

. O u r g o a l i s t o n o r m a l i z e

t h e e n t r i e s i n e a c h c o l u m n t o t h e s a m e r a n g e s o a s t o e n -

s u r e t h a t e a c h i n d i v i d u a l f e a t u r e c o m p o n e n t r e c e i v e s e q u a l

w e i g h t i n d e t e r m i n i n g t h e s i m i l a r i t y b e t w e e n t w o v e c t o r s .

A n e e c t i v e w a y o f d o i n g t h i s i s t o u s e G a u s s i a n N o r m a l -

i z a t i o n . A s s u m i n g t h e f e a t u r e s e q u e n c e F

j

t o b e a G a u s s i a n

s e q u e n c e , w e c o m p u t e t h e m e a n m

j

a n d s t a n d a r d d e v i a t i o n

j

o f t h e s e q u e n c e . W e t h e n n o r m a l i z e t h e o r i g i n a l s e q u e n c e

t o a N 0 , 1 s e q u e n c e a s f o l l o w s :

T a b l e 1 . R e t r i e v a l p r e c i s i o n

w v : w a v e l e t b a s e d ; c o : c o - o c c u r r e n c e m a t r i x b a s e d .

0 r f 1 r f 2 r f 3 r f

w v t f 7 6 . 8 7 8 2 . 1 3 8 4 . 3 3 8 5 . 5 0

w v t f i d f 7 7 . 2 7 8 2 . 3 3 8 5 . 1 3 8 5 . 5 3

w v G a u s s i a n 7 7 . 6 7 8 0 . 2 7 8 0 . 4 7 8 0 . 5 3

c o t f 5 7 . 5 3 6 3 . 2 0 6 5 . 1 3 6 6 . 0 7

c o t f i d f 5 7 . 8 0 6 3 . 4 7 6 5 . 1 3 6 6 . 4 0

c o G a u s s i a n 4 4 . 3 3 4 8 . 5 3 4 8 . 8 0 4 8 . 8 0

f

i j

=

f

i j

, m

j

j

9

I t i s e a s y t o p r o v e t h a t a f t e r t h e n o r m a l i z a t i o n a c c o r d i n g

t o 9 , t h e p r o b a b i l i t y o f a f e a t u r e c o m p o n e n t v a l u e b e i n g

i n t h e r a n g e o f - 1 , 1 i s 6 8 . I f w e u s e 3

j

i n t h e d e n o m i n a -

t o r , a c c o r d i n g t o t h e 3 - r u l e , t h e p r o b a b i l i t y o f a f e a t u r e

c o m p o n e n t v a l u e b e i n g i n t h e r a n g e o f - 1 , 1 i s a p p r o x i -

m a t e l y 9 9 . I n p r a c t i c e , w e c a n c o n s i d e r a l l o f t h e f e a t u r e

c o m p o n e n t v a l u e s a r e w i t h i n t h e r a n g e o f - 1 , 1 . T h e r e f o r e ,

t h i s n o r m a l i z a t i o n p r o c e s s e n s u r e s t h e e q u a l e m p h a s i s o f

t h e f e a t u r e c o m p o n e n t s w i t h i n a f e a t u r e v e c t o r .

O u r n a l g o a l i s p u t m o r e e m p h a s i s o n r e l e v a n t c o m p o -

n e n t s a n d l e s s e m p h a s i s o n n o n - r e l e v a n t c o m p o n e n t s . T h i s

c a n b e a c h i e v e d b y u s i n g r e l e v a n c e f e e d b a c k . F o r a l l t h e i m -

a g e s t h a t a r e m a r k e d w i t h r e l e v a n t b y t h e u s e r , s t a c k t h e i r

F

i

' s t o f o r m a M

0

N m a t r i x , w h e r e M

0

i s t h e n u m b e r

o f r e l e v a n t i m a g e s . I n t h i s w a y , e a c h c o l u m n o f t h e m a t r i x

i s a l e n g t h - M

0

s e q u e n c e o f F

j

. I f a l l t h e r e l e v a n t i m a g e s

h a v e s i m i l a r v a l u e s f o r t h e c o m p o n e n t j , i t m e a n s t h a t t h e

c o m p o n e n t j i s r e l e v a n t t o t h e q u e r y . O n t h e o t h e r h a n d ,

i f t h e v a l u e s f o r t h e c o m p o n e n t j a r e v e r y d i e r e n t a m o n g

t h e r e l e v a n t i m a g e s , t h e n t h e c o m p o n e n t j i s n o t r e l e v a n t

t o t h e q u e r y . T h e r e f o r e , t h e i n v e r s e o f t h e s t a n d a r d d e v i a -

t i o n o f t h e F

j

s e q u e n c e i s a g o o d m e a s u r e o f t h e w e i g h t f o r

c o m p o n e n t j . T h a t i s , t h e s m a l l e r t h e v a r i a n c e , t h e l a r g e r

t h e w e i g h t a n d v i c e v e r s a .

5 . E X P E R I M E N T A L R E S U L T S

O u r t e s t i n g i m a g e s e t c o n s i s t s o f 3 8 4 t e x t u r e i m a g e s . T h e

o r i g i n a l 2 4 5 1 2 5 1 2 t e x t u r e i m a g e s a r e o b t a i n e d f r o m M I T

M e d i a L a b a t f t p : w h i t e c h a p e l . m e d i a . m i t . e d u p u b V i s T e x .

E a c h i m a g e i s t h e n c u t i n t o 1 6 1 2 8 1 2 8 n o n - o v e r l a p s m a l l

i m a g e s . T h e 1 6 i m a g e s f r o m t h e s a m e b i g i m a g e a r e c o n -

s i d e r e d t o b e r e l e v a n t i m a g e s . E a c h o f t h e 3 8 4 i m a g e s i s

s e l e c t e d a s t h e q u e r y i m a g e a n d t o p 1 5 b e s t m a t c h e s a r e r e -

t u r n e d . T h e a v e r a g e r e t r i e v a l p r e c i s i o n o f 3 8 4 q u e r y i m a g e s

i s s u m m a r i z e d i n T a b l e 1 , w h e r e t h e p r e c i s i o n i s d e n e d a s

p r e c i s i o n =

r e l e v a n t i m a g e s

r e t u r n e d i m a g e s

1 0 0 1 0

T h e r e a r e f o u r c o l u m n s i n t h e t a b l e . 0 r f s t a n d s f o r

n o r e l e v a n c e f e e d b a c k ; 1 r f c o r r e s p o n d s t o 1 i t e r a t i o n o f

r e l e v a n c e f e e d b a c k ; a n d s o f o r t h .

T h e p u r p o s e o f t h e e x p e r i m e n t s i s n o t t o c o m p a r e o n e

t e x t u r e r e p r e s e n t a t i o n v s a n o t h e r , b u t r a t h e r t o c o m p a r e

t h e r e t r i e v a l p e r f o r m a n c e w i t h r e l e v a n c e f e e d b a c k v s t h e

p e r f o r m a n c e w i t h o u t r e l e v a n c e f e e d b a c k . S o m e o b s e r v a -

t i o n s c a n b e m a d e .

8/22/2019 10.1.1.36.4052

4/4

1 . T h e r e t r i e v a l p r e c i s i o n i s i m p r o v e d c o n s i d e r a b l y i n

t h e f e e d b a c k c a s e t h a n t h a t i n t h e n o n - f e e d b a c k c a s e .

2 . T h e p r e c i s i o n i n c r e a s e i n t h e r s t i t e r a t i o n o f f e e d -

b a c k i s t h e l a r g e s t . S u b s e q u e n t f e e d b a c k s w i l l o n l y

a c h i e v e m i n o r i m p r o v e m e n t i n p r e c i s i o n . T h i s i s a

v e r y d e s i r a b l e p r o p e r t y , s i n c e t h i s w i l l g u a r a n t e e t h a t

a n a c c e p t a b l e r e t r i e v a l r e s u l t i s a c h i e v e d w i t h i n a l i m -

i t e d a m o u n t o f f e e d b a c k c y c l e s .

3 . U s i n g t f i d f t o e s t i m a t e t h e w e i g h t s r e s u l t s i n a

b e t t e r r e t r i e v a l p e r f o r m a n c e t h a n u s i n g t f a l o n e .

4 . A l t h o u g h i n t h e r e s u l t s r e p o r t e d h e r e t h e t f i d f a p -

p r o a c h i s a l w a y s b e t t e r t h a n t h e G a u s s i a n N o r m a l -

i z a t i o n a p p r o a c h , t h e r e d o e x i s t c a s e s t h a t t h e l a t t e r

i s b e t t e r t h a n t h e f o r m e r . F u r t h e r m o r e , o n e m a j o r

a d v a n t a g e o f u s i n g t h e l a t t e r i s t h a t i t i s m o r e r o b u s t

t o u n k n o w n f e a t u r e c o m p o n e n t s . T h a t i s , i f w e c a r e -

f u l l y s e l e c t t h e f e a t u r e c o m p o n e n t s , t f i d f m i g h t

d o a b e t t e r j o b t h a n G a u s s i a n N o r m a l i z a t i o n . B u t i f

w e d o n o t n e t u n e t h e f e a t u r e c o m p o n e n t s , i n m o s t

c a s e s , G a u s s i a n N o r m a l i z a t i o n w i l l d o a b e t t e r j o b .

A n e x a m p l e r e t r i e v a l r e s u l t f o r 0 r f a n d 1 r f i s g i v e n

i n F i g u r e 1 . A w e b - b a s e d o n - l i n e d e m o o f t h e s y s t e m i s

a c c e s s i b l e a t h t t p : q u a r k . i f p . u i u c . e d u : 8 0 8 0 .

a b

F i g u r e 1 : a B e f o r e r e l e v a n c e f e e d b a c k . b A f t e r r e l e v a n c e

f e e d b a c k .

6 . C O N C L U S I O N S

U n l i k e o t h e r e x i s t i n g i m a g e r e t r i e v a l s y s t e m s , w h e r e o n l y

t h e I P t e c h n i q u e s a r e e x p l o r e d , t h e p r o p o s a l i n t e g r a t i o n

a p p r o a c h i n t h i s p a p e r e x p l o r e s t h e t e c h n i q u e s i n b o t h I P

a n d I R . S p e c i c a l l y , a p p r o a c h e s o f c o n v e r t i n g i m a g e f e a t u r e

v e c t o r s I P d o m a i n t o w e i g h t e d - t e r m v e c t o r s I R d o m a i n

a r e p r o p o s e d i n t h i s p a p e r . F u r t h e r m o r e , t h e r e l e v a n c e f e e d -

b a c k t e c h n i q u e f r o m t h e I R d o m a i n i s u s e d i n c o n t e n t - b a s e d

i m a g e r e t r i e v a l t o d e m o n s t r a t e t h e e e c t i v e n e s s o f t h i s c o n -

v e r s i o n . E x p e r i m e n t a l r e s u l t s s h o w t h a t t h e i m a g e r e t r i e v a l

p r e c i s i o n i n c r e a s e s c o n s i d e r a b l y b y u s i n g t h e p r o p o s e d i n -

t e g r a t i o n a p p r o a c h .

7 . R E F E R E N C E S

1 M . F l i c k n e r , H . S a w h n e y , W . N i b l a c k , a n d J . A s h l e y ,

Q u e r y b y i m a g e a n d v i d e o c o n t e n t : T h e q b i c s y s t e m , "

I E E E C o m p u t e r , 1 9 9 5 .

2 J . R . B a c h , C . F u l l e r , A . G u p t a , A . H a m p a p u r ,

B . H o r o w i t z , R . H u m p h r e y , R . J a i n , a n d C . f e S h u ,

T h e v i r a g e i m a g e s e a r c h e n g i n e : A n o p e n f r a m e w o r k

f o r i m a g e m a n a g e m e n t , " i n S P I E S t o r a g e a n d R e t r i e v a l

f o r S t i l l I m a g e a n d V i d e o D a t a b a s e s I V

3 G . S a l t o n a n d M . J . M c G i l l , I n t r o d u c t i o n t o M o d e r n

I n f o r m a t i o n R e t r i e v a l . M c G r a w - H i l l B o o k C o m p a n y ,

1 9 8 3 .

4 J . P . C a l l a n , W . B . C r o f t , a n d S . M . H a r d i n g , T h e

i n q u e r y r e t r i e v a l s y s t e m , " i n P r o c o f 3 r d I n t C o n f o n

D a t a b a s e a n d E x p e r t S y s t e m A p p l i c a t i o n

5 T . S . H u a n g , S . M e h r o t r a , a n d K . R a m c h a n d r a n ,

M u l t i m e d i a a n a l y s i s a n d r e t r i e v a l s y s t e m M A R S

p r o j e c t , " i n P r o c o f 3 3 r d A n n u a l C l i n i c o n L i b r a r y A p -

p l i c a t i o n o f D a t a P r o c e s s i n g - D i g i t a l I m a g e A c c e s s a n d

R e t r i e v a l , 1 9 9 6 .

6 S . M e h r o t r a , Y . R u i , K . C h a k r a b a r t i , M . O r t e g a , a n d

T . S . H u a n g , M u l t i m e d i a a n a l y s i s a n d r e t r i e v a l s y s -

t e m , " i n s u b m i t t e d t o T h e 3 r d I n t . W o r k s h o p o n I n -

f o r m a t i o n R e t r i e v a l S y s t e m s , 1 9 9 7 .

7 Y . R u i , A . C . S h e , a n d T . S . H u a n g , A u t o m a t e d

s h a p e s e g m e n t a t i o n u s i n g a t t r a c t i o n - b a s e d g r o u p i n g i n

s p a t i a l - c o l o r - t e x t u r e s p a c e , " i n P r o c . I E E E I n t . C o n f .

o n I m a g e P r o c . , 1 9 9 6 .

8 Y . R u i , A . C . S h e , a n d T . S . H u a n g , M o d i e d f o u r i e r

d e s c r i p t o r s f o r s h a p e r e p r e s e n t a t i o n a p r a c t i c a l a p -

p r o a c h , " i n P r o c o f F i r s t I n t e r n a t i o n a l W o r k s h o p o n

I m a g e D a t a b a s e s a n d M u l t i M e d i a S e a r c h

9 Y . R u i , T . S . H u a n g , S . M e h r o t r a , a n d M . O r t e g a , A u -

t o m a t i c m a t c h i n g t o o l s e l e c t i o n u s i n g r e l e v a n c e f e e d -

b a c k i n M A R S , " i n P r o c . o f 2 n d I n t . C o n f . o n V i s u a l

I n f o r m a t i o n S y s t e m s , 1 9 9 7 .

1 0 Y . R u i , T . S . H u a n g , S . M e h r o t r a , a n d M . O r t e g a , A

r e l e v a n c e f e e d b a c k a r c h i t e c t u r e i n c o n t e n t - b a s e d m u l t i -

m e d i a i n f o r m a t i o n r e t r i e v a l s y s t e m s , " i n P r o c o f I E E E

W o r k s h o p o n C o n t e n t - b a s e d A c c e s s o f I m a g e a n d V i d e o

L i b r a r i e s , i n c o n j u n c t i o n w i t h I E E E C V P R ' 9 7 , 1 9 9 7 .

1 1 Y . R u i , T . S . H u a n g , a n d S . M e h r o t r a , H u m a n p e r -

c e p t i o n s u b j e c t i v i t y a n d r e l e v a n c e f e e d b a c k i n m u l t i -

m e d i a i n f o r m a t i o n r e t r i e v a l , " i n s u b m i t t e d t o S t o r a g e

a n d R e t r i e v a l o f I m a g e s V i d e o D a t a b a s e s V I , E I ' 9 8 ,

1 9 9 8 .

1 2 S . M e h r o t r a , Y . R u i , M . O r t e g a - B . , a n d T . S . H u a n g ,

S u p p o r t i n g c o n t e n t - b a s e d q u e r i e s o v e r i m a g e s i n

M A R S , " i n P r o c . o f I E E E I n t . C o n f . o n M u l t i m e d i a

C o m p u t i n g a n d S y s t e m s , 1 9 9 7 .

1 3 M . O r t e g a , Y . R u i , K . C h a k r a b a r t i , , S . M e h r o t r a ,

a n d T . S . H u a n g , S u p p o r t i n g s i m i l a r i t y q u e r i e s i n

M A R S , " i n s u b m i t t e d t o A C M C o n f . o n M u l t i m e d i a ,

1 9 9 7 .

1 4 C . B u c k l e y a n d G . S a l t o n , O p t i m i z a t i o n o f r e l e v a n c e

f e e d b a c k w e i g h t s , " i n P r o c . o f S I G I R ' 9 5

1 5 W . M . S h a w , T e r m - r e l e v a n c e c o m p u t a t i o n s a n d p e r -

f e c t r e t r i e v a l p e r f o r m a n c e , " I n f o r m a t i o n P r o c e s s i n g

a n d M a n a g e m e n t

1 6 R . M . H a r a l i c k , K . S h a n m u g a m , a n d I . D i n s t e i n , T e x -

t u r e f e a t u r e s f o r i m a g e c l a s s i c a t i o n , " I E E E T r a n s . o n

S y s , M a n , a n d C y b , v o l . S M C - 3 , n o . 6 , 1 9 7 3 .