7/28/2019 A Bayesian Approach to User Profiling in Information Retrieval

1/7

A B a y e s i a n A p p r o a c h t o U s e r P r o l i n g

i n I n f o r m a t i o n R e t r i e v a l

S . K . M . W o n g C . J . B u t z

D e p a r t m e n t o f C o m p u t e r S c i e n c e S c h o o l o f I n f o r m a t i o n T e c h n o l o g y & E n g i n e e r i n g

U n i v e r s i t y o f R e g i n a U n i v e r s i t y o f O t t a w a

R e g i n a , S a s k a t c h e w a n , C a n a d a , S 4 S 0 A 2 O t t a w a , O n t a r i o , C a n a d a , K 1 N 6 N 5

w o n g @ c s . u r e g i n a . c a b u t z @ s i t e . u o t t a w a . c a

A b s t r a c t

N u m e r o u s p r o b a b i l i t y m o d e l s h a v e b e e n s u g -

g e s t e d f o r i n f o r m a t i o n r e t r i e v a l ( I R ) o v e r t h e

y e a r s . T h e s e m o d e l s h a v e b e e n a p p l i e d t o

t r y t o m a n a g e t h e i n h e r e n t u n c e r t a i n t y i n

I R , f o r i n s t a n c e , d o c u m e n t a n d q u e r y r e p r e -

s e n t a t i o n , r e l e v a n c e f e e d b a c k , a n d e v a l u a t i n g

t h e e e c t i v e n e s s o f I R s y s t e m . O n t h e o t h e r

h a n d , B a y e s i a n n e t w o r k s h a v e b e c o m e a n e s -

t a b l i s h e d p r o b a b i l i s t i c f r a m e w o r k f o r u n c e r -

t a i n t y m a n a g e m e n t i n a r t i c i a l i n t e l l i g e n c e .

I n t h i s p a p e r , w e s u g g e s t t h e u s e o f B a y e s i a n

n e t w o r k s f o r u s e r p r o l i n g i n I R . O u r a p -

p r o a c h c a n t a k e f u l l a d v a n t a g e o f b o t h t h e e f -

f e c t i v e l e a r n i n g a l g o r i t h m s a n d e c i e n t q u e r y

p r o c e s s i n g t e c h n i q u e s a l r e a d y d e v e l o p e d f o r

p r o b a b i l i s t i c n e t w o r k s . M o r e o v e r , B a y e s i a n

n e t w o r k s c a p t u r e a m o r e g e n e r a l c l a s s o f

p r o b a b i l i t y d i s t r i b u t i o n s t h a n t h e p r e v i o u s l y

p r o p o s e d p r o b a b i l i s t i c m o d e l s . F i n a l l y , t h i s

p a p e r p r o v i d e s a t h e o r e t i c a l f o u n d a t i o n f o r

t h e c r o s s - f e r t i l i z a t i o n o f t e c h n i q u e s b e t w e e n

I R a n d B a y e s i a n n e t w o r k s .

1 I n t r o d u c t i o n

I n t h e e n v i r o n m e n t o f i n f o r m a t i o n r e t r i e v a l ( I R ) 8 ,

2 4 ] , t h e r e e x i s t s a c o l l e c t i o n o f d o c u m e n t s a n d a g r o u p

o f u s e r s . T h e p r i m a r y o b j e c t i v e o f a r e t r i e v a l s y s t e m i s

t o i d e n t i f y t h o s e d o c u m e n t s t h a t a r e u s e f u l t o a p a r t i c -

u l a r u s e r . A d o c u m e n t i s r e l e v a n t t o a u s e r w h e n e v e r i t

i s t h o u g h t t h a t t h e d o c u m e n t i s u s e f u l , o t h e r w i s e t h e

d o c u m e n t i s c o n s i d e r e d a s b e i n g n o n r e l e v a n t . T h e r e

a r e m a n y c o m p l e x f a c t o r s w h i c h g o v e r n t h e r e l e v a n c e

r e l a t i o n s h i p b e t w e e n a d o c u m e n t a n d a u s e r q u e r y . I t

i s p r a c t i c a l l y i m p o s s i b l e t o d e s i g n a s y s t e m t h a t w i l l

m a k e s t r i c t p r e d i c t i o n s a b o u t s u c h r e l e v a n c e r e l a t i o n -

s h i p s . H o w e v e r , t h e p r o b l e m o f r e t r i e v a l c a n b e f o r m u -

l a t e d a s a p r o b l e m o f e v i d e n c e a n d p r e d i c t i o n b a s e d o n

t h e p r o b a b i l i t y t h e o r y 1 9 ] .

T r a d i t i o n a l p r o b a b i l i s t i c m o d e l s c o n s t r u c t a d i s c r i m i -

n a n t ( d e c i s i o n ) f u n c t i o n , r e p r e s e n t i n g t h e i n f o r m a t i o n

r e q u e s t , t h r o u g h a n i n d u c t i v e l e a r n i n g p r o c e s s ( r e l e -

v a n c e f e e d b a c k ) . A l t h o u g h t h e p r o b a b i l i s t i c m o d e l i s

t h e o r e t i c a l l y s o u n d , a n d i t s r e t r i e v a l e e c t i v e n e s s e x -

t e n s i v e l y s t u d i e d 4 , 5 , 6 , 1 8 , 2 9 ] , o n e i s o f t e n f o r c e d

t o m a k e s o m e r a t h e r r e s t r i c t i v e a s s u m p t i o n s o n t h e

o i n t p r o b a b i l i t y d i s t r i b u t i o n F o r e x a m p l e d u e t o

t h e p r o b l e m o f l a r g e d i m e n s i o n a l i t y , w e m a y a s s u m e

t h a t t h e i n d e x t e r m s a r e p r o b a b i l i s t i c a l l y i n d e p e n -

d e n t . T h e i n d e p e n d e n c e m o d e l i s s i m p l e b u t i t s v a -

l i d i t y i s q u e s t i o n a b l e . O t h e r h i g h e r - o r d e r a p p r o x i m a -

t i o n s 1 8 , 2 4 , 2 9 , 3 0 ] w e r e s u g g e s t e d s u c h a s t h e t r e e

d e p e n d e n c e m o d e l 7 ] . H o w e v e r , m o s t o f t h e s e a p -

p r o a c h e s c a n o n l y c a p t u r e a r e s t r i c t e d s u b c l a s s o f p r o b -

a b i l i t y d i s t r i b u t i o n s .

T u r t l e a n d C r o f t 2 2 , 2 3 ] i n t r o d u c e d a n i n f e r e n c e m o d e l

f o r r e a s o n i n g w i t h u n c e r t a i n t y t o I R . I n 1 0 ] , t h i s

m o d e l w a s e x t e n d e d t o i n c l u d e r e l e v a n c e f e e d b a c k .

M o r e r e c e n t l y , F u n g a n d D e l F a v e r o 9 ] s u g g e s t e d a

m e t h o d f o r a p p l y i n g B a y e s i a n n e t w o r k s 1 7 ] t o I R . A l l

o f t h e s e a p p r o a c h e s a r e o n l i n e m e t h o d s w h i c h c o n -

s t r u c t a n e t w o r k f o r e a c h i n d i v i d u a l q u e r y . S u c h a n

a p p r o a c h m a y n o t a l w a y s b e p r a c t i c a l . T h u s , w e s u g -

g e s t a n a l t e r n a t i v e a p p r o a c h o f a p p l y i n g B a y e s i a n n e t -

w o r k s t o I R .

I n t h i s p a p e r , w e p r o p o s e a m e t h o d f o r c o n s t r u c t i n g

a u s e r p r o l e u s i n g e i t h e r a B a y e s i a n o r M a r k o v n e t -

w o r k . T h e i n p u t t o o u r a p p r o a c h i s a s a m p l e o f d o c -

u m e n t s t h a t t h e u s e r h a s m a r k e d a s e i t h e r r e l e v a n t o r

n o n r e l e v a n t . W e c a n t h e n l e a r n a p r o b a b i l i s t i c n e t -

w o r k w h i c h e n c o d e s t h e u s e r ' s p r e f e r e n c e s . S u c h a

n e t w o r k p r o v i d e s a f o r m a l f o u n d a t i o n f o r p r o b a b i l i s -

t i c i n f e r e n c e . D o c u m e n t s c a n t h e n b e r a n k e d a c c o r d -

i n g t o t h e c o n d i t i o n a l p r o b a b i l i t y d e n e d b y t h e n e t -

w o r k . O u r a p p r o a c h h a s s e v e r a l a d v a n t a g e s . W e w o u l d

l i k e t o e m p h a s i z e t h a t t h e c l a s s o f p r o b a b i l i t y d i s t r i -

b u t i o n s r e p r e s e n t e d i n t h e C h o w a n d L i u m e t h o d 7 ]

7/28/2019 A Bayesian Approach to User Profiling in Information Retrieval

2/7

i s a p r o p e r s u b s e t o f t h e d i s t r i b u t i o n s r e p r e s e n t e d i n

o u r a p p r o a c h . O u r m e t h o d c a n t a k e f u l l a d v a n t a g e

o f t h e e s t a b l i s h e d t e c h n i q u e s a l r e a d y e m p l o y e d f o r u n -

c e r t a i n t y m a n a g e m e n t i n a r t i c i a l i n t e l l i g e n c e . F o r i n -

s t a n c e , m a n y a l g o r i t h m s e x i s t f o r l e a r n i n g a B a y e s i a n

n e t w o r k 3 , 1 2 , 1 3 , 1 5 , 2 1 ] o r a M a r k o v n e t w o r k 2 7 , 2 8 ] .

M o r e o v e r , e c i e n t i n f e r e n c e t e c h n i q u e s e x i s t f o r q u e r y

p r o c e s s i n g i n B a y e s i a n n e t w o r k s 1 7 ] a n d M a r k o v n e t -

w o r k s 1 4 , 1 6 , 2 0 ] . I n t h i s d i s c u s s i o n , w e p r o m o t e t h e

h a r m o n i z a t i o n o f t h e I R a n d B a y e s i a n n e t w o r k c o m -

m u n i t i e s b y d i r e c t l y a d o p t i n g t h e p r o v e n l e a r n i n g a n d

q u e r y p r o c e s s i n g t e c h n i q u e s a l r e a d y i m p l e m e n t e d i n

p r o b a b i l i s t i c r e a s o n i n g s y s t e m s .

W e w o u l d l i k e t o m a k e i t c l e a r t h a t t h e w o r k h e r e i s

q u i t e d i e r e n t f r o m 9 , 1 0 , 2 2 , 2 3 ] . A s a l r e a d y m e n -

t i o n e d , t h o s e m e t h o d s t a k e a n o n l i n e a p p r o a c h . T h a t

i s , a n e t w o r k i s b u i l t a t t h e t i m e t h e q u e r y i s i s s u e d

b y t h e u s e r . O n t h e c o n t r a r y , w e l e a r n o u r n e t w o r k o f -

i n e . O u r a p p r o a c h s h o u l d g i v e a f a s t e r r e s p o n s e t i m e

s i n c e t h e n e t w o r k u s e d o n l i n e i s a l r e a d y x e d . T h e

p r o b a b i l i s t i c n e t w o r k c a n a l w a y s b e r e n e d b a s e d o n

n e w s a m p l e s t h a t t h e u s e r h a s m a r k e d a s e i t h e r r e l e -

v a n t o r n o n r e l e v a n t . T h i s m e a n s t h a t t h e q u a l i t y o f

t h e p r o b a b i l i s t i c n e t w o r k u s e d i n p r a c t i c e w i l l i m p r o v e

a s t h e s a m p l e s i z e i n c r e a s e s .

T h i s p a p e r i s o r g a n i z e d a s f o l l o w s . I n S e c t i o n 2 , w e r e -

v i e w t h e t w o t y p e s o f p r o b a b i l i s t i c n e t w o r k s , n a m e l y ,

B a y e s i a n n e t w o r k s a n d M a r k o v n e t w o r k s . I n S e c t i o n

3 , w e r e v i e w C h o w a n d L i u ' s 7 ] p i o n e e r i n g w o r k o n

l e a r n i n g p r o b a b i l i s t i c n e t w o r k s . W e s h o w h o w t h i s

w o r k c a n b e g e n e r a l i z e d i n S e c t i o n 4 . I n S e c t i o n 5 ,

w e d i s c u s s h o w t h e s e g e n e r a l l e a r n i n g a l g o r i t h m s c a n

b e a p p l i e d t o b u i l d a u s e r p r o l e . T h e c o n c l u s i o n i s

g i v e n i n S e c t i o n 6 .

2 P r o b a b i l i s t i c M o d e l s

I n t h i s s e c t i o n , w e i n t r o d u c e t w o f r a m e w o r k s f o r

t h e r e p r e s e n t a t i o n o f p r o b a b i l i s t i c k n o w l e d g e , n a m e l y ,

B a y e s i a n n e t w o r k s a n d M a r k o v n e t w o r k s 2 , 1 1 , 1 7 ] .

2 . 1 B a y e s i a n N e t w o r k s

L e t R = f A

1

A

2

: : : A

k

g d e n o t e a n i t e s e t o f d i s c r e t e

v a r i a b l e s . E a c h v a r i a b l e A

i

i s a s s o c i a t e d w i t h a n i t e

d o m a i n D

i

. L e t D b e t h e C a r t e s i a n p r o d u c t o f t h e

d o m a i n s D

i

1 i k A j o i n t p r o b a b i l i t y d i s t r i b u t i o n

( j p d ) 1 1 , 1 7 ] o n D i s a f u n c t i o n p o n D , a s s i g n i n g t o

e a c h t u p l e t 2 D a r e a l n u m b e r 0 p ( t ) 1 s u c h

t h a t

P

t 2 D

p ( t ) = 1 . I n g e n e r a l , a p o t e n t i a l 1 1 ] i s a

f u n c t i o n q o n D s u c h t h a t q ( t ) i s a n o n n e g a t i v e r e a l

n u m b e r a n d

P

t 2 D

q ( t ) i s p o s i t i v e , i . e . , a t l e a s t o n e

q ( t ) > 0 . E a c h p o t e n t i a l q c a n b e t r a n s f o r m e d t o a

o i n t p r o b a b i l i t y d i s t r i b u t i o n p t h r o u g h n o r m a l i z a t i o n

t h a t i s , b y s e t t i n g p ( t ) = q ( t ) =

P

v 2 D

q ( v ) . W e s a y t h e

d i s t r i b u t i o n p i s o n R , a n d s o m e t i m e s w r i t e p a s p ( R )

i f t h e d o m a i n D i s u n d e r s t o o d .

W e s a y Y a n d Z a r e c o n d i t i o n a l l y i n d e p e n d e n t g i v e n

X u n d e r p , d e n o t e d I

p

( Y X Z ) , i f

p ( y x z ) = p ( y x ) ( 1 )

w h e n e v e r p ( x z ) > 0 . T h i s c o n d i t i o n a l i n d e p e n d e n c y

I

p

( Y X Z ) c a n b e e q u i v a l e n t l y w r i t t e n a s

p ( y x z ) =

p ( y x ) p ( x z )

p ( x )

( 2 )

W e w r i t e I

p

( Y X Z ) a s I ( Y X Z ) i f t h e j o i n t p r o b a -

b i l i t y d i s t r i b u t i o n p i s u n d e r s t o o d . I n t h e s p e c i a l c a s e

w h e r e Y X Z = R , w e c a l l t h e p r o b a b i l i s t i c c o n -

d i t i o n a l i n d e p e n d e n c e I ( Y X Z ) n o n e m b e d d e d o t h e r -

w i s e I ( Y X Z ) i s c a l l e d e m b e d d e d

B y t h e c h a i n r u l e , a j o i n t p r o b a b i l i t y d i s t r i b u t i o n p

o v e r R = f A

1

A

2

: : : A

m

g c a n a l w a y s b e w r i t t e n a s :

p ( R ) = p ( A

1

) p ( A

2

A

1

) p ( A

3

A

1

A

2

)

p ( A

m

A

1

A

2

: : : A

m 1

) ( 3 )

T h e a b o v e e q u a t i o n i s a n i d e n t i t y . H o w e v e r , o n e c a n

u s e c o n d i t i o n a l i n d e p e n d e n c i e s t h a t a r e a s s u m e d t o

h o l d i n t h e p r o b l e m d o m a i n t o o b t a i n a s i m p l e r r e p r e -

s e n t a t i o n o f a j o i n t d i s t r i b u t i o n . F o r e x a m p l e , c o n s i d e r

a j o i n t d i s t r i b u t i o n p ( A B C D E F ) . B y e q u a t i o n

( 3 ) , t h e j o i n t d i s t r i b u t i o n p ( R ) c a n b e w r i t t e n a s

p ( R ) = p ( A ) p ( B A ) p ( C A B )

p ( D A B C ) p ( E A B C D )

p ( F A B C D E ) ( 4 )

C o n s i d e r t h e f o l l o w i n g s e t C o f c o n d i t i o n a l i n d e p e n -

d e n c i e s :

p ( C A B ) = p ( C A )

p ( D A B C ) = p ( D B C )

p ( E A B C D ) = p ( E B C )

p ( F A B C D E ) = p ( F E )

n a m e l y ,

C = f I ( C A B ) I ( D B C A ) ( 5 )

I ( E B C A D ) I ( F E A B C D ) g

w h e r e A

i

: : : A

j

d e n o t e s f A

i

: : : A

j

g U t i l i z i n g t h e s e

c o n d i t i o n a l i n d e p e n d e n c i e s , t h e j o i n t d i s t r i b u t i o n p ( R )

w r i t t e n u s i n g t h e c h a i n r u l e i n e q u a t i o n ( 4 ) c a n b e

e x p r e s s e d i n a s i m p l e r f o r m , n a m e l y :

p ( R ) = p ( A ) p ( B A ) p ( C A ) p ( D B C )

p ( E B C ) p ( F E ) ( 6 )

7/28/2019 A Bayesian Approach to User Profiling in Information Retrieval

3/7

W e c a n r e p r e s e n t t h e d e p e n d e n c y s t r u c t u r e o f t h i s

o i n t d i s t r i b u t i o n b y t h e d i r e c t e d a c y c l i c g r a p h ( D A G )

s h o w n i n F i g u r e 1 . T h i s D A G , t o g e t h e r w i t h t h e

c o n d i t i o n a l p r o b a b i l i t y t a b l e s p ( A ) p ( B A ) p ( C A )

p ( D B C ) p ( E B C ) , a n d p ( F E ) , d e n e a B a y e s i a n

n e t w o r k . S u c h a n e t w o r k p r o v i d e s a n e c o n o m i c a l r e p -

r e s e n t a t i o n o f a j o i n t p r o b a b i l i t y d i s t r i b u t i o n .

A

B C

D E

F

F i g u r e 1 : T h e d i r e c t e d a c y c l i c g r a p h r e e c t i n g t h e c o n -

d i t i o n a l i n d e p e n d e n c i e s d e n e d i n e q u a t i o n ( 6 ) .

2 . 2 M a r k o v N e t w o r k s

E v e n t h o u g h B a y e s i a n n e t w o r k s p r o v i d e a n e c o n o m i -

c a l r e p r e s e n t a t i o n o f a j o i n t p r o b a b i l i t y d i s t r i b u t i o n ,

i t m a y s t i l l b e d i c u l t t o c o m p u t e m a r g i n a l d i s t r i -

b u t i o n s . T h u s , s e v e r a l e c i e n t l o c a l c o m p u t a t i o n a l -

g o r i t h m s 1 4 , 1 6 , 2 0 ] w e r e d e v e l o p e d f o r c o m p u t i n g

m a r g i n a l d i s t r i b u t i o n s i n M a r k o v n e t w o r k s 1 1 ] . I t

s h o u l d b e n o t e d t h a t a M a r k o v n e t w o r k d e n e d b y

H a j e k , H a v r a n e k a n d J i r o u s e k 1 1 ] i s c a l l e d a d e c o m -

p o s a b l e M a r k o v n e t w o r k b y P e a r l 1 7 ] . T h a t i s , t h e

d e n i t i o n o f M a r k o v n e t w o r k i n 1 7 ] i s d i e r e n t f r o m

t h e o n e u s e d h e r e .

T o f a c i l i t a t e p r o b a b i l i s t i c i n f e r e n c e , i t i s u s e f u l t o

t r a n s f o r m a B a y e s i a n n e t w o r k i n t o a M a r k o v n e t w o r k .

T h e D A G r e p r e s e n t i n g t h e d e p e n d e n c y s t r u c t u r e o f

a B a y e s i a n n e t w o r k c a n b e c o n v e r t e d b y t h e m o r a l -

i z a t i o n a n d t r i a n g u l a t i o n p r o c e d u r e s 1 1 , 1 7 ] i n t o a n

a c y c l i c h y p e r g r a p h . ( A n a c y c l i c h y p e r g r a p h i n f a c t

r e p r e s e n t s a c h o r d a l u n d i r e c t e d g r a p h . E a c h m a x i -

m a l c l i q u e i n t h e g r a p h c o r r e s p o n d s t o a h y p e r e d g e

i n t h e a c y c l i c h y p e r g r a p h . ) F o r e x a m p l e , b y a p p l y i n g

t h e s e p r o c e d u r e s t o t h e D A G i n F i g u r e 1 , w e o b t a i n

t h e a c y c l i c h y p e r g r a p h d e p i c t e d i n F i g u r e 2 . S u c h a n

a c y c l i c h y p e r g r a p h r e p r e s e n t s t h e d e p e n d e n c y s t r u c -

t u r e o f a M a r k o v n e t w o r k . T h e j o i n t p r o b a b i l i t y d i s -

t r i b u t i o n d e n e d b y e q u a t i o n ( 6 ) c a n b e r e w r i t t e n i n

t e r m s o f m a r g i n a l d i s t r i b u t i o n s a s :

p ( R ) ( 7 )

=

p ( A B C ) p ( B C D ) p ( B C E ) p ( E F )

p ( B C ) p ( B C ) p ( E )

R

R

D C

FE

AB

R

1R

2

4

3

F i g u r e 2 : A g r a p h i c a l r e p r e s e n t a t i o n o f t h e a c y c l i c h y -

p e r g r a p h H = f R

1

= f A B C g R

2

= f B C D g

R

3

= f B C E g R

4

= f E F g g

A B a y e s i a n n e t w o r k i s m o r e e x p r e s s i v e t h a n a

M a r k o v n e t w o r k . C o n s i d e r t h e m a r g i n a l d i s t r i b u -

t i o n p ( A B C ) o b t a i n e d f r o m t h e B a y e s i a n n e t w o r k

i n e q u a t i o n ( 6 ) :

p ( A B C )

=

X

D E F

p ( A B C D E F )

=

X

D E F

p ( A ) p ( B A ) p ( C A ) p ( D B C )

p ( E B C ) p ( F E )

= p ( A ) p ( B A ) p ( C A )

=

p ( A B ) p ( A C )

p ( A )

T h u s , t h e e m b e d d e d p r o b a b i l i s t i c c o n d i t i o n a l i n d e p e n -

d e n c e p ( C A B ) = p ( C A ) i s r e e c t e d b y t h e B a y e s i a n

n e t w o r k i n e q u a t i o n ( 6 ) . H o w e v e r , t h i s s a m e i n d e p e n -

d e n c y i s n o t r e e c t e d b y t h e M a r k o v n e t w o r k i n e q u a -

t i o n ( 7 ) :

p ( A B C )

=

X

D E F

p ( A B C D E F )

=

p ( A B C ) p ( B C D ) p ( B C E ) p ( E F )

p ( B C ) p ( B C ) p ( E )

=

p ( A B C ) p ( B C ) p ( B C )

p ( B C ) p ( B C )

= p ( A B C )

I n t h e a b o v e d i s c u s s i o n , w e e x a m i n e d t w o t y p e s o f

p r o b a b i l i s t i c n e t w o r k s , n a m e l y , B a y e s i a n a n d M a r k o v .

A B a y e s i a n n e t w o r k i s d e n e d b y a D A G a n d c o r r e -

s p o n d i n g c o n d i t i o n a l p r o b a b i l i t y d i s t r i b u t i o n s . O n t h e

o t h e r h a n d , a M a r k o v n e t w o r k i s d e n e d b y a n a c y c l i c

h y p e r g r a p h a n d c o r r e s p o n d i n g m a r g i n a l d i s t r i b u t i o n s .

7/28/2019 A Bayesian Approach to User Profiling in Information Retrieval

4/7

3 L e a r n i n g a D e p e n d e n c e T r e e

C h o w a n d L i u 7 ] d e v e l o p e d a n e l e g a n t m e t h o d t o a p -

p r o x i m a t e a n n - d i m e n s i o n a l d i s c r e t e p r o b a b i l i t y d i s t r i -

b u t i o n b y a p r o d u c t o f s e c o n d - o r d e r d i s t r i b u t i o n s . T h e

c o n d i t i o n a l i n d e p e n d e n c i e s l e a r n e d b y t h e i r a l g o r i t h m

a r e r e p r e s e n t e d b y a s i n g l y - c o n n e c t e d D A G , c a l l e d a

r s t - o r d e r d e p e n d e n c e t r e e i n 7 ] .

T h e s i n g l y - c o n n e c t e d D A G i n F i g u r e 3 ( i ) w a s g i v e n

i n 7 ] a s a n e x a m p l e o f a ( r s t - o r d e r ) d e p e n d e n c e t r e e .

T h i s d e p e n d e n c e t r e e i n d i c a t e s t h a t t h e j o i n t d i s t r i b u -

t i o n c a n b e w r i t t e n a s :

p ( A B C D E F ) ( 8 )

= p ( A ) p ( B A ) p ( C B ) p ( D B ) p ( E B ) p ( F E )

( W e h a v e r e v e r s e d t h e d i r e c t i o n o f t h e a r r o w s t o m a k e

i t c o n s i s t e n t w i t h B a y e s i a n n e t w o r k s . ) T h e f a c t o r i z a -

t i o n o f t h e j o i n t d i s t r i b u t i o n p ( A B C D E F ) i n E q u a t i o n

( 8 ) c a n b e e q u i v a l e n t l y w r i t t e n i n t e r m s o f m a r g i n a l

d i s t r i b u t i o n s :

p ( A B C D E F ) ( 9 )

=

p ( A B ) p ( B C ) p ( B D ) p ( B E ) p ( E F )

p ( B ) p ( B ) p ( B ) p ( E )

T h e u n d i r e c t e d g r a p h i n F i g u r e 3 ( i i ) e x p r e s s e s e x a c t l y

t h e s a m e c o n d i t i o n a l i n d e p e n d e n c i e s a s t h e D A G i n

F i g u r e 3 ( i ) . T h e u n d i r e c t e d g r a p h i n F i g u r e 3 ( i i ) c a n

b e e q u i v a l e n t l y r e p r e s e n t e d a s a n a c y c l i c h y p e r g r a p h

H , a s i l l u s t r a t e d i n F i g u r e 3 ( i i i ) . ( R e c a l l t h a t t h e

m a x i m a l c l i q u e s i n t h e u n d i r e c t e d g r a p h a r e p r e c i s e l y

t h e h y p e r e d g e s o f H )

B

DC E

(i)

C D E

F F

C

D

E

F

B

A

(ii) (iii)

A

B

A

F i g u r e 3 : ( i ) A s i n g l y - c o n n e c t e d D A G ( a d e p e n d e n c e

t r e e ) D . ( i i ) T h e c o r r e s p o n d i n g u n d i r e c t e d g r a p h U

r e p r e s e n t i n g p r e c i s e l y t h e s a m e i n d e p e n d e n c y i n f o r m a -

t i o n a s D . ( i i i ) T h e u n d i r e c t e d g r a p h U i n ( i i ) c a n b e

e q u i v a l e n t l y r e p r e s e n t e d a s a n a c y c l i c h y p e r g r a p h H

T h e i m p o r t a n t p o i n t i s t h a t t h e i r m e t h o d i s g u a r a n -

t e e d t o n d a n o p t i m a l a p p r o x i m a t i o n o f t h e j o i n t

d i s t r i b u t i o n u n d e r t h e g i v e n s c o r i n g m e t r i c ( a m e a -

s u r e o f c l o s e n e s s ) a n d t h e r e s t r i c t i o n t o u s i n g s e c o n d -

o r d e r d i s t r i b u t i o n s . H e n c e , o n e c a n n o t i m p r o v e t h e i r

m e t h o d u n d e r t h e s e c o n d i t i o n s . H o w e v e r , i n t h e n e x t

s e c t i o n , w e d i s c u s s t w o w a y s i n w h i c h t h e i r m e t h o d

c a n b e g e n e r a l i z e d f o r t h e p u r p o s e o f l e a r n i n g a u s e r

p r o l e .

4 L e a r n i n g P r o b a b i l i s t i c M o d e l s

L e a r n i n g M a r k o v a n d B a y e s i a n n e t w o r k s a r e b o t h g e n -

e r a l i z a t i o n s o f t h e C h o w a n d L i u m e t h o d .

A s a l r e a d y m e n t i o n e d , t h e c o n d i t i o n a l i n d e p e n d e n c i e s

l e a r n e d b y t h e C h o w a n d L i u m e t h o d a r e r e p r e s e n t e d

b y a s i n g l y - c o n n e c t e d D A G . E v e r y s i n g l y - c o n n e c t e d

D A G i s e q u i v a l e n t t o a ( d e c o m p o s a b l e ) M a r k o v n e t -

w o r k . M o r e s p e c i c a l l y , e v e r y s i n g l y - c o n n e c t e d D A G

i s e q u i v a l e n t t o a M a r k o v n e t w o r k i n w h i c h e v e r y

m a r g i n a l d i s t r i b u t i o n i s d e n e d o n p r e c i s e l y t w o v a r i -

a b l e s . I n o t h e r w o r d s , t h e g r a p h i c a l s t r u c t u r e l e a r n e d

b y C h o w a n d L i u i s a s u b c l a s s w i t h i n t h e m o r e g e n -

e r a l c l a s s o f M a r k o v n e t w o r k s . T h i s m e a n s t h a t , b y r e -

l a x i n g t h e c o n d i t i o n t h a t e v e r y m a r g i n a l d i s t r i b u t i o n

m u s t i n v o l v e p r e c i s e l y t w o v a r i a b l e s , o n e c a n l e a r n a n y

M a r k o v n e t w o r k . I n f a c t , w e h a v e a l r e a d y d e v e l o p e d a

m e t h o d w h i c h c a n l e a r n a M a r k o v n e t w o r k f r o m s a m -

p l e d a t a 2 7 , 2 8 ] . E x p e r i m e n t a l r e s u l t s a n d c o m p l e x i t y

a n a l y s i s c a n b e f o u n d i n 2 7 , 2 8 ] .

A s e c o n d w a y t o g e n e r a l i z e t h e C h o w a n d L i u m e t h o d

i s t o a l s o l e a r n e m b e d d e d C I s . R e c a l l t h a t a M a r k o v

n e t w o r k o n l y e n c o d e s f u l l C I s , n a m e l y , t h o s e C I s w h i c h

i n v o l v e e v e r y v a r i a b l e i n t h e n e t w o r k . O n t h e o t h e r

h a n d , a n e m b e d d e d C I i s a C I w h i c h i s a l l o w e d t o

i n v o l v e a p r o p e r s u b s e t o f v a r i a b l e s i n t h e n e t w o r k ( s e e

S e c t i o n 2 . 1 ) . I n o t h e r w o r d s , f u l l C I s a r e a s p e c i a l

c a s e o f e m b e d d e d C I s a n e m b e d d e d C I b e c o m e s a f u l l

C I e x a c t l y w h e n t h e C I i n v o l v e s e v e r y v a r i a b l e i n t h e

n e t w o r k . M a n y l e a r n i n g a l g o r i t h m s e x i s t f o r l e a r n i n g

B a y e s i a n n e t w o r k s f r o m d a t a 3 , 1 2 , 1 3 , 1 5 , 2 1 ] .

5 B u i l d i n g t h e U s e r P r o l e

W e s u g g e s t t h a t a u s e r p r o l e c a n b e r e p r e s e n t e d a s

a p r o b a b i l i s t i c n e t w o r k . S u c h a r e p r e s e n t a t i o n o e r s

m a n y a d v a n t a g e s . A p r o b a b i l i s t i c n e t w o r k p r o v i d e s

a f o r m a l f o u n d a t i o n f o r p r o b a b i l i s t i c i n f e r e n c e . M o r e

i m p o r t a n t l y , q u e r i e s i n v o l v i n g a n y s u b s e t o f t e r m s ( a t -

t r i b u t e s ) m a y b e p o s e d t o t h e n e t w o r k . F i n a l l y , w e

c a n d i r e c t l y e m p l o y t h e e x i s t i n g t e c h n i q u e s a l r e a d y i m -

p l e m e n t e d i n p r o b a b i l i s t i c r e a s o n i n g s y s t e m s f o r I R

p u r p o s e s , n a m e l y , t h e w e l l - s t u d i e d l e a r n i n g a l g o r i t h m s

a n d t h e p r o v e n q u e r y o p t i m i z a t i o n t e c h n i q u e s .

T h e i n p u t t o o u r a p p r o a c h i s a s a m p l e o f d o c u m e n t s ,

r e p r e s e n t e d b y a x e d s e t o f t e r m s , t h a t t h e u s e r

h a s m a r k e d a s e i t h e r r e l e v a n t o r n o n r e l e v a n t . ( N o t e

t h a t t h e l e a r n i n g a l g o r i t h m s d o n o t d e p e n d o n b i n a r y

7/28/2019 A Bayesian Approach to User Profiling in Information Retrieval

5/7

v a l u e d a t t r i b u t e s . ) T h u s , o n e a t t r i b u t e l a b e l l e d R e l -

e v a n c e c a n b e a p p e n d e d t o t h e u s u a l v e c t o r r e p r e -

s e n t a t i o n . T h i s s a m p l e d a t a c a n b e g i v e n a s i n p u t

t o o u r M a r k o v n e t w o r k l e a r n i n g a l g o r i t h m 2 7 , 2 8 ] ,

o r a n y o n e o f t h e B a y e s i a n n e t w o r k l e a r n i n g a l g o -

r i t h m s 3 , 1 2 , 1 3 , 1 5 , 2 1 ] . T h e l e a r n i n g a l g o r i t h m s

w i l l t r e a t t h e a d d i t i o n a l c o l u m n R e l e v a n c e a s s i m p l y

a n o t h e r c o l u m n . T h e r e b y , t h e o u t p u t w i l l b e e i t h e r a

M a r k o v o r B a y e s i a n n e t w o r k w i t h t h e e x c e p t i o n t h a t

o n e a t t r i b u t e i n t h e n e t w o r k r e p r e s e n t s t h e p r e f e r e n c e

o f t h e u s e r . O n c e t h e p r o b a b i l i s t i c n e t w o r k i s c o n -

s t r u c t e d , t h e d o c u m e n t s c a n b e r a n k e d a c c o r d i n g t o

t h e c o m p u t e d c o n d i t i o n a l p r o b a b i l i t i e s . M o r e i m p o r -

t a n t l y , p e r h a p s , q u e r i e s c a n b e p o s e d t o t h e n e t w o r k

i n v o l v i n g a n y s u b s e t o f t e r m s .

I t i s i m p o r t a n t t o n o t e t h a t t h e p r o b a b i l i s t i c n e t w o r k

c a n b e r e n e d . T h e u s e r c a n m a r k s u b s e q u e n t l y v i e w e d

d o c u m e n t s a s e i t h e r r e l e v a n t o r n o n r e l e v a n t . T h e s e

n e w s a m p l e s c a n b e u s e d t o m o d i f y t h e n e t w o r k i n a n

o i n e m o d e . I n o t h e r w o r d s , t h e s e n e w s a m p l e s c a n

b e a d d e d t o t h e o r i g i n a l s a m p l e . T h e q u a l i t y o f t h e

l e a r n e d n e t w o r k w i l l i n c r e a s e a s t h e s a m p l e s i z e g r a d -

u a l l y i n c r e a s e s . W e i l l u s t r a t e t h e p r o p o s e d m e t h o d f o r

u s e r p r o l i n g w i t h t h e a i d o f t h e f o l l o w i n g e x a m p l e .

C o n s i d e r a u s e r w h o r e c e i v e s n u m e r o u s e l e c t r o n i c m a i l

( e m a i l ) m e s s a g e s e a c h d a y . T h i s p a r t i c u l a r u s e r i s t o o

b u s y t o r e a d a l l o f t h e n e w e m a i l m e s s a g e s r e c e i v e d

e a c h d a y . T h e r e b y , s h e w o u l d p r e f e r t o r e a d t h e m o s t

r e l e v a n t e m a i l m e s s a g e s o f t h e u n r e a d m e s s a g e s . F o r

s i m p l i c i t y , l e t u s a s s u m e i n t h i s e x a m p l e t h a t e v e r y

e m a i l m e s s a g e i s r e p r e s e n t e d b y t h e s a m e x e d s e t

f A

1

A

2

: : : A

n

g o f t e r m s . S u p p o s e f u r t h e r t h a t t h e r e

i s a v a i l a b l e a n a u t o - i n d e x i n g p r o g r a m w h i c h w i l l a s -

s i g n v a l u e s A

1

= a

1

A

2

= a

2

A

n

= a

n

t o e a c h

n e w l y a r r i v e d e m a i l m e s s a g e . G i v e n a s a m p l e o f e m a i l

m e s s a g e s t h a t t h e u s e r h a s m a r k e d a s e i t h e r r e l e v a n t

o r n o n r e l e v a n t , w e c a n a p p l y t h e l e a r n i n g a l g o r i t h m s

d i s c u s s e d i n S e c t i o n 4 t o l e a r n a B a y e s i a n o r M a r k o v

n e t w o r k . W h e n e v e r a n e w e m a i l m e s s a g e a r r i v e s , w e

r a n k i t a c c o r d i n g t o t h e f o l l o w i n g c o n d i t i o n a l p r o b a -

b i l i t y d e n e d b y t h e p r o b a b i l i s t i c n e t w o r k :

p ( R e l = r e l e v a n t A

1

= a

1

A

2

= a

2

: : : A

n

= a

n

)

w h e r e R e l s t a n d s f o r R e l e v a n c e . B a s e d o n t h e o r i g i -

n a l p r o b a b i l i s t i c n e t w o r k , l e t e

1

e

2

e

3

e

4

e

5

e

6

b e ( t h e

v e c t o r r e p r e s e n t a t i o n s o f ) s i x n e w e m a i l m e s s a g e s w i t h

c o n d i t i o n a l p r o b a b i l i t i e s :

p ( R e l e v a n c e = r e l e v a n t e

1

) = 0 5

p ( R e l e v a n c e = r e l e v a n t e

2

) = 0 1

p ( R e l e v a n c e = r e l e v a n t e

3

) = 0 7

p ( R e l e v a n c e = r e l e v a n t e

4

) = 0 0

p ( R e l e v a n c e = r e l e v a n t e

5

) = 0 9

p ( R e l e v a n c e = r e l e v a n t e

6

) = 0 3

T h e r e b y , t h e s e n e w e m a i l m e s s a g e s w o u l d b e r a n k e d

a s e

5

e

3

e

1

e

6

e

2

e

4

. F o l l o w i n g t h i s r a n k i n g , l e t u s

a s s u m e t h a t t h e u s e r h a s t i m e t o r e a d e

5

e

3

e

1

, w h i c h

s h e r a n k s a s r e l e v a n t n o n r e l e v a n t , a n d r e l e v a n t , r e -

s p e c t i v e l y . U s i n g t h e s e t h r e e n e w s a m p l e s , t h e o r i g i n a l

p r o b a b i l i s t i c n e t w o r k c a n b e r e n e d i n a n o i n e m o d e .

S u p p o s e t h a t t h e r a n k i n g , s p e c i e d b y t h e r e n e d n e t -

w o r k , o f t h e p r e v i o u s l y u n r e a d m e s s a g e s e

6

e

2

e

4

a n d

t h e n e w l y a r r i v e d m e s s a g e s e

7

e

8

i s

p ( R e l e v a n c e = r e l e v a n t e

8

) = 0 9

p ( R e l e v a n c e = r e l e v a n t e

6

) = 0 7

p ( R e l e v a n c e = r e l e v a n t e

2

) = 0 2

p ( R e l e v a n c e = r e l e v a n t e

7

) = 0 1

p ( R e l e v a n c e = r e l e v a n t e

4

) = 0 0

N o t i c e t h a t t h e r e n e d n e t w o r k d e n e s a d i e r e n t c o n -

d i t i o n a l p r o b a b i l i t y f o r t h e m e s s a g e s e

6

a n d e

2

6 C o n c l u s i o n

I n t h i s p a p e r , w e h a v e s u g g e s t e d t h a t a u s e r p r o l e

c a n b e r e p r e s e n t e d a s e i t h e r a B a y e s i a n o r M a r k o v

n e t w o r k . S u c h a n e t w o r k i s l e a r n e d f r o m a s a m p l e o f

d o c u m e n t s t h a t a r e j u d g e d b y t h e u s e r t o b e r e l e v a n t

o r n o n r e l e v a n t . A s p r o b a b i l i s t i c n e t w o r k s a r e w e l l -

e s t a b l i s h e d a s a r i g o r o u s f o u n d a t i o n f o r u n c e r t a i n t y

m a n a g e m e n t 1 1 , 1 7 ] , w e c a n p r o c e s s q u e r i e s p o s e d

t o t h e n e t w o r k i n v o l v i n g a n y s u b s e t o f i n d e x t e r m s

t a k i n g o n a n y v a l u e s f r o m t h e i r r e s p e c t i v e d o m a i n s .

M o r e o v e r , t h e p r o b a b i l i s t i c n e t w o r k c a n b e r e n e d a s

t h e u s e r v i e w s n e w d o c u m e n t s . I n o t h e r w o r d s , a s t h e

s a m p l e s i z e i n c r e a s e s , s o d o e s t h e q u a l i t y o f t h e l e a r n e d

n e t w o r k .

O u r a p p r o a c h h a s s e v e r a l a d v a n t a g e s . T h e p r o b a -

b i l i t y d i s t r i b u t i o n s r e p r e s e n t e d i n t h e C h o w a n d L i u

m e t h o d 7 ] f o r m a s u b c l a s s o f d i s t r i b u t i o n s r e p r e s e n t e d

b y B a y e s i a n a n d M a r k o v n e t w o r k s . O u r m e t h o d c a n

t a k e f u l l a d v a n t a g e o f t h e e s t a b l i s h e d t e c h n i q u e s a l -

r e a d y e m p l o y e d f o r u n c e r t a i n t y m a n a g e m e n t i n a r t i -

c i a l i n t e l l i g e n c e . F o r i n s t a n c e , m a n y a l g o r i t h m s e x i s t

f o r l e a r n i n g a B a y e s i a n n e t w o r k 3 , 1 2 , 1 3 , 1 5 , 2 1 ] o r

a M a r k o v n e t w o r k 2 7 , 2 8 ] . M o r e o v e r , e c i e n t i n f e r -

e n c e t e c h n i q u e s e x i s t f o r q u e r y p r o c e s s i n g i n B a y e s i a n

n e t w o r k s 1 7 ] a n d M a r k o v n e t w o r k s 1 4 , 1 6 , 2 0 ] . S i n c e

w e d i r e c t l y a d o p t t e c h n i q u e s a l r e a d y i m p l e m e n t e d i n

p r o b a b i l i s t i c r e a s o n i n g s y s t e m s , t h e d i s c u s s i o n h e r e

c a n t h e n b e s e e n a s a t h e o r e t i c a l f o u n d a t i o n f o r h a r -

m o n i z i n g t h e I R a n d B a y e s i a n n e t w o r k c o m m u n i t i e s .

F i n a l l y , w e w o u l d l i k e t o e m p h a s i z e t h a t t h e w o r k h e r e

i s q u i t e d i e r e n t f r o m o t h e r p r o p o s e d m e t h o d s o f a p -

p l y i n g i n f e r e n c e n e t w o r k s f o r I R p u r p o s e s 9 , 1 0 , 2 2 ,

2 3 ] . T h o s e m e t h o d s b u i l d a n e t w o r k o n l i n e f o r e a c h

q u e r y i s s u e d b y t h e u s e r . O n t h e c o n t r a r y , w e l e a r n

7/28/2019 A Bayesian Approach to User Profiling in Information Retrieval

6/7

o u r n e t w o r k o i n e . O u r a p p r o a c h s h o u l d g i v e a f a s t e r

r e s p o n s e t i m e s i n c e t h e n e t w o r k u s e d i n p r a c t i c e i s a l -

r e a d y x e d .

R e f e r e n c e s

1 ] C . B e e r i , R . F a g i n , D . M a i e r a n d M . Y a n n a k a k i s ,

O n t h e d e s i r a b i l i t y o f a c y c l i c d a t a b a s e s c h e m e s .

J A C M 3 0 , 3 , 4 7 9 - 5 1 3 , 1 9 8 3 .

2 ] C . J . B u t z , T h e r e l a t i o n a l d a t a b a s e t h e o r y o f

B a y e s i a n n e t w o r k s . P h . D . T h e s i s , D e p a r t m e n t o f

C o m p u t e r S c i e n c e , U n i v e r s i t y o f R e g i n a , 2 0 0 0 .

3 ] G . F . C o o p e r a n d E . H . H e r s k o v i t s , A B a y e s i a n

m e t h o d f o r t h e i n d u c t i o n o f p r o b a b i l i s t i c n e t w o r k s

f r o m d a t a , M a c h i n e L e a r n i n g 9 , 3 0 9 - 3 4 7 , 1 9 9 2 .

4 ] F . C r e s t a n i a n d C . J . v a n R i j s b e r g e n , P r o b a b i l i t y

k i n e m a t i c s i n i n f o r m a t i o n r e t r i e v a l , P r o c e e d i n g s o f

t h e 1 8 t h A n n u a l I n t e r n a t i o n a l A C M - S I G I R c o n -

f e r e n c e , 2 9 1 - 2 9 9 , 1 9 9 5 .

5 ] F . C r e s t a n i a n d C . J . v a n R i j s b e r g e n , A s t u d y

o f p r o b a b i l i t y k i n e m a t i c s i n i n f o r m a t i o n r e t r i e v a l ,

A C M T r a n s a c t i o n s o n I n f o r m a t i o n S y s t e m s 1 6

3 , 2 2 5 - 2 5 5 , 1 9 9 8 .

6 ] W . B . C r o f t a n d D . J . H a r p e r , U s i n g p r o b a b i l i s t i c

m o d e l s o f d o c u m e n t r e t r i e v a l w i t h o u t r e l e v a n c e

i n f o r m a t i o n . J o u r n a l o f D o c u m e n t a t i o n 3 5 , 1 0 6 -

1 1 9 , 1 9 7 7 .

7 ] C . K . C h o w a n d C . N . L i u , A p p r o x i m a t i n g d i s c r e t e

p r o b a b i l i t y d i s t r i b u t i o n s w i t h d e p e n d e n c e t r e e s .

I E E E T r a n s a c t i o n s o n I n f o r m a t i o n T h e o r y I T -

1 4 , 3 , 4 6 2 - 4 6 7 , 1 9 6 8 .

8 ] F r a k e s , W . , B a e z a - Y a t e s , R . ( E d s . ) , I n f o r m a t i o n

R e t r i e v a l : D a t a S t r u c t u r e s a n d A l g o r i t h m s . P r e n -

t i c e H a l l , E n g l e w o o d C l i s , U S A , 4 1 9 - 4 4 2 , 1 9 9 2 .

9 ] R . F u n g a n d B . D e l F a v e r o , A p p l y i n g B a y e s i a n

n e t w o r k s t o i n f o r m a t i o n r e t r i e v a l . C o m m u n i c a -

t i o n o f A C M 3 8 , 3 , 4 2 - 4 8 , 5 7 , 1 9 9 5 .

1 0 ] D . H a i n e s a n d W . B . C r o f t , R e l e v a n c e f e e d b a c k

a n d i n f e r e n c e n e t w o r k s . P r o c e e d i n g s o f t h e 1 6 t h

A n n u a l I n t e r n a t i o n a l A C M - S I G I R c o n f e r e n c e 2 -

1 1 , 1 9 9 3 .

1 1 ] P . H a j e k , T . H a v r a n e k a n d R . J i r o u s e k , U n c e r t a i n

I n f o r m a t i o n P r o c e s s i n g i n E x p e r t S y s t e m s . C R C

P r e s s , 1 9 9 2 .

1 2 ] D . H e c k e r m a n , D . G e i g e r a n d D . M . C h i c k e r i n g ,

L e a r n i n g B a y e s i a n n e t w o r k s : t h e c o m b i n a t i o n o f

k n o w l e d g e a n d s t a t i s t i c a l d a t a . M a c h i n e L e a r n -

i n g 2 0 , 1 9 7 - 2 4 3 , 1 9 9 5 .

1 3 ] E . H . H e r s k o v i t s a n d G . F . C o o p e r , K u t a t o : a n

e n t r o p y - d r i v e n s y s t e m f o r c o n s t r u c t i o n o f p r o b a -

b i l i s t i c e x p e r t s y s t e m s f r o m d a t a b a s e . P r o c e e d i n g s

o f t h e S i x t h C o n f e r e n c e o n U n c e r t a i n t y i n A r t i -

c i a l I n t e l l i g e n c e , 5 4 - 6 2 , 1 9 9 0 .

1 4 ] F . V . J e n s e n , S . L . L a u r i t z e n a n d K . G . O l e -

s e n , B a y e s i a n u p d a t i n g i n c a u s a l p r o b a b i l i s t i c

n e t w o r k s b y l o c a l c o m p u t a t i o n . C o m p u t a t i o n a l

S t a t i s t i c s Q u a r t e r l y 4 , 2 6 9 - 2 8 2 , 1 9 9 0 .

1 5 ] W . L a m a n d F . B a c c h u s , L e a r n i n g B a y e s i a n n e t -

w o r k s : a n a p p r o a c h b a s e d o n t h e M D L p r i n c i p l e .

C o m p u t a t i o n a l I n t e l l i g e n c e 1 0 , 3 , 2 6 9 - 2 9 3 , 1 9 9 4 .

1 6 ] S . L . L a u r i t z e n a n d D . J . S p i e g e l h a l t e r , L o c a l c o m -

p u t a t i o n w i t h p r o b a b i l i t i e s o n g r a p h i c a l s t r u c -

t u r e s a n d t h e i r a p p l i c a t i o n t o e x p e r t s y s t e m s .

J o u r n a l o f t h e R o y a l S t a t i s t i c a l S o c i e t y B , 5 0 ,

1 5 7 - 2 4 4 , 1 9 8 8 .

1 7 ] J . P e a r l , P r o b a b i l i s t i c R e a s o n i n g i n I n t e l l i g e n t

S y s t e m s : N e t w o r k s o f P l a u s i b l e I n f e r e n c e . M o r -

g a n K a u f m a n n , S a n F r a n c i s c o , C a l i f o r n i a , 1 9 8 8 .

1 8 ] S . E . R o b e r t s o n a n d K . S p a r c k J o n e s , R e l e v a n c e

w e i g h t i n g o f s e a r c h t e r m s . J o u r n a l o f t h e A m e r i -

c a n S o c i e t y f o r I n f o r m a t i o n S c i e n c e 2 7 , 1 2 9 - 1 4 6 ,

1 9 7 6 .

1 9 ] S . E . R o b e r t s o n , T h e p r o b a b i l i t y r a n k i n g p r i n c i -

p l e i n I R . J o u r n a l o f D o c u m e n t a t i o n 3 3 , 2 9 4 - 3 0 4 ,

1 9 7 7 .

2 0 ] G . S h a f e r , A n a x i o m a t i c s t u d y o f c o m p u t a t i o n

i n h y p e r t r e e s . T e c h n i c a l r e p o r t . U n i v e r s i t y o f

K a n s a s , S c h o o l o f B u s i n e s s W o r k i n g P a p e r s , 2 3 2 ,

1 9 9 1 .

2 1 ] P . S p i r t e s a n d C . G l y m o u r , A n a l g o r i t h m f o r f a s t

r e c o v e r y o f s p a r s e c a u s a l g r a p h s . S o c i a l S c i e n c e

C o m p u t e r R e v i e w 9 , 1 , 6 2 - 7 3 , 1 9 9 1 .

2 2 ] H . R . T u r t l e , I n f e r e n c e n e t w o r k s f o r d o c u m e n t

r e t r i e v a l . P h . D . T h e s i s , U n i v e r s i t y o f M a s -

s a c h u s e t t s , 1 9 9 0 .

2 3 ] H . R . T u r t l e a n d W . B . C r o f t , I n f e r e n c e n e t w o r k s

f o r d o c u m e n t r e t r i e v a l . P r o c e e d i n g s o f t h e 1 3 t h I n -

t e r n a t i o n a l C o n f e r e n c e o n R e s e a r c h a n d D e v e l o p -

m e n t i n I n f o r m a t i o n R e t r i e v a l , 1 - 2 4 , 1 9 9 0 .

2 4 ] C . J . v a n R i j s b e r g e n , I n f o r m a t i o n R e t r i e v a l . B u t -

t e r w o r t h s , L o n d o n , U K , 1 9 7 9 .

2 5 ] S . K . M . W o n g a n d Y . Y . Y a o , A p r o b a b i l i t y d i s -

t r i b u t i o n m o d e l f o r i n f o r m a t i o n r e t r i e v a l . I n f o r -

m a t i o n P r o c e s s i n g & M a n a g e m e n t 2 5 , 1 , 3 9 - 5 3 ,

1 9 8 9 .

7/28/2019 A Bayesian Approach to User Profiling in Information Retrieval

7/7

2 6 ] S . K . M . W o n g a n d Y . Y . Y a o , A g e n e r a l i z e d b i n a r y

p r o b a b i l i s t i c i n d e p e n d e n c e m o d e l . J o u r n a l o f t h e

A m e r i c a n S o c i e t y f o r I n f o r m a t i o n S c i e n c e 4 1 5

3 2 4 - 3 2 9 , 1 9 9 0 .

2 7 ] S . K . M . W o n g a n d Y . X i a n g , C o n s t r u c t i o n o f a

M a r k o v n e t w o r k f r o m d a t a f o r p r o b a b i l i s t i c i n -

f e r e n c e . P r o c e e d i n g s o f t h e T h i r d I n t e r n a t i o n a l

W o r k s h o p o n R o u g h S e t s a n d S o f t C o m p u t i n g

5 6 2 - 5 6 9 , 1 9 9 4 .

2 8 ] Y . X i a n g , S . K . M . W o n g a n d N . C e r c o n e , A

\ m i c r o s c o p i c " s t u d y o f m i n i m u m e n t r o p y s e a r c h

i n l e a r n i n g d e c o m p o s a b l e M a r k o v n e t w o r k s . M a -

c h i n e L e a r n i n g 2 6 , 1 , 6 5 - 9 2 , 1 9 9 7 .

2 9 ] C . T . Y u a n d G . S a l t o n , P r e c i s i o n w e i g h t i n g - a n

e e c t i v e a u t o m a t i c i n d e x i n g m e t h o d . J o u r n a l o f

t h e A s s o c i a t i o n f o r C o m p u t i n g M a c h i n e r y 2 3

7 6 - 8 8 , 1 9 7 6 .

3 0 ] C . T . Y u , W . S . L u k a n d T . Y . C h e u n g , A s t a t i s -

t i c a l m o d e l f o r r e l e v a n c e f e e d b a c k i n i n f o r m a t i o n

r e t r i e v a l . J o u r n a l o f t h e A s s o c i a t i o n f o r C o m p u t -

i n g M a c h i n e r y 2 3 , 2 7 3 - 2 8 6 , 1 9 7 6 .