7/28/2019 The role of context in concept learning

1/5

T h e R o l e o f C o n t e x t i n C o n c e p t L e a r n i n g

S t a n M A T W I N a n d M i r o s l a v K U B A T

D e p a r t m e n t o f C o m p u t e r S c i e n c e , U n i v e r s i t y o f O t t a w a

1 5 0 L o u i s P a s t e u r , O t t a w a

O n t a r i o , K 1 N 6 N 5 C a n a d a

f s t a n , m k u b a t g @ c s i . u o t t a w a . c a

A b s t r a c t

M a n y p r a c t i c a l , r e a l - l i f e a p p l i c a t i o n s o f c o n -

c e p t l e a r n i n g a r e i m p o s s i b l e t o a d d r e s s w i t h -

o u t t a k i n g i n t o c o n s i d e r a t i o n t h e b a c k g r o u n d

o f t h e c o n c e p t , i t s f r a m e o f r e f e r e n c e , a n d

t h e p a r t i c u a l s i t u a t i o n a n d c i r c u m s t a n c e s

o f i t s o c c u r e n c e , s h o r t l y i t s c o n t e x t . E v e n

t h o u g h t h e p h e n o m e n o n o f c o n t e x t h a s b e e n

t r e a t e d b y p h i l o s o p h e r s a n d c o g n i t i v e s c i -

e n t i s t s , i t d e s e r v e s m o r e a t t e n t i o n i n t h e

m a c h i n e - l e a r n i n g c o m m u n i t y .

1 I n t r o d u c t i o n

S u p p o s e t h a t w e a r e d e a l i n g w i t h a c l a s s i c a t i o n t a s k ,

a n d t h a t t h e c o n c e p t m o d e l i n v o l v e s a s e t A o f a t -

t r i b u t e s . T h e c o n t e x t i s a s e t C o f a t t r i b u t e s t h a t a r e

n o t c o n t a i n e d i n A ( i . e . w e m a y h a v e t o a c q u i r e a d -

d i t i o n a l a t t r i b u t e s ) . C h a s t h e p r o p e r t y t h a t t h i s s e t

a l o n e d o e s n o t f a c i l i t a t e g o o d c l a s s i c a t i o n , b u t w h e n

s u p p l e m e n t e d t o t h e a t t r i b u t e s e t A i t r e s u l t s i n a c l a s -

s i c a t i o n p e r f o r m a n c e t h a t o u t s t r i p s t h e p e r f o r m a n c e

o b t a i n e d w i t h A a l o n e . T a k i n g c o n t e x t i n t o a c c o u n t

r a i s e s m a n y q u e s t i o n s , o f w h i c h o n e s h o u l d b e h i g h -

l i g h t e d a s t h e m o s t p r o m i n e n t : h o w t o t a k e i n t o a c -

c o u n t t h e c h a n g e o f c o n t e x t b e t w e e n t h e t r a i n i n g t e s t

a n d t h e t e s t i n g s e t ? O r l a t e r , b e t w e e n t h e l e a r n i n g

t a s k a n d t h e p e r f o r m a n c e t a s k ?

T h e t h e s i s a b o u t t h e i m p o r t a n c e o f c o n t e x t c a n b e

i l l u s t r a t e d w i t h e x a m p l e s o f t h r e e m a c h i n e - l e a r n i n g

a p p l i c a t i o n s i n w h i c h t h i s p h e n o m e n o n i s e i t h e r n e c -

e s s a r y o r a t l e a s t h i g h l y b e n e c i a l . T h e b e s t - k n o w n

a m o n g t h e m i s t h e C a l e n d a r A p p r e n t i c e ( M i t c h e l l e t

a l . , 1 9 9 4 ) i n w h i c h p e r s o n a l i z e d r u l e s f o r s c h e d u l i n g

m e e t i n g s o f a u n i v e r s i t y p r o f e s s o r a r e l e a r n e d f r o m a n

o n g o i n g u s e o f a n a p p o i n t m e n t c a l e n d a r . T h e i r s y s -

t e m , C A P , h a s b e e n t e s t e d o n a s m a l l g r o u p o f u s e r s ,

w o r k i n g i n a n a c a d e m i c e n v i r o n m e n t , a n d t h e a u t h o r s

h a v e o b s e r v e d t h a t " . . . t h e p e r i o d s o f t h e p o o r e s t p e r -

f o r m a n c e c o r r e l a t e s t r o n g l y w i t h t h e s e m e s t e r b o u n d -

a r i e s i n t h e a c a d e m i c y e a r A ] s t h e n e w s e m e s t e r b e -

g i n s a n d o l d s c h e d u l i n g p r i o r i t i e s a r e r e p l a c e d b y n e w

o n e s , C A P ' s p e r f o r m a n c e t y p i c a l l y r e c o v e r s f o l l o w i n g

t h e s e p e r f o r m a n c e ] d i p s , a s i t l e a r n s n e w r u l e s r e e c t -

i n g t h e u s e r ' s n e w s c h e d u l i n g r e g u l a r i t i e s . " K n o w i n g i n

w h i c h s e m e s t e r a g i v e n m e e t i n g o r a p p o i n t m e n t t a k e s

p l a c e p r o v i d e s a u s e f u l c o n t e x t f o r t h e s c h e d u l i n g t a s k .

I t s e e m s o b v i o u s t h a t C A P c o u l d p o t e n t i a l l y b e n e t

f r o m c o n t e x t u a l c l a s s i e r s e l e c t i o n r u l e s .

T h e s e c o n d a p p l i c a t i o n i s o u r o w n w o r k o n a p p l y i n g

l e a r n i n g t o d e t e c t o i l s p i l l s o n t h e s e a s u r f a c e b y s c a n -

n i n g s a t e l l i t e r a d a r i m a g e s . I n t h i s t a s k , t h e o n l y

r e a s o n a b l e a p p r o a c h t o a s s e s s t h e l e a r n e r i s t o l e a r n

f r o m o n e s e t o f i m a g e s , a n d t e s t o n a d i e r e n t s e t o f

i m a g e s . T h e l e a r n i n g t a s k i n v o l v e s a p p r o x i m a t e l y 3 0

a t t r i b u t e s , r e p r e s e n t i n g t h e o b j e c t s i n t h e i m a g e s i n

t e r m s o f t h e i r c h a r a c t e r i s t i c s p r o d u c e d b y a s e t o f v i -

s i o n m o d u l e s . T h e s e v i s i o n c h a r a c t e r i s t i c s d e s c r i b e ,

e . g . , t h e a v e r a g e b r i g h t n e s s o f t h e p i x e l s i n t h e o b j e c t ,

t h e j a g g e d n e s s o f t h e o b j e c t ' s c o n t o u r , t h e s h a r p n e s s

o f i t s e d g e , e t c . E a r l y e x p e r i m e n t a t i o n h a s s h o w n t h a t

t h e s e v i s i o n a t t r i b u t e s a r e n o t s u c i e n t t o c l a s s i f y o b -

e c t s i n t o s p i l l s a n d n o n - s p i l l s w i t h a d e q u a t e a c c u r a c y

T h e d o m a i n e x p e r t s t e l l u s t h a t o t h e r d a t a , s u c h a s

m e t e o r o l o g i c a l c o n d i t i o n s , t h e a n g l e o f t h e r a d a r b e a m

t h a t p r o d u c e s t h e i m a g e , e n d e v e n t h e p r o x i m i t y o f t h e

o b j e c t t o l a n d , c a n i m p r o v e p r e d i c t i v e a c c u r a c y . S u c h

d a t a a r e a n o t h e r t y p i c a l e x a m p l e o f c o n t e x t t h a t h a s

t o b e t a k e n i n t o a c c o u n t . A t p r e s e n t t i m e , w e p r o p o s e

t o u s e a v a r i a n t o f t h e c o n t e x t u a l c l a s s i e r s e l e c t i o n , i n

w h i c h t h e i m a g e s a r e c l u s t e r e d a c c o r d i n g t o t h e c o n -

t e x t , a n d e a c h c l u s t e r h a s i t s o w n c l a s s i e r .

T h e t h i r d s t u d y c o m e s f r o m t h e a r e a o f s l e e p a n a l y s i s

a s p r e s e n t e d b y K u b a t , P f u r t s c h e l l e r , a n d F l o t z i n g e r

( 1 9 9 4 ) . A l o n g - t e r m s t u d y h a s s h o w n t h a t b i o l o g i c a l

s i g n a l s s u c h a s E E G a r e s t r o n g l y s u b j e c t - d e p e n d e n t ,

a n d t h e r e f o r e t h e k n o w l e d g e i n d u c e d f r o m e x a m p l e

m e a s u r e m e n t s o n a s i n g l e p e r s o n a r e n o t e a s y t o t r a n s -

f e r t o a n o t h e r p e r s o n . T h e c i t e d w o r k h e n c e u s e d

7/28/2019 The role of context in concept learning

2/5

a d i e r e n t s t r a t e g y : t h e e x p e r t c l a s s i e s a s u b s e t o f

e x a m p l e s o b t a i n e d f r o m a s i n g l e s l e e p e r , t h e s y s t e m

l e a r n s f r o m t h e m , a n d t h e n c l a s s i e s a l l t h e r e m a i n i n g

m e a s u r e m e n t s o n t h e s a m e s l e e p e r . E v e n t h i s w e a k e r

s c e n a r i o p r o v i d e s s i g n i c a n t s a v i n g s i n t h e e x p e n s i v e

h u m a n e x p e r t i s e . H e r e , t h e c o n t e x t i s t h e p a r t i c u l a r

s l e e p e r . K u b a t ( 1 9 9 6 ) h a s p r o p o s e d a s t r a t e g y t o d e a l

w i t h t h i s p a r t i c u l a r k i n d o f a p p l i c a t i o n . A d e c i s i o n

t r e e i s i n d u c e d f r o m a s i n g l e s l e e p e r a n d r e m a i n s e x -

a c t l y t h e s a m e a c r o s s a l l t h e s l e e p e r s . W h a t i s l e a r n e d

f o r e a c h s l e e p e r s e p a r a t e l y , i s t h e s e c o n d t i e r w h i c h

p r o v i d e s t h e i n t e r p r e t a t i o n o f t h e t r e e i n t h e c o n t e x t

o f t h i s p a r t i c u l a r s l e e p e r .

A l l t h e s e a p p l i c a t i o n s s t r o n g l y i n d i c a t e t h a t c o n t e x t

i s u s e f u l i n t h e l e a r n i n g c y c l e , a n d t h a t t h e l e a r n i n g

t a s k o f t e n c a n n o t b e r e s o l v e d s a t i s f a c t o r i l y i f c o n t e x t

i s i g n o r e d . I n t h i s p a p e r , w e r e v i e w s o m e o f t h e p h i l o -

s o p h i c a l , c o g n i t i v e , a n d l i n g u i s t i c w o r k s o n c o n t e x t .

W e t h e n p r e s e n t t h e c u r r e n t m a c h i n e l e a r n i n g w o r k

o n t h i s i s s u e , a n d n i s h w i t h a n a p p e a l t o t h e c o m m u -

n i t y t o p a y m o r e a t t e n t i o n t o c o n t e x t i n t h e c u r r e n t

r e s e a r c h .

T o c o m e t o t e r m s w i t h t h e t e c h n i c a l a s p e c t s o f t h e

i s s u e , l e t u s d i v i d e c o n c e p t s i n t o t h r e e g r o u p s b a s e d

o n t h e i r s e n s i t i v i t y t o c o n t e x t :

1 A b s o l u t e c o n c e p t s d o n o t d e p e n d o n a n y c o n t e x t .

T h i s i s t h e c a s e o f u n a m b i g u o u s l y d e n e d n o -

t i o n s s u c h a s ` e v e n n u m b e r , ' ` a b e l i a n g r o u p , ' o r

` q u a d r a t i c e q u a t i o n . '

2 R e l a t i v e c o n c e p t s d o n o t p o s s e s s a n y p r o p e r t y

t h a t i s p r e s e n t u n d e r a l l c i r c u m s t a n c e s . T h e

m e a n i n g i s t o t a l l y d i e r e n t i n d i e r e n t c o n t e x t s .

` P o v e r t y , ' ` b e a u t y , ' a n d ` h i g h s p e e d ' s e e m t o r e p -

r e s e n t r e l a t i v e c o n c e p t s .

3 P a r t i a l l y r e l a t i v e c o n c e p t s c a n b e c h a r a c t e r i z e d b y

a s e t o f k e r n e l p r o p e r t i e s t h a t a r e a l w a y s p r e s e n t ,

a n d s o m e c o n t e x t - s e n s i t i v e p r o p e r t i e s t h a t v a r y i n

d i e r e n t c o n t e x t s . F o r i n s t a n c e , a s w i m m i n g s u i t

w i l l a l w a y s c o n s i s t o f t h e s a m e b a s i c c o m p o n e n t s

b u t i t s c o l o r , s h a p e , s i z e , a n d m a t e r i a l w i l l f o l l o w

t h e d i c t a t e o f f a s h i o n .

2 P h i l o s o p h y a n d C o g n i t i v e S c i e n c e

o n C o n t e x t

\ O n e c a n n e v e r s t e p t w i c e i n t o t h e s a m e r i v e r , a s i t

d o e s n o t r e m a i n t h e s a m e , " t h e a n c i e n t p h i l o s o p h e r

H e r a c l i t u s s a i d . E v e r y t h i n g a l t e r s , t h e o n l y p e r m a -

n e n c e b e i n g t h e l a w o f c h a n g e . T h e e n t i r e c o s m o s i s i n

u x a n d o n l y t h e u n i v e r s a l p r i n c i p l e t h a t e v e r y t h i n g

c h a n g e s r e m a i n s u n a l t e r e d . E v e n t h e w o r d s o f o u r l a n -

g u a g e a r e s u b j e c t t o c o n s t a n t u x a n d s o a r e c o n c e p t s

t h a t o u r m i n d s u s e t o r e p r e s e n t a n d p r o c e s s i n f o r m a -

t i o n . N e x t t i m e y o u s t e p i n t h e r i v e r , t h e c o n t e x t i s

d i e r e n t .

I n a n y c a s e , t h e m e a n i n g o f a w o r d , a c o n c e p t , o r a n e x -

p r e s s i o n i n n a t u r a l l a n g u a g e d e p e n d s , s o m e t i m e s f a i r l y

s t r o n g l y , o n a g i v e n c o n t e x t a n d / o r s u b j e c t i v e i n t e r -

p r e t a t i o n . T h i s i s w e l l k n o w n t o t h o s e t h i n k e r s t h a t

i n v e s t i g a t e t h e p o s s i b i l i t y o f e x t r a c t i n g t r u e m e a n -

i n g f r o m t e x t s ( h e r m e n e u t i c s ) . F o r i n s t a n c e , r e l i -

g i o u s s o u r c e s a c q u i r e d i e r e n t i n t e r p r e t a t i o n s i n d i f -

f e r e n t c u l t u r e s , a n d t h i s i n v o k e s t h e f o l l o w i n g f r e -

q u e n t l y a s k e d q u e s t i o n : c a n t h e i r m e a n i n g b e d e t e r -

m i n e d i n s o m e a b s o l u t e , c o n t e x t - i n d e p e n d e n t s e n s e ?

W h e r e a s o b j e c t i v i s t s b e l i e v e t h a t a m e a n i n g , i n d e p e n -

d e n t o f a p a r t i c u l a r i n t e r p r e t a t i o n , w i l l b e f o u n d i f

a l l p r e - u n d e r s t a n d i n g s , p r e j u d i c e s , b i a s e s , a n d c u l t u r a l

c o n t e x t s a r e s t r i p p e d f r o m t h e t e x t , m a n y i n u e n t i a l

p h i l o s o p h e r s a r e r a t h e r s k e p t i c a l . G a d a m e r ( 1 9 7 5 ,

1 9 7 6 ) a n d H e i d e g g e r ( 1 9 6 2 ) m a i n t a i n t h a t m e a n i n g

i s i n s e p a r a b l e f r o m t h e a c t o f i n t e r p r e t a t i o n | e v e r y

r e a d i n g o r h e a r i n g o f a t e x t c o n s t i t u t e s a n a c t o f g i v -

i n g m e a n i n g t o i t . S e a r l e , i n h i s f a m o u s t r e a t i s e o n

t h e e s s e n c e o f n a t u r a l l a n g u a g e ( S e a r l e , 1 9 7 9 ) , o p e n l y

d o u b t s t h a t t h e r e m i g h t b e a n y s e n s e i n t r y i n g t o d e -

v e l o p f o r m a l o r s y m b o l i c d e s c r i p t i o n s o f c o n c e p t s

1

i n

n a t u r a l l a n g u a g e s , s i m p l y b e c a u s e o f t h e c o n c e p t s ' t e n -

d e n c y t o t a k e o n d i e r e n t m e a n i n g s i n d i e r e n t c o n -

t e x t s . A l a r g e b o d y o f s i m i l a r r e s e r v a t i o n s h a s b e e n

p u t f o r w a r d i n t h e w r i t i n g s o f m a n y o t h e r c o n t e m -

p o r a r y p h i l o s o p h e r s , t o o n u m e r o u s t o b e l i s t e d h e r e .

R e a d e r s i n t e r e s t e d i n a m o r e c o m p r e h e n s i v e a c c o u n t

a r e r e f e r r e d t o B e c h t e l ( 1 9 8 8 ) .

P r e v a i l i n g p a r t o f t h e l i t e r a t u r e d e a l i n g w i t h c o n c e p t

l e a r n i n g f r o m e x a m p l e s a s s u m e s a v a i l a b i l i t y o f a p r e d e -

n e d s e t o f d e s c r i p t o r s ( a t t r i b u t e s , i n t e r i m c o n c e p t s ,

f u n c t i o n s , o r r e l a t i o n s ) t h a t a r e e x p e c t e d t o p e r m i t ,

t o a c e r t a i n e x t e n t , i n d u c t i o n o f t h e c o n c e p t r e p r e s e n -

t a t i o n . W h e t h e r t h i s s c e n a r i o a p p l i e s a l s o t o h u m a n

r e c o g n i t i o n i s u n c e r t a i n .

W i n o g r a d a n d F l o r e s ( 1 9 8 5 ) p r e s e n t a n i c e i l l u s t r a t i o n

o f c o n t e x t d e p e n d e n c y : H a v i n g b e e n a s k e d w h e t h e r

t h e r e i s s o m e w a t e r i n t h e r e f r i g e r a t o r , a p e r s o n a n -

s w e r s \ y e s , t h e r e i s s o m e w a t e r c o n d e n s e d o n t h e b o t -

t o m o f t h e c o o l i n g c o i l s . " A p p r o p r i a t e n e s s o f t h i s a n -

s w e r d e p e n d s o n t h e s p e c i c c i r c u m s t a n c e s . F o r a

t h i r s t y p e r s o n , t h e i n f o r m a t i o n i s c e r t a i n l y u n i n t e r e s t -

i n g b u t a p h o t o g r a p h e r s e a r c h i n g f o r s o u r c e s o f h u m i d -

i t y t h a t d a m a g e d s o m e p h o t o g r a p h i c p l a t e s s t o r e d i n

t h e r e f r i g e r a t o r w i l l n d t h e a n s w e r s a t i s f a c t o r y . A p -

p a r e n t l y , e v e n s u c h p l a i n c o n c e p t a s H

2

O i s , f r o m t h e

c o n c e p t - r e c o g n i t i o n p o i n t o f v i e w , h i g h l y c o n t e x t d e -

p e n d e n t .

T h i s e x a m p l e , h o w e v e r i l l u s t r a t i v e , i s s o m e w h a t d i s -

t a n t f r o m t y p i c a l m a c h i n e - l e a r n i n g p r o b l e m s a n d o n e

c a n r i g h t l y q u e s t i o n i t s a c t u a l r e l e v a n c e . B u t s t i l l ,

1

h e c a l l s t h e m ` e x p r e s s i o n s '

7/28/2019 The role of context in concept learning

3/5

c o n t e x t i s i n e x t r i c a b l e f r o m m a n y c l a s s i c a t i o n t a s k s .

F o r i n s t a n c e , m e d i c a l d o c t o r s r a r e l y w o r k w i t h a l l t h e

i n f o r m a t i o n t h a t i s n e c e s s a r y t o s p e c i f y a d i a g n o s i s o f ,

s a y , a u o r y e l l o w f e v e r . R a t h e r , t h e y e x p l o i t j u s t a

f e w a t t r i b u t e s ( b o d y t e m p e r a t u r e , c h a r a c t e r o f p a i n s )

a n d s u p p l e m e n t t h e m w i t h c o n t e x t u a l i n f o r m a t i o n |

y e l l o w f e v e r i s u n c o m m o n i n O t t a w a r e g i o n s o i t c a n

p e r h a p s b e e x c l u d e d ; r e c e n t l y , s e v e r a l p a t i e n t s w i t h u

h a v e a p p e a r e d , s o p e r h a p s a n e p i d e m y i s p e n d i n g ; a n d

t h e l i k e .

S m i t h a n d M e d i n ( 1 9 8 1 ) i n v e s t i g a t e t h e C o g n i t i v e S c i -

e n c e p o i n t o f v i e w . T h e y p o i n t o u t t h a t c o n t e x t h a s

d i e r e n t i m p a c t o n c o n c e p t l e a r n i n g , d e p e n d i n g o n

t h e p a r t i c u l a r k i n d o f l e a r n i n g m e c h a n i s m a n d c o n -

c e p t r e p r e s e n t a t i o n . T h e m a i n a p p r o a c h e s t o c o n c e p t

r e p r e s e n t a t i o n i d e n t i e d i n t h e i r w o r k a r e : c l a s s i c a l

( a s i n g l e c o n c e p t d e s c r i p t i o n a p p l i e s t o a l l i n s t a n c e s ,

a n d a l l f e a t u r e s a p p l y t o a l l m e m b e r s o f t h e c o n c e p t ) ,

p r o b a b i l i s t i c f e a t u r a l ( i n d i v i d u a l f e a t u r e s o c c u r w i t h

a p r o b a b i l i t y c o n d i t i o n a l o n t h e p a r t i c u l a r i n s t a n c e )

p r o b a b i l i s t i c d i m e n s i o n a l ( t h e v a l u e o f a f e a t u r e i n a

c o n c e p t d e n i t i o n i s t h e a v e r a g e o f t h a t v a l u e f o r a l l

t h e i n s t a n c e s o f t h e c o n c e p t ) , a n d n a l l y t h e e x e m p l a r

v i e w , w h i c h c l o s e l y r e s e m b l e s t h e k - n e a r e s t n e i g h b o r

a p p r o a c h . S m i t h a n d M e d i n d i s c u s s c o n t e x t e e c t s i n

e a c h o f t h e s e r e p r e s e n t a t i o n s .

T h e y d o n o t s a y m u c h a b o u t a c c o m m o d a t i n g c o n -

t e x t i n t h e c l a s s i c a l r e p r e s e n t a t i o n , a s t h e b a s i c t e n e t

i n c l a s s i c a l c o n c e p t s i s t h a t t h e i r d e n i t i o n s a r e i m -

m u t a b l e , a n d h e n c e t h e r e i s n o m e c h a n i s m w h i c h c o u l d

a c c o m m o d a t e t h e c o n t e x t .

I n t h e p r o b a b i l i s t i c m o d e l , t h e a u t h o r s a c c o u n t f o r t h e

t e m p o r a r y f e a t u r e c h a n g e s u s i n g t h e s p r e a d i n g a c t i -

v a t i o n m o d e l . T h e y a r e u n a b l e t o e x p l a i n h o w t h e

c o n c e p t a m b i g u i t y c a n b e h a n d l e d i n t h e p r o b a b i l i s t i c

a p p r o a c h . F u r t h e r o n , t h e p r o b a b i l i s t i c d i m e n s i o n a l

a p p r o a c h i s n o t c o n d u c t i v e t o t h e e x p l a n a t i o n o f c o n -

t e x t p h e n o m e n a .

I n t h e e x e m p l a r m o d e l , e e c t s o f c o n t e x t a r e e a s y t o

h a n d l e b o t h i n t e r m s o f s a l i e n t f e a t u r e s a n d a m b i g u -

i t y , i f e n o u g h e x e m p l a r s e x i s t . I t i s a s s u m e d t h a t t h e

e x i s t e n c e o f p r i o r c o n t e x t s k e w s t h e d i s t r i b u t i o n o f e x -

a m p l e s t o w a r d s t h e i n s t a n c e s w h i c h e x h i b i t t h e s a l i e n t

f e a t u r e s . I f , h o w e v e r , t h e r e a r e o n l y f e w t y p i c a l e x -

e m p l a r s , t h e c o n t e x t - d e p e n d e n t e x e m p l a r w i t h l o w e r

t y p i c a l i t y w i l l n o t b e r e t r i e v e d .

C o n t e x t i s d i s c u s s e d a s h a v i n g t w o e e c t s . T h e r s t e f -

f e c t c o n c e r n s t h e t e m p o r a r y c h a n g e s i n f e a t u r e s . T h e s e

o c c u r w h e n t h e c o n t e x t i n u e n c e s t h e s a l i e n c y o f d i e r -

e n t f e a t u r e s , e . g . t h e s e n t e n c e c o n t e x t \ J o h n l i f t e d t h e

p i a n o " e m p h a s i z e s t h e h e a v i n e s s o f t h e p i a n o , w h i l e

" J o h n t u n e d t h e p i a n o " e m p h a s i z e s t h e f a c t t h a t t h e

p i a n o i s a m u s i c a l i n s t r u m e n t . T h e s e c o n d e e c t o c -

c u r s w h e n c o n c e p t s a r e a m b i g u o u s s o t h a t t h e r e a r e

t w o o r m o r e d i e r e n t c o n c e p t s f o r t h e s a m e t e r m . C o n -

c e p t a m b i g u i t y o c c u r s o f t e n f o r g e n e r a l c o n c e p t s . F o r

i n s t a n c e , i n t h e s e n t e n c e " T h e r e a r e l o t s o f a n i m a l s

o n t h i s p l a n e t " t h e c o n c e p t o f a n i m a l i s v e r y g e n e r a l ,

w h i l e t h e s a m e c o n c e p t i n t h e s e n t e n c e " T h e r e a r e l o t s

o f a n i m a l s i n t h e z o o " i s n o r m a l l y c i r c u m s c r i b e d t o

m a m m a l s , b i r d s , a n d r e p t i l e s .

3 R e l a t e d R e s e a r c h i n M a c h i n e

L e a r n i n g

T h e o p i n i o n t h a t c o n c e p t s c a n b e t o o e x i b l e t o b e

c a p t u r e d b y a s i n g l e l o g i c a l d e s c r i p t i o n i s b y n o m e a n s

n o v e l t o t h e m a c h i n e - l e a r n i n g c o m m u n i t y . M i c h a l s k i

( 1 9 8 7 ) w a s o n e o f t h e r s t t o c a l l a t t e n t i o n t o c o n -

t e x t d e p e n d e n c y a n d p r o p o s e d t h e m e t h o d o f t w o -

t i e r e d c h a r a c t e r i z a t i o n o f c o n c e p t s : t h e ` b a s e c o r e d e -

s c r i p t i o n ' i s s t o r e d a s a k i n d o f r s t a p p r o x i m a t i o n

t o t h e c o n c e p t , w h e r e a s t h e ` i n f e r e n t i a l c o n c e p t r e c o g -

n i t i o n ' s c h e m e i s s u g g e s t e d t o c o v e r l e s s t y p i c a l a n d

c o n t e x t - d e p e n d e n t a s p e c t s . T h e a p p r o a c h i s d i s c u s s e d

a t l e n g t h b y B e r g a d a n o e t a l . ( 1 9 9 2 ) . I n t h e t e r m i -

n o l o g y f r o m S e c t i o n 1 , t h e t w o - t i e r e d r e p r e s e n t a t i o n

a d d r e s s e s p a r t i a l l y r e l a t i v e c o n c e p t s .

T h e a t t i t u d e a d v a n c e d b y K u b a t ( 1 9 8 9 ) a n d l a t e r e l a b -

o r a t e d b y W i d m e r a n d K u b a t ( 1 9 9 6 ) a l l o w s f o r t h e

e x t r e m e c a s e o f r e l a t i v e c o n c e p t s , l a c k i n g a n y c o m m o n

k e r n e l . T h e w o r k b u i l d s o n t h e a s s u m p t i o n t h a t t h e

c o n t e x t s a r e u n k n o w n t o t h e l e a r n e r a n d t e a c h e r a l i k e .

T h e i r s y s t e m F L O R A a s s u m e s t h a t t h e c o n t e x t i s n o t

l i k e l y t o v a r y t o o o f t e n . T h e a g e n t g r a d u a l l y d e v e l -

o p s t h e c o n c e p t d e s c r i p t i o n o n - l i n e f r o m a s t r e a m o f

e x a m p l e s a n d a d j u s t s e x i b l y t h e c u r r e n t d e s c r i p t i o n .

I n t h e p r o c e s s , i t k e e p s t r a c k o f t h e s u c c e s s e s a n d f a i l -

u r e s o f t h e c l a s s i c a t i o n a t t e m p t s a s w e l l a s o f l e x i -

c a l c o m p l e x i t y o f t h e c o n c e p t d e s c r i p t i o n s . I n c r e a s e d

p e r c e n t a g e o f f a i l u r e s a n d / o r s u d d e n o u t b u r s t s i n t h e

c o m p l e x i t y a r e u s e d a s h e u r i s t i c s s i g n a l l i n g a p o s s i -

b l e s h i f t i n t h e c o n t e x t a n d , c o n s e q u e n t l y , a c h a n g e

i n t h e c o n c e p t d e s c r i p t i o n . I n t h a t c a s e , t h e o l d d e -

s c r i p t i o n i s s t o r e d a n d a n e w o n e i s d e v e l o p e d a s f a s t

a s p o s s i b l e . T y p i c a l l y , s e v e r a l d e s c r i p t i o n s o f t h e s a m e

c o n c e p t ( e a c h r e l e v a n t i n a d i e r e n t c o n t e x t ) a r e b e i n g

k e p t i n t h e m e m o r y f o r t h e c a s e t h a t t h e s a m e o r s i m i -

l a r c o n t e x t r e a p p e a r s i n t h e f u t u r e . T h i s c o n c e p t i o n i s

c l o s e t o t h e s o m e w h a t o l d e r u n d e r s t a n d i n g o f c o n c e p t

d r i f t e m p l o y e d i n t h e s y s t e m S T A G G E R , d e v e l o p e d b y

S c h l i m m e r a n d G r a n g e r ( 1 9 8 6 ) .

T h e n o t i o n o f c o n c e p t d r i f t h a s r e c e i v e d s o m e a t t e n t i o n

i n t h e l i t e r a t u r e o n c o m p u t a t i o n a l l e a r n i n g t h e o r y . F o r

i n s t a n c e , H e l m b o l d a n d L o n g ( 1 9 9 1 , 1 9 9 4 ) a n d K u h

e t a l . ( 1 9 9 1 , 1 9 9 2 ) h a v e e x p l i c i t l y i n v e s t i g a t e d v a r i o u s

c o n d i t i o n s u n d e r w h i c h d r i f t t r a c k i n g i s p o s s i b l e . T h e y

s t a r t f r o m t h e o b s e r v a t i o n t h a t d r i f t t r a c k i n g i s s t r i c t l y

i m p o s s i b l e i f t h e r e a r e n o r e s t r i c t i o n s o n t h e t y p e o f

7/28/2019 The role of context in concept learning

4/5

c o n c e p t c h a n g e s a l l o w e d ( a s a n e x t r e m e e x a m p l e , c o n -

s i d e r a s e q u e n c e o f c o n c e p t s t h a t r a n d o m l y a l t e r n a t e s

b e t w e e n t h e c o n s t a n t f u n c t i o n 1 a n d t h e c o n s t a n t f u n c -

t i o n 0 a f t e r e v e r y e x a m p l e ) . T h e y t h e n g o o n t o s t u d y

v a r i o u s r e s t r i c t i o n s o n t h e s e v e r i t y ( e x t e n t ) o r t h e f r e -

q u e n c y ( r a t e ) o f c o n c e p t c h a n g e s .

I n p a r t i c u l a r , H e l m b o l d a n d L o n g ( 1 9 9 4 ) a s s u m e a p e r -

m a n e n t , t h o u g h v e r y s l i g h t d r i f t . T h e y s h o w t h a t t o

b e a b l e t o t r a c k t h e c o n t e x t s h i f t , i t i s e n o u g h i f t h e

l e a r n e r c o n s i d e r s o n l y a s u b s e t o f r e c e n t e x a m p l e s |

a w i n d o w s l i d i n g o v e r t h e i n p u t s t r e a m . T h e i r a n a l -

y s i s l e a d s t o r o u g h e s t i m a t e s a s t o t h e w i n d o w s i z e

n e e d e d f o r e e c t i v e t r a c k i n g . F o r i n s t a n c e , f o r o n e

o f t h e i r a l g o r i t h m s t h e y s h o w t h a t a w i n d o w s i z e

m = ( c

0

d = ) l o g ( 1 = ) ( t o g e t h e r w i t h a s p e c i c r e -

s t r i c t i o n o n t h e a l l o w a b l e a m o u n t o f d r i f t ) g u a r a n t e e s

t r a c k a b i l i t y .

K u h e t a l . ( 1 9 9 1 ) i n t r o d u c e t h e n o t i o n o f P A C - t r a c k i n g

a s a s t r a i g h t f o r w a r d e x t e n s i o n o f V a l i a n t ' s ( 1 9 8 4 ) P A C

f r a m e w o r k . T h e i r g e n e r a l r e s u l t s r e l a t e t o t h e b a t c h -

l e a r n i n g a p p r o a c h t o o n - l i n e l e a r n i n g , w h e r e a h y p o t h -

e s i s i s r e c o m p u t e d f r o m t h e e n t i r e w i n d o w a f t e r e a c h

i n s t a n c e . U n l i k e H e l m b o l d a n d L o n g , t h e y r a t h e r s e t

o u t t o d e t e r m i n e t h e m a x i m u m r a t e o f d r i f t , t h a t i s

h o w f r e q u e n t l y a c o n c e p t i s a l l o w e d t o c h a n g e i f i t i s

t o b e t o l e r a b l e b y a l e a r n e r .

W o r k t r y i n g t o d o j u s t i c e t o c o n t e x t d e p e n d e n c y c a n

b e f o u n d a l s o i n t h e l i t e r a t u r e d e a l i n g w i t h a r t i c i a l

n e u r a l n e t w o r k s . F o r i n s t a n c e , t h e r e s e a r c h r e p o r t e d

b y P r a t t , M o s t o w , a n d K a m m ( 1 9 9 1 ) a n d P r a t t ( 1 9 9 3 )

f o c u s e s o n t h e f o l l o w i n g i s s u e : a s p e e c h r e c o g n i t i o n

n e t w o r k t h a t h a s b e e n t r a i n e d o n s p e a k e r s w i t h a n

A m e r i c a n a c c e n t i s t o b e u s e d i n a n e n v i r o n m e n t w h e r e

a B r i t i s h a c c e n t p r e v a i l s . T h e r e c o g n i t i o n p e r f o r m a n c e

o f t h e n e t w o r k w i l l o b v i o u s l y d e g r a d e , a n d r e t r a i n i n g

w i t h e x a m p l e s g e n e r a t e d b y B r i t i s h s p e a k e r s w i l l b e

n e c e s s a r y . H o w e v e r , t o t r y t o r e t r a i n t h e n e t w o r k f r o m

s c r a t c h w i t h r a n d o m l y i n i t i a l i z e d w e i g h t s a n d u n i n -

f o r m e d a r c h i t e c t u r e w o u l d b e u n n e c e s s a r i l y e x p e n s i v e .

R a t h e r , t h e p r e v i o u s k n o w l e d g e , e n c o d e d i n t h e n e t -

w o r k t h a t w a s t r a i n e d b y A m e r i c a n s , s h o u l d s o m e h o w

b e u t i l i z e d f o r t h e i n i t i a l i z a t i o n o f t h e n e w n e t w o r k o r ,

i n o t h e r w o r d s , t r a n s f e r r e d t o i t . A f t e r a l l , t h e t w o

g r o u p s o f s p e a k e r s h a v e a l o t i n c o m m o n . T h e p r o b -

l e m s o f t r a n s f e r t o a n o v e l c o n t e x t a r e f u r t h e r t r e a t e d

b y P r a t t ( 1 9 9 6 ) a n d i n t h e f r a m e w o r k o f d e c i s i o n - t r e e

i n d u c t i o n b y K u b a t ( 1 9 9 6 )

K a t z , G a t e l y , a n d C o l l i n s ( 1 9 9 0 ) a n d T u r n e y ( 1 9 9 3 )

p r o v i d e d e n i t i o n o f c o n t e x t u a l a t t r i b u t e s a n d s y s -

t e m i z e v a r i o u s s t r a t e g i e s f o r u t i l i z i n g t h e i n f o r m a t i o n

a b o u t c o n t e x t i n t h e p r o c e s s o f l e a r n i n g . I n t h e i r e x -

p e r i m e n t s , t h e y d e m o n s t r a t e t h a t t h e u s e o f c o n t e x t

c a n r e s u l t i n s u b s t a n t i a l l y m o r e a c c u r a t e c l a s s i c a t i o n .

A f u n d a m e n t a l a s s u m p t i o n o f t h e i r w o r k i s t h a t t h e

i n f o r m a t i o n a b o u t t h e d i e r e n t c o n t e x t s b e p r o v i d e d

p r i o r t o l e a r n i n g . T h i s i n f o r m a t i o n t h e n e n a b l e s t h e

l e a r n e r t o p r o p e r l y n o r m a l i z e t h e c o n t e x t - s e n s i t i v e a t -

t r i b u t e s o r t o a d o p t s o m e o t h e r s t r a t e g y t h a t a p r i o r i

r e e c t s t h e d i e r e n t c o n t e x t .

I m p o r t a n t l y , s e v e r a l o t h e r a u t h o r s a l l u d e t o t h e i m -

p l i c i t p r e s e n c e o f c o n t e x t i n t h e p a r t i c u l a r p r o b l e m s

t h e y a t t a c k e d , e v e n t h o u g h t h e y d o n o t a d d r e s s t h e

i s s u e e x p l i c i t l y . T h e p a p e r s b y D e n t e t a l . ( 1 9 9 2 ) ,

D r u m m o n d , H o l t e , a n d I o n e s c u ( 1 9 9 3 ) , a n d H o l t e a n d

D r u m m o n t ( 1 9 9 4 ) e m p h a s i z e t h e n e e d f o r l e a r n i n g i n

t i m e - v a r y i n g a n d c o n t e x t - s e n s i t i v e d o m a i n s .

4 C o n c l u s i o n

W e h a v e a r g u e d i n t h i s p a p e r t h a t c o n t e x t i s o f t e n

a n i n h e r e n t c o m p o n e n t o f t h e c o n c e p t d e s c r i p t i o n a n d

c l a s s i c a t i o n . W e h a v e b r i e y s u m m a r i z e d r e l e v a n t

w o r k i n p h i l o s o p h y a n d c o g n i t i v e s c i e n c e , a s w e l l a s

t h e e a r l y i n r o a d s i n t o c o n t e x t - s e n s i t i v e s y s t e m s i n M a -

c h i n e L e a r n i n g . W e b e l i e v e t h a t m a n y p r a c t i c a l l e a r n -

i n g a p p l i c a t i o n s n e c e s s i t a t e t h e u s e o f c o n t e x t i n l e a r n -

i n g a n d i n t h e p e r f o r m a n c e t a s k a l i k e . N e v e r t h e l e s s ,

c o n t e x t h a s b e e n o n l y m a r g i n a l l y a d d r e s s e d i n t h e M a -

c h i n e L e a r n i n g c o m m u n i t y . O n e o f t h e r e a s o n s f o r t h i s

m a y b e t h e f a c t t h a t t h e d a t a s e t s i n t h e I r v i n e r e p o s -

i t o r y o f t e n o b l i t e r a t e t h e c o n t e x t w i t h o t h e r a v a i l a b l e

d a t a , o r d i s r e g a r d t h e c o n t e x t a l t o g e t h e r ( e . g . w o u l d

d i a g n o s t i c r u l e s l e a r n e d o n a d a t a s e t f r o m o n e g r o u p o f

p a t i e n t s t r a n s f e r w e l l t o a n o t h e r g r o u p o f p a t i e n t s , i n

a d i e r e n t c o u n t r y a n d a d i e r e n t e n v i r o n m e n t ? O u r

e x p e r i e n c e t e l l s u s t h a t t h i s i s n o t a l w a y s t h e c a s e ) .

S i n c e m a n y a u t h o r s b e l i e v e ( f a l s e l y ) t h a t r u n n i n g t h e i r

a l g o r i t h m o n a s e l e c t i o n o f I r v i n e d a t a s e t s i s e q u i v a -

l e n t t o a r e a l - l i f e a p p l i c a t i o n , t h e c o n t e x t p r o b l e m i s

o f t e n o v e r l o o k e d . A n y o n e , h o w e v e r , w h o h a s e v e r b e e n

i n v o l v e d i n a r e a l i s t i c a p p l i c a t i o n , i n w h i c h d a t a h a s

t o b e e n g i n e e r e d t o p r o v i d e i n p u t t o a l e a r n i n g s y s -

t e m , w i l l l i k e l y c o n f r o n t t h e c o n t e x t p r o b l e m s o o n e r

o r l a t e r .

A c k n o w l e d g e m e n t s

T h e w o r k d e s c r i b e d h e r e i s c a r r i e d o u t a t t h e O t -

t a w a M a c h i n e L e a r n i n g G r o u p ( O M L G ) . R e s e a r c h a t

O M L G i s s u p p o r t e d b y t h e N a t u r a l S c i e n c e s a n d E n g i -

n e e r i n g R e s e r a c h C o u n c i l o f C a n a d a , b y P r e c a r n , I n c .

a n d M a c d o n a l d D e t t w i l e r , I n c . , a n d b y t h e O n t a r i o

I n f o r m a t i o n T e c h n o l o g y R e s e a r c h C e n t r e .

S p e c i a l t h a n k s a r e d u e t o G e r h a r d W i d m e r . O u r d i s -

c u s s i o n s w i t h h i m w e r e g r e a t l y h e l p f u l i n w r i t i n g S e c -

t i o n 3 o f t h i s p a p e r .

R e f e r e n c e s

B e c h t e l , W . ( 1 9 8 8 ) . P h i l o s o p h y o f M i n d : A n O v e r v i e w

f o r C o g n i t i v e S c i e n c e . L a w r e n c e E r l b a u m A s s o c i a t e s ,

7/28/2019 The role of context in concept learning

5/5

H i l l s d a l e , N e w J e r s e y

B e r g a d a n o , F . , M a t w i n , S . , M i c h a l s k i , R . S . , a n d Z h a n g ,

J . ( 1 9 9 2 ) . L e a r n i n g T w o - T i e r e d D e s c r i p t i o n s o f F l e x i b l e

C o n c e p t s : T h e P O S E I D O N S y s t e m . M a c h i n e L e a r n i n g 8

5 { 4 3

D e n t , L . , B o t i c a r i o , J . , M c D e r m o t t , J . , M i t c h e l l , T . , a n d

Z a b o w s k i , D . ( 1 9 9 2 ) . A P e r s o n a l L e a r n i n g A p p r e n t i c e .

P r o c e e d i n g s o f 1 9 9 2 N a t i o n a l C o n f e r e n c e o n A r i c i a l I n -

t e l l i g e n c e

D r u m m o n d , C . , H o l t e , R . , a n d I o n e s c u , D . ( 1 9 9 3 ) . A c -

c e l e r a t i n g B r o w s i n g b y A u t o m a t i c a l l y I n f e r r i n g a U s e r ' s

G o a l . P r o c e e d i n g s o f t h e 8 t h K n o w l e d g e - B a s e d S o f t w a r e

E n g i n e e r i n g C o n f e r e n c e , p p . 1 6 0 { 1 6 7

G a d a m e r , H . - G . ( 1 9 7 5 ) . T r u t h a n d M e t h o d ( t r a n s l a t e d a n d

e d i t e d b y G . B a r d e n a n d J . C u m m i n g ) . S e a b u r y P r e s s ,

N e w Y o r k

G a d a m e r , H . - G . ( 1 9 7 5 ) . P h i l o s o p h i c a l H e r m e n e u t i c s

( t r a n s l a t e d b y D . E . L i n g e ) , U n i v e r s i t y o f C a l i f o r n i a P r e s s ,

B e r k e l e y

H e i d e g g e r , M . ( 1 9 6 2 ) . B e i n g a n d T i m e ( t r a n s l a t e d b y J .

M a c q u a r r i e a n d E . R o b i n s o n ) , H a r p e r & R o w , N e w Y o r k

H o l t e , R . a n d D r u m m o n t , C . ( 1 9 9 4 ) . A L e a r n i n g A p p r e n -

t i c e f o r B r o w s i n g . A A A I S p r i n g S y m p o s i u m o n S o f t w a r e

A g e n t s

K a t z , A . J . , G a t e l y , M . T . , a n d C o l l i n s , D . R . ( 1 9 9 0 ) . R o b u s t

C l a s s i e r s w i t h o u t R o b u s t F e a t u r e s . N e u r a l C o m p u t a t i o n

2 , 4 7 2 { 4 7 9

K u b a t , M . ( 1 9 9 6 ) . R e c y c l i n g D e c i s i o n T r e e s i n N u m e r i c

D o m a i n s . M a c h i n e L e a r n i n g ( s u b m i t t e d )

K u b a t , M . , P f u r t s c h e l l e r , G . , a n d F l o t z i n g e r , D . ( 1 9 9 4 ) .

A I - B a s e d A p p r o a c h t o A u t o m a t i c S l e e p C l a s s i c a t i o n . B i -

o l o g i c a l C y b e r n e t i c s , 7 9 , 4 4 3 { 4 4 8

M i c h a l s k i , R . S . ( 1 9 8 7 ) . H o w t o L e a r n I m p r e c i s e C o n c e p t s :

A M e t h o d E m p l o y i n g a T w o - T i e r e d K n o w l e d g e R e p r e s e n -

t a t i o n f o r L e a r n i n g . P r o c e e d i n g s o f t h e 4 t h I n t e r n a t i o n a l

W o r k s h o p o n M a c h i n e L e a r n i n g ( p p . 5 0 { 5 8 ) , I r v i n e , C A

M i t c h e l l , T . , C a r u a n a , R . , F r e i t a g , D . , M c D e r m o t t , J . , a n d

Z a b o w s k i , D . ( 1 9 9 4 ) . E x p e r i e n c e w i t h a L e a r n i n g P e r s o n a l

A s s i s t a n t . C o m m u n i c a t i o n s o f t h e A C M , 3 7 , 8 0 { 9 1

P r a t t , L . Y . ( 1 9 9 3 ) . D i s c r i m i n a b i l i t y - B a s e d T r a n s f e r B e -

t w e e n N e u r a l N e t w o r k s . I n S . J . H a n s o n , C . L . G i l e s , a n d

J . D . C o w a n ( e d s . ) : A d v a n c e s i n N e u r a l I n f o r m a t i o n P r o -

c e s s i n g S y s t e m s 5 , o r g a n K a u f m a n n , S a n M a t e o , C a l i f o r -

n i a , 2 0 4 { 2 1 1

P r a t t , L . Y . ( 1 9 9 6 ) . T r a n s f e r B e t w e e n N e u r a l N e t w o r k s t o

S p e e d U p L e a r n i n g . J o u r n a l o f A r t i c i a l I n t e l l i g e n c e R e -

s e a r c h

P r a t t , L . Y . , M o s t o w , J , a n d K a m m , C . A . ( 1 9 9 1 ) . D i r e c t

T r a n s f e r o f L e a r n e d I n f o r m a t i o n a m o n g N e u r a l N e t w o r k s .

P r o c e e d i n g s o f t h e 9 t h N a t i o n a l C o n f e r e n c e o n A r t i c i a l I n -

t e l l i g e n c e ( A A A I - 9 1 ) ( p p . 5 8 4 { 5 8 0 ) , A n a h e i m , C a l i f o r n i a

S a l g a n i c o , M . ( 1 9 9 3 ) . D e n s i t y - A d a p t i v e L e a r n i n g a n d

F o r g e t t i n g . P r o c e e d i n g s o f t h e 1 0 t h I n t e r n a t i o n a l C o n f e r -

e n c e o n M a c h i n e L e a r n i n g ( p p . 2 7 6 { 2 8 3 ) , A m h e r s t , M A .

S e a r l e , J . R . ( 1 9 7 9 ) . E x p r e s s i o n a n d M e a n i n g . S t u d i e s i n

t h e T h e o r y o f S p e e c h A c t s . C a m b r i d g e : C a m b r i d g e U n i -

v e r s i t y P r e s s

S c h l i m m e r , J . C . a n d G r a n g e r , R . H . ( 1 9 8 6 ) . I n c r e m e n t a l

L e a r n i n g f r o m N o i s y D a t a . M a c h i n e L e a r n i n g , 1 , 3 1 7 { 3 5 4 .

S m i t h , E . E . a n d M e d i n , D . L . ( 1 9 8 1 ) . C a t e g o r i e s a n d C o n -

c e p t s , H a r v a r d U n i v e r s i t y P r e s s , C a m b r i d g e , M A

T u r n e y , P . D . ( 1 9 9 3 ) . R o b u s t C l a s s i c a t i o n w i t h C o n t e x t -

S e n s i t i v e F e a t u r e s . P r o c e e d i n g s o f t h e S i x t h I n t e r n a t i o n a l

C o n f e r e n c e o f I n d u s t r i a l a n d E n g i n e e r i n g A p p l i c a t i o n s o f

A r t i c i a l I n t e l l i g e n c e a n d E x p e r t S y s t e m s ( p p . 2 6 8 { 2 7 6 ) ,

E d i n b u r g h , S c o t l a n d .

W i d m e r , G . a n d K u b a t , M . ( 1 9 9 6 ) . L e a r n i n g i n t h e P r e s -

e n c e o f C o n c e p t D r i f t a n d H i d d e n C o n t e x t s . M a c h i n e

L e a r n i n g , 2 3 , 6 9 { 1 0 1

W i n o g r a d , T . a n d F l o r e s , F . ( 1 9 8 8 ) . U n d e r s t a n d i n g C o m -

p u t e r s a n d C o g n i t i o n . A d d i s o n - W e s l e y , R e a d i n g , M a s -

s a c h u s e t t s