7/29/2019 A Theory for Memory-Based Learning*
1/25
M a c h i n e L e a r n i n g , 1 7 , 1 2 6 1 9 9 4
c
1 9 9 4 K l u w e r A c a d e m i c P u b l i s h e r s , B o s t o n . M a n u f a c t u r e d i n T h e N e t h e r l a n d s .
A T h e o r y f o r M e m o r y - B a s e d L e a r n i n g
*
J Y H - H A N L I N j y h - h a n l i n @ p t s m o t c o m
M o t o r o l a I n c . , A p p l i e d R e s e a r c h C o m m u n i c a t i o n s L a b . , P a g i n g P r o d u c t s G r o u p , B o y n t o n B e a c h ,
F L 3 3 4 2 6
J E F F R E Y S C O T T V I T T E R j s v @ c s d u k e e d u
D e p a r t m e n t o f C o m p u t e r S c i e n c e , D u k e U n i v e r s i t y , D u r h a m , N C 2 7 7 0 8
E d i t o r : L i s a H e l l e r s t e i n
A b s t r a c t . A m e m o r y - b a s e d l e a r n i n g s y s t e m i s a n e x t e n d e d m e m o r y m a n a g e m e n t s y s t e m t h a t
d e c o m p o s e s t h e i n p u t s p a c e e i t h e r s t a t i c a l l y o r d y n a m i c a l l y i n t o s u b r e g i o n s f o r t h e p u r p o s e o f
s t o r i n g a n d r e t r i e v i n g f u n c t i o n a l i n f o r m a t i o n . T h e m a i n g e n e r a l i z a t i o n t e c h n i q u e s e m p l o y e d b y
m e m o r y - b a s e d l e a r n i n g s y s t e m s a r e t h e n e a r e s t - n e i g h b o r s e a r c h , s p a c e d e c o m p o s i t i o n t e c h n i q u e s ,
a n d c l u s t e r i n g . R e s e a r c h o n m e m o r y - b a s e d l e a r n i n g i s s t i l l i n i t s e a r l y s t a g e . I n p a r t i c u l a r , t h e r e
a r e v e r y f e w r i g o r o u s t h e o r e t i c a l r e s u l t s r e g a r d i n g m e m o r y r e q u i r e m e n t , s a m p l e s i z e , e x p e c t e d p e r -
f o r m a n c e , a n d c o m p u t a t i o n a l c o m p l e x i t y . I n t h i s p a p e r , w e p r o p o s e a m o d e l f o r m e m o r y - b a s e d
l e a r n i n g a n d u s e i t t o a n a l y z e s e v e r a l m e t h o d s | - c o v e r i n g , h a s h i n g , c l u s t e r i n g , t r e e - s t r u c t u r e d
c l u s t e r i n g , a n d r e c e p t i v e - e l d s | f o r l e a r n i n g s m o o t h f u n c t i o n s . T h e s a m p l e s i z e a n d s y s t e m c o m -
p l e x i t y a r e d e r i v e d f o r e a c h m e t h o d . O u r m o d e l i s b u i l t u p o n t h e g e n e r a l i z e d P A C l e a r n i n g m o d e l
o f H a u s s l e r H a u s s l e r , 1 9 8 9 a n d i s c l o s e l y r e l a t e d t o t h e m e t h o d o f v e c t o r q u a n t i z a t i o n i n d a t a
c o m p r e s s i o n . O u r m a i n r e s u l t i s t h a t w e c a n b u i l d m e m o r y - b a s e d l e a r n i n g s y s t e m s u s i n g n e w c l u s -
t e r i n g a l g o r i t h m s L i n & V i t t e r , 1 9 9 2 a t o P A C - l e a r n i n p o l y n o m i a l t i m e u s i n g o n l y p o l y n o m i a l
s t o r a g e i n t y p i c a l s i t u a t i o n s .
K e y w o r d s : M e m o r y - b a s e d l e a r n i n g , P A C l e a r n i n g , c l u s t e r i n g , a p p r o x i m a t i o n , l i n e a r p r o g r a m -
m i n g , r e l a x a t i o n , c o v e r i n g , h a s h i n g
1 . M O T I V A T I O N
I n t h i s p a p e r w e i n t r o d u c e a m o d e l f o r m e m o r y - b a s e d l e a r n i n g a n d c o n s i d e r t h e
p r o b l e m o f l e a r n i n g s m o o t h f u n c t i o n s b y m e m o r y - b a s e d l e a r n i n g s y s t e m s .
A m e m o r y - b a s e d l e a r n i n g s y s t e m i s a n e x t e n d e d m e m o r y m a n a g e m e n t s y s t e m t h a t
d e c o m p o s e s t h e i n p u t s p a c e e i t h e r s t a t i c a l l y o r d y n a m i c a l l y i n t o s u b r e g i o n s f o r t h e
p u r p o s e o f s t o r i n g a n d r e t r i e v i n g f u n c t i o n a l i n f o r m a t i o n f o r s o m e s m o o t h f u n c t i o n .
T h e m a i n g e n e r a l i z a t i o n t e c h n i q u e s e m p l o y e d b y m e m o r y - b a s e d l e a r n i n g s y s t e m
a r e t h e n e a r e s t - n e i g h b o r s e a r c h
1
s p a c e d e c o m p o s i t i o n t e c h n i q u e s a n d c l u s t e r i n g .
A l t h o u g h m e m o r y - b a s e d l e a r n i n g s y s t e m s a r e n o t a s p o w e r f u l a s n e u r a l n e t m o d e l s
i n g e n e r a l t h e t r a i n i n g p r o b l e m f o r m e m o r y - b a s e d l e a r n i n g s y s t e m s m a y b e c o m -
p u t a t i o n a l l y m o r e t r a c t a b l e . A n e x a m p l e m e m o r y - b a s e d l e a r n i n g s y s t e m i s s h o w n
i n F i g u r e 1 . T h e e n c o d e r " m a p s a n i n p u t f r o m t h e i n p u t s p a c e X i n t o a s e t
o f a d d r e s s e s a n d t h e d e c o d e r " m a p s t h e s e t o f a c t i v a t e d m e m o r y l o c a t i o n s i n t o
a n o u t p u t i n t h e o u t p u t s p a c e Y . T h e l o o k - u p t a b l e f o r m e m o r y - b a s e d l e a r n i n g
*
T h i s r e s e a r c h w a s d o n e w h i l e t h e a u t h o r s w e r e a t B r o w n U n i v e r s i t y .
7/29/2019 A Theory for Memory-Based Learning*
2/25
2 J . - H . L I N A N D J . S . V I T T E R
x1
x2
Table look-up
y1
y2
Input space X Output space Y
Memory Z
1
2
s
encoder decoder
F i g u r e 1 . A n e x a m p l e m e m o r y - b a s e d l e a r n i n g s y s t e m . T h e e n c o d e r m a p s a n i n p u t f r o m t h e
i n p u t s p a c e X i n t o a s e t o f a d d r e s s e s a n d t h e d e c o d e r m a p s t h e s e t o f a c t i v a t e d m e m o r y l o c a t i o n s
i n t o a n o u t p u t i n t h e o u t p u t s p a c e Y
s y s t e m s c a n b e o r g a n i z e d a s h a s h t a b l e s t r e e s o r f u l l - s e a r c h t a b l e s . T h e f o r m a l
d e n i t i o n s o f m e m o r y - b a s e d l e a r n i n g s y s t e m s w i l l b e g i v e n i n S e c t i o n 2 .
T h e m o t i v a t i o n f o r o u r m o d e l i s a s f o l l o w s : I n t h e h u m a n m o t o r s y s t e m m o s t
o f t h e c o m p u t a t i o n s d o n e a r e e n t i r e l y s u b c o n s c i o u s . T h e d e t a i l e d c o m p u t a t i o n s o f
w h a t e a c h m u s c l e m u s t d o i n o r d e r t o c o o r d i n a t e w i t h o t h e r m u s c l e s s o a s t o p r o -
d u c e t h e d e s i r e d m o v e m e n t a r e l e f t t o l o w - l e v e l s u b c o n s c i o u s c o m p u t i n g c e n t e r s .
C o n s i d e r i n g t h e c o m p l e x i t y o f t h e t y p e o f m a n i p u l a t i o n t a s k s r o u t i n e l y p e r f o r m e d
b y b i o l o g i c a l o r g a n i s m s i t s e e m s t h a t t h e a p p r o a c h o f c o n t r o l l i n g r o b o t i c m a n i p -
u l a t o r s y s t e m s b y a m a t h e m a t i c a l f o r m a l i s m s u c h a s t r i g o n o m e t r i c e q u a t i o n s i s
i n a d e q u a t e t o p r o d u c e t r u l y s o p h i s t i c a t e d m o t o r b e h a v i o r . T o r e m e d y t h i s s i t u a -
7/29/2019 A Theory for Memory-Based Learning*
3/25
A T H E O R Y F O R M E M O R Y - B A S E D L E A R N I N G 3
t i o n A l b u s 1 9 7 5 a 1 9 7 5 b 1 9 8 1 p r o p o s e d a m e m o r y - d r i v e n t a b l e - r e f e r e n c e m o t o r
c o n t r o l s y s t e m c a l l e d C e r e b e l l a r M o d e l A r t i c u l a t i o n C o n t r o l l e r C M A C . T h e f a c t
t h a t f o r n i n p u t v a r i a b l e s w i t h R d i s t i n g u i s h a b l e l e v e l s t h e r e a r e R
n
p o s s i b l e i n p u t s
m a y b e s u c i e n t t o d i s c o u r a g e t h i s l i n e o f r e s e a r c h . H o w e v e r A l b u s o b s e r v e d t h a t
f o r a n y p h y s i c a l m a n i p u l a t o r s y s t e m t h e n u m b e r o f d i e r e n t i n p u t s t h a t a r e l i k e l y
t o b e e n c o u n t e r e d a n d t h u s t h e s i z e o f m e m o r y t h a t i s a c t u a l l y n e e d e d i s m u c h
s m a l l e r t h a n R
n
. H e a l s o n o t i c e d f o r s i m i l a r m o t o r b e h a v i o r s f o r e x a m p l e s w i n g i n g
a b a t o r a g o l f c l u b t h a t t h e r e q u i r e d m u s c l e m o v e m e n t s a r e s i m i l a r . A l b u s o u t -
l i n e d a m e m o r y m a n a g e m e n t t e c h n i q u e t o t a k e a d v a n t a g e o f t h e s e t w o p r o p e r t i e s
a n d m a k e t h e m e m o r y - b a s e d a p p r o a c h t o l e a r n i n g c o n t r o l f u n c t i o n s m o r e p r a c t i c a l .
I n t h e C M A C s y s t e m e a c h i n p u t x f r o m a n i n p u t s p a c e X i s a s s i g n e d b y a
m a p p i n g t o a s e t x o f l o c a t i o n s i n a m e m o r y V . E a c h l o c a t i o n c o n t a i n s a
v e c t o r i n a n o u t p u t s p a c e Y . T h e o u t p u t f x i s c o m p u t e d b y s u m m i n g t h e v a l u e s
w e i g h t s a t a l l o f t h e m e m o r y l o c a t i o n s a s s i g n e d t o x :
f x =
X
i 2 x
V i :
T h e m a p p i n g h a s t h e c h a r a c t e r i s t i c t h a t s i m i l a r i n p u t s i n t h e i n p u t s p a c e X m a p
t o o v e r l a p p i n g s e t s o f l o c a t i o n s i n t h e m e m o r y V w h i l e d i s s i m i l a r i n p u t s m a p t o
d i s t i n c t s e t s o f l o c a t i o n s i n t h e m e m o r y V . T h e a m o u n t o f o v e r l a p b e t w e e n t w o
s e t s o f l o c a t i o n s i n t h e m e m o r y V i s r e l a t e d t o t h e g e n e r a l i z e d H a m m i n g d i s t a n c e
b e t w e e n t w o c o r r e s p o n d i n g i n p u t s i n X . T h i s m a p p i n g i s s u p p o s e d t o g i v e a u t o -
m a t i c g e n e r a l i z a t i o n i n t e r p o l a t i o n b e t w e e n i n p u t s i n X : t h a t i s s i m i l a r i n p u t s
p r o d u c e s i m i l a r o u t p u t s .
C l e a r l y t h i s s c h e m e m a y r e q u i r e t h e s i z e o f m e m o r y V t o b e o n t h e s a m e o r d e r
o f m a g n i t u d e a s t h e t o t a l n u m b e r o f p o s s i b l e i n p u t v e c t o r s i n X . I n p r a c t i c e
t h i s i s h a r d l y f e a s i b l e . F o r t h i s r e a s o n t h e m e m o r y V i s c o n s i d e r e d t o b e o n l y
a h y p o t h e t i c a l m e m o r y ; e a c h l o c a t i o n i n V i s m a p p e d u s i n g a h a s h f u n c t i o n h
t o a p h y s i c a l m e m o r y Z o f p r a c t i c a l s i z e . T h e o u t p u t f x i s t h e n c o m p u t e d b y
s u m m i n g t h e v a l u e s i n t h e m e m o r y Z t h a t a r e m a p p e d t o b y t h e i n p u t x :
f x =
X
i 2 x
Z h i
=
X
i 2
0
x
Z i ;
w h e r e
0
= h . A s a r e s u l t o f t h e r a n d o m h a s h i n g f r o m t h e h y p o t h e t i c a l m e m o r y
V t o t h e p h y s i c a l m e m o r y Z t h e s e t s o f m e m o r y l o c a t i o n s m a p p e d t o b y d i s s i m i l a r
i n p u t s i n i n p u t s p a c e X h a v e a l o w b u t n o n z e r o p r o b a b i l i t y o f o v e r l a p p i n g ; t h i s
c a n c r e a t e a n u n d e s i r a b l e g e n e r a l i z a t i o n b e t w e e n d i s s i m i l a r i n p u t s .
T h e r e s u l t i n g s y s t e m w i l l p r o d u c e a n o u t p u t f x 2 Y f o r a n y i n p u t x i n t h e
i n p u t s p a c e X . S i n c e t h e n u m b e r o f l o c a t i o n s i n t h e r e a l m e m o r y Z w i l l t y p i c a l l y
b e m u c h s m a l l e r t h a n t h e t o t a l n u m b e r o f p o s s i b l e i n p u t s i t i s u n l i k e l y t h a t t h e
w e i g h t s i n Z c a n b e f o u n d s u c h t h a t t h e o u t p u t s o f C M A C s y s t e m a r e c o r r e c t o v e r
7/29/2019 A Theory for Memory-Based Learning*
4/25
4 J . - H . L I N A N D J . S . V I T T E R
t h e e n t i r e i n p u t s p a c e . O n t h e o t h e r h a n d i t i s u n l i k e l y t h a t a l l p o s s i b l e i n p u t s
w i l l b e e n c o u n t e r e d i n s o l v i n g a p a r t i c u l a r c o n t r o l o r c l a s s i c a t i o n p r o b l e m .
T h e s t a n d a r d C M A C m o d e l h a s b e e n a p p l i e d t o t h e r e a l - t i m e c o n t r o l o f r o b o t s
w i t h e n c o u r a g i n g s u c c e s s M i l l e r 1 9 8 7 ; M i l l e r G l a n z & K r a f t 1 9 8 7 . D e a n a n d
W e l l m a n 1 9 9 1 h a v e g i v e n a c o m p r e h e n s i v e c o v e r a g e o f t h e C M A C m o d e l s a n d
l e a r n i n g a l g o r i t h m s .
R e s e a r c h o n t h e C M A C m o d e l a n d i t s v a r i a n t s i s s t i l l i n i t s e a r l y s t a g e . I n
p a r t i c u l a r t h e r e a r e v e r y f e w r i g o r o u s t h e o r e t i c a l r e s u l t s a v a i l a b l e . M a n y p r o b l e m s
r e m a i n e d u n a n s w e r e d a m o n g t h e m t h e f o l l o w i n g :
1 . I n t h e c u r r e n t e x p e r i m e n t a l s t u d y l e a r n i n g p a r a m e t e r s a r e c h o s e n o n a n a d h o c
b a s i s . T h e e e c t s o f t h e s c a l e o f r e s o l u t i o n t h e s i z e o f p h y s i c a l m e m o r y a n d
t h e s i z e o f t h e t r a i n i n g d a t a b a s e e x a m p l e s o n s y s t e m p e r f o r m a n c e a r e l a r g e l y
u n k n o w n .
2 . G i v e n a c l a s s F o f f u n c t i o n s a n d a t o l e r a b l e r e l a t i v e e r r o r b o u n d w h a t a r e t h e
s a m p l e s i z e a n d m e m o r y s i z e r e q u i r e d t o a p p r o x i m a t e f u n c t i o n s i n F ?
3 . G i v e n a s a m p l e w h a t a r e t h e c o m p u t a t i o n a l c o m p l e x i t i e s o f t r a i n i n g ? T h a t
i s h o w m u c h t i m e d o e s i t r e q u i r e t o d e t e r m i n e s y s t e m p a r a m e t e r s f r o m t h e
s a m p l e ?
I n S e c t i o n 2 w e o u t l i n e a t h e o r e t i c a l f r a m e w o r k f o r a n s w e r i n g t h e s e p r o b l e m s . O u r
m e m o r y - b a s e d l e a r n i n g m o d e l i s b u i l t u p o n t h e g e n e r a l i z e d P A C l e a r n i n g m o d e l o f
H a u s s l e r H a u s s l e r 1 9 8 9 a n d i s c l o s e l y r e l a t e d t o t h e m e t h o d o f v e c t o r q u a n t i z a t i o n
i n d a t a c o m p r e s s i o n G e r s h o 1 9 8 2 ; G r a y 1 9 8 4 ; R i s k i n 1 9 9 0 ; G e r s h o & G r a y
1 9 9 1 . S e c t i o n 3 i n t r o d u c e s t h e n o t i o n o f q u a n t i z a t i o n n u m b e r w h i c h i s i n t e n d e d
t o c a p t u r e t h e o p t i m a l m e m o r y r e q u i r e m e n t o f m e m o r y - b a s e d l e a r n i n g s y s t e m s
f o r a g i v e n e r r o r b o u n d . T h e q u a n t i z a t i o n n u m b e r c a n b e s i g n i c a n t l y s m a l l e r
t h a n t h e c o v e r i n g n u m b e r i n p r a c t i c e . I n S e c t i o n 4 w e u s e o u r m o d e l t o a n a l y z e
s e v e r a l m e t h o d s f o r l e a r n i n g s m o o t h f u n c t i o n s b y n e a r e s t - n e i g h b o r s y s t e m s . O u r
m a i n r e s u l t i s t h a t w e c a n b u i l d m e m o r y - b a s e d l e a r n i n g s y s t e m s u s i n g t h e n e w
c l u s t e r i n g a l g o r i t h m s L i n & V i t t e r 1 9 9 2 a t o P A C - l e a r n i n p o l y n o m i a l t i m e u s i n g
o n l y p o l y n o m i a l s t o r a g e i n t y p i c a l s i t u a t i o n s . W e e x t e n d o u r a n a l y s i s t o t r e e -
s t r u c t u r e d a n d h i g h e r - o r d e r m e m o r y - b a s e d l e a r n i n g s y s t e m i n S e c t i o n 5 a n d 6
r e s p e c t i v e l y . W e c o n c l u d e w i t h s o m e p o s s i b l e e x t e n s i o n s t o o u r m o d e l i n S e c t i o n 7 .
2 . A M E M O R Y - B A S E D L E A R N I N G M O D E L
L e t T b e a c o m p l e t e a n d s e p a r a b l e m e t r i c s p a c e w i t h d i s t a n c e m e t r i c d
T
. W e
d e n o t e t h e m e t r i c s p a c e b y T ; d
T
. L e t H T d e n o t e t h e s p a c e w h o s e p o i n t s a r e
t h e c o m p a c t s u b s e t o f T . T h e d i a m e t e r o f a s e t A 2 H T d e n o t e d a s d i a m A
i s s u p
t
1
; t
2
2 T
d
T
t
1
; t
2
. T h e d i s t a n c e d
T
t ; A f r o m a p o i n t t t o a s e t A 2 H T i s
d e n e d a s i n f
x 2 A
d
T
t ; x . F o r a n y 0 a n - c o v e r f o r A i s a n i t e s e t U T s u c h
t h a t f o r a l l t 2 A t h e r e i s a u 2 U s u c h t h a t d
T
t ; u . I f A h a s a n i t e - c o v e r
7/29/2019 A Theory for Memory-Based Learning*
5/25
A T H E O R Y F O R M E M O R Y - B A S E D L E A R N I N G 5
f o r e v e r y 0 t h e n A i s t o t a l l y b o u n d e d . L e t N A ; ; d
T
d e n o t e t h e s i z e o f t h e
s m a l l e s t - c o v e r f o r A . W e r e f e r t o N A ; ; d
T
a s t h e c o v e r i n g n u m b e r .
I n t h i s p a p e r w e l e t X
k
b e t h e i n p u t s p a c e a n d Y
b e t h e o u t p u t s p a c e
a n d l e t d
X
a n d d
Y
b e t h e E u c l i d e a n m e t r i c s . I n t y p i c a l a p p l i c a t i o n s X a n d Y a r e
u s u a l l y h y p e r c u b e s o r h y p e r r e c t a n g l e s . L e t M
X
= d i a m X a n d M
Y
= d i a m Y .
F o r a p o s i t i v e i n t e g e r s l e t N
s
d e n o t e t h e s e t f 1 ; : : : ; s g . L e t N
r
s
b e t h e c o l l e c t i o n
o f a l l r - e l e m e n t s u b s e t s r - s u b s e t s o f N
s
. L e t U = f u
1
; : : : ; u
s
g a n d B b e a s u b s e t
o f U t h e n i n d e x B d e n o t e s t h e s e t o f i n d i c e s o f e l e m e n t s i n B .
2 . 1 . M E M O R Y - B A S E D L E A R N I N G S Y S T E M S
D e n i t i o n . A g e n e r i c m e m o r y b a s e d l e a r n i n g s y s t e m G r e a l i z e s a c l a s s o f f u n c t i o n s
f r o m t h e i n p u t s p a c e X ; d
X
t o t h e o u t p u t s p a c e Y ; d
Y
. E a c h f u n c t i o n g r e a l i z a b l e
b y G c a n b e s p e c i e d b y a s e q u e n c e o f m e m o r y c o n t e n t s Z = h z
1
; : : : ; z
s
i w h e r e
s i s a p o s i t i v e i n t e g e r a n d a p a i r o f f u n c t i o n s h ; i ; i s t h e e n c o d e r w h i c h i s a
m a p p i n g f r o m X t o 2
N
s
a n d i s t h e d e c o d e r w h i c h i s a m a p p i n g f r o m 2
N
s
t o Y .
W e c a n w r i t e g a s t h e c o m p o s i t i o n . W e d e n o t e Z i = z
i
.
W e m a y r e g a r d N
s
a s t h e a d d r e s s o r n e u r o n a l s p a c e a n d 2
N
s
a s t h e c o l l e c t i o n
o f s e t s o f a c t i v a t e d a d d r e s s e s o r n e u r o n s .
W e w i l l o f t e n s t u d y p a r a m e t e r i z e d c l a s s e s o f m e m o r y - b a s e d l e a r n i n g s y s t e m s . L e t
C : G !
+
b e a c o m p l e x i t y f u n c t i o n o f m e m o r y - b a s e d l e a r n i n g s y s t e m s w h i c h
m a p s a s y s t e m g 2 G t o a p o s i t i v e r e a l n u m b e r . T h e m o s t s t r a i g h t f o r w a r d c o m -
p l e x i t y m e a s u r e i s t h e s i z e o f m e m o r y w h i c h w e w i l l u s e i n t h i s p a p e r . H o w e v e r
f o r s o m e a p p l i c a t i o n s o t h e r c o m p l e x i t y m e a s u r e s m a y b e m o r e a p p r o p r i a t e . F o r
e x a m p l e i n r e a l - t i m e a p p l i c a t i o n s w e m a y b e m o r e c o n c e r n e d w i t h t h e s p e e d o f
e n c o d i n g a n d d e c o d i n g . I n r e m o t e - c o n t r o l a p p l i c a t i o n s t h e s e n s o r e n c o d e r a n d
e e c t o r d e c o d e r m a y n o t b e a t t h e s a m e l o c a t i o n a n d t h e s e n s o r h a s t o s e n d
c o n t r o l s i g n a l s a d d r e s s e s t o t h e e e c t o r v i a c o m m u n i c a t i o n c h a n n e l s . I n s u c h a
s c e n a r i o c o m m u n i c a t i o n c o m p l e x i t y m a y b e a m o r e i m p o r t a n t i s s u e . W e l e t G
s
d e n o t e t h e c l a s s o f m e m o r y - b a s e d l e a r n i n g s y s t e m s o f c o m p l e x i t y a t m o s t s t h a t
i s G
s
= f g j C g s g .
W e a r e i n t e r e s t e d i n t h e f o l l o w i n g t w o t y p e s o f m e m o r y - b a s e d l e a r n i n g s y s t e m s :
f u l l - s e a r c h s y s t e m s a n d t r e e - s t r u c t u r e d s y s t e m s . I n a f u l l - s e a r c h s y s t e m e a c h m e m -
o r y l o c a t i o n c o r r e s p o n d s t o a r e g i o n i n t h e i n p u t s p a c e a n d c o n t a i n s a r e p r e s e n t a t i v e
v e c t o r k e y a n d a f u n c t i o n a l v a l u e ; t h e e n c o d e r m a p s a n i n p u t t o t h e m e m o r y l o c a -
t i o n s c o r r e s p o n d i n g t o r e g i o n s t h a t i n c l u d e t h e i n p u t p o i n t . E x a m p l e s o f f u l l - s e a r c h
s y s t e m s i n c l u d e V o r o n o i s y s t e m s a n d r e c e p t i v e - e l d s y s t e m s .
D e n i t i o n . T h e c l a s s G =
s r
G
r
s
o f g e n e r a l i z e d V o r o n o i s y s t e m s o f o r d e r r i s
d e n e d a s f o l l o w s : L e t U = f u
1
; : : : ; u
s
g a n d B b e a n r - s u b s e t o f U t h e n V o r B ; r
d e n o t e s t h e V o r o n o i r e g i o n o f o r d e r r f o r B i . e . V o r B ; r c o n s i s t s o f a l l x 2 X
s u c h t h a t t h e r n e a r e s t n e i g h b o r s o f x i s B . T h e e n c o d e r o f a V o r o n o i s y s t e m o f
o r d e r r a n d s i z e s i s a m a p p i n g f r o m X t o N
r
s
a n d m a p s x 2 X t o i n d e x B i f a n d
7/29/2019 A Theory for Memory-Based Learning*
6/25
6 J . - H . L I N A N D J . S . V I T T E R
o n l y i f x 2 V o r B ; r . T h e d e c o d e r i s a m a p p i n g f r o m N
r
s
t o Y a n d a f u n c t i o n
g 2 G i s d e n e d a s
g x =
1
r
X
i 2 x
Z i :
W e s h a l l r e f e r t o t h e r s t - o r d e r V o r o n o i s y s t e m s s i m p l y a s V o r o n o i s y s t e m s .
D e n i t i o n . T h e c l a s s G =
s 1
G
s
o f r e c e p t i v e - e l d s y s t e m s i s d e n e d a s f o l l o w s : L e t
R = f R
1
; : : : ; R
s
g b e a c o l l e c t i o n o f p o l y h e d r a l s e t s r e g i o n s s u c h t h a t
S
R
R
i
= X .
T h e e n c o d e r m a p s a n i n p u t x t o t h e s e t x o f i n d i c e s o f r e g i o n s t h a t c o n t a i n x .
N o t e t h a t t h e r e g i o n s a r e a l l o w e d t o b e o v e r l a p p e d . T h e m a x i m u m d e g r e e o f o v e r l a p
i s t h e o r d e r o f t h e s y s t e m . T h e d e c o d e r i s a m a p p i n g f r o m N
r
s
t o Y a n d a f u n c t i o n
g 2 G i s d e n e d a s
g x =
X
i 2 x
Z i :
N o t a b l e e x a m p l e s o f r e c e p t i v e - e l d s y s t e m s i n c l u d e t h e C M A C m o d e l a n d M o o d y ' s
m u l t i - r e s o l u t i o n h i e r a r c h i e s M o o d y 1 9 8 9 .
I n a t r e e - s t r u c t u r e d s y s t e m t h e e n c o d e r p a r t i t i o n s t h e i n p u t s p a c e i n t o a h i e r a r c h y
o f r e g i o n s . A n i n p u t i s m a p p e d t o t h e m e m o r y l o c a t i o n c o r r e s p o n d i n g t o t h e r e g i o n
r e p r e s e n t e d b y a l e a f . T h e c o m p u t a t i o n a l a d v a n t a g e o f t r e e - s t r u c t u r e d s y s t e m s o v e r
f u l l - s e a r c h s y s t e m s i n s e q u e n t i a l m o d e l s o f c o m p u t a t i o n i s t h a t t h e m a p p i n g f r o m
a n i n p u t t o a m e m o r y l o c a t i o n c a n b e d o n e q u i c k l y b y t r e e t r a v e r s a l .
D e n i t i o n . T h e c l a s s G =
s 1
G
s
o f t r e e - s t r u c t u r e d s y s t e m s i s d e n e d a s f o l l o w s :
T h e e n c o d e r o f a t r e e - s t r u c t u r e d s y s t e m s o f s i z e s p a r t i t i o n s t h e i n p u t s p a c e i n t o
a h i e r a r c h y o f r e g i o n s s p e c i e d b y a t r e e w i t h s n o d e s . E a c h i n t e r n a l n o d e h a s a
n u m b e r o f b r a n c h e s e a c h o f w h i c h i s a s s o c i a t e d w i t h a k e y . G i v e n a n i n p u t s t a r t i n g
a t t h e r o o t n o d e t h e e n c o d e r c o m p a r e s t h e i n p u t w i t h e a c h k e y a n d f o l l o w s t h e
b r a n c h a s s o c i a t e d w i t h t h e k e y n e a r e s t t o t h e i n p u t ; t h e s e a r c h p r o c e e d s t h i s w a y
u n t i l a l e a f i s r e a c h e d . T h e s e a r c h p a t h i s o u t p u t b y t h e e n c o d e r a s t h e a d d r e s s f o r
t h a t i n p u t . T h e d e c o d e r t a k e s a s e a r c h p a t h a n d o u t p u t s t h e v a l u e i n t h e l e a f .
E x a m p l e s o f t r e e - s t r u c t u r e d s y s t e m s i n c l u d e l e a r n i n g s y s t e m s b a s e d u p o n q u a d t r e e s
a n d k - d t r e e s s u c h a s S A B - t r e e s M o o r e 1 9 8 9 .
2 . 2 . T H E M E M O R Y - B A S E D L E A R N I N G P R O B L E M
I n f o r m a l l y g i v e n a p r o b a b i l i t y m e a s u r e P o v e r X Y t h e g o a l o f l e a r n i n g i n t h i s
m o d e l i s t o a p p r o x i m a t e P b y a m e m o r y - b a s e d l e a r n i n g s y s t e m g 2 G o f r e a s o n a b l e
c o m p l e x i t y . T h e e x p e c t e d e r r o r o f t h e h y p o t h e s i s g w i t h r e s p e c t t o P i s d e n o t e d b y
e r
P
g = E d
Y
g x ; y =
Z
X Y
d
Y
g x ; y d P x ; y ;
7/29/2019 A Theory for Memory-Based Learning*
7/25
A T H E O R Y F O R M E M O R Y - B A S E D L E A R N I N G 7
w h e r e h x ; y i i s t h e r a n d o m v e c t o r c o r r e s p o n d i n g t o P . T h e f o r m a l P A C m e m o r y -
b a s e d l e a r n i n g m o d e l i s d e n e d b e l o w :
D e n i t i o n . A m e m o r y - b a s e d l e a r n i n g p r o b l e m B i s s p e c i e d b y a c l a s s G o f m e m o r y -
b a s e d l e a r n i n g s y s t e m s a n d a c l a s s P o f p r o b a b i l i t y m e a s u r e s o v e r X Y w h e r e
X
k
a n d Y
. W e s a y t h a t B i s l e a r n a b l e i f f o r a n y 0 1 = 2 a n d 0
1 = 2 t h e f o l l o w i n g h o l d s : T h e r e e x i s t s a p o s s i b l y r a n d o m i z e d a l g o r i t h m L s u c h
t h a t i f L i s g i v e n a s i n p u t a r a n d o m s a m p l e s e q u e n c e = h x
i
; y
i
i o f p o l y n o m i a l
s i z e m
1
;
1
; k ; ` t h e n w i t h p r o b a b i l i t y a t l e a s t 1 , L w i l l o u t p u t a m e m o r y - b a s e d
l e a r n i n g s y s t e m L 2 G t h a t s a t i s e s
e r
P
L M
Y
:
I f L r u n s i n p o l y n o m i a l t i m e t h e n w e s a y t h a t
Bi s p o l y n o m i a l - t i m e l e a r n a b l e .
2 . 3 . S M O O T H F U N C T I O N S
W i t h o u t a n y r e s t r i c t i o n o n t h e c l a s s P o f p r o b a b i l i t y m e a s u r e s o v e r X Y l e a r n -
i n g i s n o t l i k e l y t o b e f e a s i b l e i n t e r m s o f m e m o r y r e q u i r e m e n t s a m p l e s i z e a n d
c o m p u t a t i o n a l c o m p l e x i t y . I n t h i s p a p e r w e r e s t r i c t P t o b e g e n e r a t e d b y s o m e
s m o o t h f u n c t i o n f a n d s o m e p r o b a b i l i t y m e a s u r e P
X
o v e r X t h a t i s t h e s a m p l e
p o i n t i s o f t h e f o r m x ; f x . P o g g i o a n d G i r o s i 1 9 8 9 1 9 9 0 h a v e g i v e n f u r t h e r
j u s t i c a t i o n f o r t h e s m o o t h n e s s a s s u m p t i o n .
D e n i t i o n . A f u n c t i o n f f r o m X i n t o Y i s c a l l e d a L i p s c h i t z f u n c t i o n i f a n d o n l y i f
f o r s o m e K
1w e h a v e
d
Y
f x ; f x
0
K d
X
x ; x
0
;
f o r a l l x ; x
0
2 X . L e t k f k
L
d e n o t e t h e s m a l l e s t s u c h K . A c l a s s o f f u n c t i o n s F
f r o m X i n t o Y i s c a l l e d L i p s c h i t z f u n c t i o n s i f a n d o n l y i f f o r s o m e K 1 w e h a v e
s u p
f 2 F
k f k
L
K :
L e t k F k
L
d e n o t e t h e s m a l l e s t s u c h K . W e c a l l K t h e L i p s c h i t z b o u n d .
T h e L i p s c h i t z b o u n d d o e s n o t h a v e t o h o l d e v e r y w h e r e ; i t s u c e s f o r o u r p u r p o s e
i f i t h o l d s w i t h p r o b a b i l i t y o n e o v e r t h e p r o b a b i l i t y d i s t r i b u t i o n P
2
X
. F o r e x a m p l e
t h e c l a s s o f p i e c e - w i s e L i p s c h i t z f u n c t i o n s s a t i s e s t h i s r e l a x e d c o n d i t i o n . H a u s s l e r
1 9 8 9 h a s r e l a x e d t h e L i p s c h i t z c o n d i t i o n f u r t h e r :
D e n i t i o n . F o r e a c h f 2 F a n d r e a l 0 f ; ; i s t h e r e a l - v a l u e d f u n c t i o n o n X
d e n e d b y
f ; ; x = s u p f d
Y
f x ; f x
0
g ;
7/29/2019 A Theory for Memory-Based Learning*
8/25
8 J . - H . L I N A N D J . S . V I T T E R
w h e r e t h e s u p r e m u m i s t a k e n o v e r a l l x
0
2 X f o r w h i c h d
X
x ; x
0
. L e t P
X
b e a p r o b a b i l i t y m e a s u r e o v e r X . W e s a y t h a t t h e F i s u n i f o r m l y L i p s c h i t z o n
t h e a v e r a g e w i t h r e s p e c t t o P
X
i f f o r a l l 0 a n d a l l f 2 F t h e r e e x i s t s s o m e
0 K 1 s u c h t h a t
E f ; = K ; x :
L e t k F k
P
X
L
b e t h e s m a l l e s t s u c h K . F o r a c l a s s P
X
o f p r o b a b i l i t y m e a s u r e s o v e r X
w e d e n e k F k
P
X
L
= s u p
P
X
2 P
X
k F k
P
X
L
.
3 . V O R O N O I E N C O D E R S A N D Q U A N T I Z A T I O N N U M B E R S
T h e c l a s s G =
s 1
G
s
o f V o r o n o i s y s t e m s n e a r e s t - n e i g h b o r s y s t e m s i s d e n e d a s
f o l l o w s : W e c a n s p e c i f y e a c h g 2 G
s
b y a s e t U = f u
1
; : : : ; u
s
g o f s i z e s . L e t V o r u
j
d e n o t e t h e V o r o n o i r e g i o n f o r t h e p o i n t u
j
. T h e e n c o d e r o f g i s a m a p p i n g f r o m X
t o N
s
a n d m a p s x 2 X t o j i f a n d o n l y i f x 2 V o r u
j
. L e t Z = f z
1
; : : : ; z
s
g Y .
T h e d e c o d e r o f g i s a m a p p i n g f r o m N
s
t o Y d e n e d b y j = z
j
. I n o t h e r
w o r d s t h e s y s t e m m a p s a n i n p u t x t o i t s n e a r e s t n e i g h b o r i n U a n d t h e n o u t p u t s
t h e v a l u e s t o r e d i n t h e m e m o r y l o c a t i o n c o r r e s p o n d i n g t o t h a t p o i n t .
W e c a l l t h e e n c o d e r s o f V o r o n o i s y s t e m s t h e V o r o n o i e n c o d e r s . I n t h e f o l l o w i n g
w e i n t r o d u c e t h e n o t i o n o f q u a n t i z a t i o n n u m b e r w h i c h c h a r a c t e r i z e s t h e o p t i m a l
s i z e o f V o r o n o i e n c o d e r s f o r a g i v e n e r r o r b o u n d . T h e q u a n t i z a t i o n n u m b e r c a n b e
s u b s t a n t i a l l y s m a l l e r t h a n t h e c o v e r i n g n u m b e r .
D e n i t i o n . L e t P
X
b e a p r o b a b i l i t y m e a s u r e o v e r X a n d l e t x b e t h e r a n d o m v e c t o r
c o r r e s p o n d i n g t o P
X
. F o r a n y 0 t h e q u a n t i z a t i o n n u m b e r Q
P
X
X ; ; d
X
o f P
X
i s d e n e d a s t h e s m a l l e s t i n t e g e r s s u c h t h a t t h e r e e x i s t s a V o r o n o i e n c o d e r o f
s i z e s t h a t s a t i s e s
E
d
X
x ; u
x
:
F o r a c l a s s P
X
o f p r o b a b i l i t y m e a s u r e s o v e r X w e d e n e
Q
P
X
X ; ; d
X
= s u p
P
X
2 P
X
Q
P
X
X ; ; d
X
:
3 . 1 . T H E P S E U D O - D I M E N S I O N O F V O R O N O I E N C O D E R S
B u i l d i n g o n t h e w o r k o f V a p n i k a n d C h e r v o n e n k i s V a p n i k & C h e r v o n e n k i s 1 9 7 1 ;
V a p n i k 1 9 8 2 P o l l a r d P o l l a r d 1 9 8 4 ; P o l l a r d 1 9 9 0 D u d l e y D u d l e y 1 9 8 4 a n d
D e v r o y e D e v r o y e 1 9 8 8 H a u s s l e r 1 9 8 9 i n t r o d u c e d t h e n o t i o n o f
p s e u d o - d i m e n s i o n w h i c h i s a g e n e r a l i z a t i o n o f V C d i m e n s i o n . H e r s t d e n e d
t h e n o t i o n o f f u l l n e s s o f s e t s :
D e n i t i o n . F o r x 2 l e t s i g n x = 1 i f x 0 ; e l s e s i g n x = 0 . F o r x =
x
1
; : : : ; x
k
2
m
l e t s i g n x = s i g n x
1
; : : : ; s i g n x
m
a n d f o r A
m
l e t
7/29/2019 A Theory for Memory-Based Learning*
9/25
A T H E O R Y F O R M E M O R Y - B A S E D L E A R N I N G 9
s i g n A = f s i g n y j y 2 A g . F o r a n y A
m
a n d x 2
m
l e t A + x = f y + x j
y 2 A g t h a t i s t h e t r a n s l a t i o n o f A o b t a i n e d b y a d d i n g t h e v e c t o r x . W e s a y t h a t
A i s f u l l i f t h e r e e x i s t s x 2
m
s u c h t h a t s i g n A + x = f 0 ; 1 g
m
t h a t i s i f t h e r e
e x i s t s s o m e t r a n s l a t i o n o f A t h a t i n t e r s e c t a l l 2
m
o r t h a n t s o f
m
.
F o r e x a m p l e h y p e r p l a n e s i n
m
a r e n o t f u l l s i n c e n o h y p e r p l a n e s i n
m
c a n
i n t e r s e c t a l l o r t h a n t s o f
m
. T h e p s e u d o - d i m e n s i o n i s d e n e d a s f o l l o w s :
D e n i t i o n . L e t F b e a c l a s s o f f u n c t i o n s f r o m a s e t X i n t o . F o r a n y s e q u e n c e
X
= x
1
; : : : ; x
m
o f p o i n t s i n X l e t F
X
= f f x
1
; : : : ; f x
m
: f 2 F g .
I f F
X
i s f u l l t h e n w e s a y t h a t
X
i s s h a t t e r e d b y F . T h e p s e u d o - d i m e n s i o n
o f F d e n o t e d b y d i m
P
F i s t h e l a r g e s t m s u c h t h a t t h e r e e x i s t s a s e q u e n c e o f m
p o i n t s i n X t h a t i s s h a t t e r e d b y F . I f a r b i t r a r i l y l o n g s e q u e n c e s a r e s h a t t e r e d t h e n
d i m
P
F i s i n n i t e .
I t i s c l e a r w h e n F i s a c l a s s o f f 0 ; 1 g - v a l u e d f u n c t i o n s t h a t t h e d e n i t i o n o f t h e
p s e u d o - d i m e n s i o n i s t h e s a m e a s t h a t o f t h e V C d i m e n s i o n . D u d l e y a n d H a u s s l e r
h a v e s h o w n t h e f o l l o w i n g u s e f u l p r o p e r t y o f p s e u d o - d i m e n s i o n :
T h e o r e m 1 D u d l e y 1 9 7 8 L e t
Fb e a k - d i m e n s i o n a l v e c t o r s p a c e o f f u n c t i o n s
f r o m a s e t X t o . T h e n d i m
P
F = k .
T h e o r e m 2 H a u s s l e r 1 9 8 9 L e t F b e a c l a s s o f f u n c t i o n f r o m a s e t X i n t o .
F i x a n y n o n d e c r e a s i n g o r n o n i n c r e a s i n g f u n c t i o n h :
! a n d l e t
H=
fh
f :
f 2 F g . T h e n w e h a v e d i m
P
H d i m
P
F .
T o d e r i v e t h e p s e u d o - d i m e n s i o n o f V o r o n o i e n c o d e r s w e u s e t h e f o l l o w i n g l e m m a
a t t r i b u t e d t o S a u e r 1 9 7 2 :
L e m m a 1 S a u e r ' s L e m m a L e t F b e a c l a s s o f f u n c t i o n s f r o m S = f 1 ; 2 ; : : : ; m g
i n t o f 0 ; 1 g w i t h j F j 1 a n d l e t d b e t h e l e n g t h o f t h e l o n g e s t s e q u e n c e o f p o i n t s
S
f r o m S s u c h t h a t F
S
= f 0 ; 1 g
d
. T h e n w e h a v e
j F j e m = d
d
;
w h e r e e i s t h e b a s e o f t h e n a t u r a l l o g a r i t h m .
W e n o w a r e r e a d y t o b o u n d t h e p s e u d o - d i m e n s i o n o f V o r o n o i e n c o d e r s :
L e m m a 2 L e t G
s
b e t h e V o r o n o i s y s t e m o f s i z e a t m o s t s a n d l e t d
X
b e t h e E u -
c l i d e a n m e t r i c . F o r e a c h p o s s i b l e e n c o d e r o f G
s
, w e d e n e f
x = d
X
x ; u
x
a n d l e t ,
s
: X ! 0 ; M
X
b e t h e c l a s s o f a l l s u c h f u n c t i o n s f
x . T h e n w e h a v e
d i m
P
,
s
2 k + 1 s l o g 3 s = O k s l o g s ;
w h e r e k i s t h e d i m e n s i o n o f t h e i n p u t s p a c e .
P r o o f : F i r s t c o n s i d e r s = 1 . B y t h e d e n i t i o n o f t h e E u c l i d e a n m e t r i c w e c a n
w r i t e f
x
2
a s a p o l y n o m i a l i n k v a r i a b l e s w i t h 2 k + 1 c o e c i e n t s w h e r e k i s t h e
d i m e n s i o n o f t h e i n p u t s p a c e . B y T h e o r e m s 1 a n d 2 w e h a v e d i m
P
,
1
2 k + 1 .
7/29/2019 A Theory for Memory-Based Learning*
10/25
1 0 J . - H . L I N A N D J . S . V I T T E R
N o w c o n s i d e r a g e n e r a l s . L e t
X
b e a s e q u e n c e o f m p o i n t s i n X a n d l e t r
b e a n a r b i t r a r y m - v e c t o r . S i n c e e a c h f u n c t i o n f
x 2 ,
s
c a n b e c o n s t r u c t e d
b y c o m b i n i n g f u n c t i o n s f r o m ,
1
u s i n g t h e m i n i m u m o p e r a t i o n t h a t i s f
x =
m i n
u 2 U
d
X
x ; u w h e r e j U j s w e h a v e
j s i g n ,
s
X
+ r j j s i g n ,
1
X
+ r j
s
e m
2 k + 1
2 k + 1 s
:
T h e l a s t i n e q u a l i t y f o l l o w s f r o m S a u e r ' s L e m m a . I f m = 2 k + 1 s l o g 3 s t h e n
e m = 2 k + 1
2 k + 1 s
2
m
. T h e r e f o r e w e h a v e d i m
P
,
s
2 k + 1 s l o g 3 s =
O k s l o g s .
3 . 2 . T H E U N I F O R M C O N V E R G E N C E O F V O R O N O I E N C O D E R S
I n t h i s s e c t i o n w e b o u n d t h e s a m p l e s i z e f o r e s t i m a t i n g t h e e r r o r o f V o r o n o i e n -
c o d e r s . I n t h e f o l l o w i n g l e t
E
X
f =
1
m
P
m
i = 1
f x
i
b e t h e e m p i r i c a l m e a n o f t h e
f u n c t i o n f a n d l e t d
r ; t = j r , t j = + r + t . W e n e e d t h e f o l l o w i n g c o r o l l a r y
f r o m H a u s s l e r a n d L o n g 1 9 9 0 :
C o r o l l a r y 1 L e t F b e a f a m i l y o f f u n c t i o n s f r o m a s e t X i n t o 0 ; M
X
, w h e r e
d i m
P
F = d f o r s o m e 1 d 1 . L e t P
X
b e a p r o b a b i l i t y m e a s u r e o n X .
A s s u m e 0 a n d 0 1 . L e t
X
b e g e n e r a t e d b y m i n d e p e n d e n t d r a w s f r o m
X a c c o r d i n g t o P
X
. I f t h e s a m p l e s i z e i s
m
9 M
X
2
2 d l n
2 4 M
X
p
+ l n
4
;
t h e n w e h a v e
P r f 9 f 2 F j d
E
X
f ; E f g :
L e m m a 2 a n d C o r o l l a r y 1 i m p l y t h e f o l l o w i n g t h e o r e m :
T h e o r e m 3 L e t ,
s
b e d e n e d a s i n L e m m a 2 . A s s u m e 0 a n d 0 1 . L e t
P
X
b e a p r o b a b i l i t y m e a s u r e o n X a n d
X
b e g e n e r a t e d b y m i n d e p e n d e n t d r a w s
f r o m X a c c o r d i n g t o P
X
. I f t h e s a m p l e s i z e i s
m
9 M
X
2
2 2 k + 1 s l o g 3 s l n
2 4 M
X
p
+ l n
4
;
t h e n w e h a v e
P r
f 9f
2,
s
jd
E
X
f ; E f
g :
P r o o f : B y L e m m a 2 w e h a v e d i m
P
,
s
2 k + 1 s l o g 3 s : T h e r e s t o f t h e p r o o f
f o l l o w s b y a p p l y i n g C o r o l l a r y 1 w i t h d = 2 k + 1 s l o g 3 s :
7/29/2019 A Theory for Memory-Based Learning*
11/25
A T H E O R Y F O R M E M O R Y - B A S E D L E A R N I N G 1 1
4 . M E M O R Y - E F F I C I E N T L E A R N I N G O F S M O O T H F U N C T I O N S
I n t h i s s e c t i o n w e i n v e s t i g a t e i n d e t a i l t h r e e m e t h o d s o f l e a r n i n g s m o o t h f u n c t i o n s
b y V o r o n o i s y s t e m s : - c o v e r i n g h a s h i n g a n d c l u s t e r i n g . O u r r e s u l t s a r e s u m m a -
r i z e d i n T a b l e 1 .
F i r s t w e i n t r o d u c e s o m e n o t a t i o n : L e t =
h x
1
; y
1
; : : : ; x
m
; y
m
ib e a r a n d o m
s a m p l e s e q u e n c e o f l e n g t h m . W e d e n o t e t h e s e q u e n c e h x
1
; : : : ; x
m
i b y
X
. W e
d e n o t e t h e r a n d o m v e c t o r c o r r e s p o n d i n g t o a p r o b a b i l i t y m e a s u r e P 2 P b y x ; y .
W e d e n o t e t h e a v e r a g e e m p i r i c a l d i s t a n c e f r o m t h e x - c o m p o n e n t s o f t h e e x a m p l e s
t o U b y
d
X
U =
1
m
m
X
i = 1
d
X
x
i
; U :
T h e d i s c r e t e v e r s i o n o f t h e a b o v e p r o b l e m i s t o r e s t r i c t U t o b e a s u b s e t o f
X
.
T h e l e a r n i n g p r o b l e m i s s p e c i e d a s f o l l o w s : W e a r e g i v e n a c l a s s G o f V o r o n o i
s y s t e m s a n d a c l a s s P o f p r o b a b i l i t y m e a s u r e s g e n e r a t e d b y a c l a s s P
X
o f p r o b a b i l i t y
m e a s u r e s o v e r X a n d a c l a s s F o f s m o o t h f u n c t i o n s f r o m X t o Y w i t h k F k
P
X
L
= K .
E a c h s a m p l e p o i n t i s o f t h e f o r m x ; f x f o r s o m e f 2 F . G i v e n 0 ; 1 a n d
s a m p l e s e q u e n c e = h x
1
; y
1
; : : : ; x
m
; y
m
i t h e g o a l o f l e a r n i n g i s t o c o n s t r u c t a
V o r o n o i s y s t e m g 2 G s u c h t h a t t h e s i z e o f g i s a s s m a l l a s p o s s i b l e a n d t h e e x p e c t e d
e r r o r r a t e s a t i s e s
e r
P
g M
Y
;
w i t h p r o b a b i l i t y a t l e a s t 1
, .
4 . 1 . L E A R N I N G B Y - C O V E R I N G
T h e m a i n i d e a o f - c o v e r i n g i s t o c o v e r t h e i n p u t s p a c e w i t h s m a l l c e l l s o f r a d i u s
a n d a s s i g n e a c h c e l l a c o n s t a n t v a l u e . T h e s m o o t h n e s s c o n d i t i o n a s s u r e s a s m a l l
e x p e c t e d e r r o r f o r t h e r e s u l t i n g s y s t e m . T h e a l g o r i t h m e s s e n t i a l l y l e a r n s b y b r u t e
f o r c e :
A l g o r i t h m L E l e a r n i n g b y - c o v e r i n g :
1 . L e t U b e a n
M
Y
4 K
- c o v e r o f s i z e N w h e r e N = N X ;
M
Y
4 K
; d
X
. L e t m =
2 N
l n
N
b e t h e s a m p l e s i z e .
2 . F o r e a c h u
i
2 U i f V o r u
i
X
6= ; t h e n w e c h o o s e a n a r b i t r a r y y
j
s u c h t h a t
x
j
2 V o r u
i
X
a n d s e t Z i = y
j
; o t h e r w i s e w e s e t Z i a r b i t r a r i l y .
T h e o r e m 4 W i t h p r o b a b i l i t y a t l e a s t 1 , , t h e e x p e c t e d e r r o r f o r A l g o r i t h m L E
s a t i s e s e r
P
L E M
Y
.
7/29/2019 A Theory for Memory-Based Learning*
12/25
1 2 J . - H . L I N A N D J . S . V I T T E R
T a b l e 1 . U p p e r b o u n d s o n s y s t e m s i z e a n d s a m p l e s i z e f o r s i x a l g o r i t h m s f o r l e a r n i n g s m o o t h
f u n c t i o n s b y V o r o n o i s y s t e m s . T h e g o a l o f l e a r n i n g f o r e a c h l e a r n i n g a l g o r i t h m L i s t o a c h i e v e
w i t h p r o b a b i l i t y a t l e a s t 1 , a n e r r o r b o u n d o f e r
P
L M
Y
. I n t h e t a b l e , k i s t h e
d i m e n s i o n o f t h e i n p u t s p a c e , N i s t h e c o v e r i n g n u m b e r N X ;
M
Y
4 K
; d
X
, p 1 i s t h e f r a c t i o n
o f n o n e m p t y V o r o n o i c e l l s , a n d s i s t h e q u a n t i z a t i o n n u m b e r Q
P
X
X ;
M
Y
4 K
; d
X
A l g o r i t h m S y s t e m s i z e S a m p l e s i z e
- c o v e r i n g L E N O
N
l o g
N
p e r f e c t h a s h i n g L H 1 O
1
p N
2
O
p N
l o g
p N
u n i v e r s a l h a s h i n g L H 2 O
1
p N
O
p N
l o g
p N
c o a l e s c e d h a s h i n g O p N O
p N
l o g
p N
o p t i m a l c l u s t e r i n g L C 1 s O
k s
l o g s l o g
1
+
1
l o g
1
a p p r o x . c l u s t e r i n g L C 2 O
s
l o g
k s
+ l o g l o g
1
O
k s
l o g s
l o g
k s
2
+
1
l o g
1
P r o o f : F o r e a c h V o r o n o i c e l l V o r u
i
s a t i s f y i n g P
X
V o r u
i
2 N
w e h a v e
P r V o r u
i
X
= ;
1 ,
2 N
2 N
l n
N
N
:
T h e r e f o r e w i t h p r o b a b i l i t y a t l e a s t 1 , a l l V o r o n o i c e l l s w i t h p r o b a b i l i t y o v e r
2 N
w i l l b e h i t b y s o m e s a m p l e p o i n t .
L e t A b e t h e e v e n t t h a t t h e t e s t s a m p l e f a l l s i n a V o r o n o i c e l l t h a t w a s h i t . S i n c e
t h e d i a m e t e r o f e a c h V o r o n o i c e l l i s
M
Y
2 K
a n d k F k
P
X
L
= K w e h a v e
E
d
Y
z
x
; y j A
M
Y
2
:
F u r t h e r m o r e t h e t o t a l p r o b a b i l i t y m e a s u r e o f V o r o n o i c e l l s w i t h l e s s t h a n
2 N
p r o b -
a b i l i t y i s a t m o s t = 2 t h a t i s P r A
2
. T h e r e f o r e w e h a v e
e r
P
L E = E
d
Y
z
x
; y j A
P r A + M
Y
P r A
M
Y
2
1 ,
2
+
M
Y
2
M
Y
:
7/29/2019 A Theory for Memory-Based Learning*
13/25
A T H E O R Y F O R M E M O R Y - B A S E D L E A R N I N G 1 3
4 . 2 . L E A R N I N G B Y H A S H I N G
A l g o r i t h m L E i n t h e p r e v i o u s s e c t i o n c o v e r s t h e w h o l e i n p u t s p a c e X w i t h p o i n t s .
H o w e v e r m o s t o f t h e V o r o n o i c e l l s f o r m e d b y p o i n t s i n t h e - c o v e r U a r e l i k e l y t o
b e e m p t y . I n t h i s s e c t i o n w e u s e h a s h i n g t e c h n i q u e s t o t a k e a d v a n t a g e o f t h i s p r o p -
e r t y . B e l o w w e o u t l i n e t h r e e h a s h i n g - b a s e d a l g o r i t h m s : p e r f e c t h a s h i n g u n i v e r s a l
h a s h i n g a n d h a s h i n g w i t h c o l l i s i o n - r e s o l u t i o n . T h e s e a l g o r i t h m s a r e m o t i v a t e d b y
A l b u s ' C M A C m o t o r c o n t r o l s y s t e m A l b u s 1 9 7 5 a ; A l b u s 1 9 7 5 a ; A l b u s 1 9 8 1
w h e r e h a s h i n g t e c h n i q u e s w e r e u s e d t o r e d u c e m e m o r y r e q u i r e m e n t . T h e C M A C
m o d e l h a s b e e n a p p l i e d t o r e a l - w o r l d c o n t r o l p r o b l e m s w i t h e n c o u r a g i n g s u c c e s s
M i l l e r 1 9 8 7 ; M i l l e r G l a n z & K r a f t 1 9 8 7 . O u r t h e o r e t i c a l r e s u l t s i n t h i s s e c t i o n
c o m p l e m e n t t h e i r e x p e r i m e n t a l s t u d y .
L e t h b e a h a s h f u n c t i o n f r o m N
N
t o N
N
0
w h e r e N = j U j a n d N
0
i s a p o s i t i v e
i n t e g e r . F o r e a c h a d d r e s s 1 i N
0
w e d e n e h
, 1
i t o b e t h e s u b s e t o f p o i n t s
i n
X
t h a t h a s h t o m e m o r y l o c a t i o n i n a m e l y f x
j
j h x
j
= i a n d x
j
2
X
g .
W e l e t H
N ; N
0
b e a c l a s s o f u n i v e r s a l h a s h f u n c t i o n s C a r t e r & W e g m a n 1 9 7 9 f r o m
N
N
t o N
N
0
.
F o r t h e e a s e o f e x p o s i t i o n w e a s s u m e i n t h e f o l l o w i n g t h a t t h e p o r t i o n p o f
n o n e m p t y V o r o n o i c e l l s i s k n o w n . T h i s a s s u m p t i o n c a n b e r e m o v e d
2
u s i n g t h e
t e c h n i q u e s o f H a u s s l e r K e a r n s L i t t l e s t o n e a n d W a r m u t h 1 9 9 1 .
4 . 2 . 1 . P e r f e c t H a s h i n g
T h e r s t a l g o r i t h m u s e s u n i f o r m h a s h f u n c t i o n s a n d r e s o r t s t o l a r g e p h y s i c a l m e m -
o r y t o a s s u r e p e r f e c t h a s h i n g w i t h h i g h p r o b a b i l i t y .
3
A l g o r i t h m L H 1 l e a r n i n g b y p e r f e c t h a s h i n g :
1 . L e t U b e a n
M
Y
4 K
- c o v e r o f s i z e N w h e r e N = N X ;
M
Y
4 K
; d
X
a n d l e t 0 p 1
b e t h e f r a c t i o n o f n o n - e m p t y V o r o n o i c e l l s . L e t m =
2 p N
l n
2 p N
b e t h e s a m p l e
s i z e .
2 . L e t N
0
=
2
p N
2
b e t h e s i z e o f p h y s i c a l m e m o r y Z a n d c h o o s e a u n i f o r m h a s h
f u n c t i o n h .
3 . F o r e a c h a d d r e s s i i f h
, 1
i i s n o t e m p t y t h e n w e c h o o s e a n a r b i t r a r y 1 j m
s u c h t h a t x
j
2 h
, 1
i a n d s e t Z i = y
j
; o t h e r w i s e w e s e t Z i a r b i t r a r i l y .
T h e o r e m 5 W i t h p r o b a b i l i t y a t l e a s t 1 , , t h e e x p e c t e d e r r o r f o r A l g o r i t h m L H 1
s a t i s e s e r
P
L H 1 M
Y
.
P r o o f : W i t h o u t a n y c o l l i s i o n b y s i m i l a r a n a l y s i s a s i n t h e p r o o f o f T h e o r e m 4
w i t h p r o b a b i l i t y a t l e a s t 1 , = 2 w e h a v e e r
P
L H 1 M
Y
.
B y c h o o s i n g p h y s i c a l m e m o r y s i z e a s N
0
=
2
p N
2
w e b o u n d t h e p r o b a b i l i t y
t h a t a t l e a s t o n e h a s h i n g c o l l i s i o n o c c u r s b y
7/29/2019 A Theory for Memory-Based Learning*
14/25
1 4 J . - H . L I N A N D J . S . V I T T E R
p N
2
1
2
p N
2
2
:
T h e r e f o r e w i t h p r o b a b i l i t y a t l e a s t 1 , w e h a v e n o c o l l i s i o n s a n d e r
P
L H 1
M
Y
.
4 . 2 . 2 . U n i v e r s a l H a s h i n g
I t i s n o t n e c e s s a r y t o a v o i d c o l l i s i o n s c o m p l e t e l y . W h a t w e r e a l l y n e e d i s a g o o d "
h a s h f u n c t i o n t h a t i n c u r s n o t t o o m a n y c o l l i s i o n s . T h e f o l l o w i n g a l g o r i t h m u s e s
u n i v e r s a l h a s h i n g f o r n d i n g a g o o d h a s h f u n c t i o n w i t h h i g h p r o b a b i l i t y .
A l g o r i t h m L H 2 l e a r n i n g b y u n i v e r s a l h a s h i n g :
1 . L e t U b e a n
M
Y
4 K
- c o v e r o f s i z e N w h e r e N = N X ;
M
Y
8 K
; d
X
a n d l e t 0 p 1
b e t h e f r a c t i o n o f n o n - e m p t y c e l l s . L e t m =
8 p N
l n
2 p N
b e t h e s a m p l e s i z e a n d
l e t N
0
=
8
p N b e t h e s i z e o f p h y s i c a l m e m o r y Z .
2 . R e p e a t t h e f o l l o w i n g p r o c e d u r e l o g
4 = 3
2 = t i m e s a n d c h o o s e t h e s y s t e m w i t h
m i n i m u m e m p i r i c a l e r r o r : W e c h o o s e a h a s h f u n c t i o n h r a n d o m l y f r o m t h e c l a s s
H
N ; N
0
o f u n i v e r s a l h a s h f u n c t i o n s a n d t h e n c a l l t h e s u b r o u t i n e H ; h w h i c h
i s g i v e n i m m e d i a t e l y b e l o w :
S u b r o u t i n e H : G i v e n a s a m p l e s e q u e n c e a n d a h a s h f u n c t i o n h f o r e a c h
a d d r e s s i i f h
, 1
i i s n o t e m p t y t h e n w e c h o o s e a n a r b i t r a r y 1 j m s u c h
t h a t x
j
2 h
, 1
i a n d s e t Z i = y
j
; o t h e r w i s e w e s e t Z i a r b i t r a r i l y .
T h e o r e m 6 W i t h p r o b a b i l i t y a t l e a s t 1 , , t h e e x p e c t e d e r r o r f o r A l g o r i t h m L H 2
s a t i s e s e r
P
L H 2 M
Y
.
P r o o f : F o r e a c h V o r o n o i c e l l V o r u
i
w i t h P
X
V o r u
i
8 p N
w e h a v e
P r V o r u
i
X
= ;
1 ,
8 p N
8 p N
l n
2 p N
2 p N
:
T h e r e f o r e u s i n g s a m p l e s i z e m =
8 p N
l n
2 p N
w i t h p r o b a b i l i t y a t l e a s t 1 , = 2 a l l
V o r o n o i c e l l s w i t h p r o b a b i l i t y o v e r = 8 p N w i l l b e h i t b y s o m e s a m p l e p o i n t . B y t h e
p r o p e r t y o f u n i v e r s a l h a s h i n g C a r t e r & W e g m a n 1 9 7 9 f o r e a c h V o r o n o i c e l l h i t
t h e p r o b a b i l i t y t h a t t h e c e l l i s i n v o l v e d i n s o m e h a s h c o l l i s i o n i s a t m o s t p N = N
0
=
= 8 . L e t A b e t h e e v e n t t h a t t h e t e s t s a m p l e f a l l s i n a V o r o n o i c e l l t h a t w a s h i t .
7/29/2019 A Theory for Memory-Based Learning*
15/25
A T H E O R Y F O R M E M O R Y - B A S E D L E A R N I N G 1 5
S i n c e k F k
P
X
L
= K w e h a v e
E
d
Y
z
h x
; y j A
1 ,
8
M
Y
2
+
8
M
Y
5 M
Y
8
;
w h e r e h i s t h e r a n d o m u n i v e r s a l h a s h f u n c t i o n . F u r t h e r m o r e t h e t o t a l p r o b a b i l i t y
m e a s u r e o f V o r o n o i c e l l s w i t h l e s s t h a n
8 p N
p r o b a b i l i t y i s a t m o s t = 8 t h a t i s
P r A = 8 . T h e r e f o r e w e h a v e
E e r
P
H ; h = E
d
Y
z
h x
; y j A
P r A + M
Y
P r A
5 M
Y
8
1 ,
8
+
M
Y
8
3 M
Y
4
;
w h e r e t h e e x p e c t a t i o n i s t a k e n o v e r H
N ; N
0
a n d .
W e s a y t h a t a h a s h f u n c t i o n h i s g o o d " i f t h e f o l l o w i n g i n e q u a l i t y h o l d s :
e r
P
H ; h M
Y
:
B y M a r k o v ' s i n e q u a l i t y a t l e a s t o n e f o u r t h o f h a s h f u n c t i o n s i n H
N ; N
0
a r e g o o d .
T h e r e f o r e b y c a l l i n g s u b r o u t i n e H a t l e a s t l o g
4 = 3
2 = t i m e s t h e p r o b a b i l i t y t h a t
w e d o n o t g e t a g o o d h a s h f u n c t i o n i s a t m o s t = 2 . T h u s w i t h p r o b a b i l i t y a t l e a s t
1 , w e h a v e e r
P
L H 2 M
Y
.
T h e p h y s i c a l m e m o r y s i z e c a n b e r e d u c e d t o O p N w h i l e m a i n t a i n i n g a n O 1
w o r s t - c a s e a c c e s s t i m e b y u s i n g c o l l i s i o n - r e s o l u t i o n t e c h n i q u e s . T h i s c a n b e a c h i e v e d
f o r e x a m p l e b y u s i n g c o a l e s c e d h a s h i n g w h i c h w a s a n a l y z e d i n d e t a i l b y V i t t e r a n d
C h e n 1 9 8 7 a n d S i e g e l 1 9 9 1 .
4 . 3 . L E A R N I N G B Y C L U S T E R I N G
A l t h o u g h h a s h i n g t e c h n i q u e s t a k e a d v a n t a g e o f t h e s p a r s e n e s s o f d i s t r i b u t i o n s t h e y
d o n o t t a k e a d v a n t a g e o f t h e s k e w n e s s o f d i s t r i b u t i o n s . W e c a n e x p l o i t t h e s k e w n e s s
o f d i s t r i b u t i o n s b y u s i n g c l u s t e r i n g o r m e d i a n a l g o r i t h m s . G i v e n a p o s i t i v e i n t e g e r
s m t h e c o n t i n u o u s s - m e d i a n o r c l u s t e r i n g p r o b l e m i s t o n d a m e d i a n s e t
U X s u c h t h a t j U j = s a n d t h e a v e r a g e e m p i r i c a l d i s t o r t i o n
d
X
U i s m i n i m i z e d .
T h e d i s c r e t e s - m e d i a n p r o b l e m i s t o r e s t r i c t U t o b e a s u b s e t o f
X
.
T h e f o l l o w i n g l e m m a s h o w s t h a t t h e e m p i r i c a l d i s t o r t i o n o f t h e o p t i m a l s o l u t i o n
o f t h e d i s c r e t e s - m e d i a n p r o b l e m i s a t m o s t t w i c e t h a t o f t h e o p t i m a l s o l u t i o n o f
t h e c o n t i n u o u s s - m e d i a n p r o b l e m .
7/29/2019 A Theory for Memory-Based Learning*
16/25
1 6 J . - H . L I N A N D J . S . V I T T E R
L e m m a 3 L e t U
b e t h e o p t i m a l s o l u t i o n o f t h e c o n t i n u o u s s - m e d i a n p r o b l e m a n d
l e t U b e t h e o p t i m a l s o l u t i o n o f t h e c o r r e s p o n d i n g d i s c r e t e s - m e d i a n p r o b l e m . T h e n
w e h a v e
d
X
U 2
d
X
U
:
P r o o f : L e t U
= f u
1
; : : : ; u
s
g . W e c a n c o n s t r u c t a s - m e d i a n s e t V
X
t h a t
m e e t s t h e b o u n d b y r e p l a c i n g e a c h p o i n t u
i
2 U
b y i t s n e a r e s t n e i g h b o r v
i
i n
X
.
B y t h e d e n i t i o n o f e m p i r i c a l d i s t o r t i o n s a n d b y a l g e b r a i c m a n i p u l a t i o n s w e h a v e
d
X
V =
1
m
m
X
i = 1
d
X
x
i
; V
=
1
m
s
X
i = 1
X
x 2 V o r u
i
X
d
X
x ; V
1
m
s
X
i = 1
X
x 2 V o r u
i
X
d
X
x ; v
i
:
T h e l a s t i n e q u a l i t y f o l l o w s f r o m t h e f a c t t h a t d
X
x ; V d
X
x ; v
i
f o r a l l v
i
2 V .
B y t h e t r i a n g l e i n e q u a l i t y w e h a v e
d
X
V
1
m
s
X
i = 1
X
x 2 V o r u
i
X
d
X
x ; u
i
+ d
X
u
i
; v
i
1
m
s
X
i = 1
X
x 2 V o r u
i
X
2 d
X
x ; u
i
= 2
d
X
U
:
S i n c e U i s t h e o p t i m a l s o l u t i o n o f t h e d i s c r e t e s - m e d i a n p r o b l e m w e h a v e s h o w n
d
X
U
d
X
V 2
d
X
U
:
F o r s i m p l i c i t y w e a s s u m e i n t h e f o l l o w i n g t h a t t h e q u a n t i z a t i o n n u m b e r s =
Q
P
X
X ;
M
Y
4 K
; d
X
i s k n o w n . T h i s a s s u m p t i o n c a n b e r e m o v e d
4
u s i n g t h e t e c h n i q u e s
i n H a u s s l e r K e a r n s L i t t l e s t o n e a n d W a r m u t h 1 9 9 1 . I n t h e f o l l o w i n g w e a l s o
a s s u m e t h a t t h e L i p s c h i t z b o u n d h o l d s w i t h p r o b a b i l i t y o n e o v e r t h e p r o b a b i l i t y
d i s t r i b u t i o n P
2
X
.
4 . 3 . 1 . O p t i m a l C l u s t e r i n g
I d e a l l y w e w o u l d l i k e t o u s e a n a l g o r i t h m f o r n d i n g o p t i m a l c l u s t e r i n g f o r l e a r n i n g :
A l g o r i t h m L C 1 l e a r n i n g b y o p t i m a l c l u s t e r i n g :
7/29/2019 A Theory for Memory-Based Learning*
17/25
A T H E O R Y F O R M E M O R Y - B A S E D L E A R N I N G 1 7
1 . L e t m =
k s
l o g s l o g
1
+
1
l o g
1
b e t h e s a m p l e s i z e w h e r e s i s t h e q u a n t i z a t i o n
n u m b e r Q
P
X
X ;
M
Y
4 K
; d
X
.
2 . F i n d t h e o p t i m a l s - m e d i a n s e t U
s u c h t h a t
d
X
U
i s m i n i m i z e d .
3 . C o n s t r u c t a n s - m e d i a n s e t U b y r e p l a c i n g e a c h p o i n t u
i
2 U
b y i t s n e a r e s t
n e i g h b o r v
i
i n
X
.
4 . F o r e a c h v
i
2 U s e t Z i = f v
i
.
T h e o r e m 7 W i t h p r o b a b i l i t y a t l e a s t 1
, , t h e e x p e c t e d e r r o r f o r A l g o r i t h m L C 1
s a t i s e s e r
P
L C 1 M
Y
.
P r o o f : I n T h e o r e m 3 w e c h o o s e = 1 = 1 1 a n d l e t = M
Y
= 2 K . T h u s b y
c h o o s i n g s a m p l e s i z e a s
k s
l o g s l o g
1
+
1
l o g
1
w i t h p r o b a b i l i t y a t l e a s t 1 ,
f o r a l l V X o f s i z e s w e h a v e
d
X
V
6 E d
X
x ; V
5
+
M
Y
2 0 K
;
a n d
E d
X
x ; V
6
d
X
V
5
+
M
Y
2 0 K
:
L e t U
b e t h e o p t i m a l m e d i a n s e t o f s i z e s w i t h r e s p e c t t o P
X
t h e n w e h a v e
E d
X
x ; U
6
d
X
U
5
+
M
Y
2 0 K
1 2
d
X
U
5
+
M
Y
2 0 K
1 2
5
6 E d
X
x ; U
5
+
M
Y
2 0 K
+
M
Y
2 0 K
:
T h e s e c o n d i n e q u a l i t y f o l l o w s f r o m L e m m a 3 . S i n c e U
i s o p t i m a l w e h a v e
E d
X
x ; U
M
Y
4 K
. T h e r e f o r e
E d
X
x ; U
1 2
5
6
5
M
Y
4 K
+
M
Y
2 0 K
+
M
Y
2 0 K
M
Y
K
:
T h e r e s t o f t h e p r o o f f o l l o w s f r o m t h e L i p s c h i t z b o u n d .
4 . 3 . 2 . A p p r o x i m a t e C l u s t e r i n g
U n f o r t u n a t e l y n d i n g o p t i m a l c l u s t e r s i s N P - h a r d e v e n i n E u c l i d e a n s p a c e K a r i v
a n d H a k i m i 1 9 7 9 ; G a r e y & J o h n s o n 1 9 7 9 ; P a p a d i m i t r i o u 1 9 8 1 ; M e g i d d o 1 9 8 4 .
H o w e v e r a s s h o w n b y L i n a n d V i t t e r 1 9 9 2 a w e h a v e a p p r o x i m a t e c l u s t e r i n g a l g o -
r i t h m s w i t h p r o v a b l y g o o d p e r f o r m a n c e g u a r a n t e e s . W e m a y u s e t h e s e a p p r o x i m a t e
c l u s t e r i n g a l g o r i t h m s f o r l e a r n i n g :
7/29/2019 A Theory for Memory-Based Learning*
18/25
1 8 J . - H . L I N A N D J . S . V I T T E R
A l g o r i t h m L C 2 l e a r n i n g b y a p p r o x i m a t e c l u s t e r i n g :
1 . L e t m =
k s
l o g s l o g
k s
2
+
1
l o g
1
b e t h e s a m p l e s i z e w h e r e s i s t h e q u a n -
t i z a t i o n n u m b e r Q
P
X
X ;
M
Y
4 K
; d
X
.
2 . A p p l y t h e g r e e d y d i s c r e t e s - m e d i a n a l g o r i t h m o f L i n a n d V i t t e r 1 9 9 2 a w i t h
r e l a t i v e e r r o r b o u n d o n d i s t o r t i o n a s 1 = 8 . F o r c o n v e n i e n c e t h e g r e e d y s - m e d i a n
a l g o r i t h m i s g i v e n i n t h e a p p e n d i x . L e t U b e t h e m e d i a n s e t r e t u r n e d b y t h e
g r e e d y s - m e d i a n a l g o r i t h m .
3 . F o r e a c h x
j
= u
i
2 U w e s e t Z i = y
j
.
B y C o r o l l a r y 3 i n t h e A p p e n d i x a n d L e m m a 3 w e h a v e t h e f o l l o w i n g c o r o l l a r y :
C o r o l l a r y 2 L e t U b e t h e m e d i a n s e t r e t u r n e d b y t h e g r e e d y s - m e d i a n a l g o r i t h m
a n d l e t U
b e t h e s e t o f o p t i m a l s - m e d i a n s . T h e n w e h a v e
d
X
U
9
4
d
X
U
:
a n d
j U j = O s l o g m :
P r o o f : L e t U
0
b e t h e o p t i m a l s o l u t i o n o f t h e d i s c r e t e s - m e d i a n p r o b l e m . B y
C o r o l l a r y 3 i n t h e A p p e n d i x t h e g r e e d y a l g o r i t h m o u t p u t s a m e d i a n s e t U o f s i z e
l e s s t h a n 9 s l n m + 1 s u c h t h a t
d
X
U 1 +
1
8
d
X
U
0
:
B y L e m m a 3 w e h a v e
d
X
U 2 1 +
1
8
d
X
U
9
4
d
X
U
:
T h e o r e m 8 W i t h p r o b a b i l i t y a t l e a s t 1 , , t h e e x p e c t e d e r r o r f o r A l g o r i t h m L C 2
s a t i s e s e r
P
L C 2 M
Y
.
P r o o f : W e a p p l y T h e o r e m 3 w i t h = 1 = 1 1 a n d = M
Y
= 2 K . B y u s i n g
m =
k s
l o g s l o g
k s
2
+
1
l o g
1
s a m p l e p o i n t s w i t h p r o b a b i l i t y a t l e a s t 1 ,
f o r a l l V X o f s i z e a t m o s t j U j w e h a v e
d
X
V
6 E d
X
x ; V
5
+
M
Y
2 0 K
;
a n d
7/29/2019 A Theory for Memory-Based Learning*
19/25
A T H E O R Y F O R M E M O R Y - B A S E D L E A R N I N G 1 9
E d
X
x ; V
6
d
X
V
5
+
M
Y
2 0 K
:
L e t U
b e t h e s e t o f o p t i m a l s - m e d i a n s . B y C o r o l l a r y 2 a n d b y a l g e b r a i c m a n i p -
u l a t i o n s s i m i l a r t o t h e p r o o f o f T h e o r e m 7 w e h a v e
E d
X
x ; U
M
Y
K
:
T h e r e s t o f t h e p r o o f f o l l o w s f r o m t h e L i p s c h i t z b o u n d .
4 . 4 . S U M M A R Y
W e s u m m a r i z e t h e r e s u l t s o f t h i s s e c t i o n i n T a b l e 1 . W e r e m a r k t h a t i n
k
t h e
c o v e r i n g n u m b e r i s e x p o n e n t i a l i n t h e d i m e n s i o n a l i t y o f t h e i n p u t s p a c e . T h a t
i s w e h a v e N = N X ;
M
Y
4 K
; d
X
=
1
k
. O n t h e o t h e r h a n d a s e x p l a i n e d
i n S e c t i o n 1 t h e n u m b e r o f d i e r e n t i n p u t s t h a t a r e l i k e l y t o b e e n c o u n t e r e d f o r
a n y p h y s i c a l m a n i p u l a t o r s y s t e m i s m u c h s m a l l e r t h a n N . H e n c e i n p r a c t i c e i t
i s r e a s o n a b l e t o a s s u m e t h a t t h e q u a n t i z a t i o n n u m b e r s = Q
P
X
X ;
M
Y
4 K
; d
X
i s a
l o w - d e g r e e p o l y n o m i a l i n
1
. I n s u c h t y p i c a l c a s e s c l u s t e r i n g a l g o r i t h m s r e d u c e t h e
d e p e n d e n c y o f m e m o r y s i z e o n d i m e n s i o n a l i t y b y a n e x p o n e n t i a l f a c t o r .
5 . T R E E - S T R U C T U R E D S Y S T E M S
I n a t r e e - s t r u c t u r e d s y s t e m t h e e n c o d e r p a r t i t i o n s t h e i n p u t s p a c e i n t o a h i e r a r c h y
o f r e g i o n s . A n i n p u t i s m a p p e d t o t h e m e m o r y l o c a t i o n c o r r e s p o n d i n g t o t h e r e g i o n
r e p r e s e n t e d b y a l e a f . A s m e n t i o n e d i n S e c t i o n 2 t h e c o m p u t a t i o n a l a d v a n t a g e o f
t r e e - s t r u c t u r e d s y s t e m s o v e r f u l l - s e a r c h s y s t e m s i n s e q u e n t i a l m o d e l s o f c o m p u t a -
t i o n i s t h a t t h e m a p p i n g f r o m a n i n p u t t o a m e m o r y l o c a t i o n c a n b e d o n e q u i c k l y
b y t r e e t r a v e r s a l . T r e e - s t r u c t u r e d s y s t e m s a l s o h a v e a d i s t i n g u i s h e d s u c c e s s i v e a p -
p r o x i m a t i o n " a n d g r a c e f u l d e g r a d a t i o n " c h a r a c t e r . B y s u c c e s s i v e a p p r o x i m a t i o n
w e m e a n t h a t a s t h e t r e e g r o w s l a r g e r t h e p a r t i t i o n w i l l b e n e r a n d h e n c e i n -
c u r s l e s s d i s t o r t i o n . B y g r a c e f u l d e g r a d a t i o n w e m e a n t h e c a p a b i l i t y t o w i t h s t a n d
p a r t i a l d a m a g e s t o t h e t r e e . T h e f u l l d e n i t i o n o f t r e e - s t r u c t u r e d s y s t e m s i s g i v e n
i n S e c t i o n 2 . 1 . W e c a l l t h e e n c o d e r s o f t r e e - s t r u c t u r e d s y s t e m s t h e t r e e - s t r u c t u r e d
e n c o d e r s .
L e m m a 4 L e t G
s
b e t h e t r e e - s t r u c t u r e d s y s t e m s o f s i z e s a n d l e t d
X
b e t h e E u c l i d e a n
m e t r i c . F o r e a c h p o s s i b l e e n c o d e r o f G
s
, w e d e n e f
x = d
X
x ; u
x
a n d l e t
,
s
: X ! 0 ; M
X
b e t h e c l a s s o f a l l s u c h f u n c t i o n s . T h e n w e h a v e d i m
P
,
s
2 k + 1 s
,1 l o g 3 s
,1 = O k s l o g s .
P r o o f : T h e r e a r e s , 1 b r a n c h e s i n a t r e e o f s i z e s i n w h i c h e a c h b r a n c h c o r r e -
s p o n d s t o a c o m p a r i s o n . B y d e r i v a t i o n s i m i l a r t o t h e p r o o f o f L e m m a 2 w e h a v e
d i m
P
,
s
2 k + 1 s , 1 l o g 3 s , 1 = O k s l o g s .
7/29/2019 A Theory for Memory-Based Learning*
20/25
2 0 J . - H . L I N A N D J . S . V I T T E R
L e m m a 4 a n d C o r o l l a r y 1 i m p l y t h e f o l l o w i n g r e s u l t :
T h e o r e m 9 L e t ,
s
b e d e n e d a s i n L e m m a 4 . A s s u m e 0 a n d 0 1 .
L e t P
X
b e a p r o b a b i l i t y m e a s u r e o n X a n d
X
b e g e n e r a t e d b y m i n d e p e n d e n t d r a w s
f r o m X a c c o r d i n g t o P
X
. I f t h e s a m p l e s i z e i s
m =
M
X
2
k s l o g s l o g
M
X
p
+ l o g
1
;
t h e n w e h a v e
P r f 9 f 2 ,
s
j d
E
X
f ; E f g :
I n t h e f o l l o w i n g w e o u t l i n e a n a l g o r i t h m f o r b u i l d i n g t r e e - s t r u c t u r e d s y s t e m s :
1 . C o n s t r u c t a t r e e - s t r u c t u r e d e n c o d e r f o r t h e i n p u t s p a c e f r o m t h e x - c o m p o n e n t s
o f t h e s a m p l e .
2 . E s t i m a t e a f u n c t i o n a l v a l u e f o r e a c h n o d e o f t h e t r e e b y a v e r a g i n g t h e y -
c o m p o n e n t s o f e x a m p l e s c o v e r e d b y t h e r e g i o n r e p r e s e n t e d b y t h a t n o d e .
T h e s m o o t h n e s s o f t h e f u n c t i o n t o b e l e a r n e d a s s u r e s t h a t t h e r e s u l t i n g s y s t e m
h a s s m a l l e x p e c t e d e r r o r . T h e a l g o r i t h m f o r b u i l d i n g a t r e e - s t r u c t u r e d e n c o d e r i s
g i v e n b y L i n a n d V i t t e r 1 9 9 2 a 1 9 9 2 b . I n a d d i t i o n t o m e m o r y - b a s e d l e a r n i n g t h e
a l g o r i t h m a l s o h a s a p p l i c a t i o n s t o r e g r e s s i o n c o m p u t e r g r a p h i c s a n d l o s s y i m a g e
c o m p r e s s i o n L i n & V i t t e r 1 9 9 2 b .
6 . H I G H E R - O R D E R S Y S T E M S
I n a h i g h e r - o r d e r m e m o r y - b a s e d l e a r n i n g s y s t e m a n i n p u t c a n a c t i v a t e m o r e t h a n
o n e m e m o r y l o c a t i o n . H i g h e r - o r d e r l e a r n i n g s y s t e m s h a v e t h e a d v a n t a g e s o f f a u l t
t o l e r a n c e a n d p o s s i b l y b e t t e r g e n e r a l i z a t i o n a b i l i t y g i v e n a l i m i t e d n u m b e r o f e x -
a m p l e s . B y f a u l t t o l e r a n c e w e m e a n t h e c a p a b i l i t y t o d e a l w i t h m e m o r y f a i l u r e s
o r m i s c l a s s i c a t i o n o f s a m p l e p o i n t s .
I n t h i s s e c t i o n w e l o o k a t t h e r - n e a r e s t - n e i g h b o r s y s t e m s a n d r e c e p t i v e - e l d
s y s t e m s b a s e d u p o n t h e c o m b i n a t i o n s o f r s t - o r d e r s y s t e m s :
T h e d e n i t i o n f o r t h e V o r o n o i s y s t e m s o f o r d e r r r - n e a r e s t - n e i g h b o r s y s t e m s
i s g i v e n i n S e c t i o n 2 . 1 . I n t h i s s e c t i o n w e e x t e n d o u r a n a l y s i s i n S e c t i o n 3 t o t h e
r t h - o r d e r V o r o n o i S y s t e m s . W e c a l l t h e e n c o d e r s o f V o r o n o i s y s t e m s o f o r d e r r t h e
V o r o n o i e n c o d e r s o f o r d e r r .
L e m m a 5 L e t G
r
s
b e t h e V o r o n o i s y s t e m s o f o r d e r r a n d s i z e s a n d l e t d
X
b e t h e
E u c l i d e a n d i s t a n c e . F o r e a c h p o s s i b l e e n c o d e r o f G
r
s
, w e d e n e
f
x =
1
r
r
X
i = 1
d
X
x ; u
i
x
;
7/29/2019 A Theory for Memory-Based Learning*
21/25
A T H E O R Y F O R M E M O R Y - B A S E D L E A R N I N G 2 1
w h e r e
i
x m a p s a n i n p u t x t o i t s i t h n e a r e s t n e i g h b o r i n U a n d l e t ,
r
s
: X !
0 ; M
X
b e t h e c l a s s o f a l l s u c h f u n c t i o n s . T h e n w e h a v e d i m
P
,
r
s
= O k r s l o g r l o g s .
P r o o f : B y t h e d e n i t i o n o f f
x i t i s c l e a r t h a t t h e p s e u d o - d i m e n s i o n o f ,
r
s
i s
b o u n d e d b y t h e p s e u d o - d i m e n s i o n o f s u m s o f r f u n c t i o n s f r o m ,
s
w h i c h i s d e n e d
a s i n L e m m a 2 . B y d e r i v a t i o n s i m i l a r t o t h e p r o o f o f L e m m a 2 w e h a v e d i m
P
,
r
s
=
O k r s l o g r l o g s .
L e m m a 5 a n d C o r o l l a r y 1 i m p l y t h e f o l l o w i n g :
T h e o r e m 1 0 L e t ,
r
s
b e d e n e d a s i n L e m m a 5 . A s s u m e 0 a n d 0 1 .
L e t P
X
b e a p r o b a b i l i t y m e a s u r e o n X a n d
X
b e g e n e r a t e d b y m i n d e p e n d e n t d r a w s
f r o m X a c c o r d i n g t o P
X
. I f t h e s a m p l e s i z e i s
m =
M
X
2
k r s l o g r l o g s l o g
M
X
p
+ l o g
1
;
t h e n w e h a v e
P r f 9 f 2 ,
r
s
j d
E
X
f ; E f g :
I n a r e c e p t i v e - e l d s y s t e m t h e r e g i o n s m a y o v e r l a p . I n t h e f o l l o w i n g w e p r o p o s e
t o m o d e l t h e r e c e p t i v e - e l d s y s t e m s a s w e i g h t e d s u m s o f r s t - o r d e r V o r o n o i s y s t e m s .
D e n i t i o n . L e t G
s
b e t h e c l a s s o f r s t - o r d e r V o r o n o i s y s t e m s a s d e n e d i n S e c -
t i o n 3 . T h e r - c o m b i n a t i o n s G
r
s
o f V o r o n o i s y s t e m s a r e d e n e d a s t h e w e i g h t e d s u m s
o f r V o r o n o i s y s t e m s . T h a t i s G
r
s
= f
P
r
i = 1
w
i
g
i
j g
i
2 G
s
a n d 0 w
i
M
Y
g .
A r e c e p t i v e - e l d s y s t e m a s d e n e d a b o v e c a n b e a r r a n g e d i n a m u l t i - r e s o l u t i o n "
m a n n e r M o o d y 1 9 8 9 t h a t i s a s a s u m o f r V o r o n o i s y s t e m s o f d i e r e n t s i z e s .
T h e l e a r n i n g a l g o r i t h m f o r s u c h s y s t e m s c a n s t a r t b y a p p r o x i m a t i n g t h e f u n c t i o n t o
b e l e a r n e d b y t h e s m a l l e s t l o w e s t - r e s o l u t i o n c o m p o n e n t s y s t e m a n d t h e n a p p r o x -
i m a t i n g t h e e r r o r s b y t h e s e c o n d s m a l l e s t c o m p o n e n t s y s t e m a n d s o f o r t h u n t i l
t h e l a r g e s t h i g h e s t - r e s o l u t i o n c o m p o n e n t s y s t e m i s t r a i n e d .
7 . C O N C L U S I O N S
I n t h i s p a p e r w e p r o p o s e a m o d e l f o r m e m o r y - b a s e d l e a r n i n g a n d u s e i t t o a n a l y z e
s e v e r a l m e t h o d s f o r l e a r n i n g s m o o t h f u n c t i o n s b y m e m o r y - b a s e d l e a r n i n g s y s t e m s .
O u r m o d e l i s c l o s e l y r e l a t e d t o t h e g e n e r a l i z e d P A C l e a r n i n g m o d e l o f H a u s s l e r
1 9 8 9 a n d t h e m e t h o d s o f v e c t o r q u a n t i z a t i o n i n d a t a c o m p r e s s i o n . O u r m a i n
r e s u l t i s t h a t w e c a n b u i l d m e m o r y - b a s e d l e a r n i n g s y s t e m s u s i n g n e w c l u s t e r i n g
a l g o r i t h m s L i n & V i t t e r 1 9 9 2 a t o P A C - l e a r n i n p o l y n o m i a l t i m e u s i n g o n l y p o l y -
n o m i a l s t o r a g e i n t y p i c a l s i t u a t i o n s . W e a l s o e x t e n d o u r a n a l y s i s t o t r e e - s t r u c t u r e d
a n d h i g h e r - o r d e r m e m o r y - b a s e d l e a r n i n g s y s t e m s .
7/29/2019 A Theory for Memory-Based Learning*
22/25
2 2 J . - H . L I N A N D J . S . V I T T E R
T h e m e m o r y - b a s e d l e a r n i n g s y s t e m s t h a t w e h a v e e x a m i n e d i n t h i s p a p e r a p -
p r o x i m a t e t h e f u n c t i o n a l v a l u e i n e a c h r e g i o n b y a c o n s t a n t . I n p r a c t i c e w e m i g h t
g e t b e t t e r a p p r o x i m a t i o n s b y u s i n g m o r e c o m p l i c a t e d b a s i s f u n c t i o n s . H o w e v e r
t h i s u s u a l l y m a k e s t h e t r a i n i n g p r o b l e m h a r d e r ; m o s t w o r k a l o n g t h i s l i n e h a s b e e n
m o s t l y e x p e r i m e n t a l i n t e r m s o f c o m p u t a t i o n a l c o m p l e x i t y . I n t e r e s t e d r e a d e r s a r e
r e f e r r e d t o t h e w o r k o f F r i e d m a n 1 9 8 8 M o o d y a n d D a r k e n 1 9 8 8 a n d P o g g i o
a n d G i r o s i 1 9 8 9 1 9 9 0 .
O u r m e m o r y - b a s e d l e a r n i n g a l g o r i t h m s m a i n l y t a k e a d v a n t a g e o f t h e s k e w n e s s o f
d i s t r i b u t i o n s o v e r t h e i n p u t s p a c e a n d a s s u m e t h e s m o o t h n e s s o f f u n c t i o n s o v e r t h e
i n p u t s p a c e . H o w e v e r t h e d e g r e e o f s m o o t h n e s s m a y v a r y w i d e l y f r o m o n e r e g i o n
t o t h e o t h e r D e a n & W e l l m a n 1 9 9 1 . I n p r a c t i c e a f t e r t h e i n i t i a l c l u s t e r i n g
w e m a y e s t i m a t e t h e d e g r e e o f s m o o t h n e s s o f e a c h r e g i o n a n d t h e n m e r g e o r s p l i t
r e g i o n s a c c o r d i n g t o t h e i r d e g r e e s o f s m o o t h n e s s . F r o m a t h e o r e t i c a l v i e w p o i n t w e
m u s t d e v e l o p m o d e l s t h a t a d e q u a t e l y c a p t u r e t h i s p r o p e r t y a n d a r e c o m p u t a t i o n a l l y
t r a c t a b l e .
A p p e n d i x
A p p r o x i m a t e C l u s t e r i n g
I n t h i s a p p e n d i x w e a d a p t t h e g r e e d y d i s c r e t e s - m e d i a n a l g o r i t h m o f L i n a n d
V i t t e r 1 9 9 2 a t o d o t h e c l u s t e r i n g n e e d e d f o r A l g o r i t h m L C 2 i n S e c t i o n 4 . 3 . 2 .
T h e d i s c r e t e s - m e d i a n p r o b l e m i s d e n e d a s f o l l o w s : L e t
X
= h x
1
; : : : ; x
m
i b e a
s e q u e n c e o f p o i n t s i n X a n d l e t s b e a p o s i t i v e i n t e g e r . T h e g o a l i s t o s e l e c t a
s u b s e t U
X
o f s p o i n t s s u c h t h a t t h e a v e r a g e d i s t a n c e d i s t o r t i o n
d
X
U =
1
m
m
X
i = 1
d
X
x
i
; U :
i s m i n i m i z e d .
T h e d i s c r e t e s - m e d i a n p r o b l e m c a n b e f o r m u l a t e d a s a 0 - 1 i n t e g e r p r o g r a m o f
m i n i m i z i n g
1
m
m
X
i = 1
m
X
j = 1
d
X
x
i
; x
j
p
i j
A . 1
s u b j e c t t o
m
X
j = 1
p
i j
= 1 ; i = 1 ; : : : ; m ; A . 2
m
X
j = 1
q
j
s ; A . 3
p
i j
q
j
; i ; j = 1 ; : : : ; m ; A . 4
p
i j
; q
j
2 f 0 ; 1 g ; i ; j = 1 ; : : : ; m ; A . 5
7/29/2019 A Theory for Memory-Based Learning*
23/25
A T H E O R Y F O R M E M O R Y - B A S E D L E A R N I N G 2 3
w h e r e q
j
= 1 i f a n d o n l y i f x
j
i s c h o s e n a s a c l u s t e r c e n t e r a n d p
i j
= 1 i f a n d o n l y
i f q
j
= 1 a n d x
i
i s a s s i g n e d " t o x
j
.
T h e l i n e a r p r o g r a m r e l a x a t i o n o f t h e a b o v e p r o g r a m i s t o a l l o w q
j
a n d p
i j
t o
t a k e r a t i o n a l v a l u e s b e t w e e n 0 a n d 1 . C l e a r l y t h e o p t i m a l f r a c t i o n a l s o l u t i o n l i n -
e a r p r o g r a m s o l u t i o n i s a l o w e r b o u n d o n t h e s o l u t i o n s o f t h e d i s c r e t e s - m e d i a n
p r o b l e m .
O u r g r e e d y a l g o r i t h m f o r t h e s - m e d i a n p r o b l e m w o r k s a s f o l l o w s :
1 . S o l v e t h e l i n e a r p r o g r a m r e l a x a t i o n o f t h e d i s c r e t e s - m e d i a n p r o b l e m b y l i n e a r
p r o g r a m m i n g t e c h n i q u e s ; d e n o t e t h e f r a c t i o n a l s o l u t i o n b y bq ; bp .
2 . F o r e a c h i c o m p u t e
b