8/16/2019 sofsem2000

1/14

T o w a r d s H i g h S p e e d G r a m m a r I n d u c t i o n o n

L a r g e T e x t C o r p o r a

P i e t e r A d r i a a n s

1 2

, M a r t e n T r a u t w e i n

1

, a n d M a r c o V e r v o o r t

2

1

P e r o t S y s t e m s N e d e r l a n d B V , P . O . B o x 2 7 2 9 , N L - 3 8 0 0 G G A m e r s f o o r t , T h e

N e t h e r l a n d s

f P i e t e r . A d r i a a n s , M a r t e n . T r a u t w e i n g @ p s . n e t

2

U n i v e r s i t y o f A m s t e r d a m , F d N W I , P l a n t a g e M u i d e r g r a c h t 2 4 , N L - 1 0 1 8 T V

A m s t e r d a m , T h e N e t h e r l a n d s

v e r v o o r t @ w i n s . u v a . n l

A b s t r a c t . I n t h i s p a p e r w e d e s c r i b e a n e c i e n t a n d s c a l a b l e i m p l e m e n -

t a t i o n f o r g r a m m a r i n d u c t i o n b a s e d o n t h e E M I L E a p p r o a c h ( 2 ] , 3 ] , 4 ] ,

5 ] , 6 ] ) . T h e c u r r e n t E M I L E 4 . 1 i m p l e m e n t a t i o n ( 1 1 ] ) i s o n e o f t h e r s t

e c i e n t g r a m m a r i n d u c t i o n a l g o r i t h m s t h a t w o r k o n f r e e t e x t . A l t h o u g h

E M I L E 4 . 1 i s f a r f r o m p e r f e c t , i t e n a b l e s r e s e a r c h e r s t o d o e m p i r i c a l

g r a m m a r i n d u c t i o n r e s e a r c h o n v a r i o u s t y p e s o f c o r p o r a .

T h e E M I L E a p p r o a c h i s b a s e d o n n o t i o n s f r o m c a t e g o r i a l g r a m m a r ( c f .

1 0 ] ) , w h i c h i s k n o w n t o g e n e r a t e t h e c l a s s o f c o n t e x t - f r e e l a n g u a g e s .

E M I L E l e a r n s f r o m p o s i t i v e e x a m p l e s o n l y ( c f . 1 ] , 7 ] , 9 ] ) . W e d e s c r i b e

t h e a l g o r i t h m s u n d e r l y i n g t h e a p p r o a c h a n d s o m e i n t e r e s t i n g p r a c t i c a l

r e s u l t s o n s m a l l a n d l a r g e t e x t c o l l e c t i o n s . A s s h o w n i n t h e a r t i c l e s m e n -

t i o n e d a b o v e , i n t h e l i m i t E M I L E l e a r n s t h e c o r r e c t g r a m m a t i c a l s t r u c -

t u r e o f a l a n g u a g e f r o m s e n t e n c e s o f t h a t l a n g u a g e . T h e c o n d u c t e d e x p e r -

i m e n t s s h o w t h a t , p u t i n t o p r a c t i c e , E M I L E 4 . 1 i s e c i e n t a n d s c a l a b l e .

T h i s c u r r e n t i m p l e m e n t a t i o n l e a r n s a s u b c l a s s o f t h e s h a l l o w c o n t e x t - f r e e

l a n g u a g e s . T h i s s u b c l a s s s e e m s s u c i e n t l y r i c h t o b e o f p r a c t i c a l i n t e r e s t .

E s p e c i a l l y E m i l e s e e m s t o b e a v a l u a b l e t o o l i n t h e c o n t e x t o f s y n t a c t i c

a n d s e m a n t i c a n a l y s i s o f l a r g e t e x t c o r p o r a .

1 I n t r o d u c t i o n

T h e c u r r e n t E M I L E 4 . 1 i m p l e m e n t a t i o n ( 1 1 ] ) i s o n e o f t h e r s t e c i e n t a n d

s c a l a b l e g r a m m a r i n d u c t i o n a l g o r i t h m s t h a t w o r k o n f r e e t e x t . E M I L E 4 . 1 i s n o t

p e r f e c t , b u t e n a b l e s r e s e a r c h e r s t o c o n d u c t e m p i r i c a l g r a m m a r i n d u c t i o n r e s e a r c h

o n d i e r e n t t y p e s o f c o r p o r a . E M I L E 4 . 1 a t t e m p t s t o l e a r n t h e g r a m m a t i c a l

s t r u c t u r e o f s u c h a l a n g u a g e f r o m s e n t e n c e s o f t h a t l a n g u a g e , w i t h o u t a n y p r i o r

k n o w l e d g e o f t h e g r a m m a r a p a r t f r o m t h e f a c t t h a t t h e g r a m m a r i s c a t e g o r i a l

( i . e . , e q u i v a l e n t t o c o n t e x t - f r e e ) a n d s h a l l o w ( 2 ] , 3 ] , 4 ] ) . T h e o r e t i c a l l y , E M I L E

l e a r n s t h e c o r r e c t g r a m m a t i c a l s t r u c t u r e o f a l a n g u a g e f r o m s e n t e n c e s o f t h a t

l a n g u a g e i n t h e l i m i t . T h i s a n d o t h e r t h e o r e t i c a l c o n c e p t s u s e d i n E M I L E 4 . 1 a r e

e l a b o r a t e d o n i n P i e t e r A d r i a a n s ' a r t i c l e s o n E M I L E 1 . 0 / 2 . 0 ( 2 ] ) a n d E M I L E

3 . 0 ( 3 ] , 5 ] , 6 ] ) .

8/16/2019 sofsem2000

2/14

I n a s h a l l o w l a n g u a g e e v e r y s y n t a c t i c a l c o n s t r u c t i o n h a s a n e x a m p l e s e n t e n c e

o f a l e n g t h t h a t i s l o g a r i t h m i c i n t h e c o m p l e x i t y o f t h e g r a m m a r a s a w h o l e . W e

b e l i e v e t h a t n a t u r a l l a n g u a g e s a r e s h a l l o w i n t h i s s e n s e . C a t e g o r i a l g r a m m a r s

a r e b a s e d o n t h e a s s i g n m e n t o f s y n t a c t i c t y p e s t o w o r d s o f t h e l e x i c o n . A d e n -

i n g c h a r a c t e r i s t i c o f c a t e g o r i a l l a n g u a g e s i s t h a t e x p r e s s i o n s o f t h e s a m e t y p e

c a n b e s u b s t i t u t e d f o r e a c h o t h e r i n a l l c o n t e x t s . T h i s f e a t u r e f o r m s t h e b a s i s

f o r t h e i n d u c t i v e a p p r o a c h o f E M I L E . F o r a n y t y p e i n a n y v a l i d g r a m m a r f o r

t h e l a n g u a g e , w e c a n e x p e c t c o n t e x t / e x p r e s s i o n c o m b i n a t i o n s t o s h o w u p i n a

s u c i e n t l y l a r g e s a m p l e o f s e n t e n c e s o f t h e l a n g u a g e . E M I L E s e a r c h e s f o r s u c h

c l u s t e r s o f e x p r e s s i o n s a n d c o n t e x t s i n t h e s a m p l e , a n d i n t e r p r e t s t h e m a s g r a m -

m a t i c a l t y p e s . I t t h e n t r i e s t o n d c h a r a c t e r i s t i c c o n t e x t s a n d e x p r e s s i o n s , a n d

u s e s t h e m t o e x t e n d t h e t y p e s . F i n a l l y , i t f o r m u l a t e s d e r i v a t i o n r u l e s b a s e d o n

t h e t y p e s f o u n d , i n t h e m a n n e r o f t h e r u l e s o f a c o n t e x t - f r e e g r a m m a r .

I n t h i s p a p e r w e w i l l f o c u s o n t h e p r a c t i c a l a s p e c t s o f E M I L E 4 . 1 ( c f . 1 1 ] ) .

W i t h E M I L E 4 . 1 g r a m m a r i n d u c t i o n e x p e r i m e n t s c a n b e a p p l i e d t o d i e r e n t

t y p e s o f c o r p o r a . E s p e c i a l l y E m i l e s e e m s t o b e a v a l u a b l e t o o l f o r s y n t a c t i c a n d

s e m a n t i c a n a l y s i s o f l a r g e t e x t c o r p o r a . T h e e x p e r i m e n t s s h o w t h a t p u t i n t o

p r a c t i c e E M I L E 4 . 1 i s e c i e n t a n d s c a l a b l e . T h e c u r r e n t E M I L E 4 . 1 i m p l e m e n -

t a t i o n l e a r n s a s u b c l a s s o f t h e s h a l l o w c o n t e x t - f r e e l a n g u a g e s t h a t i s s u c i e n t l y

r i c h t o b e o f p r a c t i c a l i n t e r e s t i n t h e c o n t e x t o f s y n t a c t i c a n d s e m a n t i c a n a l y s i s

o f l a r g e c o r p o r a .

I n c o m p a r i s o n t o i t s p r e c u r s o r s E M I L E 4 . 1 i s b e t t e r a b l e t o h a n d l e i n c o m p l e t e

s a m p l e s a n d u s e s p o s i t i v e e x a m p l e s o n l y . M o r e i n f o r m a t i o n o n t h e p r e c u r s o r s o f

E M I L E 4 . 1 m a y b e f o u n d i n t h e a b o v e m e n t i o n e d a r t i c l e s , a s w e l l a s i n t h e E .

D o r n e n b u r g ' s M a s t e r ' s T h e s i s ( 8 ] ) .

2 T h e A l g o r i t h m s o f E M I L E

T h i s s e c t i o n g i v e s i n s i g h t i n t o t h e r e a s o n i n g u n d e r l y i n g t h e a l g o r i t h m s . D e t a i l s

o n t h e a l g o r i t h m s ( l i k e p s e u d o - c o d e ) c a n b e f o u n d i n 1 1 ] . B e l o w , w e t r a c k t h e

d e v e l o p m e n t s t a g e s o f E M I L E , a n d e x p l a i n t h e p u r p o s e o f e a c h c h a n g e .

2 . 1 1 - D i m e n s i o n a l C l u s t e r i n g

S e m a n t i c t y p e s h a v e t h e p r o p e r t y t h a t w h e r e v e r s o m e e x p r e s s i o n i s u s e d a s a n

e x p r e s s i o n o f a p a r t i c u l a r t y p e , o t h e r e x p r e s s i o n s o f t h a t p a r t i c u l a r t y p e c a n

b e s u b s t i t u t e d w i t h o u t m a k i n g t h e s e n t e n c e u n g r a m m a t i c a l . E M I L E u s e s t h i s

p r o p e r t y t o i d e n t i f y g r a m m a t i c a l t y p e s . A s s u c h , a g r a m m a t i c a l t y p e i n E M I L E

i s c h a r a c t e r i z e d b y t h e e x p r e s s i o n s t h a t b e l o n g t o t h a t t y p e , a n d t h e c o n t e x t s i n

w h i c h e x p r e s s i o n s o f t h a t t y p e c a n a p p e a r . T h e c o n t e x t / e x p r e s s i o n p a i r i s t h e

p r i n c i p l e c o n c e p t i n E M I L E . B a s i c a l l y , a c o n t e x t / e x p r e s s i o n p a i r i s a s e n t e n c e

s p l i t i n t o t h r e e p a i r s , f o r i n s t a n c e ,

J o h n ( m a k e s ) t e a .

8/16/2019 sofsem2000

3/14

8/16/2019 sofsem2000

4/14

T a b l e 3 . E x t e n d e d c o n t e x t / e x p r e s s i o n m a t r i x f o r 1 - d i m e n s i o n a l c l u s t e r i n g

J o h n J o h n J o h n J o h n

( . ) ( . ) m a k e s l i k e s

t e a c o e e ( . ) ( . )

m a k e s x x

l i k e s x x

t e a x x

c o e e x x

T a b l e 4 . C l u s t e r s d e r i v e d f r o m e x t e n d e d c o n t e x t / e x p r e s s i o n m a t r i x

f ` m a k e s ' , ` l i k e s ' g , f ` J o h n ( . ) t e a ' , ` J o h n ( . ) c o e e ' g ]

f ` t e a ' , ` c o e e ' g , f ` J o h n m a k e s ( . ) ' , ` J o h n l i k e s ( . ) ' g ]

H e n c e t h e c l u s t e r s w e n d h e r e c a n b e i n t e r p r e t e d a s g r a m m a t i c a l t y p e s . F o r

i n s t a n c e , t h e c l u s t e r s i n T a b . 4 c o r r e s p o n d t o t h e g r a m m a t i c a l t y p e s o f ` v e r b s '

a n d ` n o u n s ' , r e s p e c t i v e l y .

2 . 2 2 - D i m e n s i o n a l C l u s t e r i n g

T h e 1 - d i m e n s i o n a l c l u s t e r i n g t e c h n i q u e f a i l s t o p r o p e r l y h a n d l e c o n t e x t s w h o s e

t y p e i s a m b i g u o u s . F o r i n s t a n c e , i f w e a d d t h e s e n t e n c e s ` J o h n l i k e s e a t i n g ' a n d

` J o h n i s e a t i n g ' , t h e r e l e v a n t p a r t o f t h e c o n t e x t / e x p r e s s i o n m a t r i x i s g i v e n i n

T a b . 5 .

T a b l e 5 . C o n t e x t / e x p r e s s i o n m a t r i x f o r 2 - d i m e n s i o n a l c l u s t e r i n g

J o h n J o h n J o h n J o h n J o h n J o h n

( . ) ( . ) ( . ) m a k e s l i k e s i s

t e a c o e e e a t i n g ( . ) ( . ) ( . )

m a k e s x x

l i k e s x x x

i s x

t e a x x

c o e e x x

e a t i n g x x

T a b l e 5 s h o w s f o u r d i s t i n c t g r a m m a t i c a l t y p e s : n o u n - p h r a s e s ( ` t e a ' , ` c o e e ' ) ,

v e r b - p h r a s e s ( ` m a k e s ' , ` ' l i k e s ' ) , ` i n g ' - p h r a s e s ( ` e a t i n g ' ) , a n d a u x i l i a r y v e r b s ( ` i s ' )

t h a t a p p e a r w i t h ` i n g ' - p h r a s e s . T h e c o n t e x t ` J o h n l i k e s ( . ) ' i s a m b i g u o u s , s i n c e

8/16/2019 sofsem2000

5/14

b o t h n o u n - p h r a s e s a n d ` i n g ' - p h r a s e s c a n a p p e a r i n t h i s c o n t e x t . T h e a m b i g u i t y

i s n a t u r a l l y r e p r e s e n t e d a s t h e c o n t e x t b e l o n g t o t w o d i e r e n t t y p e s , i . e . , w e

w o u l d l i k e t o o b t a i n t h e c l u s t e r i n g g i v e n i n T a b . 6 . H o w e v e r , i f w e p r o c e e d a s

b e f o r e w i t h t h e 1 - d i m e n s i o n a l c l u s t e r i n g t e c h n i q u e , w e g e t t h e c l u s t e r s g i v e n i n

T a b . 7 .

I n T a b . 7 t h e a m b i g u o u s c o n t e x t ` J o h n l i k e s ( . ) ' i s a s s i g n e d a s e p a r a t e t y p e ,

w h i c h r e s u l t s i n a l e s s n a t u r a l r e p r e s e n t a t i o n . M o r e o v e r t h e s e p a r a t e t y p e p r e -

v e n t s u s f r o m c o r r e c t l y i d e n t i f y i n g t h e s o - c a l l e d c h a r a c t e r i s t i c e x p r e s s i o n s , i . e . ,

t h e e x p r e s s i o n s t h a t b e l o n g t o e x a c t l y o n e t y p e . T h e e x p e c t e d a n d m o r e n a t u r a l

r e p r e s e n t a t i o n g i v e n i n T a b . 6 w o u l d a l l o w a m b i g u o u s c o n t e x t s a n d e x p r e s s i o n s

t o b e l o n g t o m u l t i p l e t y p e s .

T a b l e 6 . E x p e c t e d c l u s t e r s i n c o n t e x t / e x p r e s s i o n m a t r i x

f ` m a k e s ' , ` l i k e s ' g , f ` J o h n ( . ) t e a ' , ` J o h n ( . ) c o e e ' g ]

f ` l i k e s ' , ` i s ' g , f ` J o h n ( . ) e a t i n g ' g ]

f ` t e a ' , ` c o e e ' g , f ` J o h n m a k e s ( . ) ' , ` J o h n l i k e s ( . ) ' g ]

f ` e a t i n g ' g , f ` J o h n i s ( . ) ' , ` J o h n l i k e s ( . ) ' g ]

T a b l e 7 . D e r i v e d c l u s t e r s i n c o n t e x t / e x p r e s s i o n m a t r i x

f ` m a k e s ' , ` l i k e s ' g , f ` J o h n ( . ) t e a ' , ` J o h n ( . ) c o e e ' g ]

f ` l i k e s ' , ` i s ' g , f ` J o h n ( . ) e a t i n g ' g ]

f ` t e a ' , ` c o e e ' g , f ` J o h n m a k e s ( . ) ' g ]

f ` t e a ' , ` c o e e ' , ` e a t i n g ' g , f ` J o h n l i k e s ( . ) ' g ]

f ` e a t i n g ' g , f ` J o h n i s ( . ) ' g ]

I n o r d e r t o n d t h e d e s i r e d r e s u l t , w e n e e d a d i e r e n t t y p e o f c l u s t e r i n g .

E M I L E 4 . 1 d o e s a t y p e o f 2 - d i m e n s i o n a l c l u s t e r i n g , n a m e l y , i t s e a r c h e s f o r

m a x i m u m - s i z e d b l o c k s i n t h e m a t r i x . T a b l e 8 s h o w s t h e m a t r i x o f t h e e x a m -

p l e , w i t h t h e m a x i m u m - s i z e d b l o c k s i n d i c a t e d b y r e c t a n g l e s f o r v i s u a l i z a t i o n

p u r p o s e s . T h e m a t r i x i n t h i s e x a m p l e i s c a r e f u l l y a r r a n g e d . I n g e n e r a l b l o c k s

d o n o t c o n s i s t o f a d j a c e n t c o n t e x t / e x p r e s s i o n p a i r s a n d t h e r e c t a n g l e s c o n t a i n a

f e w c o m p l e t e l y e m p t y r o w s a n d c o l u m n s . ( M e n t a l l y s w i t c h , f o r i n s t a n c e , t h e r s t

a n d l a s t r o w o f t h e m a t r i x i n T a b . 8 t o s e e t h e e e c t . E x a c t l y t h e s a m e b l o c k s

a r e r e c o g n i z e d , b u t t h e r e c t a n g l e s l o o k a l i t t l e d i e r e n t a n d c o n t a i n t w o o r t h r e e

e m p t y r o w s . )

T h e a l g o r i t h m t o n d t h e m a x i m u m - s i z e d b l o c k s i s v e r y s i m p l e : s t a r t i n g f r o m

a s i n g l e c o n t e x t / e x p r e s s i o n p a i r , E M I L E r a n d o m l y a d d s c o n t e x t s a n d e x p r e s s i o n s

w h i l s t e n s u r i n g t h a t t h e r e s u l t i n g b l o c k i s s t i l l c o n t a i n e d i n t h e m a t r i x , a n d k e e p s

8/16/2019 sofsem2000

6/14

T a b l e 8 . C o n t e x t / e x p r e s s i o n m a t r i x f o r 2 - d i m e n s i o n a l c l u s t e r i n g

J o h n J o h n J o h n J o h n J o h n J o h n

( . ) ( . ) ( . ) m a k e s l i k e s i s

t e a c o e e e a t i n g ( . ) ( . ) ( . )

m a k e s x x

l i k e s x x x

i s x

e a t i n g x x

t e a x x

c o e e x x

a d d i n g c o n t e x t s a n d e x p r e s s i o n s u n t i l t h e b l o c k c a n n o l o n g e r b e e n l a r g e d . T h i s

i s d o n e f o r e a c h c o n t e x t / e x p r e s s i o n p a i r t h a t i s n o t a l r e a d y c o n t a i n e d i n s o m e

b l o c k . S o m e o f t h e r e s u l t i n g b l o c k s m a y b e c o m p l e t e l y c o v e r e d b y o t h e r b l o c k s

( s u c h a s t h e t w o 1 3 b l o c k s i n T a b . 8 ) : o n c e a l l c o n t e x t / e x p r e s s i o n p a i r s h a v e

b e e n c o v e r e d , t h e s e s u p e r u o u s b l o c k s a r e e l i m i n a t e d .

T h e t o t a l 2 - d i m e n s i o n a l c l u s t e r i n g i s e c i e n t ( i . e . , t a k e s p o l y n o m i a l t i m e i n

t h e s i z e o f t h e g r a m m a r ) a s i s p r o v e n i n 1 1 ] .

2 . 3 A l l o w i n g f o r I m p e r f e c t D a t a : U s i n g C h a r a c t e r i s t i c E x p r e s s i o n s

a n d C o n t e x t s

I n t h e p r e v i o u s s e c t i o n , a b l o c k e n t i r e l y h a d t o b e c o n t a i n e d w i t h i n t h e m a t r i x .

T h a t i s , t h e c l u s t e r i n g a l g o r i t h m d i d n o t n d a t y p e u n l e s s e v e r y p o s s i b l e c o m -

b i n a t i o n o f c o n t e x t s a n d e x p r e s s i o n s o f t h a t t y p e h a d a c t u a l l y b e e n e n c o u n t e r e d

a n d s t o r e d i n t h e m a t r i x . T h i s a p p r o a c h o n l y w o r k s i f a p e r f e c t s a m p l e i s p r o -

v i d e d . ( W i t h a p e r f e c t s a m p l e w e m e a n a s a m p l e t h a t c o n s i s t s o f a l l a n d o n l y a l l

s e n t e n c e s o f t h e l a n g u a g e t h a t t h e t o b e l e a r n e d g r a m m a r g e n e r a t e s . ) I n p r a c t i c a l

u s e , w e n e e d t o a l l o w f o r i m p e r f e c t s a m p l e s . T h e r e a r e m a n y c o n t e x t / e x p r e s s i o n

c o m b i n a t i o n s , w h i c h a r e g r a m m a t i c a l b u t n e v e r t h e l e s s w i l l a p p e a r i n f r e q u e n t l y

o r n e v e r : f o r i n s t a n c e , ` J o h n l i k e s e v a p o r a t i n g ' .

T o a l l o w E M I L E t o b e u s e d w i t h i m p e r f e c t s a m p l e s , t w o m o d i c a t i o n s h a v e

b e e n m a d e t o t h e a l g o r i t h m . F i r s t , t h e r e q u i r e m e n t t h a t t h e b l o c k i s c o m p l e t e l y

c o n t a i n e d i n t h e m a t r i x , i s w e a k e n e d t o a r e q u i r e m e n t t h a t t h e b l o c k i s m o s t l y

c o n t a i n e d i n t h e m a t r i x , i . e . , e x c e e d s s o m e u s e r - d e n e d t r e s h o l d s . S p e c i c a l l y ,

t h e p e r c e n t a g e o f c o n t e x t / e x p r e s s i o n p a i r s o f t h e b l o c k t h a t a r e c o n t a i n e d i n t h e

m a t r i x s h o u l d e x c e e d a t r e s h o l d , a n d f o r e a c h i n d i v i d u a l r o w o r c o l u m n o f t h e

b l o c k , t h e p e r c e n t a g e f o r t h a t r o w o r c o l u m n s h o u l d a l s o e x c e e d a t r e s h o l d . ( T h e

l a t t e r t r e s h o l d s h o u l d b e l o w e r t h a n t h e f o r m e r t r e s h o l d . )

S e c o n d l y , t h e s h a l l o w n e s s c o n s t r a i n t o n l a n g u a g e s s a y s t h a t s h o r t e x p r e s -

s i o n s a n d c o n t e x t s c o n t a i n a l l g r a m m a t i c a l i n f o r m a t i o n a b o u t a l a n g u a g e . T h u s

i n i t i a l l y w e c a n r e s t r i c t o u r s e l v e s t o s h o r t e x p r e s s i o n s a n d c o n t e x t s . T h e s h o r t

e x p r e s s i o n s a n d c o n t e x t s t h a t b e l o n g t o e x a c t l y o n e t y p e a r e c o n s i d e r e d t o b e

c h a r a c t e r i s t i c f o r t h a t t y p e . E M I L E u s e s t h e s e c h a r a c t e r i s t i c e x p r e s s i o n s a n d

8/16/2019 sofsem2000

7/14

c o n t e x t s t o n d t h e l o n g e x p r e s s i o n s a n d c o n t e x t s t h a t a l s o b e l o n g t o t h a t t y p e .

E M I L E a s s u m e s t h a t a n y c o n t e x t o r e x p r e s s i o n t h a t a p p e a r s w i t h a c h a r a c t e r -

i s t i c e x p r e s s i o n o r c o n t e x t , m u s t b e i t s e l f a c o n t e x t o r e x p r e s s i o n f o r t h a t t y p e ,

r e g a r d l e s s o f l e n g t h . T h u s a n y ( l o n g ) c o n t e x t o r e x p r e s s i o n t h a t a p p e a r s w i t h

a k n o w n c h a r a c t e r i s t i c e x p r e s s i o n o r c o n t e x t o f a t y p e , i s a c o n t e x t o r e x p r e s -

s i o n f o r t h a t t y p e . I n t h e E M I L E p r o g r a m , t h e ( l o n g ) c o n t e x t s a n d e x p r e s s i o n s

i d e n t i e d b y t h e c h a r a c t e r i s t i c e x p r e s s i o n s a n d c o n t e x t s a r e c a l l e d s e c o n d a r y

c o n t e x t s a n d e x p r e s s i o n s f o r t h a t t y p e , a s o p p o s e d t o t h e p r i m a r y c o n t e x t s a n d

e x p r e s s i o n s t h a t a r e f o u n d b y t h e c l u s t e r i n g a l g o r i t h m .

2 . 4 F i n d i n g R u l e s

A f t e r t h e c l u s t e r i n g E M I L E t r a n s f o r m s t h e g r a m m a t i c a l t y p e s f o u n d i n t o d e r i v a -

t i o n r u l e s . A n e x p r e s s i o n e t h a t b e l o n g s t o t y p e T ] y i e l d s t h e r u l e

T ] ) e :

E M I L E n d s m o r e c o m p l e x r u l e s , b y s e a r c h i n g f o r c h a r a c t e r i s t i c e x p r e s s i o n s o f

o n e t y p e t h a t a p p e a r i n t h e s e c o n d a r y e x p r e s s i o n s o f a n o t h e r ( o r t h e s a m e ) t y p e .

F o r e x a m p l e , i f t h e c h a r a c t e r i s t i c e x p r e s s i o n s o f a t y p e T ] a r e

f d o g c a t g e r b i l g

a n d t h e t y p e S ] c o n t a i n s t h e s e c o n d a r y e x p r e s s i o n s

f I f e e d m y d o g I f e e d m y c a t I f e e d m y g e r b i l g

E M I L E w i l l d e r i v e t h e r u l e

S ] ) I f e e d m y T ]

I n c e r t a i n c a s e s , u s i n g c h a r a c t e r i s t i c a n d s e c o n d a r y e x p r e s s i o n s i n t h i s m a n n e r

a l l o w s E M I L E t o n d r e c u r s i v e r u l e s . F o r i n s t a n c e , a c h a r a c t e r i s t i c e x p r e s s i o n

o f t h e t y p e o f s e n t e n c e s S ] m i g h t b e

M a r y d r i n k s t e a :

I f t h e m a x i m u m l e n g t h f o r p r i m a r y e x p r e s s i o n s i s s e t t o 4 o r 5 , t h e s e n t e n c e

J o h n o b s e r v e s t h a t M a r y d r i n k s t e a

w o u l d b e a s e c o n d a r y e x p r e s s i o n f o r S ] , b u t n o t a p r i m a r y o r c h a r a c t e r i s t i c o n e .

S o i f t h e r e a r e n o o t h e r e x p r e s s i o n s i n v o l v e d , E M I L E w o u l d d e r i v e t h e r e c u r s i v e

r u l e s

S ] ) M a r y d r i n k s t e a

S ] ) J o h n o b s e r v e s t h a t S ]

w h i c h w o u l d a l l o w t h e r e s u l t i n g g r a m m a r t o g e n e r a t e t h e r e c u r s i v e s e n t e n c e

J o h n o b s e r v e s t h a t J o h n o b s e r v e s t h a t M a r y d r i n k s t e a :

T h e t o t a l r u l e g e n e r a t i o n s t e p i s e c i e n t ( r e q u i r e s p o l y n o m i a l t i m e i n t h e s i z e

o f t h e g r a m m a r ) a s p r o v e n i n 1 1 ] .

8/16/2019 sofsem2000

8/14

3 E x p e r i m e n t s

T h i s s e c t i o n p r e s e n t s t h e r e s u l t s o f e x p e r i m e n t s w i t h t h e i m p l e m e n t e d E M I L E

4 . 1 a l g o r i t h m s . T h e a p p l i c a t i o n r u n s o n t h e L i n u x o p e r a t i n g s y s t e m ( R e d H a t

v e r s i o n 2 . 2 . 1 2 - 2 0 ) w i t h 1 2 8 M B R A M . A t y p i c a l s e r i e s ( w i t h d i e r e n t s u p p o r t

p e r c e n t a g e s ) o f 8 t i m e s 8 e x p e r i m e n t s o n 2 0 0 0 l i n e s o f t e x t d a t a ( a p p r o x i m a t e l y

1 0 0 K B ) t a k e s 1 5 . 5 h o u r s . O n a v e r a g e , w e c a n s a y t h a t a s i n g l e r u n o f E M I L E

p r o c e s s e s 1 0 0 K B o f t e x t d a t a i n a q u a r t e r o f a n h o u r .

3 . 1 E x p e r i m e n t s o n a S m a l l D a t a S e t

W e c o n d u c t e d s e v e r a l e x p e r i m e n t s w i t h E M I L E 4 . 1 o n a s m a l l d a t a s e t . T h e

u n d e r l y i n g g r a m m a r f o r t h e e x p e r i m e n t s w a s e q u i v a l e n t t o t h e f o l l o w i n g c o n t e x t -

f r e e g r a m m a r ( w h e r e t h e ` j ' s y m b o l i s u s e d t o s e p a r a t e a l t e r n a t i v e s ) .

S ) I c a n n o t V m a i l w i t h N

V ) r e a d j w r i t e j o p e n j s e n d

N ) M S - M a i l j M S - O u t l o o k j M a i l j O u t l o o k

T h e p u r p o s e o f t h e e x p e r i m e n t s w a s t o i d e n t i f y t h e v e r b ( V ) a n d n o u n ( N )

c a t e g o r i e s . T h e e x p e r i m e n t s s h o w ( T a b . 9 ) t h a t E M I L E l e a r n s a c o r r e c t g r a m m a r

f o r s m a l l d a t a s e t u n d e r v a r i o u s c o n d i t i o n s . W h e n a p p l y i n g E M I L E w i t h t h e

d e f a u l t s e t t i n g s ( s u p p o r t p e r c e n t a g e s 7 0 , 7 0 , 9 1 ) o n t h e p e r f e c t s a m p l e o f 1 6

s e n t e n c e s , E M I L E i n d u c e s a p e r f e c t g r a m m a r t h a t i d e n t i e s e x a c t l y t h e v e r b a n d

n o u n c a t e g o r i e s . W h e n E M I L E i s a p p l i e d w i t h m o r e l i b e r a l s e t t i n g s o n s m a l l e r

d a t a s e t s , E M I L E i n d u c e s t h e u n d e r l y i n g g r a m m a r f o r t h e i n t e n d e d l a n g u a g e .

T h e r s t , t h i r d a n d s i x t h e x p e r i m e n t s p r o d u c e a g r a m m a r e q u i v a l e n t t o t h e

o r i g i n a l . T h e s i x e x p e r i m e n t s s h o w t h a t t h e E M I L E p r o g r a m a l s o i s a b l e t o g e n -

e r a l i z e p r o p e r l y o v e r a v e r y s m a l l d a t a s a m p l e . E v e n i f o n l y h a l f o f t h e i n t e n d e d

s e n t e n c e s a r e g i v e n , E M I L E i n d u c e s t h e i n t e n d e d g r a m m a r w h e n s e t t i n g s a r e

c h o s e n c a r e f u l l y .

3 . 2 E x p e r i m e n t s o n L a r g e D a t a S e t s

W e e x p e r i m e n t e d w i t h t h r e e l a r g e d a t a s e t s . T h e s e c o n d s e r i e s i n v o l v e s a d a t a

s e t o f a b s t r a c t s f r o m t h e b i o - m e d i c a l ( t h e M e d l i n e a r c h i v e ) d o m a i n . T h e n a l

s e r i e s o f e x p e r i m e n t s i s c o n d u c t e d o n t h e B i b l e , K i n g J a m e s v e r s i o n . T h e r s t

s e r i e s i s a n e x c e r c i s e f o r s t u d e n t s .

A 2 0 0 0 S e n t e n c e S a m p l e . W e c o n d u c t e d a n e x p e r i m e n t w i t h a g r o u p o f

a p p r o x i m a t e l y 3 0 s t u d e n t s . T h e p u r p o s e o f t h e e x e r c i s e w a s t o r e c o n s t r u c t a

s p e c i c g r a m m a r f r o m a 2 0 0 0 s e n t e n c e s a m p l e .

8/16/2019 sofsem2000

9/14

T a b l e 9 . E x p e r i m e n t r e s u l t s o n a s m a l l d a t a s e t

A B C D E F G H I J K

1 6 7 0 7 0 9 1 2 2 9 1 3 9 1 7 2 5 1 6 y e s

1 2 7 0 7 0 9 1 1 8 5 1 1 9 5 3 8 8 1 2 n o

1 2 3 0 3 0 5 0 1 8 5 1 1 9 1 7 2 0 1 6 y e s

8 7 0 7 0 9 1 1 4 1 9 9 5 3 8 0 8 n o

8 4 0 4 0 6 0 1 4 1 9 9 3 7 5 1 0 1 5 n o

8 5 0 5 0 7 0 1 4 1 9 9 5 4 6 1 5 1 6 y e s

L e g e n d

A = N u m b e r o f s e n t e n c e s r e a d

B = P r i m a r y c o n t e x t s u p p o r t p e r c e n t a g e

C = P r i m a r y e x p r e s s i o n s u p p o r t p e r c e n t a g e

D = T o t a l s u p p o r t p e r c e n t a g e

E = N u m b e r o f d i e r e n t c o n t e x t s i d e n t i e d

F = N u m b e r o f d i e r e n t e x p r e s s i o n s i d e n t i e d

G = N u m b e r o f d i e r e n t g r a m m a t i c a l t y p e s i d e n t i e d

H = N u m b e r o f d i e r e n t d i c t i o n a r y t y p e s i d e n t i e d

I = N u m b e r o f d i e r e n t C h o m s k y r u l e s i d e n t i e d

J = S i z e o f g e n e r a t e d l a n g u a g e

K = E q u i v a l e n t g r a m m a r

T h e E x e r c i s e . T h e s t u d e n t s w e r e g i v e n a s a m p l e o f 2 0 0 0 s e n t e n c e s r a n d o m l y

g e n e r a t e d f r o m t h e c o n t e x t - f r e e g r a m m a r g i v e n i n T a b . 1 0 ( w h e r e t h e `j ' s y m b o l

i s u s e d t o s e p a r a t e a l t e r n a t i v e s ) . U s i n g E M I L E , a n d e x p e r i m e n t i n g w i t h t h e

s e t t i n g s , t h e s t u d e n t s w e r e t o l d t o n d a g r a m m a r f o r t h e s a m p l e .

T h e R e s u l t s . O n t h e n e g a t i v e s i d e , t h e r e s u l t i n g g r a m m a r s s u e r f r o m b e i n g

o v e r s i z e d ( 3 0 0 0 t o 4 0 0 0 r u l e s ) . M a n y t y p e s a p p e a r t o b e s l i g h t v a r i a t i o n s o f o n e

a n o t h e r , a l l o f w h i c h a r e u s e d i n t h e r u l e s , w h e r e o n e v a r i a t i o n w o u l d s u c e .

C l e a r l y , t h e r u l e s - n d i n g a l g o r i t h m o f E M I L E w o u l d b e n e t f r o m b e i n g o p t i -

m i z e d t o u s e f e w e r t y p e s o r a s f e w t y p e s a s p o s s i b l e .

O n t h e p o s i t i v e s i d e , t h e r e s u l t i n g g r a m m a r s a r e a s p o w e r f u l a s t h e o r i g i n a l

g r a m m a r , i . e , g e n e r a t e s t h e s a m e c o n s t r u c t i o n s a s t h e o r i g i n a l g r a m m a r ) . I n a l l

c a s e s t h e r e s u l t i n g g r a m m a r s m a n a g e t o c a p t u r e t h e r e c u r s i o n o f t h e g r a m m a r .

I n s o m e c a s e s , t h e g r a m m a r s a r e a c t u a l l y s t r o n g e r t h a n t h e o r i g i n a l g r a m m a r

( i . e . , g e n e r a t e d n e w c o n s t r u c t i o n s ) . S o m e t i m e s s e n t e n c e s s u c h a s ` J o h n l i k e s t h e

m a n w i t h t h e h o u s e n e a r t h e c i t y w i t h t h e s h o p ' a r e p r o d u c e d . T h i s i s i n d i c a t i v e

o f n d i n g r u l e s s u c h a s

N P ] ) N P ] P ] N P

p

]

a s c a n b e i n d u c e d f r o m t h e r u l e f o r n o n - t e r m i n a l V P

a

] .

T h e B i o - m e d i c a l D o m a i n . T h e s e c o n d s e r i e s o f e x p e r i m e n t s i n v o l v e d b i o -

m e d i c a l a b s t r a c t s , a n e x t r e m e l y c o m p l e x s a m p l e . T h e b i o - m e d i c a l a b s t r a c t s f o r m

8/16/2019 sofsem2000

10/14

T a b l e 1 0 . C o n t e x t - f r e e g r a m m a r f o r 2 0 0 0 s e n t e n c e s a m p l e

S ] ) N P ] V

i

] A D V ] j N P

a

] V P

a

] j N P

a

] V

s

] t h a t S ]

N P ] ) N P

a

] j N P

p

]

V P

a

] ) V

t

] N P ] j V

t

] N P ] P ] N P

p

]

N P

a

] ) J o h n j M a r y j t h e m a n j t h e c h i l d

N P

p

] ) t h e c a r j t h e c i t y j t h e h o u s e j t h e s h o p

P ] ) w i t h j n e a r j i n j f r o m

V

i

] ) a p p e a r s j i s j s e e m s j l o o k s

V

s

] ) t h i n k s j h o p e s j t e l l s j s a y s

V

t

] ) k n o w s j l i k e s j m i s s e s j s e e s

A D V ] ) l a r g e j s m a l l j u g l y j b e a u t i f u l

a m o r e h e t e r o g e n e o u s d a t a s e t t h a n t h e B i b l e i n t h e n e x t s e c t i o n . T h e a b s t r a c t s

f o r m a t o t a l o f a p p r o x i m a t e l y 1 5 0 K B ( 3 0 0 0 l i n e s ) o f f r e e t e x t . T h e e x p e r i m e n t s

s h o w t h a t e a c h n e w a b s t r a c t i n t r o d u c e s n e w w o r d s a n d n e w s e n t e n c e s ( s e e F i g . 1 ) .

T h e n u m b e r o f d i e r e n t c o n t e x t s a n d e x p r e s s i o n s i d e n t i e d i n c r e a s e s l i n e a r l y

w i t h t h e n u m b e r o f s e n t e n c e s r e a d .

A l t h o u g h t h e d a t a s e t i s b y f a r n o t l a r g e e n o u g h t o c o n v e r g e , t h e e x p e r i m e n t s

a l r e a d y y i e l d s o m e i n t e r e s t i n g t y p e s . G r a m m a t i c a l t y p e 1 6 ] i n T a b . 1 1 s h o w s a

g r o u p o f a c a d e m i c i n s t i t u t e s t y p e 9 4 ] a g r o u p o f l a n g u a g e s f r o m w h i c h t h e

a b s t r a c t s w e r e t r a n s l a t e d t y p e 1 0 1 ] a g r o u p o f j o u r n a l i s s u e s a n d t y p e 1 0 5 ]

d e n o t e s a g r o u p o f o b s e r v a t i o n - v e r b s .

T a b l e 1 1 . C l u s t e r s f r o m t h e M e d l i n e d a t a s e t

1 6 ] ) S c h o o l o f M e d i c i n e , U n i v e r s i t y o f W a s h i n g t o n , S e a t t l e 9 8 1 9 5 , U S A

1 6 ] ) U n i v e r s i t y o f K i t a s a t o H o s p i t a l , S a g a m i h a r a , K a n a g a w a , J a p a n

1 6 ] ) H e i n r i c h - H e i n e - U n i v e r s i t y , D u s s e l d o r f , G e r m a n y

1 6 ] ) S c h o o l o f M e d i c i n e , C h i b a U n i v e r s i t y

9 4 ] ) C h i n e s e

9 4 ] ) J a p a n e s e

9 4 ] ) P o l i s h

1 0 1 ] ) 3 2 : C a n c e r R e s 1 9 9 6 O c t

1 0 1 ] ) 3 5 : G e n o m i c s 1 9 9 6 A u g

1 0 1 ] ) 4 4 : C a n c e r R e s 1 9 9 5 D e c

1 0 1 ] ) 5 0 : C a n c e r R e s 1 9 9 5 F e b

1 0 1 ] ) 5 4 : E u r J B i o c h e m 1 9 9 4 S e p

1 0 1 ] ) 5 8 : C a n c e r R e s 1 9 9 4 M a r

1 0 5 ] ) i d e n t i e d i n 1 3 c a s e s ( 7 2

1 0 5 ] ) d e t e c t e d i n 9 o f 8 7 i n f o r m a t i v e c a s e s ( 1 0

1 0 5 ] ) o b s e r v e d i n 5 ( 5 5

8/16/2019 sofsem2000

11/14

8/16/2019 sofsem2000

12/14

T h e B i b l e E x p e r i m e n t s . T h e B i b l e e x p e r i m e n t s s h o w t h a t o n l a r g e h o m o -

g e n e o u s d a t a s e t s ( a p p r o x i m a t e l y 6 M B o f f r e e t e x t ) t h e n u m b e r o f d i e r e n t

s e n t e n c e s a n d w o r d s e n c o u n t e r e d s t a r t s t o c o n v e r g e . A s a c o n s e q u e n c e , a l s o t h e

n u m b e r o f d i e r e n t c o n t e x t s a n d e x p r e s s i o n s s t a r t s t o c o n v e r g e a t a h i g h e r l e v e l .

T h e e x p e r i m e n t s a l s o i d e n t i f y s i g n i c a n t s h i f t s i n s t y l e . T h e g r a p h i n F i g . 2 d e -

p i c t s a s t e e p i n c r e a s e i n s e n t e n c e s a n d w o r d s a t B i b l e b o o k 1 9 .

F i g . 2 . T h e B i b l e e x p e r i m e n t s

T h e B i b l e e x p e r i m e n t s h o w s t h a t t h e g r a m m a r i n d u c t i o n s t a r t s t o c o n v e r g e

a t a p r a c t i c a l d a t a s e t . T h i s e x p e r i m e n t f a l s i e s t h e c o n j e c t u r e t h a t l e a r n i n g

n a t u r a l l a n g u a g e g r a m m a r s f r o m p o s i t i v e e x a m p l e s o n l y i s i n f e a s i b l e .

T a b l e 1 2 p r e s e n t s a f e w t y p e s f o r l a r g e s e m a n t i c g r o u p s o f n a m e s t h a t E M I L E

r e v e a l e d i n t h e B i b l e .

4 F u t u r e D e v e l o p m e n t s

A l t h o u g h t h e i n i t i a l r e s u l t s w i t h E M I L E 4 . 1 a r e i n t e r e s t i n g , t h e r e i s s t i l l a l o t

o f r o o m f o r i m p r o v e m e n t . I n p a r t i c u l a r , t h e r e s h o u l d b e a b e t t e r a l g o r i t h m t o

t r a n s f o r m t h e g r a m m a t i c a l t y p e s i n t o a g r a m m a r o f d e r i v a t i o n r u l e s . T h e c u r r e n t

a l g o r i t h m i s a b r u t e - f o r c e s e a r c h w i t h a f e w b a s i c ` t r i c k s ' u s e d t o d e c r e a s e t h e

s i z e o f t h e r e s u l t i n g g r a m m a r s . T h e g r a m m a r s s t i l l a r e l a r g e r t h a n n e c e s s a r y ,

o f t e n b y a l a r g e f a c t o r . A d d i t i o n a l l y , c u r r e n t l y t h e g r a m m a r s c o n s t r u c t e d b y

E M I L E a r e c o n t e x t - f r e e : i t m a y b e p o s s i b l e t o a d a p t E M I L E t o p r o d u c e m o r e

s e n s i b l e , c o n t e x t - s e n s i t i v e , g r a m m a r s .

8/16/2019 sofsem2000

13/14

T a b l e 1 2 . C l u s t e r s f r o m t h e B i b l e d a t a s e t

7 6 ] ) E s a u j I s a a c j A b r a h a m j R a c h e l j L e a h j L e v i j J u d a h j N a p h t a l i j

A s h e r j B e n j a m i n j E l i p h a z j R e u e l j A n a h j S h o b a l j E z e r j D i s h a n

j P h a r e z j M a n a s s e h j G e r s h o n j K o h a t h j M e r a r i j A a r o n j A m r a m j

M u s h i j S h i m e i j M a h l i j J o e l j S h e m a i a h j S h e m j H a m j S a l m a j L a a d a n

j Z o p h a h j E l p a a l j J e h i e l i

4 1 4 ] ) S i m e o n j J u d a h j D a n j N a p h t a l i j G a d j A s h e r j I s s a c h a r j Z e b u l u n j

B e n j a m i n j G e r s h o m

3 0 8 6 ] ) E g y p t j M o a b j D u m a h j T y r e j D a m a s c u s

F u r t h e r m o r e , a b e t t e r u n d e r s t a n d i n g o f t h e p o t e n t i a l a p p l i c a t i o n d o m a i n s o f

E M I L E i s d e s i r a b l e . T h e e x p e r i m e n t s s h o w e d t h a t E M I L E c a n b e u s e d t o e x -

t r a c t s e m a n t i c d a t a f r o m a t e x t . T h e w o r l d w i d e w e b i s a n o b v i o u s a p p l i c a t i o n

d o m a i n f o r E M I L E , w h i c h h a s n o t y e t b e e n e x p l o r e d . C u r r e n t l y w e a r e a p p l y i n g

E M I L E t o a l a r g e b o d y o f d i e r e n t t e x t s a n d m e s s a g e s : a t e x t b o o k o n D u t c h

f o r f o r e i g n e r s , b i o - m e d i c a l d a t a , v o c a t i o n a l p r o l e s a n d a r c h a e o l o g i c a l i n s c r i p -

t i o n s . E M I L E m i g h t b e u s e f u l a s t h e k e r n e l o f a t o o l t h a t c o n s t r u c t s t h e s a u r i o r

k n o w l e d g e b a s e s f r o m f r e e t e x t . E M I L E c a n b e a p p l i e d t o w o r d s i n s t e a d o f s e n -

t e n c e s a n d l e a r n m o r p h o l o g i c a l s t r u c t u r e s . E M I L E m i g h t b e o f h e l p t o d e v e l o p

m a t h e m a t i c a l m o d e l s o f r s t a n d s e c o n d l a n g u a g e a c q u i s i t i o n .

5 C o n c l u s i o n s

T h e o r e t i c a l l y , E M I L E l e a r n s t h e c o r r e c t g r a m m a t i c a l s t r u c t u r e o f a l a n g u a g e

f r o m s e n t e n c e s o f t h a t l a n g u a g e i n t h e l i m i t . T h e c u r r e n t i m p l e m e n t a t i o n ( E M I L E

4 . 1 ) i s o n e o f t h e r s t e c i e n t ( 2 ] , 1 1 ] ) g r a m m a r i n d u c t i o n a l g o r i t h m s t h a t w o r k

o n f r e e t e x t . A l t h o u g h E M I L E 4 . 1 i s f a r f r o m p e r f e c t , i t e n a b l e s r e s e a r c h e r s

t o s t a r t e m p i r i c a l g r a m m a r i n d u c t i o n r e s e a r c h o n v a r i o u s t y p e s o f c o r p o r a . A

b i g d r a w b a c k o f t h e c u r r e n t i m p l e m e n t a t i o n i s t h e o v e r g e n e r a l i s a t i o n o f t y p e s .

E M I L E a l m o s t n e v e r n d s t h e s i m p l e b a s i c ` s e n t e n c e i s n o u n - p h r a s e + v e r b -

p h r a s e ' r u l e w h e n a p p l i e d t o r e a l l i f e d a t a . I n m o s t c a s e s i t n d s t h o u s a n d s o f

s m a l l v a r i a n t s o f t h i s r u l e i n a l a r g e b o d y o f t e x t . T h i s i s o b v i o u s l y a n i s s u e t h a t

h a s t o b e a d d r e s s e d .

T h e c u r r e n t E M I L E 4 . 1 i m p l e m e n t a t i o n l e a r n s a s u b c l a s s o f t h e s h a l l o w

c o n t e x t - f r e e l a n g u a g e s t h a t i s s u c i e n t l y r i c h t o b e o f p r a c t i c a l i n t e r e s t i n t h e

c o n t e x t o f s y n t a c t i c a n d s e m a n t i c a n a l y s i s o f l a r g e c o r p o r a . A v e r y p r o m i s i n g

o b s e r v a t i o n i s t h a t E M I L E a l r e a d y s t a r t s t o c o n v e r g e o n d a t a s e t s o f m o d e r a t e

s i z e l i k e t h e B i b l e . A b e t t e r u n d e r s t a n d i n g o f t h e p r o s p e c t s o f c o n v e r g e n c e o n

v a r i o u s t y p e s o f t e x t i s n e c e s s a r y .

8/16/2019 sofsem2000

14/14

R e f e r e n c e s

1 . N . A b e , L e a r n a b i l i t y a n d l o c a l i t y o f f o r m a l g r a m m a r s , i n P r o c e e d i n g s o f t h e 2 6 t h

A n n u a l m e e t i n g o f t h e A s s o c i a t i o n o f c o m p u t a t i o n a l l i n g u i s t i c s , 1 9 8 8 .

2 . P . W . A d r i a a n s , L a n g u a g e L e a r n i n g f r o m a C a t e g o r i a l P e r s p e c t i v e , P h D t h e s i s ,

U n i v e r s i t y o f A m s t e r d a m , 1 9 9 2 .

3 . P . W . A d r i a a n s , B i a s i n I n d u c t i v e L a n g u a g e L e a r n i n g , i n P r o c e e d i n g s o f t h e M L 9 2

W o r k s h o p o n B i a s e s i n I n d u c t i v e L e a r n i n g , A b e r d e e n , 1 9 9 2 .

4 . P . W . A d r i a a n s , L e a r n i n g S h a l l o w C o n t e x t - F r e e L a n g u a g e s u n d e r S i m p l e D i s t r i -

b u t i o n s , I L L C R e s e a r c h R e p o r t P P - 1 9 9 9 - 1 3 , I n s t i t u t e f o r L o g i c , L a n g u a g e a n d

C o m p u t a t i o n , A m s t e r d a m , 1 9 9 9 .

5 . P . W . A d r i a a n s , S . J a n s s e n , E . N o m d e n , E e c t i v e i d e n t i c a t i o n o f s e m a n t i c c a t -

e g o r i e s i n c u r r i c u l u m t e x t s b y m e a n s o f c l u s t e r a n a l y s i s , i n w o r k s h o p - n o t e s o n

M a c h i n e L e a r n i n g T e c h n i q u e s f o r T e x t A n a l y s i s , V i e n n a , 1 9 9 3 .

6 . P . W . A d r i a a n s , A . K . K n o b b e , E M I L E : L e a r n i n g C o n t e x t - f r e e G r a m m a r s f r o m

E x a m p l e s , i n P r o c e e d i n g s o f B E N E L E A R N ' 9 6 , 1 9 9 6

7 . W . B u s z k o w s k i , G . P e n n , C a t e g o r i a l G r a m m a r s D e t e r m i n e d f r o m L i n g u i s t i c D a t a

b y U n i c a t i o n , T h e U n i v e r s i t y o f C h i c a g o , T e c h n i c a l R e p o r t 8 9 - 0 5 , J u n e 1 9 8 9 .

8 . E . D o r n e n b u r g , E x t e n s i o n o f t h e E M I L E a l g o r i t h m f o r i n d u c t i v e l e a r n i n g o f

c o n t e x t - f r e e g r a m m a r s f o r n a t u r a l l a n g u a g e s , M a s t e r ' s T h e s i s , U n i v e r s i t y o f D o r t -

m u n d , 1 9 9 7 .

9 . M . K a n a z a w a , L e a r n a b l e C l a s s e s o f C a t e g o r i a l G r a m m a r s , P h D t h e s i s , U n i v e r s i t y

o f S t a n f o r d , 1 9 9 4 .

1 0 . R . O e h r l e , E . B a c h , D . W h e e l e r ( e d s . ) , C a t e g o r i a l G r a m m a r s a n d N a t u r a l L a n -

g u a g e S t r u c t u r e s , D . R e i d e l P u b l i s h i n g C o m p a n y , D o r d r e c h t , 1 9 8 8 .

1 1 . M . R . V e r v o o r t , G a m e s , W a l k s a n d G r a m m a r s : P r o b l e m s I ' v e W o r k e d O n , P h D

t h e s i s , U n i v e r s i t y o f A m s t e r d a m , 2 0 0 0 .