8/22/2019 10.1.1.36.5786

1/12

S h o u l d C o m p u t e r S c i e n t i s t s E x p e r i m e n t M o r e ?

1 6 E x c u s e s t o A v o i d E x p e r i m e n t a t i o n

W a l t e r F . T i c h y

U n i v e r s i t y o f K a r l s r u h e , G e r m a n y

N o v . 1 9 9 7

A b s t r a c t

C o m p u t e r s c i e n t i s t s a n d p r a c t i t i o n e r s d e f e n d

t h e l a c k o f e x p e r i m e n t a t i o n w i t h a w i d e r a n g e

o f a r g u m e n t s . S o m e a r g u m e n t s s u g g e s t t h a t

e x p e r i m e n t a t i o n m a y b e i n a p p r o p r i a t e , t o o

d i c u l t , u s e l e s s , a n d e v e n h a r m f u l . T h i s a r -

t i c l e d i s c u s s e s s e v e r a l s u c h a r g u m e n t s t o i l l u s -

t r a t e t h e i m p o r t a n c e o f e x p e r i m e n t a t i o n f o r

c o m p u t e r s c i e n c e .

T h i s i s a p r e p r i n t o f a n a r t i c l e w i t h t h e s a m e

t i t l e t h a t a p p e a r e d i n I E E E C o m p u t e r , 3 1 ( 5 ) ,

M a y 1 9 9 8 , 3 2 { 4 0 .

K e y w o r d s : E m p i r i c i s m , e x p e r i m e n t s , l a b o -

r a t o r y , s c i e n t i c m e t h o d .

1 I s c o m p u t e r s c i e n c e a n

e x p e r i m e n t a l s c i e n c e ?

D o c o m p u t e r s c i e n t i s t s n e e d t o e x p e r i m e n t a t

a l l ? O n l y i f w e a n s w e r \ y e s " d o e s i t m a k e

s e n s e t o a s k w h e t h e r t h e r e i s e n o u g h o f i t .

I n h i s A l l e n N e w e l l A w a r d L e c t u r e , F r e d

B r o o k s s u g g e s t s t h a t c o m p u t e r s c i e n c e i s \ n o t

a s c i e n c e , b u t a s y n t h e t i c , a n e n g i n e e r i n g

d i s c i p l i n e " 2 ] . I n a n e n g i n e e r i n g e l d , t e s t -

i n g t h e o r i e s b y e x p e r i m e n t s w o u l d b e m i s -

p l a c e d . B r o o k s a n d o t h e r s s e e m t r o u b l e d b y

t h e f a c t t h a t t h e p h e n o m e n a s t u d i e d b y c o m -

p u t e r s c i e n t i s t s a p p e a r m a n u f a c t u r e d | c o m -

p u t e r s a n d p r o g r a m s a r e h u m a n c r e a t i o n s , s o

w e c o u l d c o n c l u d e t h a t c o m p u t e r s c i e n c e i s n o t

a n a t u r a l s c i e n c e i n t h e t r a d i t i o n a l s e n s e .

I t h i n k t h a t t h e e n g i n e e r i n g v i e w o f c o m -

p u t e r s c i e n c e i s t o o n a r r o w , t o o c o m p u t e r -

m y o p i c . F i r s t o f a l l , t h e p r i m a r y s u b j e c t s o f

i n q u i r y i n c o m p u t e r s c i e n c e a r e n o t m e r e l y

c o m p u t e r s , b u t i n f o r m a t i o n a n d i n f o r m a t i o n

p r o c e s s e s 1 3 ] . C o m p u t e r s p l a y a d o m i n a n t r o l e

b e c a u s e t h e y m a k e i n f o r m a t i o n p r o c e s s e s e a s -

i e r t o m o d e l a n d o b s e r v e . H o w e v e r , b y n o

m e a n s a r e c o m p u t e r s t h e o n l y p l a c e w h e r e i n -

f o r m a t i o n p r o c e s s e s o c c u r . I n f a c t , c o m p u t e r

m o d e l s c o m p a r e p o o r l y w i t h i n f o r m a t i o n p r o -

c e s s e s f o u n d i n n a t u r e , s a y i n n e r v o u s s y s t e m s ,

i n i m m u n e s y s t e m s , i n g e n e t i c p r o c e s s e s , o r ,

i f y o u w i l l , i n t h e b r a i n s o f p r o g r a m m e r s a n d

c o m p u t e r u s e r s . T h e p h e n o m e n a s t u d i e d i n

c o m p u t e r s c i e n c e a r e m u c h b r o a d e r t h a n t h o s e

a r i s i n g a r o u n d c o m p u t e r s .

R e g a r d i n g \ s y n t h e t i c n e s s " , I p r e f e r t o t h i n k

a b o u t c o m p u t e r s a n d p r o g r a m s a s m o d e l s .

M o d e l i n g i s i n t h e b e s t t r a d i t i o n o f s c i e n c e ,

b e c a u s e i t h e l p s u s s t u d y p h e n o m e n a c l o s e l y .

F o r e x a m p l e , f o r s t u d y i n g l a s i n g , o n e n e e d s

t o b u i l d a l a s e r . R e g a r d l e s s o f w h e t h e r l a s e r s

o c c u r i n n a t u r e , b u i l d i n g a l a s e r d o e s n o t

m a k e t h e p h e n o m e n o n o f m a s s i v e s t i m u l a t e d

e m i s s i o n a r t i c i a l . S u p e r h e a v y e l e m e n t s m u s t

b e s y n t h e s i z e d i n t h e l a b f o r s t u d y , b e c a u s e

t h e y a r e u n s t a b l e a n d d o n o t o c c u r n a t u r a l l y ,

1

8/22/2019 10.1.1.36.5786

2/12

y e t n o b o d y a s s u m e s t h a t p a r t i c l e p h y s i c s i s

s y n t h e t i c . S i m i l a r l y , c o m p u t e r s a n d s o f t w a r e

d o n ' t o c c u r n a t u r a l l y , b u t t h e y h e l p u s m o d e l

a n d s t u d y i n f o r m a t i o n p r o c e s s e s c l o s e l y . U s -

i n g t h e s e d e v i c e s d o e s n o t r e n d e r i n f o r m a t i o n

p r o c e s s e s a r t i c i a l .

A m a j o r d i e r e n c e t o t r a d i t i o n a l s c i e n c e s i s

t h a t i n f o r m a t i o n i s n e i t h e r e n e r g y n o r m a t t e r .

C o u l d t h i s d i e r e n c e b e t h e r e a s o n w e s e e l i t -

t l e e x p e r i m e n t a t i o n i n c o m p u t e r s c i e n c e ? T o

a n s w e r t h i s q u e s t i o n s , l e t ' s l o o k a t t h e p u r p o s e

o f e x p e r i m e n t s .

2 W h y s h o u l d w e e x p e r i -

m e n t ?

W h e n I d i s c u s s t h e p u r p o s e o f e x p e r i m e n t s

w i t h m a t h e m a t i c i a n s , t h e y o f t e n e x c l a i m t h a t

e x p e r i m e n t s d o n ' t p r o v e a t h i n g . I t i s t r u e

t h a t n o a m o u n t o f e x p e r i m e n t a t i o n p r o v i d e s

p r o o f w i t h a b s o l u t e c e r t a i n t y . W h a t t h e n a r e

e x p e r i m e n t s g o o d f o r ? W e u s e e x p e r i m e n t s f o r

t h e o r y t e s t i n g a n d f o r e x p l o r a t i o n .

E x p e r i m e n t a l i s t s t e s t t h e o r e t i c a l p r e d i c -

t i o n s a g a i n s t r e a l i t y . A c o m m u n i t y g r a d u a l l y

a c c e p t s a t h e o r y i f a l l k n o w n f a c t s w i t h i n i t s

d o m a i n c a n b e d e d u c e d f r o m t h e t h e o r y , i f

i t h a s w i t h s t o o d n u m e r o u s e x p e r i m e n t a l t e s t s

a n d i f i t c o r r e c t l y p r e d i c t s n e w p h e n o m e n a .

N e v e r t h e l e s s , t h e r e i s a l w a y s a n e l e m e n t o f

s u s p e n s e : T o p a r a p h r a s e D i j k s t r a , a n e x p e r i -

m e n t c a n o n l y s h o w t h e p r e s e n c e o f b u g s i n a

t h e o r y , n o t t h e i r a b s e n c e . S c i e n t i s t s a r e k e e n l y

a w a r e o f t h i s u n c e r t a i n t y a n d a r e t h e r e f o r e

r e a d y t o s h o o t d o w n a t h e o r y i f c o n t r a d i c t i n g

e v i d e n c e c o m e s t o l i g h t .

A g o o d e x a m p l e o f t h e o r y f a l s i c a t i o n i n

c o m p u t e r s c i e n c e i s t h e f a m o u s K n i g h t - a n d -

L e v e s o n e x p e r i m e n t 8 ] . T h e e x p e r i m e n t w a s

c o n c e r n e d w i t h t h e f a i l u r e p r o b a b i l i t i e s o f

m u l t i - v e r s i o n p r o g r a m s . C o n v e n t i o n a l t h e -

o r y p r e d i c t e d t h a t t h e f a i l u r e p r o b a b i l i t y o f

a m u l t i - v e r s i o n p r o g r a m w a s t h e p r o d u c t o f

t h e f a i l u r e p r o b a b i l i t i e s o f t h e i n d i v i d u a l v e r -

s i o n s . H o w e v e r , K n i g h t a n d L e v e s o n o b s e r v e d

i n a n e x p e r i m e n t t h a t t h e f a i l u r e p r o b a b i l i -

t i e s o f r e a l m u l t i - v e r s i o n p r o g r a m s w e r e s i g -

n i c a n t l y h i g h e r . I n e s s e n c e , t h e e x p e r i m e n t

f a l s i e d t h e b a s i c a s s u m p t i o n o f c o n v e n t i o n a l

t h e o r y , n a m e l y t h a t f a u l t s i n p r o g r a m v e r s i o n s

a r e s t a t i s t i c a l l y i n d e p e n d e n t .

E x p e r i m e n t s a r e a l s o u s e d f o r e x p l o r i n g a r -

e a s w h e r e t h e o r y a n d d e d u c t i v e a n a l y s i s d o n o t

r e a c h . E x p e r i m e n t s p r o b e t h e i n u e n c e o f a s -

s u m p t i o n s , e l i m i n a t e a l t e r n a t i v e e x p l a n a t i o n s

o f p h e n o m e n a , a n d u n e a r t h n e w p h e n o m e n a

i n n e e d o f e x p l a n a t i o n . I n t h i s m o d e , e x p e r -

i m e n t s h e l p w i t h i n d u c t i o n : d e r i v i n g t h e o r i e s

f r o m o b s e r v a t i o n .

A r t i c i a l n e u r a l n e t w o r k s a r e a g o o d e x a m -

p l e o f t h i s p r o c e s s . A f t e r h a v i n g b e e n d i s -

c a r d e d o n t h e o r e t i c a l g r o u n d s , e x p e r i m e n t s

d e m o n s t r a t e d p r o p e r t i e s b e t t e r t h a n p r e -

d i c t e d . R e s e a r c h e r s h a v e n o w d e v e l o p e d b e t -

t e r t h e o r i e s t o a c c o u n t f o r t h e s e p r o p e r t i e s .

2 . 1 T r a d i t i o n a l s c i e n t i c m e t h o d

i s n ' t a p p l i c a b l e

T h e f a c t t h a t | i n t h e e l d o f c o m p u t e r s c i -

e n c e | t h e s u b j e c t o f i n q u i r y i s i n f o r m a t i o n

r a t h e r t h a n m a t t e r o r e n e r g y m a k e s n o n o d i f -

f e r e n c e t o t h e a p p l i c a b i l i t y o f t h e t r a d i t i o n a l

s c i e n t i c m e t h o d . I n o r d e r t o u n d e r s t a n d t h e

n a t u r e o f i n f o r m a t i o n p r o c e s s e s , c o m p u t e r s c i -

e n t i s t s m u s t o b s e r v e p h e n o m e n a , f o r m u l a t e

e x p l a n a t i o n s a n d t h e o r i e s , a n d t e s t t h e m .

T h e r e a r e p l e n t y o f c o m p u t e r s c i e n c e t h e -

o r i e s t h a t h a v e n ' t b e e n t e s t e d . F o r i n s t a n c e ,

f u n c t i o n a l p r o g r a m m i n g , o b j e c t - o r i e n t e d p r o -

g r a m m i n g , a n d f o r m a l m e t h o d s a r e a l l t h o u g h t

t o i m p r o v e p r o g r a m m e r p r o d u c t i v i t y , p r o g r a m

q u a l i t y , o r b o t h . I t i s s u r p r i s i n g t h a t n o n e

o f t h e s e o b v i o u s l y i m p o r t a n t c l a i m s h a v e e v e r

b e e n t e s t e d i n a s y s t e m a t i c w a y , e v e n t h o u g h

t h e y a r e a l l 3 0 y e a r s o l d a n d a l o t o f e o r t

2

8/22/2019 10.1.1.36.5786

3/12

h a s b e e n i n v e s t e d i n d e v e l o p i n g p r o g r a m m i n g

l a n g u a g e s a n d f o r m a l t e c h n i q u e s .

T r a d i t i o n a l s c i e n c e s u s e t h e o r y t e s t a n d e x -

p l o r a t i o n i t e r a t i v e l y b e c a u s e o b s e r v a t i o n s h e l p

f o r m u l a t e n e w t h e o r i e s t h a t c a n b e t e s t e d

l a t e r . A n i m p o r t a n t r e q u i r e m e n t f o r a n y e x -

p e r i m e n t , h o w e v e r , i s r e p e a t a b i l i t y . R e p e a t a -

b i l i t y m a k e s s u r e t h a t r e s u l t s c a n b e c h e c k e d

i n d e p e n d e n t l y a n d t h u s r a i s e s c o n d e n c e i n

t h e r e s u l t s a n d h e l p s e l i m i n a t e e r r o r s , h o a x e s ,

a n d f r a u d s .

2 . 2 T h e c u r r e n t l e v e l o f e x p e r i -

m e n t a t i o n i s g o o d e n o u g h

S u g g e s t i n g t h a t t h e c u r r e n t l e v e l o f e x p e r i -

m e n t a t i o n d o e s n ' t n e e d t o c h a n g e i s b a s e d o n

t h e a s s u m p t i o n t h a t c o m p u t e r s c i e n t i s t s , a s a

g r o u p , k n o w w h a t t h e y a r e d o i n g . T h i s a r g u -

m e n t m a i n t a i n s t h a t i f w e n e e d m o r e e x p e r i -

m e n t s , w e ' l l s i m p l y d o t h e m .

B u t t h i s a r g u m e n t i s t e n u o u s ; l e t ' s l o o k a t

t h e d a t a . I n 1 5 ] , 4 0 0 p a p e r s w e r e c l a s s i -

e d . O n l y t h o s e p a p e r s w e r e c o n s i d e r e d f u r -

t h e r w h o s e c l a i m s r e q u i r e d e m p i r i c a l e v a l u a -

t i o n . F o r e x a m p l e , p a p e r s t h a t p r o v e d t h e -

o r e m s w e r e e x c l u d e d , b e c a u s e m a t h e m a t i c a l

t h e o r y n e e d s n o e x p e r i m e n t . I n a r a n d o m s a m -

p l e o f a l l p a p e r s A C M p u b l i s h e d i n 1 9 9 3 , t h e

s t u d y f o u n d t h a t o f t h e p a p e r s w i t h c l a i m s

t h a t w o u l d n e e d e m p i r i c a l b a c k u p , 4 0 % h a d

n o n e a t a l l . I n j o u r n a l s r e l a t e d t o s o f t w a r e ,

t h i s f r a c t i o n w a s 5 0 % . T h e s a m e s t u d y a l s o

a n a l y z e d a n o n - C S j o u r n a l , O p t i c a l E n g i n e e r -

i n g , a n d f o u n d t h a t i n t h i s j o u r n a l , t h e f r a c t i o n

o f p a p e r s l a c k i n g q u a n t i t a t i v e e v a l u a t i o n w a s

m e r e l y 1 5 % .

T h e s t u d y b y Z e l k o w i t z a n d W a l l a c e 1 7 ]

f o u n d s i m i l a r r e s u l t s . W h e n a p p l y i n g c o n -

s i s t e n t c l a s s i c a t i o n s c h e m e s , b o t h s t u d i e s r e -

p o r t b e t w e e n 4 0 % a n d 5 0 % u n v a l i d a t e d p a -

p e r s i n s o f t w a r e e n g i n e e r i n g . Z e l k o w i t z a n d

W a l l a c e a l s o s u r v e y e d j o u r n a l s i n p h y s i c s , p s y -

c h o l o g y , a n d a n t h r o p o l o g y a n d a g a i n f o u n d

m u c h s m a l l e r p e r c e n t a g e s o f u n v a l i d a t e d p a -

p e r s t h e r e t h a n i n c o m p u t e r s c i e n c e .

R e l a t i v e t o o t h e r s c i e n c e s , t h e d a t a s h o w s

t h a t c o m p u t e r s c i e n t i s t s v a l i d a t e a s m a l l e r

p e r c e n t a g e o f t h e i r c l a i m s . O n e c o u l d a r g u e

t h a t c o m p u t e r s c i e n c e a t a g e 5 0 i s s t i l l y o u n g

a n d h e n c e a c o m p a r i s o n w i t h o t h e r s c i e n c e s i s

o f l i m i t e d v a l u e . I d i s a g r e e , b e c a u s e 5 0 y e a r s

s e e m s p l e n t y o f t i m e f o r t w o t o t h r e e g e n e r a -

t i o n s o f s c i e n t i s t s t o e s t a b l i s h s o l i d p r i n c i p l e s .

B u t e v e n o n a n a b s o l u t e s c a l e , I t h i n k t h a t

i t i s s c a r y w h e n h a l f o f t h e n o n - m a t h e m a t i c a l

p a p e r s m a k e u n v a l i d a t e d c l a i m s . A s s u m e t h a t

e a c h i d e a p u b l i s h e d w i t h o u t v a l i d a t i o n w o u l d

h a v e t o b e f o l l o w e d u p b y a t l e a s t t w o v a l i d a -

t i o n s t u d i e s ( t h a t ' s a v e r y m i l d r e q u i r e m e n t ) .

I t f o l l o w s t r i v i a l l y t h a t n o m o r e t h a n o n e t h i r d

o f p a p e r s p u b l i s h e d c o u l d c o n t a i n u n v a l i d a t e d

c l a i m s . T h e d a t a s u g g e s t s t h a t c o m p u t e r s c i -

e n t i s t s p u b l i s h a l o t o f u n t e s t e d i d e a s o r t h e

i d e a s p u b l i s h e d a r e n o t w o r t h t e s t i n g .

I ' m n o t a d v o c a t i n g r e p l a c i n g t h e o r y a n d e n -

g i n e e r i n g b y e x p e r i m e n t , b u t I a m a d v o c a t i n g

a b e t t e r b a l a n c e . I a d v o c a t e b a l a n c e n o t b e -

c a u s e i t w o u l d b e d e s i r a b l e f o r c o m p u t e r s c i -

e n c e t o a p p e a r m o r e s c i e n t i c , b u t b e c a u s e o f

t h e f o l l o w i n g p r i n c i p a l b e n e t s :

E x p e r i m e n t c a n h e l p b u i l d u p a r e l i a b l e

b a s e o f k n o w l e d g e a n d t h u s r e d u c e u n -

c e r t a i n t y a b o u t w h i c h t h e o r i e s , m e t h o d s ,

a n d t o o l s a r e a d e q u a t e .

O b s e r v a t i o n a n d e x p e r i m e n t c a n l e a d t o

n e w , u s e f u l , a n d u n e x p e c t e d i n s i g h t s a n d

o p e n u p w h o l e n e w a r e a s o f i n v e s t i g a t i o n .

E x p e r i m e n t a t i o n c a n p u s h i n t o u n k n o w n

a r e a s w h e r e e n g i n e e r i n g a l o n e p r o g r e s s e s

o n l y s l o w l y , i f a t a l l .

E x p e r i m e n t a t i o n c a n a c c e l e r a t e p r o g r e s s

b y q u i c k l y e l i m i n a t i n g f r u i t l e s s a p -

p r o a c h e s , e r r o n e o u s a s s u m p t i o n s , a n d

f a d s . I t a l s o h e l p s o r i e n t e n g i n e e r i n g a n d

t h e o r y i n t o p r o m i s i n g d i r e c t i o n s .

3

8/22/2019 10.1.1.36.5786

4/12

C o n v e r s e l y , w h e n w e i g n o r e e x p e r i m e n t a -

t i o n a n d a v o i d c o n t a c t w i t h r e a l i t y , w e h a m p e r

p r o g r e s s .

2 . 3 E x p e r i m e n t s c o s t t o o m u c h

T h e r s t l i n e o f d e f e n s e a g a i n s t e x p e r i m e n t a -

t i o n g o e s t y p i c a l l y l i k e t h e f o l l o w i n g : \ D o i n g

a n e x p e r i m e n t w o u l d b e i n c r e d i b l y e x p e n s i v e "

o r \ F o r d o i n g t h i s r i g h t , I w o u l d n e e d h u n d r e d s

o f s u b j e c t s , I w o u l d b e b u s y f o r y e a r s w i t h o u t

b e i n g a b l e t o p u b l i s h , a n d t h e c o s t w o u l d b e

e n o r m o u s . "

T o t h i s , a h a r d - n o s e d s c i e n t i s t m i g h t s a y :

\ S o w h a t ? " I n s t e a d o f b e i n g p a r a l y z e d b y c o s t

c o n s i d e r a t i o n s , h e o r s h e w o u l d r s t p r o b e t h e

i m p o r t a n c e o f t h e r e s e a r c h q u e s t i o n . W h e n

c o n v i n c e d t h a t a f u n d a m e n t a l p r o b l e m i s b e -

i n g a d d r e s s e d , a n e x p e r i e n c e d e x p e r i m e n t a l i s t

w o u l d t h e n g o a b o u t p l a n n i n g a n a p p r o p r i a t e

r e s e a r c h p r o g r a m , a c t i v e l y l o o k f o r a o r d a b l e

e x p e r i m e n t a l t e c h n i q u e s , a n d s u g g e s t i n t e r m e -

d i a t e s t e p s w i t h p a r t i a l r e s u l t s a l o n g t h e w a y .

F o r a s c i e n t i s t , f u n d i n g p o t e n t i a l s h o u l d n o t

b e t h e o n l y o r p r i m a r y c r i t e r i o n f o r d e c i d -

i n g w h a t q u e s t i o n s t o a s k . I n t h e t r a d i t i o n a l

s c i e n c e s , t h e r e i s a c o m p l e x s o c i a l p r o c e s s a t

w o r k i n w h i c h i m p o r t a n t q u e s t i o n s c r y s t a l l i z e .

T h e s e b e c o m e t h e f o c i o f r e s e a r c h , t h e b r e a k -

t h r o u g h g o a l s t h a t o p e n u p n e w a r e a s , a n d

s c i e n t i s t s a c t i v e l y s e a r c h f o r e c o n o m i c w a y s

t o c o n d u c t t h e n e c e s s a r y e x p e r i m e n t s . F o r

i n s t a n c e , t h e r s t e x p e r i m e n t a l v a l i d a t i o n o f

G e n e r a l R e l a t i v i t y w a s t r e m e n d o u s l y e x p e n -

s i v e a n d b a r e l y s h o w e d t h e e e c t . T h e e x -

p e r i m e n t w a s p e r f o r m e d b y S i r I s s a c E d d i n g -

t o n i n 1 9 1 9 . E d d i n g t o n u s e d a t o t a l s o l a r

e c l i p s e t o c h e c k E i n s t e i n ' s t h e o r y t h a t g r a v -

i t y b e n d s l i g h t w h e n i t p a s s e s n e a r a m a s s i v e

s t a r . A t t h e t i m e , t h i s w a s a t r u l y e x p e n s i v e

e x p e r i m e n t s i n c e i t i n v o l v e d a n e x p e d i t i o n t o

P r i n c i p e I s l a n d ( W e s t A f r i c a ) a n d t h e t e c h -

n o l o g y o f p h o t o g r a p h i c e m u l s i o n s h a d t o b e

p u s h e d t o i t s l i m i t s . H o w e v e r , i t w a s i m p o r -

t a n t t o t e s t w h e t h e r E i n s t e i n w a s c o r r e c t o r

n o t .

N o t m a n y i n v e s t i g a t i o n s a r e o f a s c o p e c o m -

p a r a b l e t o G e n e r a l R e l a t i v i t y , b u t t h e r e a r e

m a n y s m a l l e r , b u t s t i l l i m p o r t a n t q u e s t i o n s t o

a n s w e r . H o w c a n s u c h w o r k b e d o n e e c o n o m -

i c a l l y ? S i n c e c o s t s e e m s t o b e u p p e r m o s t i n

e v e r y b o d y ' s m i n d , I w i l l s p e n d m o r e s p a c e o n

t h i s i s s u e t h a n o n t h e o t h e r s . M y g o a l i s t o

h e l p t h e c o s t - c o n s c i o u s s c i e n t i s t o r e n g i n e e r

o v e r c o m e t h e c o s t b a r r i e r .

E x p e r i m e n t s c a n i n d e e d b e e x p e n s i v e . B u t

a r e a l l o f t h e m p r o h i b i t i v e l y e x p e n s i v e ? I

t h i n k n o t . T h e r e a r e m e a n i n g f u l e x p e r i m e n t s

t h a t t t h e b u d g e t o f s m a l l l a b o r a t o r i e s . T h e r e

a r e a l s o e x p e n s i v e e x p e r i m e n t s t h a t a r e w o r t h

m u c h m o r e t h a n t h e i r c o s t . A n d t h e r e i s a

w i d e s p e c t r u m i n b e t w e e n .

B e n c h m a r k i n g . T h o u g h o f t e n c r i t i c i z e d ,

b e n c h m a r k s a r e a n e e c t i v e a n d a o r d a b l e

w a y o f c o n d u c t i n g e x p e r i m e n t s . E s s e n t i a l l y , a

b e n c h m a r k i s a s a m p l e o f a t a s k d o m a i n ; t h i s

s a m p l e i s e x e c u t e d b y a c o m p u t e r o r b y h u m a n

a n d c o m p u t e r . D u r i n g e x e c u t i o n , w e l l - d e n e d

p e r f o r m a n c e m e a s u r e m e n t s a r e t a k e n . B e n c h -

m a r k s h a v e b e e n u s e d s u c c e s s f u l l y i n w i d e l y

d i e r i n g a r e a s , i n c l u d i n g s p e e c h u n d e r s t a n d -

i n g , i n f o r m a t i o n r e t r i e v a l , p a t t e r n r e c o g n i t i o n ,

s o f t w a r e r e u s e , c o m p u t e r a r c h i t e c t u r e , p e r f o r -

m a n c e e v a l u a t i o n , a p p l i e d n u m e r i c a l a n a l y s i s ,

a l g o r i t h m s , d a t a c o m p r e s s i o n , l o g i c s y n t h e s i s ,

a n d r o b o t i c s . A b e n c h m a r k p r o v i d e s a l e v e l

p l a y i n g e l d f o r c o m p e t i n g i d e a s , a n d a s s u m -

i n g t h e b e n c h m a r k i s s u c i e n t l y r e p r e s e n t a -

t i v e , i t a l l o w s r e p e a t a b l e a n d o b j e c t i v e c o m -

p a r i s o n s . A t t h e v e r y l e a s t , a b e n c h m a r k c a n

q u i c k l y e l i m i n a t e u n p r o m i s i n g a p p r o a c h e s a n d

e x a g g e r a t e d c l a i m s .

C o n s t r u c t i n g a b e n c h m a r k i s u s u a l l y i n -

t e n s i v e w o r k , b u t t h e b u r d e n c a n b e s h a r e d

a m o n g s e v e r a l l a b o r a t o r i e s . O n c e a b e n c h -

m a r k i s d e n e d , i t c a n b e e x e c u t e d r e p e a t e d l y

4

8/22/2019 10.1.1.36.5786

5/12

a t m o d e r a t e c o s t . I n p r a c t i c e , i t i s n e c e s s a r y

t o e v o l v e b e n c h m a r k s t o p r e v e n t o v e r - t t i n g .

R e g a r d i n g b e n c h m a r k t e s t s i n s p e e c h r e c o g -

n i t i o n , R a j R e d d y w r i t e s : \ U s i n g c o m m o n

d a t a b a s e s , c o m p e t i n g m o d e l s a r e e v a l u a t e d

w i t h i n o p e r a t i o n a l s y s t e m s . T h e s u c c e s s f u l

i d e a s t h e n s e e m t o a p p e a r m a g i c a l l y i n o t h e r

s y s t e m s w i t h i n a f e w m o n t h s , l e a d i n g t o a v a l i -

d a t i o n o r r e f u t a t i o n o f s p e c i c m e c h a n i s m s f o r

m o d e l i n g s p e e c h . " 1 4 ]

I n m a n y o f t h e e x a m p l e s c i t e d a b o v e , b e n c h -

m a r k s h a v e c a u s e d a s u d d e n b l o s s o m i n g o f t h e

a r e a , b e c a u s e t h e y m a d e i t e a s y t o i d e n t i f y

p r o m i s i n g a p p r o a c h e s a n d d i s c a r d p o o r o n e s .

I a g r e e w i t h R e d d y t h a t \ a l l o f e x p e r i m e n t a l

c o m p u t e r s c i e n c e c o u l d b e n e t f r o m s u c h d i s -

c i p l i n e d e x p e r i m e n t s . "

C o s t l y e x p e r i m e n t s . W h e n h u m a n s u b -

j e c t s a r e i n v o l v e d i n a n e x p e r i m e n t , t h e c o s t

o f t e n g o e s u p d r a m a t i c a l l y , w h i l e s i g n i c a n c e

g o e s d o w n . W h e n a r e e x p e n s i v e e x p e r i m e n t s

j u s t i e d ? W h e n t h e i m p l i c a t i o n s o f t h e i n -

s i g h t s g a i n e d o u t w e i g h t h e c o s t . L e t u s t a k e

a n e x a m p l e . A s i g n i c a n t s e g m e n t o f t h e s o f t -

w a r e i n d u s t r y h a s c o n v e r t e d f r o m C t o C + +

a t a s u b s t a n t i a l c o s t i n r e t r a i n i n g . O n e m i g h t

w e l l a s k h o w s o l i d l y g r o u n d e d t h e d e c i s i o n t o

s w i t c h t o C + + w a s . O t h e r t h a n c a s e s t u d -

i e s ( w h i c h a r e q u e s t i o n a b l e b e c a u s e t h e y d o n ' t

g e n e r a l i z e e a s i l y a n d m a y b e u n d e r p r e s s u r e t o

d e m o n s t r a t e d e s i r e d o u t c o m e s ) , I ' m n o t a w a r e

o f a n y s o l i d e v i d e n c e s h o w i n g t h a t C + + i s s u -

p e r i o r t o C w i t h r e s p e c t t o p r o g r a m m e r p r o -

d u c t i v i t y o r s o f t w a r e q u a l i t y . N o r a m I a w a r e

o f a n y i n d e p e n d e n t c o n r m a t i o n o f s u c h e v -

i d e n c e . H o w e v e r , w h i l e t r a i n i n g s t u d e n t s i n

i m p r o v i n g t h e i r p e r s o n a l s o f t w a r e p r o c e s s e s ,

m y r e s e a r c h g r o u p h a s r e c e n t l y o b s e r v e d t h a t

C + + p r o g r a m m e r s m a y m a k e m a n y m o r e m i s -

t a k e s a n d t a k e m u c h l o n g e r t h a n C p r o g r a m -

m e r s o f c o m p a r a b l e t r a i n i n g { b o t h d u r i n g i n i -

t i a l d e v e l o p m e n t a n d m a i n t e n a n c e . S u p p o s e

t h i s o b s e r v a t i o n i s n o t a u k e .

1

T h e n r u n n i n g

e x p e r i m e n t s t o t e s t t h e f u n d a m e n t a l t e n e t s o f

o b j e c t - o r i e n t e d p r o g r a m m i n g w o u l d b e t r u l y

v a l u a b l e . T h e s e e x p e r i m e n t s m i g h t s a v e r e -

s o u r c e s f a r i n e x c e s s o f t h e i r c o s t . T h e e x -

p e r i m e n t s m i g h t a l s o h a v e a l a s t i n g a n d p o s -

i t i v e e e c t o n t h e d i r e c t i o n o f p r o g r a m m i n g

l a n g u a g e r e s e a r c h . T h e y m a y n o t o n l y s a v e

i n d u s t r y m o n e y , b u t a l s o s a v e r e s e a r c h e o r t .

I t i s u s e f u l t o c h e c k w h a t s c i e n t i s t s i n o t h e r

d i s c i p l i n e s s p e n d o n e x p e r i m e n t a t i o n . E v e r y -

o n e r e a l i z e s t h a t d r u g t e s t i n g i n m e d i c i n e i s

e x t r e m e l y e x p e n s i v e , b u t o n l y d e s p e r a t e p a -

t i e n t s a c c e p t p o o r l y t e s t e d d r u g s a n d t h e r a -

p i e s . I n a e r o n a u t i c s , w e d e m a n d t h a t a i r f o i l s

b e t e s t e d ; e x p e n s i v e w i n d t u n n e l s h a v e b e e n

b u i l t f o r j u s t t h i s p u r p o s e . N u m e r i c a l s i m u l a -

t i o n h a s r e d u c e d t h e n u m b e r o f s u c h t e s t s , b u t

n o t e l i m i n a t e d t h e m . I n m a n y s c i e n c e s , s i m u -

l a t i o n h a s b e c o m e a n i m p o r t a n t f o r m o f e x p e r -

i m e n t a t i o n , a n d c o m p u t e r s c i e n c e m i g h t a l s o

b e n e t f r o m g o o d s i m u l a t i o n t e c h n i q u e s . I n

b i o l o g y , W i l s o n n a m e s t h e F o r e s t F r a g m e n t a -

t i o n P r o j e c t i n B r a s i l i a a s t h e m o s t e x p e n s i v e

b i o l o g i c a l e x p e r i m e n t e v e r 1 6 ] . W h i l e c l e a r i n g

a l a r g e t r a c t o f t h e A m a z o n j u n g l e , i s o l a t e d

p a t c h e s o f v a r i o u s s i z e s ( 1 t o 1 0 0 0 h e c t a r e s )

w e r e l e f t s t a n d i n g . T h e p u r p o s e w a s t o t e s t

h y p o t h e s e s r e g a r d i n g t h e r e l a t i o n s h i p b e t w e e n

h a b i t a t s i z e a n d n u m b e r o f s p e c i e s r e m a i n -

i n g . A n d t h e l i s t o f e x p e r i m e n t s c o n t i n u e s {

i n p h y s i c s , c h e m i s t r y , e c o l o g y , g e o l o g y , c l i m a -

t o l o g y , a n d o n a n d o n . A n y r e a d e r o f S c i e n -

t i c A m e r i c a n c a n n d e x p e r i m e n t s i n e v e r y

i s s u e . C o m p u t e r s c i e n t i s t s n e e d n o t b e a f r a i d

o r a s h a m e d o f c o n d u c t i n g l a r g e e x p e r i m e n t s

w h e n e x p l o r i n g i m p o r t a n t q u e s t i o n s .

1

J u s t a s t h i s a r t i c l e w e n t t o p r e s s , w e l e a r n e d t h a t

a p a p e r b y L e s H a t t o n , \ D o e s O O R e a l l y M a t c h t h e

W a y W e T h i n k ? " w i l l a p p e a r i n t h e M a y i s s u e o f I E E E

S o f t w a r e , r e p o r t i n g s t r o n g e v i d e n c e o f t h e n e g a t i v e e f -

f e c t s o f C + + .

5

8/22/2019 10.1.1.36.5786

6/12

2 . 4 D e m o n s t r a t i o n s w i l l s u c e

I n h i s 1 9 9 4 T u r i n g A w a r d l e c t u r e , J u r i s

H a r t m a n i s a r g u e s t h a t c o m p u t e r s c i e n c e d i f -

f e r s s u c i e n t l y f r o m o t h e r s c i e n c e s t o p e r -

m i t d i e r e n t s t a n d a r d s i n e x p e r i m e n t a t i o n ,

a n d t h a t d e m o n s t r a t i o n s c a n t a k e t h e p l a c e o f

e x p e r i m e n t s 5 ] . I c o u l d n ' t d i s a g r e e m o r e . D e -

m o s c a n p r o v i d e p r o o f - o f - c o n c e p t s i n t h e e n -

g i n e e r i n g s e n s e , o r p r o v i d e i n c e n t i v e s t o s t u d y

a q u e s t i o n f u r t h e r . T o o o f t e n , h o w e v e r , t h e s e

d e m o s m e r e l y i l l u s t r a t e a p o t e n t i a l . D e m o n -

s t r a t i o n s d e p e n d c r i t i c a l l y o n t h e o b s e r v e r s '

i m a g i n a t i o n a n d t h e i r w i l l i n g n e s s t o e x t r a p -

o l a t e ; t h e y d o n o t n o r m a l l y p r o d u c e s o l i d e v i -

d e n c e . T o o b t a i n s u c h e v i d e n c e , a c a r e f u l a n a l -

y s i s i s n e c e s s a r y , i n v o l v i n g e x p e r i m e n t s , d a t a ,

a n d r e p l i c a t i o n .

W h a t w o u l d

b e i n t e r e s t i n g q u e s t i o n s a m e n a b l e t o e x p e r i -

m e n t a t i o n i n t h e t r a d i t i o n a l s e n s e ? H e r e a r e

a f e w e x a m p l e s . T h e p r o g r a m m i n g p r o c e s s i s

p o o r l y u n d e r s t o o d ; c o m p u t e r s c i e n t i s t s c o u l d

t h e r e f o r e i n t r o d u c e d i e r e n t t h e o r i e s o f h o w

r e q u i r e m e n t s a r e r e n e d i n t o p r o g r a m s a n d

t e s t t h e m e x p e r i m e n t a l l y . S i m i l a r l y , a d e e p e r

u n d e r s t a n d i n g o f i n t e l l i g e n c e m i g h t b e d i s c o v -

e r e d a n d t e s t e d . T h e s a m e a p p l i e s t o r e s e a r c h

i n p e r c e p t i o n , q u e s t i o n s a b o u t t h e q u a l i t y o f

m a n - m a c h i n e i n t e r f a c e s , o r h u m a n - c o m p u t e r

i n t e r a c t i o n i n g e n e r a l . A l s o , t h e b e h a v i o r o f

a l g o r i t h m s o n t y p i c a l p r o b l e m s o r o n c o m p u t -

e r s w i t h s t o r a g e h i e r a r c h i e s c a n n o t b e p r e -

d i c t e d a c c u r a t e l y . B e t t e r a l g o r i t h m t h e o r i e s

a r e n e e d e d a n d s h o u l d b e t e s t e d i n t h e l a b o r a -

t o r y . R e s e a r c h i n p a r a l l e l s y s t e m s i s c u r r e n t l y

g e n e r a t i n g a n u m b e r o f m a c h i n e m o d e l s ; t h e i r

r e l a t i v e m e r i t s c a n o n l y b e e x p l o r e d e x p e r i -

m e n t a l l y . T h i s l i s t i s c e r t a i n l y n o t e x h a u s t i v e ,

b u t t h e e x a m p l e s a l l i n v o l v e e x p e r i m e n t s i n

t h e t r a d i t i o n o f s c i e n c e : T h e y r e q u i r e a c l e a r

q u e s t i o n , a n e x p e r i m e n t a l a p p a r a t u s t o t e s t

t h e q u e s t i o n , d a t a c o l l e c t i o n , i n t e r p r e t a t i o n ,

a n d s h a r i n g o f t h e r e s u l t s .

2 . 5 T h e r e i s t o o m u c h n o i s e i n

t h e w a y

T h e s e c o n d l i n e o f d e f e n s e a g a i n s t e x p e r i m e n -

t a t i o n g o e s l i k e t h i s : \ T h e r e a r e t o o m a n y

v a r i a b l e s t o c o n t r o l , a n d t h e r e s u l t s w o u l d b e

m e a n i n g l e s s , b e c a u s e t h e e e c t s I ' m l o o k i n g

f o r a r e s w a m p e d b y n o i s e . "

T r u e , e x p e r i m e n t a t i o n i s d i c u l t { f o r r e -

s e a r c h e r s i n a l l d i s c i p l i n e s , n o t j u s t c o m p u t e r

s c i e n c e . I t h i n k r e s e a r c h e r s w h o a r e i n v o k i n g

t h i s e x c u s e a r e l o o k i n g f o r a n e a s y w a y o u t .

A n e e c t i v e s i m p l i c a t i o n f o r r e p e a t e d e x -

p e r i m e n t s i s b e n c h m a r k i n g . F o r t u n a t e l y ,

b e n c h m a r k i n g c a n b e u s e d f o r m a n y q u e s -

t i o n s i n c o m p u t e r s c i e n c e . T h e s u b j e c t i v e a n d

t h e r e f o r e w e a k e s t p a r t i n a b e n c h m a r k t e s t i s

t h e c o m p o s i t i o n o f t h e b e n c h m a r k ; e v e r y t h i n g

e l s e , i f p r o p e r l y d o c u m e n t e d , c a n b e c h e c k e d

b y t h e s k e p t i c . H e n c e , t h e c o m p o s i t i o n o f t h e

b e n c h m a r k i s a l w a y s h o t l y d e b a t e d ( i s i t r e p -

r e s e n t a t i v e e n o u g h ? ) , a n d b e n c h m a r k s m u s t

e v o l v e o v e r t i m e t o g e t t h e m c l o s e r t o w h a t

o n e w a n t s t o t e s t .

E x p e r i m e n t s w i t h h u m a n s u b j e c t s i n v o l v e

m a n y a d d i t i o n a l c h a l l e n g e s . S e v e r a l e l d s

h a v e f o u n d t e c h n i q u e s f o r d e a l i n g w i t h h u -

m a n v a r i a b i l i t y , n o t a b l y m e d i c i n e a n d p s y c h o l -

o g y . W e ' v e a l l h e a r d a b o u t c o n t r o l g r o u p s ,

r a n d o m a s s i g n m e n t s , p l a c e b o s , p r e - a n d p o s t -

t e s t i n g , b a l a n c i n g , b l o c k i n g , b l i n d a n d d o u b l e -

b l i n d s t u d i e s , a n d t h e b a t t e r y o f s t a t i s t i c a l

t e s t s . T h e f a c t t h a t a d r u g i n u e n c e s d i e r e n t

p e o p l e i n d i e r e n t w a y s d o e s n ' t s t o p m e d i c a l

r e s e a r c h e r s f r o m t e s t i n g . A n d w h e n c o n t r o l

i s i m p o s s i b l e , t h e n c a s e s t u d i e s , o b s e r v a t i o n a l

s t u d i e s a n d a n a s s o r t m e n t o f o t h e r i n v e s t i g a -

t i v e t e c h n i q u e s a r e u s e d . I n d e e d , m e d i c i n e o f -

f e r s m a n y i m p o r t a n t l e s s o n s o n e x p e r i m e n t a l

d e s i g n , o n h o w t o c o n t r o l v a r i a b l e s a n d h o w

t o m i n i m i z e e r r o r s . E s c h e w i n g e x p e r i m e n t a -

t i o n b e c a u s e o f d i c u l t i e s i s n o t a c c e p t a b l e .

6

8/22/2019 10.1.1.36.5786

7/12

2 . 6 P r o g r e s s w i l l s l o w

T h e a r g u m e n t h e r e i s t h a t i f e v e r y t h i n g m u s t

b e b a c k e d u p b y e x p e r i m e n t b e f o r e p u b l i c a -

t i o n , t h e n t h e n u m b e r o f i d e a s t h a t c a n b e

g e n e r a t e d a n d d i s c u s s e d i n t h e s c i e n t i c c o m -

m u n i t y w i l l b e t h r o t t l e d a n d p r o g r e s s w i l l s l o w .

T h i s i s n o t a n a r g u m e n t t o b e t a k e n l i g h t l y .

I n a f a s t - p a c e d e l d s u c h a s c o m p u t e r s c i e n c e ,

t h e n u m b e r o f i d e a s b e i n g d i s c u s s e d i s o b v i -

o u s l y i m p o r t a n t . H o w e v e r , e x p e r i m e n t a t i o n

n e e d n o t h a v e a n a d v e r s e e e c t ; q u i t e t h e c o n -

t r a r y .

F i r s t , i n c r e a s i n g t h e r a t i o o f p a p e r s w i t h

m e a n i n g f u l v a l i d a t i o n h a s a g o o d c h a n c e o f

a c t u a l l y a c c e l e r a t i n g p r o g r e s s : Q u e s t i o n a b l e

i d e a s w i l l b e w e e d e d o u t m o r e q u i c k l y a n d s c i -

e n t i s t s w i l l c o n c e n t r a t e t h e i r e n e r g i e s o n m o r e

p r o m i s i n g a p p r o a c h e s .

S e c o n d , I ' m c o n d e n t t h a t g o o d c o n c e p t u a l

p a p e r s a n d p a p e r s f o r m u l a t i n g n e w h y p o t h e -

s e s w i l l c o n t i n u e t o b e v a l u e d b y r e a d e r s a n d

w i l l t h e r e f o r e g e t p u b l i s h e d . I t s h o u l d b e u n -

d e r s t o o d t h a t e x p e r i m e n t a l t e s t i n g o f t h e s e h y -

p o t h e s e s w i l l c o m e l a t e r .

S o i t i s a m a t t e r o f b a l a n c e o n c e m o r e .

P r e s e n t l y , n o n - t h e o r y r e s e a r c h r a r e l y m o v e s

b e y o n d t h e a s s e r t i v e s t a t e , a s t a t e c h a r a c t e r -

i z e d b y s u c h w e a k j u s t i c a t i o n a s \ i t s e e m s

i n t u i t i v e l y o b v i o u s " , o r \ i t l o o k s l i k e a g o o d

i d e a " , o r \ I t r i e d i t o n a s m a l l e x a m p l e a n d

i t w o r k e d . " R e a c h i n g a g r o u n d r m e r t h a n

a s s e r t i o n i s d e s i r a b l e .

2 . 7 T e c h n o l o g y c h a n g e s t o o f a s t

T h i s c o n c e r n c o m e s u p f r e q u e n t l y i n c o m p u t e r

a r c h i t e c t u r e . T r e v o r M u d g e s u m m a r i z e s i t :

\ . . . t h e r a t e o f c h a n g e i n c o m p u t i n g i s s o g r e a t

t h a t b y t h e t i m e r e s u l t s a r e c o n r m e d t h e y

m a y n o l o n g e r b e o f a n y r e l e v a n c e . " 9 ] T h e

s a m e c a n b e s a i d a b o u t s o f t w a r e . W h a t g o o d

i s a n e x p e r i m e n t w h e n t h e d u r a t i o n o f t h e e x -

p e r i m e n t e x c e e d s t h e u s e f u l l i f e o f t h e e x p e r -

i m e n t a l s u b j e c t , i . e . , o f a s o f t w a r e p r o d u c t o r

t o o l ?

I f a q u e s t i o n b e c o m e s i r r e l e v a n t q u i c k l y , i t

i s p e r h a p s t o o n a r r o w a n d n o t w o r t h s p e n d i n g

a l o t o f e o r t o n i t . B u t b e h i n d m a n y q u e s -

t i o n s w i t h a s h o r t l i f e t i m e l u r k s a f u n d a m e n t a l

p r o b l e m w i t h a l o n g l i f e t i m e . M y r s t a d v i c e

t o s c i e n t i s t s h e r e i s t o p r o b e t h e f u n d a m e n t a l

a n d n o t t h e e p h e m e r a l , a n d t o l e a r n t o t e l l

t h e d i e r e n c e . M y s e c o n d a d v i c e h i n g e s o n

t h e o b s e r v a t i o n t h a t t e c h n o l o g i c a l c h a n g e o f -

t e n s h i f t s o r e l i m i n a t e s a s s u m p t i o n s t h a t w e r e

t a k e n f o r g r a n t e d . T h e r e f o r e , s c i e n t i s t s s h o u l d

a n t i c i p a t e c h a n g e s i n a s s u m p t i o n s a n d p r o -

a c t i v e l y e m p l o y e x p e r i m e n t s t o e x p l o r e t h e

c o n s e q u e n c e s o f s u c h c h a n g e s . N o t e t h a t t h i s

t y p e o f w o r k i s m u c h m o r e d e m a n d i n g , a n d

c a n h a v e m u c h h i g h e r l o n g - t e r m v a l u e , t h a n

m e r e l y c o m p a r i n g s o f t w a r e p r o d u c t s .

2 . 8 Y o u ' l l n e v e r g e t i t p u b l i s h e d

T h i s i s a c t u a l l y p a r t l y t r u e . S o m e e s t a b l i s h e d

c o m p u t e r s c i e n c e j o u r n a l s h a v e d i c u l t y n d -

i n g e d i t o r s a n d r e v i e w e r s c a p a b l e o f e v a l u a t -

i n g e m p i r i c a l w o r k . P r o m o t i o n c o m m i t t e e s

m a y b e d o m i n a t e d b y t h e o r e t i c i a n s . T h e e x -

p e r i m e n t e r i s o f t e n c o n f r o n t e d w i t h r e v i e w -

e r s w h o e x p e c t p e r f e c t i o n a n d a b s o l u t e c e r -

t a i n t y . H o w e v e r , e x p e r i m e n t s a r e c o n d u c t e d i n

t h e r e a l w o r l d a n d a r e t h e r e f o r e a l w a y s a w e d

s o m e h o w . R e v i e w e r s m a y a l s o b u i l d u p i m -

p o s s i b l y h i g h b a r r i e r s . I ' v e s e e n d e m a n d s f o r

e x p e r i m e n t s t o b e c o n d u c t e d w i t h h u n d r e d s o f

s u b j e c t s o v e r a s p a n o f m a n y y e a r s i n v o l v i n g

s e v e r a l i n d u s t r i a l p r o j e c t s b e f o r e p u b l i c a t i o n .

T h a t s m a l l e r s t e p s a r e s t i l l w o r t h p u b l i s h i n g

b e c a u s e t h e y i m p r o v e o u r u n d e r s t a n d i n g a n d

r a i s e n e w q u e s t i o n s i s a t h i n k i n g t h a t s o m e a r e

n o t f a m i l i a r w i t h .

H o w e v e r , t h i s s i t u a t i o n i s c h a n g i n g . I n m y

e x p e r i e n c e , p u b l i c a t i o n o f e x p e r i m e n t a l r e s u l t s

i s n o t a p r o b l e m o f o n e c h o o s e s t h e r i g h t o u t -

l e t . I ' m o n t h e e d i t o r i a l b o a r d o f t h r e e j o u r -

7

8/22/2019 10.1.1.36.5786

8/12

n a l s ; I r e v i e w f o r q u i t e a n u m b e r o f a d d i t i o n a l

j o u r n a l s a n d h a v e s e r v e d o n n u m e r o u s c o n f e r -

e n c e c o m m i t t e e s . A l l n o n - t h e o r y j o u r n a l s a n d

c o n f e r e n c e s t h a t I ' v e s e e n w o u l d g r e a t l y w e l -

c o m e p a p e r s r e p o r t i n g o n s o l i d e x p e r i m e n t s .

T h e o c c a s i o n a l r e j e c t i o n o f h i g h - q u a l i t y p a p e r s

n o t w i t h s t a n d i n g , I ' m c o n v i n c e d t h a t t h e l o w

n u m b e r o f g o o d e x p e r i m e n t a l p a p e r s i s a s u p -

p l y p r o b l e m .

T h e f u n d i n g s i t u a t i o n f o r e x p e r i m e n t a t i o n i s

m o r e d i c u l t , e s p e c i a l l y i n i n d u s t r y / a c a d e m i a

c o l l a b o r a t i o n s . H o w e v e r , i t h e l p s t o n o t e t h a t

e x p e r i m e n t a t i o n m a y g i v e i n d u s t r y a t h r e e t o

v e y e a r l e a d o v e r t h e c o m p e t i t i o n . F o r e x -

a m p l e , s u p p o s e a n e x p e r i m e n t d i s c o v e r e d a n

e e c t i v e w a y t o r e d u c e m a i n t e n a n c e c o s t s b y

u s i n g s o f t w a r e d e s i g n p a t t e r n s . T h e i n d u s t r i a l

p a r t n e r o f s u c h a n e x p e r i m e n t c o u l d e x p l o i t

t h i s r e s u l t i m m e d i a t e l y , e s p e c i a l l y s i n c e t h e e x -

p e r i m e n t p r e p a r e d t h e g r o u n d w o r k f o r a d o p t -

i n g t h e t e c h n o l o g y . G i v e n a t w o - y e a r p u b l i c a -

t i o n t i m e l a g a n d v a r i o u s o t h e r d e l a y s ( s u c h a s

t h e r e s u l t s b e i n g n o t i c e d b y o t h e r s , l e t a l o n e

a d o p t e d ) , t h e i n d u s t r i a l p a r t n e r i n s u c h a n

e x p e r i m e n t c a n e x p l o i t a t l e a s t a t h r e e - y e a r

l e a d . L u c e n t T e c h n o l o g i e s e s t i m a t e s t h a t i t i s

p r e s e n t l y b e n e t i n g f r o m a v e - y e a r l e a d i n

s o f t w a r e i n s p e c t i o n m e t h o d s b a s e d o n a s e r i e s

o f i n - h o u s e e x p e r i m e n t s ,

2

a p p a r e n t l y d e s p i t e

( o r b e c a u s e o f ) v i g o r o u s p u b l i c a t i o n o f t h e r e -

s u l t s .

O n t h e n e g a t i v e s i d e I f e a r t h a t t h e \ s y s -

t e m s r e s e a r c h e r " o f o l d w i l l f a c e d i c u l t i e s .

J u s t b u i l d i n g s y s t e m s i s n o t e n o u g h u n l e s s t h e

s y s t e m d e m o n s t r a t e s s o m e k i n d o f a \ r s t , "

a b r e a k t h r o u g h . C o m p u t e r s c i e n c e c o n t i n u e s

t o b e f a v o r e d w i t h s u c h b r e a k t h r o u g h s a n d w e

s h o u l d c o n t i n u e t o s t r i v e f o r t h e m . T h e m a -

j o r i t y o f s y s t e m s r e s e a r c h e r s , h o w e v e r , w o r k s

o n i n c r e m e n t a l i m p r o v e m e n t s o f e x i s t i n g i d e a s .

T h e s e r e s e a r c h e r s s h o u l d t r y t o b e c o m e r e -

2

L a r r y V o t t a , p r i v a t e c o m m u n i c a t i o n , L u c e n t

T e c h n o l g i e s .

s p e c t a b l e e x p e r i m e n t a l i s t s . T h e y m u s t a r t i c -

u l a t e h o w t h e i r s y s t e m s c o n t r i b u t e s t o o u r

k n o w l e d g e . S y s t e m s c o m e a n d g o ; i n s i g h t s

a b o u t t h e c o n c e p t s a n d p h e n o m e n a u n d e r l y -

i n g s y s t e m s a r e w h a t i s n e e d e d . I h a v e g r e a t

e x p e c t a t i o n s f o r s y s t e m s r e s e a r c h e r s w h o u s e

t h e i r s k i l l s i n s e t t i n g u p i n t e r e s t i n g e x p e r i -

m e n t s .

3 W h y s u b s t i t u t e s w o n ' t

w o r k

C a n w e g e t b y w i t h f o r m s o f v a l i d a t i o n t h a t

a r e w e a k e r t h a n e x p e r i m e n t s ? I t d e p e n d s o n

w h a t q u e s t i o n w e ' r e a s k i n g , b u t h e r e a r e s o m e

e x c u s e s t h a t I n d l e s s t h a n s a t i s f a c t o r y .

3 . 1 F e a t u r e c o m p a r i s o n i s g o o d

e n o u g h

A f r e q u e n t l y f o u n d m o d e l o f a s c i e n t i c p a p e r

i s t h e f o l l o w i n g . T h e w o r k d e s c r i b e s a n e w

i d e a , p r o t o t y p e d p e r h a p s i n a s m a l l s y s t e m .

T h e c l a i m t o \ s c i e n t i c n e s s " i s t h e n m a d e b y

f e a t u r e c o m p a r i s o n . T h e r e p o r t s s e t s o u t a l i s t

o f f e a t u r e s a n d q u a l i t a t i v e l y c o m p a r e s o l d e r

a p p r o a c h e s w i t h t h e n e w o n e , f e a t u r e b y f e a -

t u r e .

I n d t h i s m e t h o d s a t i s f a c t o r y w h e n a r a d -

i c a l l y n e w i d e a o r a s i g n i c a n t b r e a k t h r o u g h

i s p r e s e n t e d , s u c h a s t h e r s t c o m p i l e r f o r a

b l o c k - s t r u c t u r e d l a n g u a g e , t h e r s t t i m e s h a r -

i n g s y s t e m , t h e r s t o b j e c t - o r i e n t e d l a n g u a g e ,

t h e r s t w e b b r o w s e r . U n f o r t u n a t e l y , t h e m a -

j o r i t y o f p a p e r s p u b l i s h e d t a k e m u c h s m a l l e r

s t e p s f o r w a r d . A s c o m p u t e r s c i e n c e b e c o m e s a

h a r d e r s c i e n c e , m e r e d i s c u s s i o n s o f a d v a n t a g e s

a n d d i s a d v a n t a g e s o r l o n g f e a t u r e c o m p a r i s o n s

w i l l n o l o n g e r b e s u c i e n t . A n y P C m a g a z i n e

c a n p r o v i d e t h o s e . A s c i e n c e , o n t h e o t h e r

h a n d , c a n n o t l i v e o s u c h w e a k p h e n o m e n o -

l o g i c a l i n f e r e n c e s i n t h e l o n g r u n . I n s t e a d ,

8

8/22/2019 10.1.1.36.5786

9/12

s c i e n t i s t s s h o u l d c r e a t e m o d e l s , f o r m u l a t e h y -

p o t h e s e s , a n d t e s t t h e m u s i n g e x p e r i m e n t s .

3 . 2 T r u s t y o u r i n t u i t i o n

I n h i s M a r c h 1 9 9 6 c o l u m n , A l D a v i s , t h e

e d i t o r o f I E E E S o f t w a r e s u g g e s t s t h a t g u t

f e e l i n g i s e n o u g h w h e n a d o p t i n g n e w s o f t -

w a r e t e c h n o l o g y ; e x p e r i m e n t a t i o n a n d d a t a

a r e s u p e r u o u s 3 ] . H e e v e n s u g g e s t s i g n o r i n g

e v i d e n c e t h a t c o n t r a d i c t s o n e ' s i n t u i t i o n .

H o w e v e r , i n s t i n c t a n d p e r s o n a l e x p e r i e n c e

s o m e t i m e s l e a d d o w n t h e w r o n g p a t h a n d c o m -

p u t e r s c i e n c e i s n o e x c e p t i o n . H e r e a r e s o m e

e x a m p l e s . F o r a b o u t t w e n t y y e a r s , i t w a s

t h o u g h t t h a t m e e t i n g s w e r e e s s e n t i a l f o r s o f t -

w a r e r e v i e w s . H o w e v e r , r e c e n t l y P o r t e r a n d

J o h n s o n f o u n d t h a t r e v i e w s w i t h o u t m e e t i n g s

a r e n e i t h e r s u b s t a n t i a l l y m o r e n o r l e s s e e c -

t i v e t h a n t h o s e w i t h m e e t i n g s 1 1 ] . M e e t i n g -

l e s s r e v i e w s a l s o c o s t l e s s a n d c a u s e f e w e r d e -

l a y s , w h i c h c a n l e a d t o a m o r e e e c t i v e i n s p e c -

t i o n p r o c e s s o v e r a l l . A n o t h e r e x a m p l e w h e r e

o b s e r v a t i o n c o n t r a d i c t s c o n v e n t i o n a l w i s d o m

i s t h a t s m a l l s o f t w a r e c o m p o n e n t s a r e p r o p o r -

t i o n a l l y l e s s r e l i a b l e t h a n l a r g e r o n e s . T h i s o b -

s e r v a t i o n w a s r s t r e p o r t e d b y B a s i l i 1 ] a n d

h a s b e e n c o n r m e d b y a n u m b e r o f d i s p a r a t e

s o u r c e s ; s e e H a t t o n 6 ] f o r s u m m a r i e s a n d a n

e x p l a n a t o r y t h e o r y . A s m e n t i o n e d , t h e f a i l u r e

p r o b a b i l i t i e s o f m u l t i - v e r s i o n p r o g r a m s w e r e

i n c o r r e c t l y b e l i e v e d t o b e t h e p r o d u c t o f t h e

f a i l u r e p r o b a b i l i t i e s o f t h e c o m p o n e n t v e r s i o n s .

A n o t h e r e x a m p l e i s t y p e c h e c k i n g i n p r o g r a m -

m i n g l a n g u a g e s . T y p e c h e c k i n g i s t h o u g h t t o

r e v e a l p r o g r a m m i n g e r r o r s , b u t t h e r e a r e c o n -

t e x t s w h e n i t d o e s n o t h e l p 1 2 ] . P e e g e r e t a l .

1 0 ] p r o v i d e s f u r t h e r d i s c u s s i o n o f t h e p i t f a l l s

o f i n t u i t i o n .

W h a t w e c a n l e a r n f r o m t h e s e e x a m p l e s i s

t h a t i n t u i t i o n m a y p r o v i d e a s t a r t i n g p o i n t ,

b u t m u s t b e b a c k e d u p b y e m p i r i c a l e v i d e n c e .

W i t h o u t g r o u n d i n g , i n t u i t i o n i s h i g h l y q u e s -

t i o n a b l e . W h a t o n e t h i n k s o b v i o u s m a y t u r n

o u t t o b e d e a d w r o n g s o m e t i m e s .

3 . 3 T r u s t t h e e x p e r t s

D u r i n g a r e c e n t t a l k a t a t o p U S u n i v e r s i t y ,

I w a s a b o u t t o p r e s e n t m y d a t a , w h e n a c o l -

l e a g u e i n t e r r u p t e d a n d s u g g e s t e d t h a t I s k i p

t h a t p a r t a n d g o o n t o t h e c o n c l u s i o n s . \ W e

t r u s t y o u . " w a s t h e e x p l a n a t i o n . F l a t t e r i n g

a s t h a t w a s , i t s h o w s a d i s t u r b i n g m i s u n d e r -

s t a n d i n g o f t h e s c i e n t i c p r o c e s s ( o r s o m e o n e

i n a h u r r y ) . A n y s c i e n t i c c l a i m i s i n i t i a l l y s u s -

p e c t a n d m u s t b e e x a m i n e d c l o s e l y . I m a g i n e

w h a t w o u l d h a v e h a p p e n e d i f p h y s i c i s t s h a d n ' t

b e e n s k e p t i c a l a b o u t t h e c l a i m s b y P o n d s a n d

F l e i s c h m a n r e g a r d i n g c o l d f u s i o n .

F r a n k l y , I ' m c o n t i n u a l l y s u r p r i s e d h o w

m u c h t h e c o m p u t e r i n d u s t r y a n d s o m e t i m e s

e v e n u n i v e r s i t y t e a c h i n g r e l i e s o n s o - c a l l e d

\ e x p e r t s " o f a l l k i n d s , w h o f a i l t o b a c k u p t h e i r

a s s e r t i o n s w i t h e v i d e n c e . S c i e n c e , o n t h e o t h e r

h a n d , i s b u i l t o n h e a l t h y s k e p t i c i s m . I t i s a

g o o d s y s t e m t o c a r e f u l l y c h e c k r e s u l t s a n d t o

a c c e p t t h e m o n l y p r o v i s i o n a l l y u n t i l t h e y h a v e

b e e n c o n r m e d i n d e p e n d e n t l y .

4 P r o b l e m s d o e x i s t

H e r e a r e s o m e e x c u s e s t h a t a r e i n u e n c e d b y

t h e q u a l i t y o f e x p e r i m e n t s i n c o m p u t e r s c i -

e n c e .

4 . 1 F l a w e d e x p e r i m e n t s

\ E x p e r i m e n t s m a k e u n r e a l i s t i c a s s u m p t i o n s " ,

o r \ T h e d a t a w a s m a n i p u l a t e d " , o r \ I t i s i m -

p o s s i b l e t o q u a n t i f y t h e v a r i a b l e o f i n t e r e s t , "

a r e s o m e o f t h e c r i t i c i s m s . T h e r e a r e m a n y

m o r e p o t e n t i a l a w s : E x p e r i m e n t e r s m a y p i c k

i r r e l e v a n t q u e s t i o n s , m a y n e g l e c t t o p r o v i d e

e n o u g h d e t a i l f o r r e p e a t i n g e x p e r i m e n t s , m a y

b e n o n c h a l a n t a b o u t c o n t r o l , m a y n o t v a l i d a t e

9

8/22/2019 10.1.1.36.5786

10/12

o b s e r v a t i o n s , f o r g e t t o b o u n d e r r o r s , u s e i n a p -

p r o p r i a t e m e a s u r e m e n t s , o v e r - i n t e r p r e t t h e i r

r e s u l t s , p r o d u c e r e s u l t s t h a t d o n o t g e n e r a l -

i z e , e t c .

G o o d e x a m p l e s o f s o l i d e x p e r i m e n t a t i o n i n

c o m p u t e r s c i e n c e a r e r a r e . A n d t h e r e w i l l a l -

w a y s b e q u e s t i o n a b l e , e v e n b a d e x p e r i m e n t s .

H o w e v e r , t h e c o n c l u s i o n f r o m t h i s o b s e r v a t i o n

i s n o t t o d i s c a r d t h e c o n c e p t o f e x p e r i m e n t a -

t i o n . W e s h o u l d k e e p i n m i n d t h a t o t h e r s c i -

e n t i c e l d s h a v e b e e n f a c e d w i t h b a d e x p e r i -

m e n t s , e v e n f r a u d s . B u t t h e s c i e n t i c p r o c e s s

o n t h e w h o l e h a s b e e n s e l f - c o r r e c t i n g . B a d

i d e a s , e r r o r s , a n d d o w n r i g h t h o a x e s h a v e b e e n

w e e d e d o u t , s o m e t i m e s p r o m p t l y ( s e e c o l d f u -

s i o n ) s o m e t i m e s b e l a t e d l y ( s e e t h e P i l t d o w n

m a n ) .

3

W e c a n b e s u r e o f o n e t h i n g , t h o u g h : I f s c i -

e n t i s t s o v e r l o o k e x p e r i m e n t a t i o n o r n e g l e c t r e -

e x a m i n i n g o t h e r s ' c l a i m s , a n i m p o r t a n t s o u r c e

o f s e l f - c o r r e c t i o n w i l l b e c u t o a n d t h e e l d

m a y d r i f t i n t o t h e w r o n g d i r e c t i o n .

4 . 2 C o m p e t i n g t h e o r i e s

A s c i e n c e i s m o s t e x c i t i n g w h e n t h e r e a r e t w o

o r m o r e s t r o n g , c o m p e t i n g t h e o r i e s . W h e n

a n e w , m a j o r t h e o r y r e p l a c e s a n o l d e r o n e ,

o n e s p e a k s o f a p a r a d i g m s h i f t , w h i l e t h e s t a -

b l e p e r i o d s i n b e t w e e n a r e c a l l e d \ n o r m a l s c i -

e n c e " . P h y s i c s p r o v i d e s i n t e r e s t i n g e x a m p l e s

o f p a r a d i g m s h i f t s .

T h e r e a r e a f e w c o m p e t i n g t h e o r i e s i n c o m -

p u t e r s c i e n c e , n o n e o f t h e m e a r t h - s h a k i n g .

T h e p h y s i c a l s y m b o l s y s t e m t h e o r y v s . t h e

k n o w l e d g e p r o c e s s i n g t h e o r y i n A I i s o n e o f

t h e m . T h e s e t w o t h e o r i e s a t t e m p t t o e x p l a i n

3

P i l t d o w n m a n a r e f o s s i l r e m a i n s f o u n d i n E n g l a n d

i n 1 9 1 2 . T h e f o s s i l s w e r e t h o u g h t t o b e a s p e c i e s o f p r e -

h i s t o r i c m a n a n d g e n e r a t e d s c h o l a r l y c o n t r o v e r s y t h a t

l a s t e d a b o u t 4 0 y e a r s . I n 1 9 5 4 , i n t e n s e r e - e x a m i n a t i o n

s h o w e d t h e r e m a i n s t o b e f r a u d u l e n t . T h e f o s s i l s c o n -

s i s t e d o f s k i l l f u l l y d i s g u i s e d f r a g m e n t s o f a q u i t e m o d -

e r n h u m a n c r a n i u m ( 5 0 , 0 0 0 y e a r s o l d ) , t h e j a w a n d

t e e t h o f a n o r a n g u t a n , a n d t h e t o o t h o f a c h i m p a n z e e .

i n t e l l i g e n c e . T h e w e a k r e a s o n i n g m e t h o d s o f

t h e r s t t h e o r y h a v e g r a d u a l l y g i v e n w a y , o r

h a v e b e e n c o u p l e d w i t h , k n o w l e d g e b a s e s 4 ] .

O t h e r e x a m p l e s i n c l u d e s y m b o l i c v s . s u b s y m -

b o l i c p r o c e s s i n g , R I S C v s . C I S C , t h e v a r i o u s

m o d e l s f o r p r e d i c t i n g t h e p e r f o r m a n c e o f ( p a r -

a l l e l ) c o m p u t e r s , a n d t h e c o m p e t i t i o n a m o n g

p r o g r a m m i n g l a n g u a g e f a m i l i e s ( l o g i c , f u n c -

t i o n a l , i m p e r a t i v e , o b j e c t - o r i e n t e d , r u l e - b a s e d ,

c o n s t r a i n t - b a s e d ) . A n o t h e r i m p o r t a n t e x a m -

p l e i s a l g o r i t h m s t h e o r y . T h e p r e s e n t t h e o r y

h a s m a n y d r a w b a c k s ; i n p a r t i c u l a r , i t d o e s

n o t a c c o u n t f o r t h e b e h a v i o r o f a l g o r i t h m s o n

\ t y p i c a l " p r o b l e m s 7 ] . A m o r e a c c u r a t e t h e -

o r y t h a t a p p l i e s t o m o d e r n c o m p u t e r s w o u l d

b e v a l u a b l e .

A p r e r e q u i s i t e f o r c o m p e t i t i o n a m o n g t h e -

o r i e s i s f a l s i a b i l i t y . U n f o r t u n a t e l y , c o m p u t e r

s c i e n c e t h e o r i s t s r a r e l y p r o d u c e f a l s i a b l e t h e -

o r i e s ; t h e y t e n d t o p u r s u e m a t h e m a t i c a l t h e o -

r i e s t h a t a r e d i s c o n n e c t e d f r o m t h e r e a l w o r l d .

4

T h u s , i t h a s l a r g e l y f a l l e n t o e x p e r i m e n t a l i s t s

a n d e n g i n e e r s t o f o r m u l a t e f a l s i a b l e t h e o r i e s .

W h i l e c o m p u t e r s c i e n c e i s p e r h a p s t o o

y o u n g t o h a v e b r o u g h t f o r t h g r a n d t h e o r i e s ,

m y g r e a t e s t f e a r i s t h a t t h e l a c k o f s u c h t h e o -

r i e s m i g h t b e c a u s e d b y a l a c k o f e x p e r i m e n -

t a t i o n . I f s c i e n t i s t s n e g l e c t e x p e r i m e n t a n d

o b s e r v a t i o n , t h e y ' l l h a v e d i c u l t i e s d i s c o v e r -

i n g n e w a n d i n t e r e s t i n g p h e n o m e n a w o r t h y o f

b e t t e r t h e o r i e s .

4

I n C h . 9 o f T h e Q u a r k a n d t h e J a g u a r , W . H . F r e e -

m a n ( 1 9 9 4 ) , G e l l - M a n n p r o v i d e s a l u c i d d i s c u s s i o n o f

t h e r e l a t i o n s h i p b e t w e e n m a t h e m a t i c s a n d s c i e n c e . I f

s c i e n c e i s c o n c e r n e d w i t h d e s c r i b i n g n a t u r e a n d i t s

l a w s , t h e n m a t h e m a t i c s i s n o t a s c i e n c e , b e c a u s e i t

i s n o t c o n c e r n e d w i t h n a t u r e ; i t i s c o n c e r n e d w i t h t h e

l o g i c a l c o n s e q u e n c e s o f c e r t a i n a s s u m p t i o n s . O n t h e

o t h e r h a n d , m a t h e m a t i c s c a n a l s o b e v i e w e d a s t h e r i g -

o r o u s s t u d y o f w h a t m i g h t h a v e b e e n , i . e . , t h e s t u d y

o f h y p o t h e t i c a l w o r l d s , i n c l u d i n g t h e r e a l o n e . I n t h a t

c a s e , m a t h e m a t i c s i s t h e m o s t f u n d a m e n t a l s c i e n c e o f

a l l .

1 0

8/22/2019 10.1.1.36.5786

11/12

4 . 3 S o f t s c i e n c e

\ S o f t s c i e n c e " m e a n s t h a t e x p e r i m e n t a l r e s u l t s

c a n n o t b e r e p r o d u c e d . E x p e r i m e n t s w i t h h u -

m a n s u b j e c t s a r e n o t n e c e s s a r i l y s o f t . T h e r e

a r e s t a c k s o f b o o k s o n h o w t o c o n d u c t e x p e r -

i m e n t s w i t h h u m a n s . E x p e r i m e n t a l c o m p u t e r

s c i e n t i s t s c a n l e a r n t h e r e l e v a n t t e c h n i q u e s o r

a s k f o r h e l p . T h e s i d e - b a r p r o v i d e s s o m e s t a r t -

i n g p o i n t s .

4 . 4 M i s u s e

T h e a r g u m e n t g o e s a l o n g t h e f o l l o w i n g l i n e s :

\ G i v e t h e m a n a g e r s o r f u n d i n g a g e n c i e s a s i n -

g l e g u r e o f m e r i t a n d t h e y w i l l u s e i t b l i n d l y

t o p r o m o t e o r e l i m i n a t e t h e w r o n g r e s e a r c h . "

I t h i n k t h i s i s a r e d h e r r i n g . G o o d m a n a g e r s ,

g o o d s c i e n t i s t s , a n d g o o d e n g i n e e r s a l l k n o w

b e t t e r t h a n t o r e l y o n a s i n g l e g u r e o f m e r i t .

S e c o n d , t h e r e i s a m u c h g r e a t e r d a n g e r i n r e -

l y i n g o n i n t u i t i o n a n d e x p e r t a s s e r t i o n a l o n e .

K e e p i n g d e c i s i o n m a k e r s i n t h e d a r k h a s a n

o v e r w h e l m i n g l y h i g h e r d a m a g e p o t e n t i a l t h a n

i n f o r m i n g t h e m t o t h e b e s t o f o n e s a b i l i t i e s .

5 C o n c l u s i o n

E x p e r i m e n t a t i o n i s c e n t r a l t o t h e s c i e n t i c

p r o c e s s . O n l y e x p e r i m e n t s t e s t t h e o r i e s . O n l y

e x p e r i m e n t s c a n e x p l o r e c r i t i c a l f a c t o r s a n d

b r i n g n e w p h e n o m e n a t o l i g h t s o t h e o r i e s c a n

b e f o r m u l a t e d i n t h e r s t p l a c e . W i t h o u t e x -

p e r i m e n t s i n t h e t r a d i t i o n o f s c i e n c e , c o m p u t e r

s c i e n c e i s i n d a n g e r o f d r y i n g u p a n d b e c o m i n g

a n a u x i l i a r y d i s c i p l i n e . T h e c u r r e n t p r e s s u r e

t o c o n c e n t r a t e o n a p p l i c a t i o n s i s t h e w r i t i n g

o n t h e w a l l .

I h a v e n o d o u b t t h a t c o m p u t e r s c i e n c e i s

a f u n d a m e n t a l s c i e n c e o f g r e a t i n t e l l e c t u a l

d e p t h a n d i m p o r t a n c e . M u c h h a s a l r e a d y b e e n

a c h i e v e d . C o m p u t e r t e c h n o l o g y h a s c h a n g e d

s o c i e t y , a n d c o m p u t e r s c i e n c e i s i n t h e p r o -

c e s s o f d e e p l y a e c t i n g t h e w e l t a n s c h a u u n g o f

t h e g e n e r a l p u b l i c . T h e r e i s a l s o m u c h e v i -

d e n c e s u g g e s t i n g t h a t t h e s c i e n t i c m e t h o d a p -

p l i e s . A s c o m p u t e r s c i e n c e l e a v e s a d o l e s c e n c e

b e h i n d , I h o p e t o s e e t h e e x p e r i m e n t a l b r a n c h

o f t h i s d i s c i p l i n e o u r i s h .

A c k n o w l e d g m e n t s T h i s e s s a y h a s b e n e t e d

t r e m e n d o u s l y f r o m n u m e r o u s d i s c u s s i o n s w i t h

c o l l e a g u e s . I ' m e s p e c i a l l y g r a t e f u l f o r t h o u g h t -

p r o v o k i n g c o m m e n t s b y L e s H a t t o n , E r n s t

H e i n z , J a m e s H u n t , P a u l L u k o w i c z , A n n e l i e s e

v . M a y r h a u s e r , D a v i d N o t k i n , S h a r i L a w r e n c e

P e e g e r , A d a m P o r t e r , L u t z P r e c h e l t , a n d

L a r r y V o t t a .

R e f e r e n c e s

1 ] V i c t o r R . B a s i l i a n d B . T . P e r r i c o n e . S o f t -

w a r e e r r o r s a n d c o m p l e x i t y : A n e m p i r i -

c a l i n v e s t i g a t i o n . C o m m u n i c a t i o n s o f t h e

A C M , 2 7 ( 1 ) : 4 2 { 5 2 , J a n u a r y 1 9 8 4 .

2 ] F r e d e r i c k P . B r o o k s . T o o l s m i t h I I . C o m -

m u n i c a t i o n s o f t h e A C M , 3 9 ( 3 ) : 6 1 { 6 8 ,

M a r c h 1 9 9 6 .

3 ] A l D a v i s . F r o m t h e e d i t o r . I E E E S o f t -

w a r e , 1 3 ( 2 ) : 4 { 7 , M a r c h 1 9 9 6 .

4 ] E d w a r d A . F e i g e n b a u m . H o w t h e W h a t

b e c o m e s t h e H o w . C o m m u n i c a t i o n s o f t h e

A C M , 3 9 ( 5 ) : 9 7 { 1 0 4 , M a y 1 9 9 6 .

5 ] J u r i s H a r t m a n i s . T u r i n g a w a r d l e c t u r e :

O n c o m p u t a t i o n a l c o m p l e x i t y a n d t h e n a -

t u r e o f c o m p u t e r s c i e n c e . C o m m u n i c a -

t i o n s o f t h e A C M , 3 7 ( 1 0 ) : 3 7 { 4 3 , O c t o b e r

1 9 9 4 .

6 ] L e s H a t t o n . R e e x a m i n i n g t h e

f a u l t d e n s i t y { c o m p o n e n t s i z e c o n n e c t i o n .

I E E E S o f t w a r e , 1 4 ( 2 ) : 8 9 { 9 7 , 1 9 9 7 .

7 ] J o h n N . H o o k e r . N e e d e d : A n e m p i r i -

c a l s c i e n c e o f a l g o r i t h m s . O p e r a t i o n s R e -

s e a r c h , 4 2 ( 2 ) : 2 0 1 { 2 1 2 , M a r c h 1 9 9 4 .

1 1

8/22/2019 10.1.1.36.5786

12/12

8 ] J o h n C . K n i g h t a n d N a n c y G . L e v e s o n .

A n e x p e r i m e n t a l e v a l u a t i o n o f t h e a s -

s u m p t i o n o f i n d e p e n d e n c e i n m u l t i v e r -

s i o n p r o g r a m m i n g . I E E E T r a n s a c t i o n s o n

S o f t w a r e E n g i n e e r i n g , S E - 1 2 ( 1 ) : 9 6 { 1 0 9 ,

J a n u a r y 1 9 8 6 .

9 ] T r e v o r M u d g e . R e p o r t o n t h e p a n e l : H o w

c a n c o m p u t e r a r c h i t e c t u r e r e s e a r c h e r s

a v o i d b e c o m i n g t h e s o c i e t y f o r i r r e p r o -

d u c i b l e r e s u l t s ? C o m p u t e r A r c h i t e c t u r e

N e w s , 2 4 ( 1 ) : 1 { 5 , M a r c h 1 9 9 6 .

1 0 ] S h a r i L a w r e n c e P e e g e r , V i c t o r B a s i l i ,

L i o n e l B r i a n d , a n d K h a l e d E l - E m a m . R e -

b u t t a l t o M a r c h 9 6 e d i t o r i a l . I E E E S o f t -

w a r e , 1 3 ( 4 ) , J u l y 1 9 9 6 .

1 1 ] A d a m A . P o r t e r a n d P . M . J o h n s o n . A s -

s e s s i n g s o f t w a r e r e v i e w m e e t i n g s : R e -

s u l t s o f a c o m p a r a t i v e a n a l y s i s o f t w o e x -

p e r i m e n t a l s t u d i e s . I E E E T r a n s a c t i o n s

o n S o f t w a r e E n g i n e e r i n g , 2 3 ( 3 ) : 1 2 9 { 1 4 5 ,

M a r c h 1 9 9 7 .

1 2 ] L u t z P r e c h e l t a n d W a l t e r F . T i c h y . A n

e x p e r i m e n t t o a s s e s s t h e b e n e t s o f i n t e r -

m o d u l e t y p e c h e c k i n g . I n P r o c . T h i r d

I n t l . S o f t w a r e M e t r i c s S y m p o s i u m , p a g e s

1 1 2 { 1 1 9 , B e r l i n , M a r c h 1 9 9 6 . I E E E C o m -

p u t e r S o c i e t y P r e s s .

1 3 ] A n t h o n y R a l s t o n a n d E d w i n D . R e i l l y .

E n c y c l o p e d i a o f C o m p u t e r S c i e n c e , T h i r d

E d i t i o n . V a n N o s t r a n d R e i n h o l d , 1 9 9 3 .

1 4 ] R a j R e d d y . T o d r e a m t h e p o s s i b l e d r e a m .

C o m m u n i c a t i o n s o f t h e A C M , 3 9 ( 5 ) : 1 0 5 {

1 1 2 , M a y 1 9 9 6 .

1 5 ] W a l t e r F . T i c h y , P a u l L u k o w i c z , L u t z

P r e c h e l t , a n d E r n s t A . H e i n z . E x p e r i -

m e n t a l e v a l u a t i o n i n c o m p u t e r s c i e n c e : A

q u a n t i t a t i v e s t u d y . T h e J o u r n a l o f S y s -

t e m s a n d S o f t w a r e , 2 8 ( 1 ) : 1 { 1 8 , J a n u a r y

1 9 9 5 .

1 6 ] E d w a r d O . W i l s o n . T h e D i v e r s i t y o f L i f e .

H a r v a r d U n i v e r s i t y P r e s s , 1 9 9 2 .

1 7 ] M a r v i n V . Z e l k o w i t z a n d D o l o r e s W a l -

l a c e . E x p e r i m e n t a l m o d e l s f o r v a l i d a t i n g

c o m p u t e r t e c h n o l o g y . I E E E C o m p u t e r ,

3 1 ( 5 ) , M a y 1 9 9 8 .

1 2