8/20/2019 1996-baumeister-leary (1)

1/10

Review of General Psychology

1997 Vol. 1 No. 3 311-320

W riting Narrative it era ture R ev iew s

R o y F . B a u m e i s t e r M a r k R . L e a r y

Case Western Rese rve Univers i ty W ake Fores t Univers i ty

Copyright 1997 by the Educational Publishing Foundation

1089-2680/97153.00

Narrat ive l i terature reviews serve a vi ta l scientific function, but few resources help

peop le learn to wri te them . As com pare d with empirical reports, l iterature review s can

tackle broader and mo re abs t rac t quest ions , can engage in m ore pos t hoc theor iz ing

wi thout the dang er of capital iz ing on chance , can make a s t ronger case for a

null-hy pothe sis conclusion, and can appreciate and use meth odo logica l diversi ty bet ter.

Also , l iterature review s can draw an y of 4 conclusion s: Th e hypo thesis is correct , i t has

not been co nclu sively established but is the currently best guess, i t is fa lse , or the

evidence pe rmi ts no conc lus ion . Com m on mis takes of authors of l it era ture review

manu scripts are described.

N a r r a t i v e l i t e r a t u r e r e v i e w s f o r m a v i t a l p a r t

o f m o s t e m p i r i c a l a r t i c le s , t h e s e s , a n d g r a n t

p r o p o s a l s , a n d o f co u r s e m a n y a r t i cl e s a n d b o o k

c h a p t e r s a r e d e v o t e d s p e c i f i c a l l y t o r e v i e w i n g

t h e l i t e r a t u r e o n a p a r t i c u l a r t o p i c . L i t e r a t u r e

r e v i e w s s e r v e a s c i e n t i f i c f i e l d b y p r o v i d i n g a

m u c h - n e e d e d b r i d g e b e t w e e n t h e v a s t a n d

s c a t t e r e d a s s o r t m e n t o f a r t ic l e s o n a t o p i c a n d

t h e r ea d e r w h o d o e s n o t h a v e t i m e o r re s o u r c e s

t o t r a c k t h e m d o w n . R e v i e w s a l s o p r e s e n t

c o n c l u s i o n s o f a s c o p e a n d t h e o r e t ic a l l e v e l t h a t

i n d i v i d u a l e m p i r i c a l r e p o r t s c a n n o t n o r m a l l y

a d d r e s s .

F o r i n d i v i d u a l r e s e a r c h e r s , w r i t i n g a m a j o r

l i t e r a t u r e r e v i e w a r t i c l e i s a v e r y i n f r e q u e n t b u t

o f t e n a v e r y i m p o r t a n t c a r e e r c o n t r i b u t i o n . Y e t ,

d e s p i t e t h e i m p o r t a n c e o f n a r r a t i v e l it e r a tu r e

r e v i e w s , n o e a s y a n d a v a i l a b l e w a y t o l e a r n t o

w r i t e t h e m i s k n o w n . R e s e a r c h m e t h o d s t e x t -

b o o k s d o n o t u s u a l l y e x p l a i n h o w t o d o t h e m ,

e v e n t h o u g h r e v i e w i n g l it e ra t u re i s a n im p o r t a n t

r e s e a r c h m e t h o d . M o s t g r a d u a t e s e m i n a r s i n

r e s e a r c h m e t h o d s l i k e w i se d e v o t e l it tl e o r n o

t i m e t o t h e m . A p p r e n t i c e s h i p w i t h a n a c c o m -

p l i s h e d l i te r a tu r e r e v i e w e r s e e m s t o b e o n e

p o s s i b l e s t r a t e g y t o l e a r n t h i s t e c h n i q u e , b u t

s u c h s p e c i a l i s t s a r e r a r e , a n d m o r e o v e r i t i s

g e n e r a l l y c o n s i d e r e d m o r e i m p o r t a n t f o r s t u -

Roy E Baum eister, Departmen t of Psychology, Case

Western R eserve University; Mark R. Leary, Department of

Psychology,W ake Forest University.

Correspondence concerning this article sho uld be ad-

dressed to Roy F. Baum eister, Department of Psychology,

Case W estern Reserve University, 10900 Euclid Avenue,

Cleveland, Oh io 44106-7123. Electronic mail m ay be sent

via Interne t to rfb2@ po.cwrn.edu.

d e n t s t o a p p r e n t i c e w i t h s o m e o n e w h o h a s

e x p e r t is e i n e m p i r i c a l m e t h o d s .

M o s t r e s e a r c h p s y c h o l o g i s t s a r e t r a i n e d i n

m e t h o d s o f d a t a c o l l e c t io n , a n d t h a t t ra i n i n g

g e n e r a l l y i n c l u d e s h o w t o w r i t e e m p i r i c a l

m a n u s c r i p t s . N o t s u r p r i s i n g l y , r e s e a r c h e r s u s e

t h e i r k n o w l e d g e r e g a r d i n g e m p i r i c a l p a p e r s

w h e n t h e y w r i t e li te r a tu r e r e v i e w s . U n d o u b t e d l y

t h e r e a r e i m p o r t a n t s i m i l a r i t i e s b e t w e e n w r i t i n g

l i t e r a t u r e r e v i e w s a n d w r i t i n g e m p i r i c a l r e p o r t s ,

a n d i n d e e d B e r n 1 9 8 7 , 1 9 9 5 ) h a s e m p h a s i z e d

s u c h p a r a l l e l s a n d s i m i l a r i ti e s i n g i v i n g v a l u a b l e

t i p s a b o u t w r i t i n g . Y e t , i m p o r t a n t d i f f e r e n c e s

e x i s t b e t w e e n w r i t i n g e m p i r i c a l r e p o r t s a n d

w r i t i n g l i te r a t u r e r e v i e w s . I n t h is a r t i c le , w e t r y

t o o f f e r a n o v e r v i e w o f t h e s p e c ia l p r o b l e m s ,

a d v a n t a g e s , o p p o r t u n i t i e s , a n d p i t f a ll s t h a t

p e r t a i n t o n a r r a t i v e l i t e r a t u r e r e v i e w s , a s c o m -

p a r e d w i t h w r i t i n g e m p i r i c a l r e p o r t s .

O u r o w n c o l l a b o r a t i o n b e g a n , p e r h a p s f i t -

t i n g l y , w i t h a l i t e r a t u r e r e v i e w p r o j e c t . W e h a d

e a c h b y t h a t p o i n t p u b l i s h e d a n u m b e r o f p r i o r

l i t e r a t u r e r e v i e w a r t i c l e s a n d c h a p t e r s . W h a t

s t r u c k u s , h o w e v e r , a s w e b e g a n o u r w o r k

t o g e t h er w a s n o t h o w m u c h w e k n e w a b o u t th e

p r o c e s s , b u t h o w i g n o r a n t w e s t i l l w e r e . W i t h

e a c h n e w r e v i e w p a p e r , r e v i e w e r s a n d e d i t o r s

r a i s e d n e w a n d i m p o r t a n t p o i n t s t h a t i m p r o v e d

t h e s t y le a n d i m p a c t o f o u r r ev i e w s . I n t h e

a b s e n c e o f w o r k s t h a t e x p l a i n e d h o w t o w r i t e a

l i t e r a t u r e r e v i e w , w e c o n t i n u e d t o l e a r n o n a

t r i a l- a n d - e r r o r , i n d i v i d u a l b a s i s , g u i d e d b y

e d i t o r s a n d t h e i r c o n s u l t a n t s . S u c h r e p e t i t i v e

i n s t r u c t i o n i s , o f c o u r s e , h i g h l y i n e f f i c i e n t f o r

t h e f i el d , n o t t o m e n t i o n a la r g e d r a i n o n t h e t i m e

a n d e n e r g i e s o f th e e d i to r i a l b o a r d o f m a j o r

311

8/20/2019 1996-baumeister-leary (1)

2/10

3 2 BAUMEISTER AND LEARY

l it e r a tu r e r e v i e w j o u r n a l s , w h o f in d t h e m s e l v e s

g i v i n g t h e s a m e f e e d b a c k a n d a d v i c e o v e r a n d

o v e r . W e h o p e t h is a r t i c le c a n h e l p f u t u r e w r i te r s

b e n e f i t f r o m t h e l e s s o n s w e h a v e l e a r n e d .

W e s h o u l d n o t e t h a t t h is a r t i c le d o e s n o t d e a l

w i t h m e t a - a n a l y s i s p a p e r s , w h i c h c o n s t i t u te a n

i m p o r t a n t a n d v a l u a b l e f o r m o f l i t e r a t u r e

r e v ie w . D e s c r ip t i o n s o f h o w t o d o m e t a - a n a ly t i c

r e v i e w s a r e a v a i l a b l e e l s e w h e r e , h o w e v e r ( E a -

g l y , 1987; R ose n t ha l , 1995) . We do no t s e e

m e t a - a n a l y s i s a n d n a r r a t i v e l it e r a tu r e r e v i e w i n g

a s in d i r e c t c o m p e t i t i o n . W h e r e m e t a - a n a l y s i s is

u s a b l e ( t h a t i s , w h e n t h e r e a r e m a n y s t u d i e s

a v a i l a b l e t e s t i n g t h e s a m e h y p o t h e s i s ) , i t i s

g e n e r a l l y t h e p r e f e r r e d m e t h o d . A n a r r a t i v e

l i te r a t u r e r e v i e w i s v a l u a b l e , h o w e v e r , w h e n o n e

i s a t t e m p t i n g t o l i n k t o g e t h e r m a n y s t u d i e s o n

d i f f e r e n t to p i c s , e i t h e r f o r p u r p o s e s o f r e i n t e r p r e-

t a t i o n o r i n t e r c o n n e c t i o n . A s s u c h , n a r r a t i v e

l i t e r a t u r e r e v i e w i n g i s a v a l u a b l e t h e o r y -

b u i l d i n g t e c h n i q u e , a n d i t m a y a l s o s e r v e

h y p o t h e s i s - g e n e r a t i n g f u n c t i o n s . M e t a - a n a l y s i s

i s , i n c on t ra s t , a hypot he s i s - t e s t i ng t e c hn i que .

N a r r a t i v e l i t e r a t u r e r e v i e w s a l s o m a y b e u s e f u l

f o r t e st in g h y p o t h e s e s w h e n m e t a - a n a l y s i s w i ll

n o t w o r k , s u c h a s w h e n t h e s t u d i e s a r e s o

m e t h o d o l o g i c a l l y d i v e r s e a s t o m a k e m e t a -

a n a l y t i c a g g r e g a t i o n i m p r a c t i c a l .

G o a l s o f L i t e r a t u re R e v i e w s

T h e r e a r e s e v e r a l d i f f e r e n t g o a l s t h a t l i te r a tu r e

r e v i e w e r s m a y t r y t o a c c o m p l i s h , a n d i t i s

h e l p f u l t o h a v e o n e s g o a l c l e a r ly i n m i n d w h i l e

w r i t i n g t h e m a n u s c r i p t . F i v e m a i n g o a l s c a n b e

d i s t i n g u i s h e d , a n d t h e s e h a v e i m p l i c a t i o n s f o r

t h e s t ru c t u r i n g o f t h e a r ti c le a n d i t s p l a c e - - o r

l a c k t he r e o f i n t he l i t e ra t u re .

T h e m o s t a m b i t i o u s g o a l o f l i t e r a t u r e r e v i e w

p a p e r s i n v o l v e s t h e o r y d e v e l o p m e n t . I n s u c h a

p a p e r , t h e a u t h o r s p r i m a r y o b j e c t i v e i s t o

p r o p o s e a n o v e l c o n c e p t u a l i z a t i o n o r t h e o r y

r e g a r d i n g s o m e p s y c h o l o g i c a l p h e n o m e n o n .

T h e m a n u s c r i p t r e v i e w s t h e l it e r a tu r e t o p r o v i d e

a c o n t e x t f o r d e s c r i b i n g , e l a b o r a t i n g , a n d

e v a l u a t i n g t h e n e w t h e o r y , o r i n d e e d t h e t h e o r y

m a y b e f o u n d i n th e i n t e g r a t i o n o f t h e m a t e r i a l

r e v i e w e d . A s l i g h t l y l e s s a m b i t i o u s b u t m o r e

c o m m o n t y p e o f l i t e r a t u r e f o c u s e s o n t h e o r y

e v a l u a t i o n . I n t h i s t y p e o f r e v i e w , t h e a u t h o r

d o e s n o t o f f e r a n e w t h e o r e t ic a l p e r s p e c t i v e b u t

r a t h e r r e v i e w s t h e l i t e r a t u r e r e l e v a n t t o t h e

v a l i d i t y o f a n e x i s t i n g t h e o r y ( o r o f t e n t w o o r

m o r e c o m p e t i n g t h e o r i e s ) . I n e s s e n c e , t h e

p u b l i s h e d l i t e r a t u r e p r o v i d e s a d a t a b a s e f r o m

w h i c h t h e a u t h o r d r a w s c o n c l u s i o n s a b o u t t h e

m e r i t s o f e x i s t i n g c o n c e p t u a l iz a t i o n s .

T h e l e a d in g r e v i e w j o u r n a l s m o s t c o m m o n l y

publ i sh a r t i c l e s t ha t a re a i me d a t t he ory

c o n s t r u c t i o n o r t h e o r y e v a l u a t i o n . A u t h o r s

a s p i r i n g t o w r i t e s u c h r e v i e w s m u s t t h e r e f o r e

r e c o g n i z e t h a t t h e i r t a s k i s n o t s i m p l y a s s e m -

b l i n g a n d d e s c r i b i n g p a s t w o r k b u t r a t h e r is o n e

o f b u i l d i n g o r t e s t i n g t h e o r y . I n i m p o r t a n t

r e s p e c t s , s u c h a n a r ti c le r e s e m b l e s a r e p o r t o f a

l a b o r a t o r y e x p e r i m e n t : I t d e s c r i b e s e m p i r i c a l

e v i d e n c e t h a t e v a l u a t e s a t h e o r e t i c a l h y p o t h e s i s .

E a c h p i e c e o f e v i d e n c e c o v e r e d i n th e m a n u -

s c r i p t d r a w s i ts v a l u e f r o m h o w i t h e l p s b u i l d o r

e v a l u a t e t h e o v e r a r c h i n g t h e o r y .

A t h i r d t y p e o f l i t e r a t u r e r e v i e w s u r v e y s t h e

s t a te o f k n o w l e d g e o n a p a r t i c u l a r to p i c . S u c h

r e v i e w s m a y p r o v i d e u s e f u l o v e r v i e w s a n d

i n t e g r a t io n s o f a n a r e a , b u t t h e y a r e n o t i n t e n d e d

t o o f f e r n o v e l i d e a s , n e w i n t er p r e t at i o n s , o r

s w e e p i n g c o n c l u s i o n s . T h e s e r e v i e w s c a n b e

v a l u a b l e a s a m e a n s o f p u l l i n g t o g e t h e r w h a t i s

k n o w n a b o u t a p a rt ic u l a r p h e n o m e n o n , s u c h a s

f o r a g r a n t p r o p o s a l , o r a s a r e s o u r c e t o t e a c h e r s.

B e c a u s e t h e t h e o r e t ic a l c o n t r i b u t io n i s m i n i m a l ,

h o w e v e r , t h e l e a d i n g j o u r n a l s a r e g e n e r a l l y

r e l u c t a n t t o p u b l i s h m a n u s c r i p t s o f th i s k i n d .

A f o u r t h c a t e g o r y o f l i t e r a t u r e r e v i e w h a s

p r o b l e m i d e n t if i c at i o n a s i ts g o a l . T h e p u r p o s e i s

t o r e v e a l p r o b l e m s , w e a k n e s s e s , c o n t r a d i c ti o n s ,

o r c o n t r o v e r s i e s i n a p a r t i c u la r a r e a o f i n v e s t i g a -

t i o n . T h e a u t h o r m a y v e n t u r e s o m e t e n t a t i v e

s o l u t io n s t o t h e p r o b l e m s h e o r s h e i d e n t if i es b u t

i s m o r e c o n c e r n e d w i t h s i m p l y i n f o r m i n g t h e

f i e l d t ha t some d i f f i c u l t y e x i s t s . Thus , suc h

a r t ic l e s t y p i c a l ly r a i se m o r e q u e s t i o n s t h a n t h e y

a n s w e r , l e a v i n g i t t o f u t u r e r e s e a r c h e r s t o

s t r ai g h t e n o u t th e m e s s . T h e s e w o u l d a p p e a r in

j o u r n a l s p r o b a b l y m o r e a s b r i e f a r t i c l e s o r

cr i t iques than as ful l - l ength a r t i c les . St i l l ,

i d e n t i f y i n g p r o b l e m s i n t h e e m p i r i c a l l it e r at u r e

c a n se r ve a va l ua b l e s c i e n t if i c func t i on .

A f i n al , le s s c o m m o n g o a l o f a r e v i e w a r t i c le

i s t o p r o v i d e a h i s t o r i c a l a c c o u n t o f t h e

d e v e l o p m e n t o f t h e o r y a n d r e s e a r c h o n a

p a r t i c u l a r t o p i c . S u c h p a p e r s a r e t y p i c a l l y

o r g a n i z e d c h r o n o l o g i c a l l y a n d , a l t h o u g h t h e i r

g o a l i s p r i m a r i l y t o t r a c e t h e h i s t o r y o f a n i d e a ,

t h e y t y p i c a l l y p r o v i d e a n o n g o i n g c o m m e n t a r y

r e g a r d i n g t h e i m p a c t a n d s h o r t c o m i n g s o f

va r i ou s c on t r i bu t i on s t o t he f i el d .

8/20/2019 1996-baumeister-leary (1)

3/10

WR ITING LITERATUREREVIEWS 313

D i s t in c t iv e A s p e c t s o f L i t e ra t u r e R e v i e w s

M o s t r e s e a r c h p s y c h o l o g i s t s h a v e r e c e i v e d

s o m e t r a in i n g i n h o w t o w r i t e e m p i r i c a l r e p o r t s.

N o t s u r p r i s i n g l y , t h e y u s e t h a t k n o w l e d g e w h e n

t h e y w r i t e l it e r at u r e r e v i e w s . U n d o u b t e d l y , t h e r e

a r e i m p o r t a n t s i m i l a r i t i e s , b u t w e f o c u s o n t h e

d i f f e r e n c e s b e t w e e n w r i t i n g e m p i r i c a l r e p o r t s

a n d w r i t i n g l i t e r a t u r e r e v i e w s b e c a u s e t h e s e

o f f e r th e b e s t o p p o r t u n i t y t o a p p r e c i a t e th e

spe c i a l na t u re o f the l a t t er . In t h i s s e c t i on ,

t h e r e f o r e , w e s e e k t o c o v e r w h a t s e t s t h e

l it er a tu r e r e v i e w a p a r t f r o m e m p i r ic a l r e p o r t s - -

i n t e r m s o f b o t h p r o b l e m s a n d o p p o r t u n i t i e s.

Scope of Question and Level o f bstraction

A f i r s t po i n t a bout t he use fu l ne s s o f l i t e ra t u re

r e v i e w s i s t h a t t h e y a l l o w t h e r e s e a r c h e r t o

a d d r e s s m u c h b r o a d e r q u e s t i o n s t h a n a s i n g l e

e m p i r i c a l st u d y c a n . B y f o c u s i n g o n p a t t e r n s a n d

c o n n e c t io n s a m o n g m a n y e m p i r i c a l fi n di n gs , a

l i t e r a t u r e r e v i e w c a n a d d r e s s t h e o r e t i c a l q u e s -

t i o n s th a t a r e b e y o n d t h e s c o p e o f a n y o n e s tu d y .

A t m o s t , a n e m p i r i c a l r e p o r t c a n r a i s e s u c h

i m p l i c a t i o n s i n a b r i e f a n d s p e c u l a t i v e w a y ,

w h e r e a s a l i t e r a t u r e r e v i e w c a n p e r m i t c o n c l u -

s i o n s a b o u t t h e m .

M o s t w r i t e r s o f e m p i r i c a l a r t i c l e s h a v e

p r o b a b l y b e e n p r e s s u r e d b y r e v i e w e r s a n d

e d i t o r s t o r e i n i n t h e o r e t i c a l c l a i m s t h a t w e r e

s e e n a s e x c e s s i v e l y s p e c u l a t i v e . T h e e d i t o r i a l

c onsu l t a n t s po i n t ou t , usua l l y r i gh t l y , t ha t t he

z e a lo u s a u t h o r s s w e e p i n g c o n c l u s io n s a r e n o t

w a r r a n t e d b y h i s o r h e r d a t a s e t . W e h a v e t w o

p o i n t s t o m a k e a b o u t t h is . F i rs t , th e i n c a p a c i t y o f

t h e d a t a s e t t o j u s t i f y s u c h t h e o r e t i c a l c l a i m s

p r o b a b l y d o e s n o t r e f l e c t a f la w i n t h a t p a r t i c u l ar

s t udy , bu t r a t he r i t r e f l e c t s a l i mi t a t i on i n t he

v e r y n a t u r e o f s i n g l e d a t a s e ts . A n y s i n g l e s t u d y

w i l l r a r e l y y i e ld e n o u g h d a t a t h a t c a n j u s t i f y

b r o a d c o n c l u s i o n s a b o u t h u m a n n a t u r e , h u m a n

b e h a v i o r , o r th e h u m a n c o n d i ti o n .

S e c o n d , a n d p e r h a p s m o r e i m p o r t a n t l y , t h o s e

s w e e p i n g c l a i m s t h a t th e a u t h o r d e s i r e s t o m a k e

m i g h t w e l l b e t r u e . ( A f t e r a l l , t h e r e a r e

p r e s u m a b l y s o m e i n t e r e s t i n g a n d v a l i d g e n e r a l -

i z a t io n s t o b e m a d e . ) A s e r i o u s p r o b l e m i s th e n

a p p a r e n t . I f s u c h g e n e r a l p a t t e r n s a n d p r i n c i p le s

e x i s t , b u t n o s i n g l e e m p i r i c a l s t u d y i s a d e q u a t e

t o j u s t if y d r a w i n g s u c h b r o a d c o n c l u si o n s , h o w

a r e t h e y t o b e f o u n d o r c o n t r i b u t e d t o t h e f i e ld ?

A n o t h e r w a y o f l o o k i n g a t t h e s a m e p r o b l e m

i s t o s a y t ha t ou r e mp i r i c a l j ourn a l s a re f i ll e d

w i t h u n d e r i n t e r p r e t e d r e s u l t s . T h e e d i t o r s a r e

c or re c t i n i ns i s t i ng t ha t a s i ng l e s t udy (o r e ve n a

s e t o f s t u d i e s) d o e s n o t u s u a l ly p e r m i t s w e e p i n g

c o n c l u s i o n s a b o u t t h e h u m a n c o n d i t i o n , e s p e -

c i a l l y b e c a u s e t h e s c i e n t i f i c r u l e s o f i n f e r e n c e

r e q u i r e c a u t i o n a n d p a r s i m o n y . Y e t t h e r e -

s e a r c h e r in o u r e x a m p l e is s o m e t i m e s c o r r e c t in

t h e b e l i e f t h a t t h e e m p i r i c a l f i n d in g r e f l e c t s a n

i m p o r t a n t g e n e r a l p r i n c i p l e - - - e v e n i f t h e e d i t o r

i s c or re c t i n ob j e c t i ng t ha t t he f i nd i ng fa i l s t o

r u l e o u t o t h e r g e n e r a l p r i n c i p l e s o r a l t e r n a t i v e

poss i b i l i t i e s a t t ha t l e ve l . The l i ke l y r e su l t i s

t h e r e f o r e th a t d e s p i t e m a n y e m p i r i c a l st u d i es o n

t h e t o p i c , n o n e o f t h e m c a n a r g u e t h e b r o a d e r

pr i nc i p l e .

T h a t , o f c o u r s e , is w h e r e t h e l i t e ra t u r e r e v i e w

b e c o m e s u s e f u l . L i t e r a t u r e r e v i e w s a r e v i t a l t o

t he sc i e n t i f i c f i e l d fo r b r i dg i ng t he ga p i n

i n t e r p r e t a t i o n . C e r t a i n b r o a d c o n c l u s i o n s m a y

i n d e e d l ie f o r e v e r b e y o n d t h e r e a c h o f a n y s in g l e

i n v e s t ig a t i o n , b u t a l i te r a t u r e r e v i e w t h a t e x a m -

i n e s a n d i n t e g r a t e s t h e r e s u l t s o f d o z e n s o f

s t u d i e s c a n a d d r e s s t h e m . W i t h o u t l i t e r a t u r e

r e v i e w s , t h e f i e l d m i g h t r e m a i n p e r m a n e n t l y

u n a b l e t o a n s w e r s o m e o f i t s m o s t f a s c i n a t i n g

que s t i ons .

Po st Hoc Theorizing

G r a d u a t e s t u d e n t s in p s y c h o l o g y a re r o u t in e l y

t a u g h t t h e i m p o r t a n c e o f d e l in e a ti n g o n e s

h y p o t h e s e s i n a d v a n c e ( i . e . , p r i o r t o c o l l e c t i n g

d a t a ). E s t a b l i s h e d r e s e a r c h e r s c o n t i n u e t o r e g a r d

i t a s q u e s t i o n a b l e a n d p o s s i b l y u n e t h i c a l t o

t h e o r i z e a f t e r o n e s e m p i r i c a l r e s u l ts a r e k n o w n .

T h e r e a r e g o o d r e a s o n s f o r s u c h i n s i st e n c e , e v e n

t h o u g h m a n y e x p e r t s s u s p e c t th a t r e s e a r c h e r s d o

c o n t i n u e t o r e f i n e a n d d e v e l o p t h e i r i d e a s a f t e r

t h e d a t a h a v e b e e n a n a l y z e d .

P r o m i n e n t a m o n g t h e s e r e a so n s i s th e d a n g e r

o f c a p it a li z i n g o n c h a n c e . R a n d o m v a r i a t i o n

w i l l y i e l d a f a i r n u m b e r o f s p u r i o u s s i g n i f i c a n t

f i n d in g s . I f r e s e a r c h e r s w e r e p e r m i t t e d t o f o r -

m u l a t e t h e i r th e o r i e s a f t e r c o m p l e t i n g t h e s tu d y ,

t h e y w o u l d i n v e n t r e a s o n s f o r t h e s e c h a n c e

f i n d i n g s , w h i c h w o u l d t h e n b e c o m e i n c o r p o -

r a t e d in t o t h e f i e ld s b o d y o f k n o w l e d g e , t h e r e b y

p o l l u t i n g i t w i t h f a l s e c o n c l u s i o n s . R e q u i r i n g

r e s e ar c h e r s t o f o r m u l a t e h y p o t h e s e s i n a d v a n c e

he l ps p ro t e c t the f i e l d a ga i ns t t he se e r ro r s .

S u c h c o n c e r n s d o n o t a p p l y t o l i t e r a t u r e

r e v i e w s , h o w e v e r . A s a r e s u l t, i t w o u l d t h e r e f o r e

8/20/2019 1996-baumeister-leary (1)

4/10

3 4 BAUMEISTER AND LEARY

b e u n f o r t u n a t e a n d m i s g u i d e d f o r l i t e r a t u r e

r e v i e w e r s t o l i m i t t h e m s e l v e s t o a p r i o r i

h y p o t h e s i z i n g i n t h e w a y t h a t e m p i r i c i s t s

s h o u l d . T h e c r u c i a l d i f f e re n c e i s t h a t t h e d a n g e r

o f c a p i t a li z i n g o n c h a n c e , w h i c h c a n b e q u i t e

s e r i o u s i n a s i n g l e e m p i r i c a l s t u d y w i t h s e v e r a l

d o z e n v a r i a b l e s a n d p o s s i b l y h u n d r e d s o f

a na l yse s , i s ne g l i g i b l e i n a l i t e ra t u re r e v i e w. For

a l i t e r a t u r e r e v i e w t o m a k e s u c h a n e r r o r w o u l d

r e q u i r e t h a t d o z e n s o f s t u d ie s s o m e h o w a l l p o i n t

t o w a r d a w r o n g c o n c l u s i o n b y s t a t i s t i c a l f l u k e ,

w h i c h w o u l d b e h i g h l y i m p r o b a b l e . ( O t h e r

s t u d i e s w o u l d a l m o s t c e r t a i n l y f i n d t h e c o r r e c t

a n s w e r . ) H e n c e i t s h o u l d b e r e g a r d e d a s e n t ir e l y

p e r m i s s i b l e f o r a li te r a t u r e r e v i e w e r to f o r m u l a t e

h y p o t h e s e s a f t e r r e a d i n g t h e l i t e r a t u r e . I n t h i s

r e s p e c t , a s s e m b l i n g e v i d e n c e b y r e a d i n g t h e

l i te r a t u re i s n o t th e s a m e a s a s s e m b l i n g e v i d e n c e

b y c o l l e c t in g o r i g i n a l d a t a .

O ur v i e w c a r r i e s t h i s po i n t a s t e p fu r t he r : I t i s

n o t o n l y p e r m i s s i b l e b u t p o s i t i v e l y d e s ir a b l e t h a t

a l i t e r a t u r e r e v i e w e r t h e o r i z e a f t e r a s s e m b l i n g

t h e e v i d e n c e . A l i t e r a t u r e r e v i e w a l l o w s o n e t o

t a k e a b i g s t e p u p i n t h e l e v e l o f a b s t r a c ti o n ( a s

c o m p a r e d w i t h t h e l e v e l o f a n e m p i r i c a l s t u d y ) .

W h e n o n e t a k e s t h a t s t e p , a r m e d w i t h a n e w l y

a s s e m b l e d s e t o f f a c t s a n d f i n d i n g s , o n e m a y

o f t e n d i s c o v e r t h a t o n e s o r i g i n a l i d e a s f o r m u -

l a t e d t h e i s s u e w r o n g l y o r f a i l e d t o a n t i c i p a t e

v a r i o u s q u e s t i o n s a n d a n s w e r s . I t w o u l d b e

foo l i sh ( a nd c os t l y t o t he sc i e n t i f i c fi e l d ) t o i ns i s t

o n s t i ck i n g w i t h o n e s o r i g i n a l i d e a s. T o p u t t h i s

a n o t h e r w a y , li t er a t u r e r e v i e w e r s c a n a n d s h o u l d

r e m a i n o p e n t o n e w i d e a s f a r l o n g e r t h a n

e m p i r i c a l i n v e s t i g a t o r s .

U l t i m a t e l y , l i t e r a t u r e r e v i e w e r s h a v e f a r l e s s

c o n t r o l o v e r t h e i r e v i d e n c e t h a n e m p i r i c a l

r e s e a r c h e r s b e c a u s e t h e y a r e c o n s t r a i n e d b y

w h a t o t h e r r e s e a r c h e r s h a v e a l r e a d y d o n e . T o

i m p o s e o n e s o w n a p r i o r i c a te g o r i e s o n t h a t

b o d y o f e v i d e n c e m a y o f t e n b e a n a c t o f

p r o c r u s t e a n r i g i d i t y t h a t w i l l y i e l d m i s l e a d i n g

c o n c l u s i o n s . L i t e r a t u r e r e v i e w e r s s h o u l d a l l o w

t h e m s e l v e s t o b e l e d b y t h e i r e v id e n c e f a r m o r e

t h a n e m p i r i c a l r e s e a r c h e r s d a r e . F a i l u r e t o d o s o

c a n c r i p p l e t h e c a p a c i t y o f a l i te r a t u r e r e v i e w t o

ful f i l l i t s sc ient i f i c func t ion.

The Value of Null

T h e p r e s s u r e f o r p o s i t i v e r e s u l t s i s a n o t h e r

d i f f e r e n c e b e t w e e n w r i t i n g l i te r a t u r e r e v i e w s v s .

e m p i r i c a l re s u l ts . A u t h o r s o f e m p i r i c a l r e p o r t s

kn ow a l l too wel l tha t inconclus ive or nul l f indings

t y p i c a l l y d o o m t h e i r c h a n c e s o f p u b l i c a t i o n . A

s i ng l e s t ud y t ha t f a i l s t o f i nd s i gn i f i c a n t r e su l t s i s

b y n a t u r e a m b i g u o u s , s o e d i t o r s r a r e l y p u b l i s h

s u c h p a p e r s . K n o w i n g t h i s , a u t h o r s o f e m p i r i c a l

re por ts o f t e n fe e l p re s sured t o ma k e t he s t ron ge s t

poss i b l e c a se t ha t t he i r f i nd i ngs c on t r i bu t e a

c l ea r , p o s it i v e , u n a m b i g u o u s c o n c l u s i o n .

T h a t p r e s s u r e s h o u l d , h o w e v e r , b e g r e a t l y

d i m i n i s h e d f o r a u t h o r s o f li te r a tu r e r e v i e w s . U n -

l i k e m o s t e m p i r i c a l r e p o r t s , a l i t e r a t u r e r e v i e w

c a n m a k e a u s e f u l c o n t r i b u t i o n t o t h e f i e l d b y

c o n c l u d i n g t h a t th e e x i s t in g d a t a a r e i n a d e q u a t e

t o a n s w e r s o m e q u e s t i o n . S u c h a s s e s s m e n t s o f

t he s t a t e o f t he l i t e ra t u re he l p o t he r e mpi r i c a l

i n v e s t i g a t o r s k n o w w h e r e t o d i r e c t t h e i r e f f o r t s

a n d h e l p e d i t o r s j u d g e t h e n o v e l t y a n d i m p o r -

t a n c e o f f u t u r e e m p i r i c a l f i n d in g s .

I n e x t r e m e c a s e s, l it e r at u r e r e v i e w s c a n m a k e

a p o s i t i v e c o n t r i b u t i o n t o t h e f i e l d e v e n b y

c o n c l u d i n g t h a t n o d e f i n i t i v e a n s w e r s c a n b e

d r a w n f r o m t h e e x i s t i n g d a t a , o r t h a t t h e n u l l

hypot he s i s c a nnot be r e j e c t e d . In pa r t i c u l a r ,

s o m e l i t e r a t u r e r e v i e w s t a c k l e a s e t o f r e l a t e d

q u e s ti o n s a n d m a y c o n c l u d e t h a t o n e o r m o r e o f

t h e m r e m a i n s u n a n s w e r e d . A n e m p i r i c a l i n v e s t i-

g a t o r w h o t e s t e d f o u r h y p o t h e s e s a n d l e a r n e d

n o t h in g c o n c l u s i v e a b o u t o n e o f t h e m w o u l d

p r o b a b l y b e p r e s s u re d t o d r o p t h a t o n e f r o m h i s

o r h e r r e p o r t . A l i t e ra t u r e r e v i e w c o u l d c o n c e i v -

a b l y b e m o s t u s e f u l f o r i t s i d e n t i f i c a t i o n o f

w h i c h q u e s t io n s r e m a i n u n d e c i d e d .

T h e v a l u e o f a l it e ra t u r e r e v i e w t h a t c o n -

c l u d e s t h a t t h e e v i d e n c e i s i n c o n c l u s i v e i s

p r o b a b l y m o s t a p p a r e n t w h e n t h e a r ti c le i s i n th e

p r o b l e m i d e n t i f i c a t i o n c a t e g o r y m e n t i o n e d e a r -

l ie r. T ha t i s , one pos s i b l e go a l o f a l it e ra t u re

r e v i e w i s t o i n d i c a te t h a t a p e r s i s te n t p r o b l e m o r

a m b i g u i t y r e n d er s s o m e b o d y o f e v i d e n c e le s s

c o n c l u s i v e t h a n i s w i d e l y b e l i e v e d o r p e r c e i v e d .

I n s u c h c a s e s , n o t i n g t h a t t h e f i e l d k n o w s l e s s

t h a n i t m i g h t h a v e s u r m i s e d is i m p o r t a n t . A s w e

n o t e d , s u c h a g o a l i s m o r e c o m p a t i b l e w i t h

b r i e f e r c o m m e n t s o r c r i t i q u e a r t i c l e s t h a n w i t h

f u l l -s i z e l it e r a tu r e r e v i e w s a i m e d a t d e v e l o p i n g

a n d e v a l u a t i n g t h e o r y , b u t i t n o n e t h e l e s s c a n

s e r v e a v a l u a b l e c o r r e c t i v e f u n c t i o n .

Number of Possible onclusions

A s t h e p r e v i o u s s e c t i o n i m p l i e s , t h e r u l e s o f

i n f e r e n c e r e g a r d i n g p e r m i s s i b l e c o n c l u s i o n s

m a y b e q u i t e d i f f e r e n t f o r e m p i r i c a l i n v e s t i g a -

8/20/2019 1996-baumeister-leary (1)

5/10

WRITING LITERATURE REVIEWS 3 5

t i o n s a s o p p o s e d t o l i t e r a t u r e r e v i e w s . W e

s u g g e s t t h a t w h e r e a s a s u c c e s s f u l e m p i r i c a l

i n v e s t i g a t i o n p e r m i t s o n l y o n e t y p e o f c o n c l u -

s i on , a suc c e s s fu l l i t e ra t u re r e v i e w shoul d

pe rmi t four .

N e a r l y e v e r y a s p i r i n g r e s e a r c h e r i s t a u g h t t h a t

e m p i r i c a l s tu d i e s t e s t h y p o t h e s e s t h a t y i e l d t w o

p o s s i b l e o u t c o m e s , o n l y o n e o f w h i c h i s

me a ni ngfu l . Spe c i f i c a l l y , a s t udy e i t he r r e j e c t s

i ts n u ll h y p o t h e s i s w h i l e s u p p o r t i n g i ts n o n - n u l l

hypot he s i s ) o r i t f a i l s t o do so , a nd fa i l u re t o

r e j e c t t h e n u l l h y p o t h e s i s i s d e e m e d i n h e r e n t l y

i n c o n c l u s i v e . T h e p o s i t i v e c o n c l u s i o n t h a t a c -

c o m p a n i e s t h e r e je c t i o n o f t h e n u ll h y p o t h e s i s i s

t h e r e f o r e t h e o n l y u s e f u l c o n c l u s i o n a n e m p i r i -

c a l s t udy c a n dra w. In c on t ra s t , a l i t e ra t u re

r e v i e w c a n e f f e ct iv e l y a n d u s e f u ll y d r a w a n y o f

f o u r t y p e s o f c o n c l u s io n . I t s e e m s d e s i r a b l e t h a t

l it e r a tu r e r e v i e w e r s k e e p t h e s e d i f f e r e n t p o s s i b l e

c o n c l u s i o n s i n m i n d a n d d i s t i n g u i s h a m o n g

t h e m , i n s t e a d o f s i m p l y u s i n g t h e y e s - o r - n o

d i c h o t o m o u s l o g i c t h a t g u i d e s e m p i r i c a l w o r k .

T h e f i r st t y p e o f c o n c l u s i o n i s th e s a m e a s f o r

a n e m p i r i c a l s tu d y : T h e h y p o t h e s i s i s c o r re c t , a t

l e a s t b a s e d o n t h e p r e s e n t e v i d e n c e . A l i te r a t u re

r e v i e w e r w h o f i n d s th a t m u l t i p l e s tu d i e s p r o v i d e

c o n v e r g i n g e v i d e n c e f o r t h e s a m e c o n c l u s io n i s

j us t i f i e d i n s a y i ng t ha t , a t l e a s t g i v e n t he c ur re n t

s t a te o f k n o w l e d g e , t h e h y p o t h e s i s i s s u p p o r t e d .

I n d e e d , g i v e n t h a t t h e l i t e r a t u r e r e v i e w e r h a s

m u l t i p l e s tu d i e s a n d f i n d i n g s t o w o r k w i t h , h e o r

s h e c a n d r a w t h a t c o n c l u s i o n w i t h m u c h m o r e

c o n f i d e n c e t h a n c a n t h e a u t h o r o f a n y s i n g l e

s tudy.

T h e s e c o n d p o s s i b l e c o n c l u s i o n i s t h a t t h e

h y p o t h e s i s , a l t h o u g h n o t p r o v e n , i s c u r re n t l y th e

b e s t g u e s s a n d s h o u l d b e a s s u m e d t o b e t r u e

u n t i l c o n t r a r y e v i d e n c e e m e r g e s . S u c h a c o n c l u -

s i o n m i g h t b e r e a c h e d i f th e e v i d e n c e i s s u b j e c t

t o v a r i o u s f l a w s a n d b i a s e s b u t p o i n t s c o n s i s -

t e n t ly t o t h e s a m e c o n c l u s i o n . I f al l t h e e v i d e n c e

i s f l a we d , bu t t he f l a ws a re d i f f e re n t , t he n t he

m o s t p a r s i m o n i o u s c o n c l u s i o n i s t h a t t h e

h y p o t h e s i s i s c o r r e c t . S u c h a c o n c l u s i o n m u s t

r e m a i n t e n t a ti v e , h o w e v e r , b e c a u s e i t i s p o s s i b l e

t h a t a c o n v e r g e n c e o f a r t i f a c ts p r o d u c e d it.

T h i s s e c o n d t y p e o f c o n c lu s i o n h a s n o

a n a l o g u e i n e m p i r i c a l i n v e s t i g a t i o n s , b u t i t i s

i m p o r t a n t i n l i t e r a t u r e r e v i e w s . O f t e n o n e w i l l

f i n i s h r e a d i n g a m a s s o f l i t e r a t u r e f a i r l y

c o n v i n c e d t h a t a h y p o t h e s i s i s c o r r e c t b u t w i ll b e

u n w i l l i n g t o a s s e r t t h a t t h e f i n d i n g s p r o v i d e

de f i n i t i ve suppor t fo r i t . Logi c a l l y t h i s s t a t e o f

a f fa i r s i s qu i t e d i s t i nc t f ro m a s se r t i ng e i t h e r t ha t

t h e h y p o t h e s i s h a s b e e n u n e q u i v o c a l l y s u p -

p o r t e d o r t h a t t h e d a t a a r e i n c o n c l u s i v e . F o r

r e s e a r c h e r s , t h i s s e c o n d c o n c l u s i o n e n t a i l s t h a t

t h e b u r d e n o f p r o o f s h o u l d a t l e a s t b e s h i f t e d

o n t o o t h e r s i d e o f th e a r g u m e n t , a l lo w i n g t h e

f i e l d t o a s s u m e f o r t h e t i m e b e i n g t h a t t h e

h y p o t h e s i s is t r u e w h i c h i t p r o b a b l y is ) . F o r

p r a c t i t i o n e r s a n d a p p l i e d p s y c h o l o g i s t s , s u c h a

c o n c l u s i o n i s p a r t i c u l a r ly v a l u a b l e b e c a u s e t h e y

n e e d t h e b e s t c u r r e n t l y a v a i l a b l e a n s w e r w h e n a

c l i e n t o r p r a c t i c a l p r o b l e m c a n n o t w a i t m a n y

y e a r s u n t i l d e f i n i ti v e p r o o f m a y b e f o r t h c o m i n g .

T h e t h i rd p o s s i b l e c o n c l u s i o n i s th a t o n e d o e s

n o t k n o w w h e t h e r t h e g i v e n h y p o t h e s is i s t ru e o r

f a l s e . T h i s m a y a r i s e b e c a u s e e v i d e n c e i s

l a c k i ng , i s i n t e rna l l y c ons i s t e n t a nd c on t ra d i c -

t o r y , o r s u f f e r s f r o m o n e o r t w o p e r v a s i v e f l a w s

a s o p p o s e d t o w i d e l y v a r i e d f l a w s ) t h a t r e n d e r i t

a m b i g u o u s . A s a l r e a d y n o t e d , s u c h a c o n c l u s i o n

i s u s u a l l y u n p u b l i s h a b l e i n a n e m p i r i c a l r e p o r t ,

b u t i n a l i te r a tu r e r e v i e w i t c a n m a k e a v a l u a b l e

c on t r i bu t i on .

T h e f o u r t h p o s s i b l e c o n c l u s i o n i s t h a t t h e

hypot he s i s i s f a l s e . A s i ng l e s t udy wi t h a nu l l

r e s u l t i s i n c o n c l u s i v e , b u t i f s e v e r a l d o z e n

s t ud i e s a l l f a i l t o suppor t a g i ve n hypot he s i s ,

t h e n p r o b a b l y i t i s w r o n g . C o n t r a r y e v i d e n c e c a n

p r o v i d e t w o d i s t i n c t t y p e s o f i n f o r m a t i o n a b o u t

t h e w r o n g n e s s o f t h e h y p o t h e s is : T h e h y p o t h e s i s

m a y b e w r o n g a s i n a n u l l -h y p o t h e s i s c o n c lu -

s i o n ) o r t h e o p p o s i t e o f t h e h y p o t h e s i s i s c o r r e c t.

T h i s f o u r t h t y p e o f c o n c l u s i o n i s e s p e c i a l l y

i m p o r t a n t w h e n o n e i s d e a li n g w i t h a b e l i e f o r

h y p o t h e s i s t h a t h a s b e c o m e w i d e l y a c c e p t e d . I t

i s a f t e r a l l p o s s i b l e t h a t a w r o n g t h e o r y w i l l

b e c o m e g e n e r a l l y a c c e p t e d i n a n y s c i e n t i f i c

f i e l d , pe rha ps e spe c i a l l y a f i e l d suc h a s psyc hol -

o g y i n w h i c h e a r l y w r i t e r s p u t f o r w a r d i m p o r -

t a n t c o n c l u s i o n s w i t h l i t t l e e v i d e n c e a n d t h e s e

h a v e b e e n p a s s e d d o w n w i t h o u t q u e s t i o n . A

s i n g l e e m p i r i c a l s t u d y p r o v i d i n g c o n t r a r y e v i -

d e n c e w i l l o f t e n e n c o u n t e r r e s i s t a n c e t o a c c e p -

t a n c e f o r p u b l i c a t io n i f it g o e s a g a i n s t p r e v a i l i n g

v i e w s a n d p r o b a b l y r ig h t l y s o ). A l it e r at u r e

r e v i e w o f m u l t ip l e f in d i n gs m a y o f t e n b e t h e

o n l y e f f e c t i v e m e c h a n i s m f o r t h e f i e l d t o f r e e

i t s e lf o f e n t r e n c h e d e r r o r s .

Methodological onvergence

T h e s o c i a l a n d b e h a v i o r a l s c i e n c e s a d d r e s s a

d a u n t i n g a s s o r t m e n t o f th e o r e t i c a l is s u e s , a n d

8/20/2019 1996-baumeister-leary (1)

6/10

3 6 BAUMEISTER AND LEARY

t h e y h a v e d e v e l o p e d a m i n d - b o g g l i n g a s s o r t -

m e n t o f m e t h o d s . I n o u r v i e w , th i s m e t h o d o l o g i -

c a l d i v e r s i t y i s a h i g h l y d e s i r a b l e r e s p o n s e t o a

s e r io u s p r o b l e m : B y a n d l a r g e, n o n e o f t h e

m e t h o d s i s p e r f e c t . T h e e n d l e s s q u e s t t o d e v i s e

n e w r e s e a r c h m e t h o d s r e f le c t s t h e p e r e n n i a l a n d

v a l i d p e r c e p t i o n t h a t e x i s t i n g m e t h o d s a r e n o t

sure g u i de s t o t he t ru t h .

I f a ll m e t h o d s a r e f la w e d , t h e n t h e c o n c l u -

s i ons a re l i mi t e d by t he f l a ws . Inde e d , t he na t u re

o f m e t h o d o l o g i c a l f l a w s i s t h a t t h e y p e r m i t

a l t e rna t i ve i n t e rpre t a t i ons o f the r e su l ts . The

j u d g m e n t a b o u t w h e t h e r t o p u b l i s h a g i v e n

e m p i r i c a l s t u d y o f t e n b o i l s d o w n t o h o w

s e r i o u s l y t h e c o n c l u s i o n s a r e i m p a i r e d b y t h e s e

m e t h o d o l o g i c a l w e a k n e s s e s a n d f l a w s.

T h e r u l e o f p a r s i m o n y g i v e s t h e l i t e r a t u r e

r e v i e w e r a n i m p o r t a n t a d v a n t a g e o v e r th e

e m p i r i c a l re s e a r c h e r , h o w e v e r , i f t h e e v i d e n c e

b e i n g r e v i e w e d i s m e t h o d o l o g i c a l l y d i v e r s e .

C o n v e r g e n c e o f e v i d e n c e a c r o s s m u l t i p l e r e -

s e a r c h m e t h o d s n o r m a l l y e n t a i l s t h a t t h e g i v e n

h y p o t h e s i s i s t h e m o s t p a r s i m o n i o u s c o n c l u s io n .

Di f fe re n t f l a ws e n t a i l d i f f e re n t a l t e rna t i ve i n t e r -

p r e t a t i o n s . W h e r e a s o n e a l t e r n a t i v e i n t e r p r e t a -

t i o n m a y b e e n o u g h t o u n d e r m i n e a n e m p i r i c a l

s t u d y , i t m a y n o t b e a b l e t o a c c o u n t f o r a l l t h e

f i n d in g s i f t h e m e t h o d s a r e d i v e r s e .

H e n c e , l i t e r a t u r e r e v i e w e r s a r e o b l i g a t e d t o

a t t e n d t o t h e m e t h o d o l o g i c a l d i v e r s i t y , a n d n o t

j u s t t h e q u a n t i t y , o f e v i d e n c e . A h y p o t h e s i s

s u p p o r t e d b y 5 0 s t u d i e s m a y i n f a c t b e s h a k i e r ,

m o r e d u b i o u s , a n d s i m p l y m o r e w r o n g t h a n a

h y p o t h e s i s s u p p o r t e d b y 5 s t u d i e s , i f t h e 5 0 u s e d

t h e s a m e m e t h o d w h e r e a s t h e 5 u s e d a l l d i f f e r en t

o n e s . M e t h o d o l o g i c a l d i v e r s i t y s h o u l d b e e s p e -

c i a l l y p r i z e d b y n a r r a t i v e l i t e r a t u r e r e v i e w e r s

b e c a u s e i t i s s o m e t h i n g t h e y a r e u n i q u e l y

p o s i t i o n e d t o r e c o g n i z e a n d u s e i n d r a w i n g

c o n c l u s i o n s a b o u t t h e l i te r a tu r e .

C o m m o n M i s ta k e s

I n t h i s s e c t i o n , w e d i s c u s s s e v e r a l c o m m o n

m i s t a k e s t h a t a u t h o rs c o m m i t w h e n u n d e r ta k i n g

m a j o r r e v i e w s o f t h e l i t e r a t u r e . T h e s e a r e

m i s t a k e s t h a t h a v e b e e n p o i n t e d o u t t o o n e o r

b o t h o f u s h a v e a t v a r io u s t i m e s o r t h a t w e h a v e

o b s e r v e d w h e n w e h a v e r e a d l i t e r a t u r e r e v i e w

m a n u s c r i p t s w r i t t e n b y o t h e r s .

nadequate ntroduction

O n e c o m m o n e r r o r i s i n a d e q u a t e d e v e l o p -

m e n t o f t h e i n t r o d u c t i o n o f t h e m a n u s c r i p t .

A u t h o r s m a y s k i m p o n p r e s e n ti n g t h e ir c o n c e p -

t ua l a nd t he ore t i c a l i de a s e a r l y i n a ma nusc r i p t

f o r m a n y r e a so n s . S o m e a u t ho r s s e e m t o t h i n k

t h a t th e p u r p o s e o f a l i te r a tu r e r e v i e w i s s i m p l y

t o d e s c r i b e a c o l l e c ti o n o f r e l e v a n t f in d i n g s , s o

n o i n t e g r a t i v e t h e o r i z i n g i s n e e d e d , a n d t h e

i n t r o d u c t i o n d o e s n o t h a v e a n y t a s k e x c e p t t o

c o n v i n c e t h e r e a d e r h o w i m p o r t a n t a n d i n te r e s t-

i ng t he t op i c i s . (As we sa i d , t hough , suc h

r e v i e w s h a v e l i tt le c h a n c e o f b e i n g p u b l i s h e d i n

l e a d i n g j o u r n a l s . ) O t h e r a u t h o r s p o s t p o n e t h e

i n t e gra t i ve t he ory un t i l t he d i sc uss i on se c t i on

a f t e r a l l t he s t ud i e s ha ve be e n de sc r i be d ,

b e c a u s e t h a t s e q u e n c e c o r r e s p o n d s t o t h e

a u t h o r ' s o w n t h o u g h t p r o c e s s a s h e o r s h e

r e v i e w e d t h e a r e a - - r e a d i n g t h e e v i d e n c e w i t h

a n o p e n m i n d a n d t h e n d r a w i n g c o n c l u s i o n s .

A l s o , s o m e a u t h o r s m a y p o s t p o n e t h e i r i n t e g r a -

t i v e t a k e - h o m e m e s s a g e u n t il l a te i n t h e

m a n u s c r i p t b e c a u s e s u c h a d e l a y i n c r e a s e s i t s

d r a m a t i c i m p a c t . T h a t i s , t h e y w a n t t o s h o w

w h a t a h o p e l e s s m e s s t h e l i t e ra t u r e o n t h e i r t o p i c

s e e m e d b e f o r e d e m o n s t r a t i n g h o w t h e i r r e c o n -

c e p t u a l i z a t i o n c a n b r i n g o r d e r t o t h e c h a o s .

F u r t h e r m o r e , a s w e s a i d , e m p i r i c a l a u t h o r s f e e l

s o m e o b l i g a t i o n n o t t o m e n t i o n p o s t h o c

t he or i z i ng i n t he i n t roduc t i on .

For a l i t e ra t u re r e v i e w, howe ve r , i t i s usua l l y

n e c e s s a r y t o p r e s e n t a f u l l a n d v i g o r o u s l y

i n t e g r a t i v e t h e o r e t i c a l f r a m e w o r k e a r l y i n a

m a n u s c r i p t . F e w r e a d e r s c a n m a n a g e t o w a d e

t h r o u g h 5 0 p a g e s o f te x t a n d d o z e n s o f f a c ts a n d

f i n d i n g s b e f o r e l e a r n i n g w h a t t h e p o i n t i s . A n d

t h e s i m p l e d e s c r i p t io n o f f i n d in g s w i t h o u t a

n o v e l t h e o r e t i c a l c o n t r i b u t i o n i s t y p i c a l l y n o t

suf f i c i e n t t o wa r ra n t pub l i c a t i on .

W e s e e t w o w a y s f o r a u t h o r s t o i n c o r p o r a t e

t h e o r e t ic a l p o i n t s e a r l y i n a r e v i e w m a n u s c r i p t.

O n e i s t o p r e s e n t o n e ' s f u l l t h e o r e ti c a l c o n c e p t u -

a l i z a t i o n u p f r o n t , u s i n g t h e r e m a i n d e r o f t h e

m a n u s c r i p t t o r e v i e w t h e l i t e r a t u r e r e l e v a n t t o

t h e t h e o r y . A l t e r n a t i v e l y , a n a u t h o r m i g h t

p r o v i d e a b r i e f b o t t o m - l i n e p r e v i e w o f t h e

t he o ry e a r l y , po s t pon i ng i t s fu l l e l a bo ra t i on un t i l

a f t e r t h e l i t e r a t u r e h a s b e e n r e v i e w e d . E i t h e r

a p p r o a c h p r o v i d e s r e a d e r s w i t h a s u f f i c i e n t

c o n t e x t t o m a k e s e n s e o f t h e s p e c i f ic s t u d ie s a n d

f i nd i ngs c i t e d i n t he r e v i e w.

8/20/2019 1996-baumeister-leary (1)

7/10

WRITING LITERATUREREVIEWS 317

Inadequate Coverage of Evidence

A s u r p r i s i n g l y c o m m o n f l a w i n l i t e r a t u r e

r e v i e w m a n u s c r i p t s , e s p e c i a l l y t h o s e t h a t a r e

r e j e c t e d f o r p u b l i c a t i o n , i s i n a d e q u a t e c o v e r a g e

o f t h e c i t e d l it e ra t u re . T h i s i n a d e q u a c y s t e m s

f r o m a b a s ic u n c e r t a in t y a b o u t h o w m u c h d e t a il

t o g i v e . F o r e x a m p l e , s o m e a u t h o r s c o v e r t h e

l i t e r a t u r e i n a n u n b a l a n c e d f a s h i o n , d e v o t i n g

m u l t i p l e p a g e s t o a t h o r o u g h d e s c r i p t i o n o f a

f e w f a v o r e d s t u d i e s ( o f t e n t h e i r o w n ) b u t

c u r s o r y d e s c r i p t io n o f t h e r e s t. A s j o u r n a l

r e v i ew e r s , w e h a v e o c c a s i o n a l l y w a n t e d t o s e n d

t h e m a n u s c r i p t b a c k a n d t el l th e a u t h o r t o f i ll in

t h e m i s s i n g i n f o r m a t i o n b e f o r e w e c o u l d m a k e

e v e n a t e n t a ti v e e v a l u a t i o n .

O n e c o m m o n f o r m o f i n ad e q u a cy i n v o lv e s

c i t i n g a s t u d y ' s c o n c l u s i o n w i t h o u t d e s c r i b i n g

t he m e t ho d a n d spe c i f i c r e su l t s . Th a t i s , a f t e r a l l,

w h a t m a n y e m p i r i c a l a r t i c l e s d o w h e n c i t i n g

l i t e r a t u r e i n t h e i r i n t r o d u c t i o n s . B e c a u s e m o s t

a u t h o r s o f l i t e r a t u r e r e v i e w s a r e e m p i r i c a l

i n v e s t i g a to r s , t h e y m a y u s e t h e s a m e s t y le , e v e n

u n w i t t in g l y , w h e n t h e y t r y t h e i r h a n d a t w r i ti n g

a l i t e ra tu re r e v i e w.

A l i t e r a t u r e r e v i e w l o s e s c o n s i d e r a b l e v a l u e ,

how e ve r , i f i t f a i l s t o t e ll t he r e a de r t he na t u re o f

t h e e v i d e n c e i t p r e s e n t s . X c a u s e s Y ( R e f e r -

e n c e ) d o e s n o t c o n v e y e n o u g h i n fo r m a t i o n ,

e s p e c ia l ly f o r r e a d er s w h o m a y b e s k e p ti c a l o f

t h e a u t h o r ' s c o n c l u s i o n s o r w h o w a n t t o t h i n k

f o r t h e m s e l v e s . I n c o n t r a st , i n a s a m p l e o f A ,

m e t h o d B p r o d u c e d r e s u l t C ( R e f e r e n c e ) ,

t h e r e b y s u p p o r t i n g t h e v i e w t h a t X c a u s e s Y i s

m u c h m o r e u s e f u l . I t a l l o w s t h e r e a d e r t o

e v a l u a t e w h e t h e r t h e c o n c l u s i o n f i t s t h e e v i -

d e n c e a n d t o u n d e r s t a n d s o m e t h i n g a b o u t t h e

g e n e r a l i t y a n d m e t h o d o l o g i c a l s t r e n g t h o f t h a t

e v i d e n c e . B y n e g l e c t i n g t o d e s c r ib e t h e n a t u r e o f

t h e e v i d e n c e , t h e a u t h o r o f a l i t e r a t u r e r e v i e w

f o r c e s t h e r e a d e r t o r e l y s i m p l y o n t h e a u t h o r ' s

i n t e r p r e t a t i o n - - t a k e m y w o r d fo r i t. B u t t h e

v e r y p u r p o s e o f a li te r a tu r e r e v i e w i s t o p r o v i d e

a b a s i s f o r a c c e p t i n g a c o n c l u s i o n w i t h o u t t a k i n g

s o m e o n e ' s w o r d f o r i t.

T o p u t t h i s a n o t h e r w a y : I f a p a r t i c u la r s t u d y

c o n t r i b u t e s s o m e t h i n g o f i m p o r t a n c e t o a

l i t e r a t u r e r e v i e w , t h e r e v i e w s h o u l d s u m m a r i z e

t h e g i s t o f t h e m e t h o d a n d r e s u l t s s e c t io n s o f t h a t

a r ti c le . T h i s d o e s n o t h a v e t o b e l e n g t h y , a n d i n

f a c t a s k i l l e d l i t e r a t u r e r e v i e w e r c a n o f t e n

p r e s e n t t h e r e le v a n t a s p e c t s o f a s t u d y ' s m e t h o d

a n d r e s u l t s i n a s e n t e n c e o r t w o . B u t t h e

e v i d e n c e h a s t o b e p r e s e n t e d a t t h e o p e r a t i o n a l

l e v e l , n o t j u s t a t t h e a b s t r a c t l e v e l o f t h e o r e t ic a l

c o n c l u s i o n s .

Lack of Integration

T h e p r e v i o u s s e c t i o n c i t e d t h e p r o b l e m o f

f a i li n g t o d e s c r i b e t h e o p e r a t i o n a l a s p e c t s o f t h e

r e v i e w e d s t u d i e s . T h e o p p o s i t e p r o b l e m i s

e qua l l y de s t ruc t i ve t o t he va l ue o f a l i t e ra t u re

r e v i e w . T h i s p r o b l e m o c c u r s w h e n a u t h o r s

d e s c r i b e t h e p r o c e d u r e s a n d o b s e r v a t i o n s o f

v a r i o u s s t u d i e s b u t f a i l t o r e l a t e t h e m t o t h e

t he ore t i c a l i s sue s .

A l l r e v i e w s , r e g a r d l e s s o f th e i r p r i m a r y g o a l ,

s h o u l d p r o v i d e a n o v e r a r c h i n g c o n c e p t u a l i z a -

t io n , p e r s p e c ti v e , o r p o i n t - o f - v i e w - - w h a t S t e r n -

b e r g ( 1 9 9 1 ) c a l l e d a

take home message and

n o t b e c o n t e n t t o m e r e l y r e c o u n t p r e v i o u s i d e a s

a n d r e s e a r c h . T h e b r o a d e r i m p e r a t i v e i s t h a t

a u t h o r s o f l i t e r a t u r e r e v i e w s m u s t e x p l a i n h o w

t he va r i ous s t ud i e s f i t t oge t he r . A l i t e ra t u re

r e v i e w t h a t s i m p l y d e s c r i b e s a s e r i e s o f s tu d i e s

o n s o m e t o p i c h a s n o t a c c o m p l i s h e d e n o u g h t o

wa r ra n t pub l i c a t i on . (Nor i s i t su f f i c i e n t t o

p o s t p o n e t h e i n t e g r a t i o n u n t i l t h e g e n e r a l

d i s c u s s io n , b e c a u s e m o s t r e a d e r s c a n n o t k e e p a l l

t h a t i n f o r m a t i o n s t r a ig h t i n t h e ir m i n d s f o r t h a t

l ong . )

A l i t e ra t u r e r e v i e w i s p r i m a r i l y a n i n t e g r a t i v e

e n d e a v o r , a n d i n t e g r a t i o n i s b e s t a c c o m p l i s h e d

i f t h e r e a d e r i s f r e q u e n t l y t o l d h o w t h e

i nd i v i dua l s t ud i e s f i t t he b roa d t he or i e s a nd

pa t t e rns . To t he l i t e ra t u re r e v i e we r , c ove r i ng a l l

t h e r e l e v a n t s t u d i e s m a y s e e m l i k e t h e m o s t

i m p o r t a n t t h i n g , b u t t o t h e r e a d e r t h e i m p o r t a n t

t h i ng i s how t he y f i t t oge t he r . To be sure , t he

l it e r at u r e r e v i e w e r s h o u l d f i rs t e n s u r e t h a t h e o r

s h e h a s c o v e r e d t h e r e s e a r c h a c c u r a t e l y a n d

t h o r o u g h l y . B u t l i t e ra t u r e r e v i e w e r s s h o u l d a l s o

a s k t h e m s e l v e s w h e t h e r t h e y h a v e p r e s e n t e d

e a c h s t u d y i n a w a y t h a t m a k e s i t s r e la t i o n t o t h e

i n t e g r a ti v e t h e m e s c l e a r a n d e x p l ic i t.

Lack of Critical Appraisal

I n t h e s o c i a l a n d b e h a v i o r a l s c i e n c e s , a l l

c o n c l u s i o n s a r e l i m i t e d b y t h e w e a k n e s s e s a n d

f l a w s o f t h e e v i d e n c e , a n d s o i t i s e s s e n t i a l f o r

t h e l i t e r a t u r e r e v i e w e r t o p o i n t o u t a n d a s s e s s

t h o s e f l a w s a n d w e a k n e s s e s . O f t e n , h o w e v e r ,

a u t h o r s o f l it e r a tu r e r e v i e w s n e g l e c t t o d o t h is .

T h e r e a r e s e v e r a l r e a s o n s f o r s u c h n e g l e c t , b u t

8/20/2019 1996-baumeister-leary (1)

8/10

3 8 BAUMEISTER AND LEARY

n o n e i s g o o d . P r o v i d i n g a c r i ti q u e o f t h e

e v i d e n c e i s a n i n t e g r a l, e v e n a c e n t r a l p a r t o f t h e

j o b o f r e v i e w i n g l i te r a t u re .

O n e r e a s o n a u t h o r s n e g l e c t c r i t i q u e i s t h a t

t h e y a r e t r y i n g t o b u i l d a c a s e f o r a p a r t i c u l a r

a r g u m e n t , a n d s o t h e y s e a r c h e d t h e l i t e r a t u r e

a n d p r e s e n t e d t h e r e s u l t s s o a s to m a k e t h a t p o i n t

m o s t c o n v i n c i n g l y . T h e y s h o u l d r e a l i z e , h o w -

e ve r , t ha t ove r s t a t i ng t he c a se i s a s e r i ous ,

u n n e c e s s a r y , a n d s e l f - d e f e a t i n g e r r o r i n a p -

p r o a c h . I t w o u l d e n h a n c e r a t h e r t h a n d i m i n i s h

t h e v a l u e o f th e i r m a n u s c r i p t t o i n d i c a te t h e

w e a k n e s s e s i n t h e e v i d e n c e . M o r e o v e r , h e l p i n g

e m p i r i c a l i n v e s t i g a t o r s s e e w h a t r e m a i n s t o b e

d o n e w i l l p r o b a b l y i n c r e a s e t h e u s e f u l n e s s o f

(a nd fu t u re c i t a t i ons t o ) t he a r t i c le .

A n o t h e r r e a s o n t h a t a u t h o r s o f li t er a t u r e

re v i e ws fa i l t o p rov i de c r i t i que s i s s t y l i s t i c .

C r i t i c i z i n g e v e r y s t u d y c o u l d p o s s i b l y d o u b l e

t h e l e n g t h o f a m a n u s c r i p t , i n a d d i ti o n t o m a k i n g

i t ve ry t e d i ous t o r e a d . One so l u t i on t o t h i s

p r o b l e m i s t o p r o v i d e c r i t i q u e s o f g r o u p s o f

s t u d i e s r a t h e r t h a n c o m m e n t i n g o n e a c h s t u d y

i n d i v id u a l l y . G r o u p o r s e c t i o n c r it i q u e s a r e o f t e n

u s e f u l b e c a u s e m a n y s t u d ie s o n t h e s a m e t o p i c

m a y b e s u b j e c t to s i m i l a r fl a w s a n d c r i t ic i s m s .

U l t i m a t e l y , t h e r e a d e r o f t h e l it e r a tu r e r e v i e w

d o e s n o t n e e d t o k n o w e v e r y f l a w in e v e r y s t u d y .

I n d e e d , i f o n e s t u d y h a s a f l a w t h a t i s c o r r e c t e d

i n a no t he r s t udy , t he f i r s t s t udy ' s f l a w i s r a t he r

i r r e l e va n t i n t he b i g p i c t u re . R a t he r , t he r e a de r

n e e d s t o k n o w h o w s t r o n g o r h o w w e a k t h e

o v e r a l l e v i d e n c e f o r e a c h m a i n p o i n t i s. G r o u p

o r s e c t i o n c r i t i q u e s a c c o m p l i s h t h i s b e t t e r t h a n

c r i t i c i z i ng e a c h i nd i v i dua l s t udy .

A n o t h e r a d v a n t a g e o f g r o u p c r i t i q u e s i s t h a t

t h e y p e r m i t e v a l u a t i o n o f c o n v e r g e n c e a c r o s s

d i v e r s e m e t h o d s , w h i c h , a s w e n o t e d , i s o n e o f

t h e a d v a n t a g e s o f l i t e r a t u r e r e v i e w s . T o l i s t a

f la w i n e v e r y s t u d y m a y g i v e t h e i m p r e s s i o n t h a t

a l l t h e e v i d e n c e i s s o w e a k t h a t n o c o n c l u s i o n

c a n b e d r a w n . A s w e n o t ed , h o w e v e r , i f ea c h

s t u d y h a s a d i f f e r e n t f l a w , p a r s i m o n y m a y

d i c t a t e t h a t t h e h y p o t h e s i s b e t e n t a t i v e l y a c -

c e p t e d .

H e n c e t h e m o s t u s e f u l f o r m o f c r it iq u e i s

n o r m a l l y t h e f o l l o w i n g : A f t e r d e s c r i b i n g t h e

m e t h o d s a n d r e s u l ts o f a g r o u p o f s t u d i es

r e l e v a n t t o s o m e p o i n t , t h e a u t h o r s h o u l d

i n d i c a t e b r i e f l y t h e m a j o r f l a w s i n t h e m e t h o d s

a n d w h a t a l t e r n a t i v e e x p l a n a t i o n s t h e y r a i s e .

N e x t , t h e c o n s i s t e n c y o f t h e f i n d i n g s s h o u l d b e

c o n s i d e r e d . T h e n t h e a u t h o r s h o u l d a s s e s s t h e

q u a n t i t y a n d e s p e c i a l l y t h e m e t h o d o l o g i c a l

d i v e r s i t y o f t h e e v i d e n c e , k e e p i n g i n m i n d t h a t

c o n s i s t e n c y a c r o s s l a r g e q u a n t i t i e s o f m e t h o d -

o l o g i c a l l y d i v e r s e e v i d e n c e i s t h e b e s t a v a i l a b l e

s u b s t i t u t e f o r h a v i n g t h e p r o v e r b i a l d i r e c t

p i pe l i ne t o t he t ru t h . F i na l l y , t he a u t hor shou l d

p r o v i d e a s u m m a r y a s t o h o w s t r o n g t h e

e v i d e n c e i s.

Fai lure to d jus t Conc lus ions

W e h a v e s a i d t h a t c o n c l u s i o n s s h o u l d b e

t e m p e r e d b y t h e f l a w s a n d w e a k n e s s e s i n t h e

e v i d e n c e . S o m e t i m e s a u t h o r s o f l i t e r a t u r e r e -

v i e w s w i l l d u t i f u l l y p r o v i d e a c r i t i q u e o f t h e

e v i d e n c e b u t t h e n p r e s e n t s t r o n g , s w e e p i n g

c o n c l u s i o n s t h a t s e e m t o h a v e i g n o r e d t h e

c r i t i que e n t i r e ly . As i n e mpi r i c a l pa pe rs , a u t ho rs

o f l i te r at u re r e v i e w s s o m e t i m e s g o b e y o n d t h e

d a t a . T h i s p a t t e r n m a y b e p a r t i c u l a r l y c o m m o n

w h e n a n e d i t o r o r t h e s i s a d v i s o r i n s i s t s , a f t e r

re a d i ng a f i r s t d ra f t , t ha t c r i t i que shoul d be

a d d e d , a n d s o t h e a u t h o r i n s e r t s t h e r e q u e s t e d

c r i ti q u e w i t h o u t r e v i s i n g t h e c o n c l u s i o n s a c c o r d -

ingly.

E a r l i e r , w e p r o p o s e d f o u r d i f f e r e n t p o s s i b l e

c o n c l u s i o n s t h a t a l i t e r a t u r e r e v i e w c a n d r a w

w i t h r e s p e c t t o a h y p o t h e s i s . I t is t h e s t r e n g t h o f

t h e e v i d e n c e t h a t m o s t l y d e c i d e s a m o n g t h e s e

f o u r . T h e s t r en g t h o f th e e v i d e n c e e n c o m p a s s e s

i t s m e t h o d o l o g i c a l r i g o r o r l a c k t h e r e o f , t h e

a m o u n t o f e v i d e n c e , i t s c o n s i s te n c y , a n d i t s

me t hodol og i c a l d i ve r s i t y . In pa r t i c u l a r , t he se

m a y b e n e e d e d t o d i s t i n g u i s h b e t w e e n t h e t w o

k i n d s o f f a v o r a b l e j u d g m e n t s a li te r a t u re r e v i e w

c a n m a k e , n a m e l y w h e t h e r t h e h y p o t h e s i s i s

we l l e s t a b l i she d a s c or re c t vs . whe t he r i t i s

m e r e l y t h e b e s t g u e s s b a s e d o n c u r r e n t l y

a v a i l a b l e e v i d e n c e .

B l u r r i n g s s e r ti o n a n d P r o o f

A s i m pl e r e r ro r tha t i s r e l a t e d t o t he f a i l u re t o

d e s c r i b e t h e n a t u r e o f e v i d e n c e i s t h e f a i l u re t o

d i s t i n g u i s h b e t w e e n a s s e r t i o n a n d e v i d e n c e . A t

i s s u e a r e s t a t e m e n t s o f t h e s o r t, w o m e n a r e

s m a r t e r t h a n m e n ( B r o w n & G r e e n , 1 9 6 6 ) .

S u c h s t a t e m e n t s l e a v e u n c l e a r t h e c r u c i a l

q u e s ti o n o f w h e t h e r B r o w n a n d G r e e n m e r e l y

a s s e r t e d t h a t w o m e n a r e s m a r t e r o r a c t u a l l y

p r o v i d e d s u p p o r t i n g e v i d e n c e . I n p s y c h o l o g y ,

wi t h i t s r i c h l e ga c y of t he ore t i c a l spe c u l a t i on

b a s e d o n i n f o r m a l o b s e r v a t i o n , i t is q u i te e a s y t o

8/20/2019 1996-baumeister-leary (1)

9/10

WRITING LITERATUREREVIEWS 319

b l u r th e d i s ti n c t io n b e t w e e n c i t in g s o m e o n e w h o

s ta t ed a n i d e a a n d c i t in g s o m e o n e w h o p r o v i d e d

e v i d e nc e fo r it.

F o r w r i te r s o f e m p i r i c a l re p o r t s , t h is d i s t i n c -

t i o n is n o t a l w a y s i m p o r t a n t . A n e m p i r i c a l r e p o r t

u s u a l l y c i t e s p a s t l i te r a t u r e m e r e l y t o p r o v i d e a

c o n t e x t f o r i t s o w n e v i d e n c e , w h i c h w i l l b e

p r e s e n t e d i n d e t a i l i n t h e m e t h o d a n d r e s u l t s

se c t i ons . In a l i t e ra t u re r e v i e w, howe ve r , t he

e v i d e n c e i s p r e c i s e l y in t h e p r e s e n t a t i o n o f p a s t

r e s e a r c h , a n d s o t h e n a t u r e o f t h is e v i d e n c e m u s t

b e e x p l a i n e d c a r e f u l l y a n d f u l l y . T h u s , f o r

l i t e ra t u re r e v i e ws , t he d i s t i nc t i on be t we e n a s se r -

t i o n a n d e v i d e n c e i s v e r y i m p o r t a n t .

T h e r e i s u n d o u b t e d l y s o m e s c h o l ar l y o b l ig a -

t i o n to a c k n o w l e d g e i m p o r t a n t t h e o r e ti c a l a s s e r-

t i o n s b y p r e v i o u s g e n e r a t i o n s . I n d e e d , t h e b u l k

o f th e m a n y c i t a t io n s t o S i g m u n d F r e u d ,

W i l l i a m J a m e s , a n d d o z e n s o f o t h e r s r e f e r t o

t h o u g h t f u l t h e o r e t i c a l p r o p o s a l s r a t h e r t h a n

e m p i r i c a l l y d e m o n s t r a t e d f a c t s , a t l e a s t b y

m o d e r n s t a n d a r d s o f e m p i r i c a l p r o o f . I t s e e m s

i mp ra c t i c a l t o p ropo se tha J~e it at ions shou l d on l y

b e m a d e f o r e m p i r i c a l d e m o n s t r a ti o n s .

H o w e v e r , w e r e c o m m e n d t h a t l i t e r a t u r e r e -

v i e w e r s m a k e a p e r s i s t e n t e f f o r t t o i n f o r m t h e

r e a d e r w h e t h e r a c i te d s o u r c e p r o v e d o r m e r e l y

a s s e rt e d s o m e t h i n g . B r o w n a n d G r e e n p r o -

p o s e d t h a t w o m e n a re s m a r t e r t h a n m e n w o u l d

c l e a rl y n o t b e c o n f u s e d w i t h i n a s a m p l e o f

m i d d l e - a g e d a d u l ts , w o m e n s c o r e d h ig h e r o n a

t e s t o f l o g i c a l r e a s o n i n g t h a n m e n ( B r o w n &

G r e e n , 1 9 6 6 ) . B e c a u s e m o s t so u r c e s ci te d i n a

l i t e r a t u r e r e v i e w w i l l p r e s u m a b l y b e e m p i r i c a l

r e p o r t s , i t s e e m s m o s t i m p o r t a n t t o b e e x p l i c i t in

p o i n t i n g o u t w h e n e v e r s o m e s o u r c e i s b e i n g

c i t e d m e r e l y f o r m a k i n g a s p e c u l a t i v e o r

t he ore t i c a l a s se r t i on .

Selective Review of vidence

Se l e c t i v i t y i n a l i t e ra t u re r e v i e w c a n t a ke

s e v e r a l f o r m s . A t w o r s t , t h e a u t h o r m a y b e

o p e r a t i n g a s a n i n t u i t i v e l a w y e r r a t h e r t h a n i n

a s c i en t i st m o d e , i n t h e s e n s e o f tr y i n g t o m a k e a

c a s e f o r o n e p a r t i c u l a r p o s i t i o n o r c o n c l u s i o n

( B a u m e i s t e r & N e w m a n , 1 9 9 4) . T h is c o u l d l e ad

h i m o r h e r t o c o v e r o n l y m a t e r i a l t h a t f i t s t h a t

v i e w a n d i g n o r e t h e r e s t. T h e r e a d e r i s th e r e f o r e

l e f t u n a w a r e o f m a t e r i a l t h a t w o u l d w e a k e n o r

c o n t r a d i c t t h e a r g u m e n t . S u c h a n a p p r o a c h i s a t

b e s t u n f o r t u n a t e a n d s l o p p y , a t w o r s t i n t e l le c t u -

a l l y d i shone s t .

A l e s s ba d bu t s t i l l unfor t una t e pa t t e rn i s t ha t

o f s e l e c t i ve c r i t i que . In t h i s pa t t e rn , t he a u t hor

c o v e r s a l l t h e r e l e v a n t e v i d e n c e , b o t h s u p p o r t i v e

a n d c o n t r a r y t o h is o r h e r v i e w , b u t t h e n a p p l i e s

m o r e r i g o r o u s m e t h o d o l o g i c a l s t a n d a r d s t o t h e

c o n t r a r y e v i d e n c e t h a n t o t h e s u p p o r t i v e e v i -

d e n c e . S u c h t h o u g h t p a t t e r n s a r e c o m m o n

s o u r c e s o f b ia s i n e v e r y d a y th i n k i n g ( K u n d a ,

1 9 9 0 ; L o r d , R o s s , & L e p p e r , 1 9 7 9 ) , a n d

l i t e r a t u r e r e v i e w e r s a r e u n d o u b t e d l y s u b j e c t t o

t h e m .

I d e a l l y , a l i t e r a t u r e r e v i e w e r s h o u l d s p e n d

s o m e t i m e s e a r c h i n g f o r c o u n t e r e x a m p l e s o r

d o m a i n s o f e v i d e n c e t h a t w o u l d s e e m t o

c o n t r a d i c t t h e m a i n c o n c l u s i o n s a n d p a t t e r n s .

T h e s e c a n b e i n c l u d e d i n t h e a r t i c le a s s e p a r a t e

s e c t io n s a n d g i v e n t h e s a m e c r i ti c a l a p p r a i s a l a s

t h e s u p p o r t i n g e v i d e n c e . I f t h e r e a r e im p o r t a n t

e x c e p t i o n s t o t h e g e n e r a l p a t t e r n s a n d c o n c l u -

s i ons , t he l i t e ra t u re r e v i e w i s s t r e ng t he ne d by

a c k n o w l e d g i n g t h e m , a n d t h e o r y c a n b e b u i l t

f u r th e r b y r e c o g n i z in g m o d e r a t o r s a n d b o u n d a r y

c o n d i t io n s . I f t h e e x c e p t i o n s a r e m e r e l y a p p a r -

e n t a n d d o n o t o n c l o s e i n s p e c t i o n c o n t r a d i c t t h e

m a i n p a t t e r n , t h e m a n u s c r i p t i s s t r e n g t h e n e d b y

p o i n t i n g t h e m o u t . T h u s , e i t h e r w a y , a l i te r a tu r e

r e v i e w c a n b e i m p r o v e d b y a d e l ib e r a te s e a r c h

f o r c o n t r a r y e v i d e n c e .

A l t h o u g h l i t e r a t u r e r e v i e w s a r e l e s s s u b j e c t

t h a n e m p i r i c a l i n v e s t i g a t i o n s t o c a p i t a l i z i n g o n

c h a n c e , t h e y a r e p r o b a b l y m o r e s u s c e p t i b l e t o

t h e d a n g e r o f c o n f i r m a t i o n b i a s . M a n y g o o d

l i t e r a t u r e r e v i e w s i n v o l v e s e e i n g a t h e o r e t i c a l

p a t t e r n o r p r i n c i p l e i n m u l t i p l e s p h e r e s o f

b e h a v i o r a n d e v i d e n c e , a n d p u t t i n g t o g e t h e r

s u c h a p a p e r u n d o u b t e d l y i n v o l v e s a n a g g r e s -

s i v e s e a r c h f o r e v i d e n c e t h a t f i t s t h e h y p o t h -

e s i z e d p a t t er n . A r e a s t h a t d o n o t p a n o u t a r e e a s y

t o i g n o r e o r s k i p , b u t t h e r e s u l t c a n b e a

m i s l e a d i n g i m p r e s s i o n o f u n i v e rs a l it y .

Focusing on the Researchers Rather Than

the Research

I n h i s a d v i c e t o w r i te r s o f l i te r a t u re r e v i e w s ,

B e m ( 1 9 9 5 ) p r o p o s e d t h a t n a m e s o f re s e a r ch e r s

s h o u l d a l w a y s b e r e l e g a t e d t o p a r e n t h e s e s r a t h e r

t h a n o c c u p y i n g g r a m m a t i c a l l y p r o m i n e n t p o s i -

t i ons i n t he se n t e nc e s . We f i nd t h i s ru l e

e x c e s s i v e a n d c a n t h i n k o f i n s t a n c e s i n w h i c h

t h e s e n t e n c e s d o n e e d t o f e a t u r e t h e n a m e s o f

r e s e a r c h e r s ( e .g . , J o n e s f o u n d o n e t h i n g , b u t

S m i t h f o u n d t h e o p p o s i t e ) . N o n e t h e l e s s , o u r

8/20/2019 1996-baumeister-leary (1)

10/10

320 BAUMEISTER AND LEARY

disagreement with Bern is merely a matter of

degree and exception, and we concur wholeheart-

edly with the main thrust of his argument. Good

writing of literature reviews requires a concerted

effort to feature the findings and ideas. Down-

playing the names of researchers (such as by

putting citations in parentheses) is a valuable

stylistic device for ensuring that the article

focuses on ideas and research rather than on

theorists and researchers. It also helps the writer

to avoid the appearance of making

a d h o m i n e m

arguments. As a rule of thumb, starting para-

graphs in a literature review with the name of a

researcher is particularly problematic, often a

sign that the writer is simply describing one

study after another without making a sufficient

effort to integrate them.

Another exception to the guidelines of

confining names to parentheses arises when a

previous author is being cited for asserting a

point on theoretical grounds rather than provid-

ing evidence. We have already insisted on the

importance of keeping a sharp distinction

between sources who said something and

sources who provided evidence to support it.

The most convenient way to highlight the

former cases is to use precise verbs, such as

James as ser te d. . . or Johnson theo-

ri ze d. .. or Watson specu lated ... Again,

though, these are merely exceptions to Bem's

rule.

S t o p p i n g a t t h e P r e s e n t

A final mistake of authors of literature

reviews is to neglect to say, explicitly, what the

implications for future research are. Usually this

will be a subsection in the general discussion or

other concluding section. Editors normally are

not satisfied to publish a literature review that

summarizes a large number of studies that are

already published anyway, even if there are

good theoretical conclusions and integrative

patterns. They want a literature review to point

out remaining unresolved issues and questions,

if not specifically what remains to be done, as an

aid and perhaps a stimulus to further research.

Such recommendations may seem minor,

trivial, or obvious to the literature reviewer, but

they are not. They only seem that way because

the literature reviewer is so well immersed in the

topic. Reviewing a body o f literature puts one in

the privileged position of having a broad grasp

that goes far beyond what almost anyone else

(even researchers who continue to collect data

on the topic) can achieve. Pointing out what

remains to be studied is relatively easy from that

privileged position, but quite difficult for almost

anyone else. Moreover, indicating the directions

for future research can help an article influence

the field, both by telling researchers what they

should study and by enabling future researchers

to convince editors that their work is valuable

and important.

Concluding Remarks

Our position is that the narrative literature

review occupies a special and privileged place

in the scientific enterprise. Its opportunities,

epistemological constraints, and stylistic needs

differ in important ways from empirical reports.

By appreciating these differences, individual

researchers ma y become more effective consum-

ers and more successful authors of literature

reviews.

References

Baumeister, R. E, & Newman, L. S. (1994).

Self-regulation of cognitive inference and decision

processes.

Personality and Social Psychology

Bulletin, 20,

3-19.

Bem, D. J. (1987). Writing the empirical journal

article. In M. P. Zanna & J. M. Darley (Eds.),

The

compleat academic: A practical guide for the

beginning social scientist (pp. 171-201). New

York: Random House.

Bern, D. J. (1995). Writing a review article for

Psychological Bu lletin . Psychological B ulletin,

118,

172-177.

Eagly, A. H. (1987)

Sex differences in social

behavior. A social-role interpretation.

Hillsdale,

NJ: Erlbaum.

Kunda, Z. (1990). The case for motivated reasoning.

Psychological Bulletin, 108,

480--498.

Lord, C. G., Ross, L., & Lepper, M. R. (1979). Biased

assimilation and attitude polarization: The effects

of prior theories on subsequently considered

evidence. Journal of Personali ty and Social

Psychology, 37, 2098-2109.

Rosenthal, R. (1995). Writing meta-analytic reviews.

Psychological Bulletin, 118,

183-191.

Sternberg, R. J. (1991). Editorial.

Psychological

Bulletin, 109, 3-4.

Received April 11, 1997

Accepted April 17, 1997 •