Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data

8/2/2019 Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data

1/64

N o n - l i n e a r A n a l y t i c a l A p p r o a c h t O b s e r v a t i o n a l D a t a

b

N o r m S h k l o v , P h D

D e p a r t m e n t o M a t h e m a t i c s a n d S t a t i s t i c s

U n i v e r s i t y o W i n d s o r

W i n d s o r , O n t a r i o , C a n a d a

( R e t i r e d )

a n

J a C . P o w e l l , P h . D .

F a c u l t y o f E d u c a t i o n

U n i v e r s i t y o W i n d s o r

( R e t i r e d )

a n

A d j u n c t L e c t u r e r

U n i v e r s i t y o f M i c h i g a n , F l i n t

R u n n i n g H e a d : N o n l i n e a r d a t a a n a l y s i s

A p r i l 1 9 9 9 .


2/64


3/64

A B S T R A C T

H a v i n g e s t a b l i s h e d c l e a r e v i d e n c e f o f o r m o l e a r n i n g t h a t i t r a n s f o r m a t i o n a l a n

n o n - l i n e a r ( P o w e l l S h k l o v , 1 9 9 2 ) , t h e a u t h o r s h e r e w i t h p r e s e n t n o n - l i n e a r w a t

c o n s i d e r f r e q u e n c y d a t a i t h s o c i a l - s c i e n c e s s e t t i n g . T h i s p a p e r d e s c r i b e s t h p r o c e d u r e i

d e t a i l a n g i v e s s e v e r a l i n s t a n c e s o i t a p p l i c a t i o n i d i v e r s e s e t t i n g s .


4/64


5/64

T h P r o b l e m

T h e s e t w r e s e a r c h e r s h a v e , f o s o m e t i m e , b e e n i n v e s t i g a t i n g n o n - l i n e a r a p p r o a c h e s

t o b s e r v a t i o n a l d a t a . T h i n i t i a l p r o b l e m a r o s e b e c a u s e t h e y w e r e t r y i n g t f i n d s o m e w a t

e x a m i n e , i m u l t i p l e - c h o i c e t e s t s , t h p a t t e r n s i w h i c h s t u d e n t s ' a n s w e r s ( w h e t h e r r i g h t o w T o n g ) c h a n g e w i t h l e a r n i n g .

A b a c k g r o u n d t t h i s p r o b l e m t h e r e a r e t w p o s s i b i l i t i e s . T h f i r s t p o s s i b i l i t y i t h a t

a l w r o n g a n s w e r s a r b l i n d g u e s s e s a n t h a t s t u d e n t s w i l l c h a n g e f r o m a n w r o n g a n s w e r t

t h r i g h t o n w i t h a p p r o p r i a t e i n s t r u c t i o n . I n t h i s c a s e t h e c u r r e n t p r a c t i c e o c o n s i d e r i n g

o n l y n g h t a n s w e r s w h e n o b s e r v i n g s t u d e n t b e h a v i o r c h a n g e s f o q u a l i t y c o n t r o l w o u l d b

e n t i r e l y a p p r o p r i a t e . T h e r e w o u l d b n m e a n i n g f u l i n f o r m a t i o n t b e f o u n d a m o n g t h

w r o n g a n s w e r s .

T h s e c o n d p o s s i b i l i t y , w h i c h c o m e s f r o m P o w e l l ' s t e a c h i n g e x p e r i e n c e a n d f r o m

P i a g e t ' s m a n y y e a r s o c l i n i c a l o b s e r v a t i o n ( s e e : F l a v e l l , 1 9 6 3 ) , i t h a t a n s w e r s c h a n g e i

s o m e s o r t o s e q u e n t i a l o r d e r t h a t i d e p e n d e n t u p o n h o s t u d e n t s i n t e r p r e t t h t e s t

q u e s t i o n s . T h e i r i n t e r p r e t a t i o n s , i t u r n , c o u l d b d e p e n d e n t u p o n t h e i r c u r r e n t s t y l e o

t h i n k i n g a n t h e i r c u r r e n t d e p t h o i n t e l l e c t u a l m a t u r i t y .

I t h i s c a s e , l e a r n i n g w o u l d d i s p l a y t r a n s f o r m a t i o n a l p r o p e r t i e s ( s y s t e m a t i c a n s w e r

c h a n g e s ) i a d d i t i o n t c u m u l a t i v e p r o p e r t i e s ( i n c r e a s i n g n u m b e r s o c o r r e c t a n s w e r s ) . T h e r e

c o u l d b c o n s i d e r a b l e m e a n i n g f u l i n f o r m a t i o n i n a l l a n s w e r s , n o m e r e l y t h n g h t o n e s .

T l o o k a c h a n g e , i i n e c e s s a r y t g i v e t h s a m e t e s t m o r e t h a n o n c e . W h e n t h i s i d o n e , i b e c o m e s p o s s i b l e t c o m p a r e t h a n s w e r s s e l e c t e d u p o n t h f i r s t a d m i n i s t r a t i o n t

t h o s e s e l e c t e d o t h s e c o n d a d m i n i s t r a t i o n a n b u i l d f r e q u e n c y t a b l e s t h a t s u m m a r i z e t h e s e


6/64


7/64

s e l e c t i o n s . I s o m e c a s e s , t h e s t u d e n t s m a s e l e c t t h e s a m e a n s w e r o n b o t h a d m i n i s t r a t i o n s ,

o t h e y m a c h a n g e f r o m o n e a n s w e r t a n o t h e r w i t h i n e a c h i t e m .

I t h f i r s t p o s s i b i l i t y ( t h a t s t u d e n t s g u e s s b l i n d l y u n t i l t h e y k n o w t h a n s w e r ) i

c o r r e c t , t h t y p i c a l o b s e r v a t i o n s h o u l d b c h a n g e s t t h r i g h t a n s w e r f r o m a n w r o n g o n f o l l o w e d b s y s t e m a t i c r e p e t i t i o n o t h r i g h t a n s w e r o v e r t i m e . N o t h e r c o m b i n a t i o n o f

s e l e c t i o n s h o u l d b s t a t i s t i c a l l y s i g n i f i c a n t b e y o n d c h a n c e l e v e l .

I t h s e c o n d p o s s i b i l i t y i c o r r e c t , t h e n m u c h m o r e c o m p l e x p a t t e r n o a n s w e r

s t a b i l i t y a n a n s w e r c h a n g e s h o u l d b e c o m e e v i d e n t a s t u d e n t s t r a n s f o r m t h e i r t h i n k i n g w i t h

i n c r e a s e d m a t u r i t y .

T h A p p r o a c h

I f o u r - o p t i o n m u l t i p l e - c h o i c e t e s t t h e r e w i l l b f r e q u e n c y m a t r i x f o e a c h i t e m

c o n t a i n i n g 1 c e l l s T h o n d i r e c t i o n m a b e u s e d t r e p r e s e n t t h e r e s p o n s e s f r o m t h f i r s t

a d m i n i s t r a t i o n o t h t e s t a n t h e o t h e r d i r e c t i o n r e p r e s e n t t t h r e s p o n s e s f r o m t h s e c o n d

a d m i n i s t r a t i o n . I t h i s c a s e e a c h c e l l w i l l b t h f r e q u e n c y o t h e v e n t o j o i n t s e l e c t i o n f o

e a c h p r e - p o s t r e s p o n s e p a i r . T h o s e s t u d e n t s w h o , f o s o m e r e a s o n , o m i t t e d m a k i n g c h o i c e

a e i t h e r o t w a d m i n i s t r a t i o n s m a b d r o p p e d f r o m c o n s i d e r a t i o n b e c a u s e t h e s e d a t a m a

n o a d t t h i n f o r m a t i o n a b o u t t h d y n a m i c s o a n s w e r i n g .

W i t h t h e s e f r e q u e n c y t a b l e s , t h e r e a r e f o u r p i e c e s o i n f o r m a t i o n t h a t c a b

c o n s i d e r e d f i r m f o e a c h c e l l f r e q u e n c y . T h e s e a r e :I T h e n u m b e r o t i m e s t h m e m b e r s o t h s a m p l e c h o s e b o t h m e m b e r s o t h p a i r

o r e s p o n s e s b e i n g c o n s i d e r e d ( t h e o b s e r v e d f r e q u e n c y ) ,


8/64


9/64

2 T h n u m b e r o t i m e s t h i s g r o u p c h o s e t h f i r s t m e m b e r o t h p a i r o t h f i r s t

a d m i n i s t r a t i o n ,

3 T h e n u m b e r o t i m e s t h i s g r o u p o s t u d e n t s c h o s e t h s e c o n d m e m b e r o t h i s p a i r

o t h s e c o n d a d m i n i s t r a t i o n , a n

4 T h t o t a l n u m b e r o s t u d e n t s i t h e n t i r e f r e q u e n c y t a b l e .

I m a t h e m a t i c a l t e r m s , t h e v a l u e s b e i n g c o n s i d e r e d a r e t h e c e l l f r e q u e n c y , i t

a s s o c i a t e d r o a n c o l u m n s u m s , a n t h e t a b l e s u m .

W h e n t h e s e m a t r i c e s a r d i s p l a y e d , t h e y l o o k s o m e t h i n g l i k e t h t y p i c a l c o n t i n g e n c y

t a b l e , e x c e p t t h a t t h c o n c e r n h e r e i w i t h e a c h c e l l i n s t e a d o t h e o v e r a l l d e p a r t u r e o t h

e n t i r e m a t r i x f r o m a x d i s t r i b u t i o n . T h p r o b l e m b e i n g c o n s i d e r e d h e r e i t r y i n g t d e c i d e

h o l a r g e ( o h o s m a l l ) a o b s e r v e d f r e q u e n c y i a n c e l l m u s t b i o r d e r t i n d i c a t e

m e a n i n g f u l ( s t a t i s t i c a l l y s i g n i f i c a n t ) j o i n t ( o r m u t u a l l y e x c l u s i v e ) e v e n t .

I n s e r t T a b l e a b o u t h e r e

S u p p o s e , a i l l u s t r a t e d i n T a b l e l a t h a t w h a v e a j o i n t c h o i c e o 1 1 f i r s t v a r i a b l e

f r e q u e n c y o 1 5 a n s e c o n d v a r i a b l e f r e q u e n c y o 1 9 I t h g r o u p s i z e i 2 3 , t h e e x p e c t e d

j o i n t c h o i c e f r e q u e n c y i ( 1 1 9 ) / 2 3 1 2 . 3 9 . I n t h i s c a s e , 1 i l e s s e r v a l u e t h a n t h i s

e x p e c t a t i o n b u m a n o b e n o u g h b e l o w t h i s e x p e c t e d v a l u e t c o n c l u d e t h a t c h o o s i n g o n

o p t i o n i m p l i e s t h e r e j e c t i o n o t h o t h e r . I f t h g r o u p s i z e i 9 0 a i l l u s t r a t e d i T a b l e l . b ,

t h e x p e c t e d f r e q u e n c y i ( 1 1 9 ) / 9 0 3 . 1 7 . I 1 e n o u g h l a r g e r t h a n t h i s e x p e c t a t i o n t

i n d i c a t e a s y s t e m a t i c j o i n t c h o i c e * 7


10/64


11/64

A f t e r i n v e s t i g a t i o n o t h l i t e r a t u r e a n a t t e m p t s a n u m e r o u s s i m u l a t i o n f o f i n d i n g

w a t p u t a p r o b a b i l i t y v a l u e o t h c e l l i q u e s t i o n w i t h k n o w m a r g i n a l s u m s a n a n t o t a l

f r e q u e n c y , i b e c a m e e v i d e n t t h a t m o r e s o p h i s t i c a t e d a p p r o a c h w a r e q u i r e d f o a

e f f e c t i v e a n a l y t i c a l s o l u t i o n t t h i s i n t e r p r e t i v e p r o b l e m . O n s u c h r e s o l u t i o n i r e p o r t e d i t h i s p a p e r .

B e c a u s e a s i n g l e - d i m e n s i o n a l a r r a y c a b t r e a t e d a s b i n o m i a l d i s t r i b u t i o n , t h e s e

r e s e a r c h e r s t r i e d u s i n g t h m u l t i n o m i a l d i s t r i b u t i o n f o t h t w d i m e n s i o n a l a r r a y s b e i n g

s t u d i e d . T h e y d e v e l o p e d a n a d a p t a t i o n o t h i s a p p r o a c h t h a t i n v o l v e s c o l l a p s i n g t h e s e t a b l e s

t t w o - b y - t w o t a b l e s a r o u n d e a c h c e l l o c o n c e r n . T h e y t h e n c a l c u l a t e d t h e p r o b a b i l i t y o

o b s e r v i n g t h a t f r e q u e n c y o l e s s w i t h t h o t h e r t h r e e v a l u e s h e l d c o n s t a n t . I i t h p u r p o s e o

t h i s p a p e r t p r o v i d e t h d e t a i l s o t h i s p r o c e d u r e , w i t h e x a m p l e s f r o m d i f f e r e n t t y p e s o

q u a l i t a t i v e r e s e a r c h .

T h e P r o c e d u r e

S t e p 1

T h i s p r o c e d u r e b e g i n s w i t h a n m x n m a t r i x o f r e q u e n c i e s O a f o l l o w s :

w h e r e :

O O o m

c

O l o 2

o m

c

o , , ,

. . o l . . o

o m

c

R R

R

( I

2 O 9 , ( 2


12/64


13/64

a n d :N ^ l l O . j . ( 3

S t e p

T h n e x t s t e p i t c o l l a p s e t h i s m a t r i x a r o u n d a n y c e l l O T h i s s t e p p r o d u c e s2 m a t r i x , w i t h t h o b s e r v e d f r e q u e n c y o O , b e i n g o o t h s o r t :

R ' w h e r e : f = R \ - o ,R ' R N - R \

C ' C g ^ C ' i - o ,

C ' 2 = A ^ - C ' i ,

a n d h N - { o + f + g )

I w o r d s , / i t h f r e q u e n c y o f t h r e m a i n d e r o t h r o w , i t h f r e q u e n c y o t h r e m a i n d e r

o t h c o l u m n a n i t h r e s i d u a l f r e q u e n c y o f t h t o t a l t a b l e . T a b l e s a n g i v e

n u m e r i c a l e x a m p l e o t h e s e f i r s t t w s t e p s t h i s p r o c e d u r e , b e g i n n i n g w i t h t h

f r e q u e n c y m a t r i x , s u c h a s


B c h o o s i n g t l o o k a 0 2 ( w i t h a f r e q u e n c y o 3 3 ; t h e r e p e a t e d c h o i c e o t h

c o r r e c t a n s w e r a s h o w n i t h b o i T a b l e 2 t h c o l l a p s e d m a t r i x b e c o m e s :


I o r d e r t d e t e r m i n e t h p r o b a b i l i t y t h a t w o u l d b 3 b y c h a n c e a l o n e , i i

n e c e s s a r y t f i n d t w c u m u l a t i v e p r o b a b i l i t i e s . F i r s t , i i n e c e s s a r y t o f i n d t h e c u m u l a t i v e


14/64


15/64

p r o b a b i l i t y f o t h r a n g e o a l p o s s i b l e v a l u e s i t h a t c e l l w i t h t h e t h r e e m a r g i n a l v a l u e s k e p t

c o n s t a n t . S e c o n d , t h e r e i t h n e e d t f i n d t h c u m u l a t i v e p r o b a b i l i t y f o a l s i n g l e t a b l e s t h a t

h a v e v a l u e o 3 o l e s s .

T a c h i e v e t h i s e n d , i i n e c e s s a r y t f i n d t h e s m a l l e s t p o s s i b l e v a l u e a n t h l a r g e s tp o s s i b l e v a l u e t h a t c a a c h i e v e w i t h i n t h e s e m a r g i n a l c o n s t r a i n t s .

S i n c e t h e s e v a l u e s a r a l f r e q u e n c i e s , a n t h l e a s t p o s s i b l e f r e q u e n c y i z e r o ( 0 ) , t h

l e a s t p o s s i b l e v a l u e t h a t c a p o s s e s s i w h e n e i t h e r t h f r e q u e n c y v a l u e o f o o f i z e r o

( 0 ) . S i m i l a r l y , t h e g r e a t e s t p o s s i b l e v a l u e t h a t c e l l o c a n c o n t a i n o c c u r s w h e n e i t h e r t h e

f r e q u e n c y o o o i z e r o ( 0 ) .

M a t h e m a t i c a l l y :

O ( m i n ) 0 i < h o t h e r w i s e o ( r m n ) - ( 4

O i j a a x ) = t h l e s s e r o R a n C ( 5

I t h e p r e s e n t c a s e , t h m i n i m u m v a l u e i ( z e r o ) a n t h m a x i m u m v a l u e i 4 6

S t e p 3

T h m u l t i n o m i a l e q u a t i o n i a p p l i e d t t h r a n g e o a l p o s s i b l e v a l u e s f r o m t h

m i n i m u m ( 0 t t h m a x i m u m ( 4 6 ) , a d d i n g t h e s e p a r t i a l p r o b a b i l i t i e s t o f i n d t h t o t a l

p o s s i b l e p r o b a b i l i t y { p ) o e v e n t s w i t h i n t h e s e c o n s t r a i n e d c o n d i t i o n s . T h e q u a t i o n

b e c o m e s :

P = N ( P i f u ( p 2 f u { p , f u ( p , ) h U ( 6 a u J u & u " u


16/64


17/64

I t h i s p r o c e s s , t h v a l u e o f i t h i n c r e m e n t a l v a l u e a c r o s s t h r a n g e f r o m o ( m m ) t o

o ( n i f l x ) - T h i s m e a n s t h a t t h v a l u e s o o a n h w i l l i n c r e a s e b y o n e ( 1 a n o f / u a n g w i l l

d e c r e a s e b y o n e ( 1 u n t i l t h r a n g e h a b e e n c o m p l e t e d . G d > p y B ^T h v a l u e s o f / ? i , e t c . a r e c o n s t a n t . T h e s e a r t h p r o b a b i l i t i e s f o e a c h o f t h f o u r

c e l l s t h a t a r d e t e r m i n e d b c o n s t r a i n i n g t h e c a l c u l a t i o n s u s i n g t h m a r g i n a l t o t a l s . T h e s e

c o n s t r a i n t s a r e i m p o s e d b e c a u s e w a r a s s u m i n g t h a t t h m a r g i n a l p r o p o r t i o n s a r t h b e s t

e s t i m a t e s a v a i l a b l e f o t h e a c t u a l d i s t r i b u t i o n o t h e s e p a r t i c u l a r c h o i c e s i t h t o t a l s a m p l e .

T h e r e f o r e t h e s e p r o b a b i l i t i e s a r t h p r o d u c t o f t h j o i n t p r o p o r t i o n s f o e a c h c e l l a

f o l l o w s :

( 7

( 8

( 9

( 1 0 )

A l s o :

a n h u = N - ( o u + f u

I n t h i s p a r t i c u l a r e x a m p l e , t h v a l u e s o f p i , p 2 , p 3 . a n d / ? 4 f o a r 0 . 1 8 2 , 0 . 2 5 4 ,

0 . 2 3 6 , a n 0 . 3 2 8 r e s p e c t i v e l y , w h i c h a d d s t o 1 . 0 0 0 , f o t h e s e f o u r p r o b a b i l i t i e s .

s ^ W ^ J A -


18/64


19/64

S t e p

T h n e x t s t e p i t f i n d t h c u m u l a t i v e p r o b a b i l i t y f o t h o b s e r v e d f r e q u e n c y o l e s s

( p c ) , t h i s t i m e i t e r a t i n g f r o m o { m i n ) t u s i n g t h s a m e e q u a t i o n ( 6 a n c o n t r o l p a r a m e t e r s

( 7 1 3 i s t e p 3 a s f o l l o w s :

( 1 4 )

T h d i f f e r e n c e b e t w e e n t h e s e t w c a l c u l a t i o n s b e i n g t h a t e q u a t i o n ( 6 i n c r e m e n t s t

( m a x ) f r o m o ( n u n ) w h e r e a s e q u a t i o n ( 1 4 ) s t o p s i n c r e m e n t a t i o n a t h o b s e r v e d v a l u e o o

S t e p

T h d e s i r e d p r o b a b i l i t y n o c a b e d e t e r m i n e d . T h c u m u l a t i v e p r o b a b i l i t y f o a l

p o s s i b l e e v e n t s w i t h i n t h e s e c o n s t r a i n e d c o n d i t i o n s \ s p r f r o m e q u a t i o n ( 6 a n t h

c u m u l a t i v e p r o b a b i l i t y w i t h i n t h e s e s a m e c o n s t r a i n t s f o r t h e o b s e r v e d f r e q u e n c y o l e s s i s / ? /

f r o m e q u a t i o n ( 1 4 ) . T h u s t h d e s i r e d p r o b a b i l i t y i t h r a t i o o t h e s e t w p a r t i a l p r o b a b i l i t i e s ,

o r

p = P p 0 4 ( 6 ( 1 5 )

I t h i s e x a m p l e , t h v a l u e o f / ? / i 0 . 0 0 5 9 a n d o f p r i a l s o 0 . 0 0 5 9 , s o t h p r o b a b i l i t y

o o b s e r v i n g 3 c h o i c e s o a n s w e r o w i t h 4 a n 4 o v e r a l l c h o i c e s a n 1 1 o b s e r v a t i o n s , i

p 1 . 0 0 0 . I a p p e a r s , f r o m t h e s e a c t u a l c a l c u l a t i o n s , t h a t t h r e m a i n i n g 1 p o s s i b l e v a l u e s

( f r o m 3 t h r o u g h 4 6 c o n t r i b u t e l e s s t h a n o n p a r t i 2 0 , 0 0 0 o f t h t o t a l p o s s i b l e p r o b a b i l i t y .

1


20/64


21/64

h e n c e t h e r e s u l t i n g p r o b a b i l i t y i 1 . 0 0 0 w h e n t h e s e p a r t i a l p r o b a b i l i t i e s a r e r o u n d e d t t h

f o u r t h d e c i m a l p l a c e .

T h i s p r o b a b i l i t y r e p r e s e n t s t h e r e p e a t e d c h o i c e o t h r i g h t a n s w e r t t h i s q u e s t i o n a

a p a r t i c u l a r a g r a n g e ( 1 6 6 1 7 0 m o n t h s ) . I t h i s e x a m p l e t h i r t y p e r c e n t ( 3 3 / 1 1 0 ) o f a l

a n s w e r s a r r e p e a t e d l y r i g h t , w h i l e a b o u t t w t h i r d s ( 3 3 ( 4 4 8 ) o r 6 6 9 4 o

t h o s e w h c h o s e t h i s a n s w e r o n e i t h e r a d m i n i s t r a t i o n c h o s e i o b o t h a d m i n i s t r a t i o n s . B

c h a n c e a l o n e t h e x p e c t a t i o n w o u l d h a v e b e e n o n l y 2 0 . 0 7 s u c h c h o i c e s w i t h i n t h c o n s t r a i n t s

o t h m a r g i n a l v a l u e s . I i n o s u r p r i s i n g , t h e r e f o r e , t o h a v e p r o b a b i l i t y o 1 . 0 0 0 w h e n t h

o b s e r v e d f r e q u e n c y e x c e e d s t h e x p e c t e d o n e b y m o r e t h a n 5 ( 3 2 0 ) .

I f t h e i r s e l e c t i o n s h a b e e n e n t i r e l y r a n d o m , t h i s e x p e c t a t i o n w o u l d h a v e d r o p p e d t

1 / 1 6 o t h t a b l e t o t a l , o 6 . 8 7 5 e v e n t s . A w c a s e e , t h i s a p p r o a c h g i v e t h e x a c t

m a t h e m a t i c a l s o l u t i o n t t h p r o b l e m o h o t a s s i g n p r o b a b i l i t y t f r e q u e n c y , g i v e n t h

c o n s t r a i n t s p r e s e n t e d i o u o r i g i n a l d i s c u s s i o n .

A a h i s t o r i c a l n o t e , t h m u l t i n o m i a l p r o b a b i l i t y e q u a t i o n h a s b e e n m u c h

n e g l e c t e d p r o c e d u r e b e c a u s e , w i t h s m a n y f a c t o r i a l s t o b c a l c u l a t e d , i r e q u i r e s a g r e a t d e a l

o c o m p u t a t i o n w h e n c a l c u l a t e d b h a n d .

T h R e s u l t s ; F i r s t L o o k

T h n e x t s t e p i t c o n s i d e r t h e n t i r e m a t r i x g i v e n i T a b l e t o s e e w h a t t h i s

p r o c e d u r e c a r e v e a l . H e r e a r t h r e s u l t s o t h i s o n e g r o u p o i n t e r a c t i o n s a c r o s s t i m e w i t h mt h i s o n q u e s t i o n . T a b l e g i v e s t h e o b s e r v e d f r e q u e n c i e s , e x p e c t e d f r e q u e n c i e s a n

p r o b a b i l i t i e s o a l 1 i n t e r a c t i o n s . I p r e s e n t s t h e f r e q u e n c i e s t h a t p r o d u c e d s i g n i f i c a n t l y

h i g h p r o b a b i l i t i e s i e n l a r g e d b o l d p r i n t a n t h s i g n i f i c a n t l y l o o n e s i r e d u c e d f o n t s i z e .

1


22/64


23/64


S e v e n o t h 1 i n t e r a c t i o n s a r s i g n i f i c a n t ; t h r e e h i g h a n f o u r l o w . A l l t h h i g h o n e s

a r i t h m a i n d i a g o n a l , w h i c h m e a n s t h a t t h e r e i s t r o n g t e n d e n c y i n t h i s a g g r o u p f o

r e p e a t i n g t h i n i t i a l a n s w e r , w i t h o u t r e g a r d a t w h e t h e r i i r i g h t o w r o n g .

T h e r e a r e a l s o s o m e v e r y s e r i o u s p r o b l e m s w i t h t h e s e o u t c o m e s . O n o t h e h i g h e s t

f r e q u e n c i e s a m o n g t h e o f f - d i a g o n a l c e l l s i O 2 c o n t a i n s 8 j o i n t s e l e c t i o n s b u i c l a s s i f i e d a s

s i g n i f i c a n t l y l o p r o b a b i l i t y o o c c u r r e n c e . T h s a m e e v e n t c a b s e e n , t g r e a t e r o r

l e s s e r d e g r e e f o a l t h s i g n i f i c a n t l y l o s e l e c t i o n f r e q u e n c i e s . T h m o s t f r e q u e n t c h a n g e s

f r o m o n e a n s w e r t a n o t h e r s e e m t b s i g n i f i c a n t l y l o w h e n e v e r t h s a m e t w r e s p o n s e s

a r s i g n i f i c a n t l y h i g h i t h e i r r e p e a t e d c h o i c e s .

P e r h a p s t h i s p r o b l e m c o m e s t h m u t u a l l y e x c l u s i v e n a t u r e o m u l t i p l e - c h o i c e t e s t

a n s w e r i n g . I t h i s c a s e , t h e s e l o p r o b a b i l i t i e s c o u l d b s t a t i s t i c a l a r t i f a c t s . T t e s t t h i s

h y p o t h e s i s , s e c o n d - o r d e r c a l c u l a t i o n w a p e r f o r m e d . T h e s e p r o b a b i l i t i e s w e r e r e c a l c u l a t e d

a f t e r m a k i n g t h m a d i a g o n a l e l e m e n t s z e r o ( 0 ) . T a b l e r e p o r t s t h e s e r e s u l t s :


T h r e s u l t s o t h a n a l y s i s o t h f r e q u e n c i e s f r o m T a b l e c a n o b s u m m a r i z e d i T a b l e 6

1


24/64


25/64


T h f o u r s i g n i f i c a n t l y l o p r o b a b i l i t i e s d i s a p p e a r e d i t h i s s e c o n d o r d e r a n a l y s i s . T h t w l o o n e s w i t h r e l a t i v e l y h i g h f r e q u e n c i e s c o m p a r e d w i t h o t h e r o f f - d i a g o n a l e l e m e n t s

b e c a m e s i g n i f i c a n t l y h i g h . I n a d d i t i o n , o n t h a t w a a l m o s t s i g n i f i c a n t a l s o b e c a m e

s i g n i f i c a n t l y h i g h . T h e r e a r n o o t h 1 c e l l s i n t h t a b l e t h a t a r s i g n i f i c a n t l y h i g h ,

a c c o u n t i n g f o 7 8 o f t h 1 1 r e s p o n s e s ( m o r e t h a n 7 % ) a n n o n e s i g n i f i c a n t l y l o w . T h i s

o u t c o m e c o m p a r e s w i t h 3 s t a b l e r e s p o n s e s ( 3 0 % t t h r i g h t a n s w e r . B r e g a r d i n g

s t a t i s t i c a l l y s i g n i f i c a n t p r o b a b i l i t i e s t b p s y c h o l o g i c a l l y m e a n i n g f u l , t h e s e f r e q u e n c i e s

n o a c c o u n t f o n e a r l y t w o a n d h a l f t i m e s a m u c h i n f o r m a t i o n a t h s t a b l e r i g h t a n s w e r s

b t h e m s e l v e s p r o v i d e ( 7 3 3 ) .

T h c o n c l u s i o n t h a t c a b d r a w n f r o m t h e s e r e s u l t s i t h a t , o n c e t h i s s e c o n d o r d e r

a n a l y s i s h a b e e n a p p l i e d , t h i s p r o c e d u r e s e e m s t e f f e c t i v e l y i d e n t i f y t h e t r a n s f o r m a t i v e -

a n s w e r p a t t e r n s t h a t a p p e a r t b p r e s e n t u p o n v i s u a l e x a m i n a t i o n o f t h o r i g i n a l 4 x t a b l e .

W i t h s u c h e n c o u r a g i n g r e s u l t s , t h f i n a l s t e p i t a p p l y t h i s p r o c e d u r e t l a r g e r d a t a s e t

o b s e r v e w h e t h e r i p e r f o r m s a w e l l i m o r e g e n e r a l a p p l i e d c o n t e x t . T h b a l a n c e o t h i s

p a p e r i d e v o t e d t g i v i n g t h r e e e x a m p l e s o i t a p p l i c a t i o n a s a d e m o n s t r a t i o n o f i t

e f f e c t i v e n e s s , o r l a c k t h e r e o f , f o r t h e n o n - l i n e a r , n o n - t r a d i t i o n a l a n a l y s i s o f r e q u e n c y t a b l e s .

A p p l i c a t i o n s o t h i s p r o c e d u r e

1 R e c o n s i d e r i n g w r o n g a n s w e r s

T h f i r s t p r e s e n t a t i o n i r e s t a t e m e n t o t h r e s u l t s f r o m t h e d a t a f o w h i c h t h i s

p r o c e d u r e w a d e v e l o p e d a r e p o r t e d i P o w e l l a n d S h k l o v ( 1 9 9 2 ) . I c o m e s f r o m t w

1


26/64


27/64

a d m i n i s t r a t i o n s o t h s a m e t e s t t 2 8 1 0 s u b j e c t s r a n g i n g i a g f r o m l e s s t h a n e i g h t y e a r s o

a g t m o r e t h a n e i g h t e e n , w i t h f i v e - m o n t h i n t e r v a l b e t w e e n a d m i n i s t r a t i o n s . T h e n t i r e

s a m p l e w a t h e n s u b d i v i d e d i n t o 2 a g l e v e l s o f i v e m o n t h s e a c h . T h r e p o r t e d a g i

m o n t h s c o m e s f r o m t h s u b j e c t s ' a g e s a t h f i r s t a d m i n i s t r a t i o n . T h e x a m p l e w u s e da b o v e w a a g l e v e l 1 6 1 7 ( m e d i a n 1 6 8 ) .

T h e s e d a t a c o m e f r o m i t e m 1 o G o r h a m ' s ( 1 9 5 6 ) T h e P r o v e r b s T e s t . T h i s i t e m

r e a d s :

Q U I C K L Y C O M E , Q U I C K L Y G ( E a s y c o m e , E a s y g o ) .a A l w a y s c o m i n g a n g o i n g a n n e v e r s a t i s f i e d ( m e d i a n a g 1 4 ) .

b W h a t y o g e e a s i l y d o e s n o m e a n m u c h t y o ( r i g h t a n s w e r ) .

c A l w a y s d t h i n g s o t i m e ( m e d i a n a g 8 )

d M o s t p e o p l e d a s t h e y p l e a s e a n d g o a t h e y p l e a s e ( m e d i a n a g 1 0 ) .

m o r e d e t a i l e d d i s c u s s i o n o t h i n t e r p r e t a t i o n s c h a r a c t e r i z i n g t h e s e a n s w e r s i

g i v e n e l s e w h e r e ( P o w e l l , 1 9 7 7 , P o w e l l a n S h k l o v , 1 9 9 2 ) i t h l i t e r a t u r e . I t h e e a r l i e r

s t u d y , t h i s t e s t w a g i v e n t 5 5 e l e m e n t a r y s c h o o l c h i l d r e n ( g r a d e s t h r o u g h 8 a n t h e n

r e p r e s e n t a t i v e s a m p l e o t h e m w a s i n t e r v i e w e d t d e t e r m i n e t h r e a s o n i n g b e h i n d t h e i r

a n s w e r s e l e c t i o n .

I b r i e f , a l t e r n a t i v e " c w a c h o s e n m o s t f r e q u e n t l y b y e a r - o l d s . T h e i r r e a s o n i n g

s h o w e d t h a t t h e y h a i n t e r p r e t e d " Q u i c k l y c o m e . . . " a i r e p r e s e n t e d t h e i r p e r s o n a l p h y s i c a l

a c t i v i t i e s i n t h e i r t h i r d g r a d e c l a s s r o o m . T h e y h a m a n y c h a n g e s o f a c t i v i t y i s c h o o l d a y ,a l o w h i c h r e q u i r e d t h a t t h e y " f i n i s h o t i m e . " I P i a g e t ' s t e r m s t h e y w o u l d a p p e a r t b

s t i l l e g o c e n t r i c a n i n t u i t i v e i t h e i r t h i n k i n g .

1


28/64


29/64

A l t e r n a t i v e " d w a c h o s e n m o s t f r e q u e n t l y b 1 y e a r - o l d s , w i t h t h e i r r e a s o n i n g

r e p o r t s s u g g e s t i n g t h a t t h e y w e r e l o o k i n g f o t h b e s t l i t e r a l i n t e r p r e t a t i o n o t h e p r o v e r b .

T h i s c h a n g e i r e a s o n i n g w o u l d s u g g e s t t h a t t h e y w e r e n l o n g e r e g o c e n t r i c a n d w e r e

t h i n k i n g c o n c r e t e l y i n s t e a d .

N e x t i a g e s e q u e n c e w a a l t e r n a t i v e " a " , m o s t c o m m o n l y c h o s e n b 1 y e a r - o l d s .

T h e i r r e a s o n i n g s e e m e d t s u g g e s t t h a t t h e y w e r e m o v i n g o u o l i t e r a l a n c o n c r e t e t h i n k i n g

i n t o m o r e f i g u r a t i v e i n t e r p r e t a t i o n s .

T h r i g h t a n s w e r , " b , " w a c h o s e n m o s t c o m m o n l y b 1 y e a r - o l d s , s u g g e s t i n g t h a t

e i t h e r t h e y h a r e a c h e d f o r m a l o p e r a t i o n s o w e r e a n s w e r i n g f r o m m e m o r y b e c a u s e o

p e r s o n a l f a m i l i a r i t y w i t h t h i s p r o v e r b .

T h i s p r e s e n t r e p o r t u s e s t h e d a t a f r o m l a t e r s t u d y . T h p u r p o s e o f t h i s l a t e r s t u d y

w a t t r y t o r e p l i c a t e t h e s e q u e n c e j u s t p r e s e n t e d a n t d e t e r m i n e w h e t h e r t h c h a n g e s o

a n s w e r s e l e c t i o n c o i n c i d e d w i t h t h p o s s i b i l i t y t h a t d e v e l o p m e n t a l s e q u e n c e m i g h t b

p r e s e n t .

T h p r e s e n t d i s c u s s i o n p r o v i d e s t h o u t c o m e s f r o m t h t w o r d e r s o a n a l y s i s

c o m b i n e d i n t o o n t a b l e f o c l a r i t y a n c o n v e n i e n c e . T a b l e g i v e s t h i s c o n s o l i d a t i o n w i t h

t h n u m b e r s i l a r g e r f o n t a n i b o l d f a c e b e i n g t h s i g n i f i c a n t l y h i g h f r e q u e n c i e s d r a w n

f r o m t h i s p r o c e d u r e . T h e n u m b e r s i s m a l l e r f o n t a n t h l i g h t b o a r t h s i g n i f i c a n t l y l o

f r e q u e n c i e s . N s i g n i f i c a n t l y l o f r e q u e n c i e s o c c u r r e d i t h m a i n d i a g o n a l .

I n s e r t T a b l e 7 h e r e

T h m o s t o b v i o u s o b s e r v a t i o n i t h h u g e d i s c r e p a n c y b e t w e e n t h n u m b e r o c e l l s o

s i g n i f i c a n t l y h i g h f r e q u e n c y t t h o s e o s i g n i f i c a n t l y l o f r e q u e n c y ( 2 0 0 t 3 ) S i m i l a r l y t h e


30/64


31/64

n u m b e r o s i g n i f i c a n t l y h i g h f r e q u e n c y c e l l s t t h t o t a l n u m b e r o c e l l s ( 2 0 0 t 4 3 2 ) s h o w s

c o n s i d e r a b l e d e p a r t u r e f r o m r a n d o m e x p e c t a t i o n s , s u g g e s t i n g t h a t t h e s e o b s e r v a t i o n s a r

r e f l e c t i n g s o m e u n d e r l y i n g s y s t e m a t i c a s p e c t o b e h a v i o r . I t h r a n d o m c a s e t h n u m b e r o

s i g n i f i c a n t l y h i g h c e l l s a n t h n u m b e r o s i g n i f i c a n t l y l o c e l l s s h o u l d b a b o u t e q u a l .

C o n s i d e r i n g t h a m o u n t o f r e c o v e r e d i n f o r m a t i o n i a l s o r e v e a l i n g . K n o w i n g t h a t t h

c o r r e c t a n s w e r t t h i s q u e s t i o n i " B , " a d d s a d d i t i o n a l i n s i g h t . N e a r l y a l o t h s t a b l e c h o i c e s

o t h i s a n s w e r b e t w e e n t h t w a d m i n i s t r a t i o n s o t h t e s t a r s i g n i f i c a n t l y h i g h , s u g g e s t i n g a

s t r o n g e r t e n d e n c y t r e p e a t t h i s c h o i c e t h a n a n o t h e r . H o w e v e r t h i s s t a b i l i t y , w h i c h i

s i m i l a r t t e s t - r e t e s t r e l i a b i l i t y , a c c o u n t s f o o n l y 2 3 . 8 ( 6 6 9 t 2 8 1 0 ) o a l t h a n s w e r s a n

3 ( 6 6 9 t 2 1 1 2 ) o f a l t h s i g n i f i c a n t l y h i g h f r e q u e n c i e s .

I c o n t r a s t t h e t o t a l o a l s i g n i f i c a n t l y h i g h f r e q u e n c i e s t a l a n s w e r s i 7 5 . 2

( 2 1 1 2 t 2 8 1 0 ) . T h i s p r o c e d u r e a p p e a r s t b r e c o v e r i n g g r e a t d e a l m o r e s y s t e m a t i c

a n s w e r i n g t h a n t h r e p e a t e d c o r r e c t a n s w e r s a l o n e c a s u p p l y . T h r e s u l t s o t h e n t i r e g r o u p

a r e s i m i l a r t t h o b s e r v a t i o n s m a d e w i t h a g l e v e l 1 6 1 7 m o n t h s r e p o r t e d e a r l i e r .

A l s o i l l u m i n a t i n g i t h e p a t t e r n s o s t a b i l i t y a n c h a n g e t h a t c a b e o b s e r v e d . O n

w a o d e f i n i n g s e q u e n c e i t c o n s i d e r t w s i g n i f i c a n t l y h i g h f r e q u e n c i e s i c h r o n o l o g i c a l

o r d e r i n i t i a t e s e q u e n c e a n d t w n o n - s i g n i f i c a n t o r s i g n i f i c a n t l y l o c e l l s b r e a k t h

s e q u e n c e . F i g u r e g i v e s t h e s e o b s e r v a t i o n s . T h e s e r e s u l t s a r r e a r r a n g e d t s h o w t h e v i d e n t

s e q u e n t i a l p a t t e r n s .

I n s e r t F i g u r e h e r e

I t h f i r s t p l a c e , i m a b e n o t e d t h a t t h s e q u e n c e s o s i g n i f i c a n t l y s t a b l e c h o i c e s

( = c = d , . . . ) t e n d t f o l l o w t h s a m e s e q u e n t i a l p a t t e r n f o u n d i t h e a r l i e r s t u d y . I


32/64


33/64

a d d i t i o n , t h e m e d i a n p o i n t s o t h c h a n g e s f r o m o n a n s w e r t a n o t h e r ( = d = a , . . . )

t e n d t f a l l b e t w e e n t h s o l i d c o m m e n c e m e n t a g e s f o t h s t a b l e r e p e a t e d c h o i c e s o t h i s n e x t

s e q u e n t i a l a l t e r n a t i v e . T h u s a n s w e r s a p p e a r t d i s p l a y r e p l i c a t i n g d e v e l o p m e n t a l s e q u e n c e .

O p a r t i c u l a r i n t e r e s t i t h c h a n g e f r o m t h r i g h t a n s w e r " b t o t h e h i g h e s t s e q u e n t i a l

w r o n g a n s w e r " a w i t h t h m o r e m a t u r e s t u d e n t s . T h i s r e v e r s e t r e n d s e e m s t o r e f l e c t m o v e

a w a y f r o m c o n v e r g e n t t h i n k i n g s u c h a s m u l t i p l e - c h o i c e t e s t t y p i c a l l y r e q u i r e s .

I i a l s o i n t e r e s t i n g t n o t e t h a t t h e s e d a t a s e e m t s u g g e s t t h e r e m a b a l e a s t t h r e e

l e v e l s o a c h i e v e m e n t p r e s e n t i t h o s e w h l e a v e s c h o o l a p a r t o t h m a i n - s t r e a m . T h e r e

a r t h o s e w h h a v e c o n s o l i d a t e d u p o n l i t e r a l t h i n k i n g ( a l t e r n a t i v e " d " ) , t h o s e w h h a v ee i t h e r c o m p l e t e d f o r m a l o p e r a t i o n s o w h c a g i v e t h r i g h t a n s w e r f r o m m e m o r y

( a l t e r n a t i v e " b " ) , a n t h o s e w h e i t h e r r e m a i n e d a t h l e v e l o p e r s o n a l i z e d t h i n k i n g o g o n e

b e y o n d f o r m a l o p e r a t i o n s ( a l t e r n a t i v e " a " ) . T h e r e a r e a l s o l a r g e n u m b e r o s t u d e n t s w h

a r i t h t r a n s i t i o n s t a g e s a m o n g t h e s e s e v e r a l d e v e l o p m e n t a l l e v e l s w h e n t h e y g r a d u a t e .

O f u r t h e r i n t e r e s t i t h e o b s e r v a t i o n t h a t t h e r e a p p e a r s t b s e c o n d p a t h w a y a

w e l l . I t h i s c a s e t h o r d e r s e e m s t b t h r e v e r s e o t h m a i n s t r e a m , g o i n g f r o m t h r i g h t

a n s w e r " b a y o u n g a g t o w a r d e i t h e r l i t e r a l t h i n k i n g " d o n o n - l o g i c a l t h i n k i n g " c " b

t h t i m e t h a t t h e y l e a v e s c h o o l . S o m e o t h e s e s t u d e n t s o t h i s s e c o n d p a t h w a y a p p e a r t

l e a v e s c h o o l b e f o r e t h e y g r a d u a t e . I w a f o u n d t h a t t h o s e s t u d e n t s w h w i t h d r e w f r o m

s c h o o l b e t w e e n t h t w a d m i n i s t r a t i o n s m o s t c o m m o n l y c h o s e e i t h e r " c o " d . "

T h a p p e a r a n c e o f m o r e t h a n o n e d e v e l o p m e n t a l p a t h w a y i i t s e l f a i n t e r e s t i n g

p s y c h o l o g i c a l o b s e r v a t i o n . I b e g s t h q u e s t i o n , " H o w m a n y s u c h p a t h w a y s c a n b e f o u n d

u s i n g t h i s p r o c e d u r e ? " F u r t h e r r e s e a r c h w i l l b n e e d e d t a n s w e r t h i s q u e s t i o n . T h

o b s e r v a t i o n t h a t t h i s r e v e r s e p a t t e r n m a b d e t e c t a b l e a a y o u n g a a g a t e n y e a r s i

1


34/64


35/64

e n c o u r a g i n g . I c o m b i n a t i o n t h e s e o b s e r v a t i o n s s e e m t i n d i c a t e t h a t u s i n g r i g h t a n s w e r s a

c r i t e r i o n f o r a c a d e m i c s u c c e s s m a b n e c e s s a r y b u m i g h t b a i n s u f f i c i e n t m e a s u r e o

a c a d e m i c p r o g r e s s . T h s t u d e n t s ' r e a s o n i n g a p p e a r s t d e t e r m i n e t h a n s w e r s s e l e c t e d . I

m a b e a t h i n t e r v i e w d a t a s e e m s t s u g g e s t , t h a t t h e s e t r a n s f o r m a t i o n a l p a t t e r n s a m o n gt h a n s w e r s c o u l d p r o v i d e a w i n d o w u p o n o t h e r w i s e i n v i s i b l e l e a r n i n g p r o c e s s e s .

T h i s i n f o r m a t i o n i u n a v a i l a b l e w h e n t e s t s a r s c o r e d " r i g h t - w r o n g . " W r o n g - a n s w e r

d a t a i e l i m i n a t e d d u r i n g s c o r i n g . D t h e s e o b s e r v a t i o n s i n v a l i d a t e u s i n g t h i s a p p r o a c h f o

t e s t e v a l u a t i o n o r e d u c a t i o n a l q u a l i t y a s s u r a n c e 9 S h o u l d w b u s i n g t h i n f o r m a t i o n f r o m

a l s t u d e n t a n s w e r s i n s t e a d ?

2 T e a c h e r s ' a t t i t u d e s t o w a r d t h e i r p r o f e s s i o n

T h i s s e c o n d e x a m p l e b e i n g r e p o r t e d h e r e i f r a g m e n t o m u c h l a r g e r s t u d y b e i n g

c o n d u c t e d b t h C o n s o r t i u m f o C r o s s - C u l t u r a l R e s e a r c h i E d u c a t i o n b a s e d a t h S c h o o l

o E d u c a t i o n o t h U n i v e r s i t y o f M i c h i g a n i A n A r b o r . T h s t u d y u p o n w h i c h t h i s r e p o r t

i b a s e d w a c o n d u c t e d i t w e l v e c o u n t r i e s , A l l e n M e n l o b e i n g t h c o o r d i n a t o r . T h i s

f r a g m e n t w a p r e p a r e d j o i n t l y b e t w e e n P o w e l l a n C o l l e t t ( 1 9 9 0 ) .

S e c o n d a r y - s c h o o l t e a c h e r s w e r e a s k e d i n d i c a t e , w i t h i n b r a m s t o r m i n g s e s s i o n s , t h e i r

s o u r c e s f o e n t h u s i a s m a n d i s c o u r a g e m e n t t o w a r d t h e i r o n - t h e - j o b e x p e r i e n c e s a t e a c h e r s .

T h e i r c o m m e n t s w e r e c o l l e c t e d o w a l l c h a r t s , d i s c u s s e d , a n t h e n s u m m a r i z e d .

U s i n g c o d i n g s y s t e m , t h e w r i t t e n r e c o r d s o t h e s e d i s c u s s i o n s w e r e r e d u c e d t s e v e n

c a t e g o r i e s , e a c h o f w h i c h c o u l d b d e s i g n a t e d a e i t h e r a s o u r c e f o e n t h u s i a s m ( E o

d i s c o u r a g e m e n t ( D ) . T h e s e c a t e g o r i e s w e r e a l s o c l a s s i f i e d a b e i n g c o n t r o l l a b l e ( C b t h e s e

t e a c h e r s o r b e y o n d t h e i r i m m e d i a t e c o n t r o l ( U T h c a t e g o r i e s w e r e :

1


36/64


37/64

1 S e l f ( C )

2 S t u d e n t s ( C

3 O t h e r s ( C

4 S e l f ( U )

5 S t u d e n t s ( U

6 C l i m a t e ( U

7 W o r k l o a d ( U

B l o o k i n g a o n l y t h r e e c o u n t r i e s ( C a n a d a , J a p a n , a n t h U . S . A . ) t h m u l t i n o m i a l

p r o c e d u r e w a u s e d t c o n s i d e r s i m i l a r i t i e s a n d i f f e r e n c e s a m o n g t h e s e c o u n t r i e s o t h e s e

f o u r t e e n c a t e g o r i e s . W h e n t h m u l t i n o m i a l p r o c e d u r e i a p p l i e d t t h t a b l e t h r e s u l t s w e r e :

I n s e r t T a b l e h e r e

T w t r e n d s a r o b s e r v a b l e . F i r s t , e a c h c o u n t r y s h o w s s o m e d i f f e r e n c e s f r o m t h

o t h e r , w i t h C a n a d a a n t h U . S . A . m o r e a l i k e w i t h e a c h h a v i n g e i g h t o t h f o u r t e e n

s i g n i f i c a n t p r o b a b i l i t i e s i t h i d e n t i c a l d i r e c t i o n . T h d i r e c t i o n s o t h e o t h e r s i w e r e a l s o

e q u i v a l e n t . J a p a n d i f f e r e d f r o m t h o t h e r t w c o u n t r i e s b s h o w i n g g r e a t e r p o l a r i z a t i o n a n

h a v i n g a o p p o s i t e v i e w o t h u n c o n t r o l l a b l e a s p e c t s o s e l f a n t h c l a s s r o o m e n v i r o n m e n t .

S e c o n d , t h e r e a p p e a r s t b t r e n d w h e r e i n t h s o u r c e s f o e n t h u s i a s m c o m e f r o m

t h e l e m e n t s o t e a c h i n g o v e r w h i c h t e a c h e r s h a v e c o n t r o l , a n o d i s c o u r a g e m e n t f r o m t h o s e

e l e m e n t s o v e r w h i c h t h e y h a v e l i t t l e c o n t r o l . A l t h o u g h t h e s e c o n c l u s i o n s c o n t a i n n

s u r p r i s e s , t h p r o c e d u r e s e e m s t i d e n t i f y q u i t e c l e a r l y b o t h g e n e r a l t r e n d s a n i n t e r n a t i o n a l

d i f f e r e n c e s a m o n g t h e s e d a t a .


38/64


39/64

3 P s y c h o l o g i c a l c h a r a c t e r i s t i c s o c o n t r a s t i n g g r o u p s

I t h t h i r d s t u d y r e p o r t e d h e r e , C a r n e y ( 1 9 9 2 ) p r e s e n t s s o m e s i m u l a t e d d a t a d e s i g n e d

t i l l u s t r a t e a c l u s t e r i n g t e c h n i q u e t a i i i n t e r p r e t i n g c o u n s e l i n g s e s s i o n s . I n t h i s p a p e r

t w e l v e p e o p l e , a l o w h o m a r a d u l t c h i l d r e n o a l c o h o l i c f a m i l i e s , a r e c o n t r a s t e d . S i a r i r e c o v e r y a n s i x a r e i n d e n i a l . T a b l e g i v e s t h e f r e q u e n c i e s o r e s p o n s e s i s e v e n d i f f e r e n t

c a t e g o r i e s f o e a c h o t h e s e s i c l i e n t s .

I n s e r t T a b l e 9 a b o u t h e r e

T h e s e c a t e g o r i e s w e r e c o m p a r e d a t t o p i c , s u c h t h a t " l i v i n g i s t o r m , " f o t h o s e i r e c o v e r y , w a s e e n t b s i m i l a r t " s u d d e n , n a s t y m o o d s w i n g s , " f o t h o s e i d e n i a l . S i o

t h s e v e n c o u l d b c o n t r a s t e d i n t h i s w a a n t h e i r f r e q u e n c i e s o r e s p o n s e r a n k - o r d e r e d . T h

r e s u l t i n g ( r h o ) w a 0 . 4 9 w h i c h i n e g a t i v e b u t n o t s i g n i f i c a n t . T h m u l t i n o m i a l

p r o b a b i l i t i e s a r a l s o g i v e n i T a b l e 9

O n l y o n e o f t h e s e s i p a i r s o c o n t e n t v a r i a b l e s s h o w e d s t a t i s t i c a l l y s i g n i f i c a n t

c o n t r a s t . H o w e v e r , f o u r o t h r e m a i n i n g f i v e s h o w t r e n d t o w a r d s i m i l a r p o l a r i t y . I

w o u l d a p p e a r t h a t p e o p l e i d e n i a l , a n i r e c o v e r y t e n d t d i s p l a y o p p o s i t e p s y c h o l o g i c a l

a t t i t u d e s b a s e d s o l e l y u p o n t h e f r e q u e n c i e s o t h i n g s a b o u t w h i c h t h e y a r e w i l l i n g t t a l k

d u r i n g c o u n s e l i n g s e s s i o n s .

C o n c l u s i o n s a n I m p l i c a t i o n s

I t h i s p a p e r t h r e e d i f f e r e n t c o n t e x t s h a v e b e e n p r e s e n t e d , e a c h o n h a v i n g i

c o m m o n f r e q u e n c i e s o s o m e s o r t . I e a c h c a s e t h m u t l i n o m i a l p r o c e d u r e h a e i t h e r

s u p p o r t e d t h c o n c l u s i o n s t h a t w o u l d b e x p e c t e d f r o m t h s i t u a t i o n s t h a t t h e s e d a t a

2


40/64


41/64

r e p r e s e n t , o r t h e y h a v e c a s t n e l i g h t o s i t u a t i o n s w h e r e m o r e t r a d i t i o n a l s t a t i s t i c a l

p r o c e d u r e s a p p e a r t b i n s u f f i c i e n t i n o t i n a p p r o p n a t e .

T h i s s t a t i s t i c a l p r o c e d u r e s e e m s t b p r o m i s i n g n e t o o l f o r e s e a r c h e r s w h a r

u n c o m f o r t a b l e w i t h l i n e a r t e c h n i q u e s o a r e f i n d i n g t h a t s u c h t e c h n i q u e s d n o t p e n e t r a t e

t h e i r d a t a a d e e p l y a t h e y m i g h t w i s h . T h l a r g e i n c r e a s e i e x p l a i n e d v a r i a b i l i t y t h a t h a

b e e n o b s e r v e d h e r e i n h o l d s p r o m i s e f o d r a w i n g m o r e d e t a i l f r o m d a t a t h a n l i n e a r

a p p r o a c h e s m a s u p p l y . W h e n e v e r t h e r e m a b r e a s o n t s u s p e c t a n o n - l i n e a r c o m p o n e n t t

t h e v e n t s c o n t a i n e d i f r e q u e n c y - t a b l e d a t a , t h i s p r o c e d u r e c o u l d p r o v e h e l p f u l .

2


42/64


43/64

R E F E R E N C E S

C a r n e y , T F . ( 1 9 9 2 ) . ' C l u s t e r i n g ' a s a a i t g u i d a n c e , c o u n s e l l i n g , a n r e l a t e d r e s e a r c h .

G u i d a n c e a n C o u n s e l l i n g , 8 ( 1 ) ; 3 5 - 4 9

F l a v e l l , J H ( 1 9 6 3 ) . T h D e v e l o p m e n t a l P s y c h o l o g y o J e a n P i a g e t . V a N o s t r a n d ,

N e Y o r k , N Y

G o r h a m , D R ( 1 9 5 6 ) . T h P r o v e r b s T e s t . P s y c h o l o g i c a l T e s t S p e c i a l i s t s ,

M i s s o u l a , M T

P o w e l l , J C ( 1 9 7 7 ) . T h d e v e l o p m e n t a l s e q u e n c e o c o g n i t i o n a r e v e a l e d b w r o n g

a n s w e r s . A l b e r t a J o u r n a l o E d u c a t i o n a l R e s e a r c h , 2 3 4 5 1

P o w e l l , J C a n C o l l e t t , L ( 1 9 9 0 ) . c r o s s - c u l t u r a l c o m p a r i s o n d e r i v e d f r o m t e a c h e r

s a t i s f a c t i o n a t t r i b u t i o n s f r o m U . S . A . , J a p a n , a n C a n a d a u s i n g

m u l t i n o m i a l . . . a n a l y s i s . P a p e r p r e s e n t e d a t h a n n u a l m e e t i n g o t h

A m e r i c a n E d u c a t i o n a l R e s e a r c h A s s o c i a t i o n , B o s t o n , M A A p r i l 1 7 1 9 9 0 .

T h f u l l r e p o r t h a n o y e b e e n p u b l i s h e d . C o n t a c t D r A l l e n M e n l o a t h

U n i v e r s i t y o M i c h i g a n , A n A r b o r , M f o m o r e d e t a i l s .

P o w e l l , J C a n S h k l o v , N ( 1 9 9 2 ) . O b t a i n i n g i n f o r m a t i o n a b o u t l e a r n e r s ' t h i n k i n g

s t r a t e g i e s f r o m w r o n g a n s w e r s o m u l t i p l e - c h o i c e t e s t s . T h J o u r n a l o

E d u c a t i o n a l a n P s y c h o l o g i c a l M e a s u r e m e n t , 5 2 8 4 7 - 8 6 5 .

2


44/64


45/64

F i g u r e l a b e l s

1 C h a n g e P a t t e r n s f o t h e E n t i r e I t e m 1 ( 2 8 1 0 ) .

2


46/64


47/64

T a b l e

A I l l u s t r a t i o n o t h I m p a c t o S a m p l e S i z e U p o n t h P o s s i b l e

M e a n i n g f u l n e s s o O b s e r v e d F r e q u e n c i e s

b

O p t i o n

O p t i o n

A l O t h e r s

T o t a l s

1

1

A l o t h e r

O p t i o n s

T o t a l s

1

2

O p t i o n

O p t i o n

A l O t h e r s

T o t a l s

1

1

A l o t h e r

O p t i o n s

6

7

T o t a l s

1

7

9

E x p e c t e d v a l u e f o r 1 1 i 1 2 , 3 9 E x p e c t e d v a l u e f o r 1 1 i 3 . 1 7

2


48/64


49/64

T a b l e

A E x a m p l e o f t h e P r o c e d u r e

U s i n g M u l t i p l e - c h o i c e T e s t D a t a

P o s t t e s t

F r e q u e n c y o a n s w e r s o P r e t e s t

C T o t a l s

1 2

3

1

4

2

T o t a l s 2 4 2 1 1

S o u r c e : D a t a f o a g l e v e l s 1 6 1 7 m o n t h s f r o m T a b l e 4 P o w e l l S h k l o v ( 1 9 9 2 ) .

T h c o r r e c t a n s w e r t o t h i s q u e s t i o n i " B . "

2


50/64


51/64

T a b l e

T h R e s u l t s o C o l l a p s i n g

P o s t t e s t

R o w ?

R o W S i + 3 + 4

T a b l e

C o l u m n 2

3

1

A r o u n d C e l l

C o l u m n s 1 + 3 + 4

1

4

0 2 T o t a l s

4

6

T o t a l s 4 6 1 1


52/64


53/64

T a b l e

P r o b a b i l i t i e s o t h O b s e r v e d F r e q u e n c i e s

f r o m T a b l e 1 F i r s t L o o k

R o 1

O b s e r v e d

E x p e c t e d

v a l u e s

1

7 . 3 8

0 . 9 9 7

1 1 . 7 1 2 . 0 4

0 . 0 0 2 0 . 8 8 8

6 . 8 7

0 . 9 0 7

R o 2 O b s e r v e d

E x p e c t e d

v a l u e s

1 2 . 6 5

0 . 0 3 4

3

2 0 . 0 7 3 . 4 9

1 . 0 0 0 0 . 2 3 5

1 1 . 7 8

0 . 0 0 2


E x p e c t e d

v a ! u e s

1 . 8 5

0 . 9 2 3

2 . 9 2

0 . 3 7 6

0 . 5 1 1 . 7 2

0 . 5 8 0 0 . 7 7 1


E x p e c t e d

v a l u e s

7 . 1 2

0 . 5 8 4

1 1 . 2 9 1 . 9 6

0 . 0 1 4 0 . 9 0 1

1

6 . 6 2

0 . 9 9 3

N o t e : P r o b a b i l i t i e s w h e r e . 9 a r s h o w n i i n c r e a s e d f o n t a n b o l d f a c e ;

w h i l e p r o b a b i l i t i e s p 0 . 0 5 a r s h o w n i r e d u c e d f o n t s i z e .

2


54/64


55/64

T a b l e

S e c o n d O r d e r A n a l y s i s o T a b l e

w i t h t h F r e q u e n c i e s i M a i n D i a g o n a l R e m o v e d

R o 1

O b s e r v e d * *

E x p e c t e d

v a l u e s


E x p e c t e d

v a l u e s

R o 3 O b s e r * e d

E x p e c t e d

v a l u e s


E x p e c t e d

v a l u e s

* *

4 . 9 1

0 . 9 8 9

2 . 2 9

0 . 8 5 1

5 . 2 4

0 . 9 2 2

1 . 1 8

0 . 8 4 6

* *

*

* *

1 . 6 5

0 . 7 9 6

3 . 7 8

0 . 9 6 8

2 . 4 7

0 . 8 0 5

2 .

0 . 6 2 4

* *

*

* *

4 . 6 5

0 . 8 3 9

4 . 9 5

0 . 9 9 8

4 . 3 6

0 . 7 7 8

2 . 0 4

0 . 6 7 4

* *

*

* *

2


56/64


57/64

T a b l e

S u m m a r y o t h R e s u l t s

o B o t h O r d e r s o A n a l y s i s F r o m T a b l e

P o s t t e s t

F r e q u e n c y o a n s w e r s o P r e t e s t

C T o t a l s2

1 1

4

2

T o t a l s 2 1 1

N o t e : F r e q u e n c i e s w i t h p r o b a b i l i t y 0 . 9 5 a r s h o w n i t h b o x e s . T h e r e w e r e n

l o w - p r o b a b i l i t y e v e n t s r e m a i n i n g i t h e a n a l y s i s o t h i s t a b l e .


58/64


59/64

T a b l e

T h R e s u l t s o f t h A n a l y s i s o t h t w A d m i n i s t r a t i o n s

o I t e m 1 f r o m T h P r o v e r b s T e s t

S i g n i f i c a n c e o f T e s t - R e t e s t i t h i n - I t e m R e s p o n s e s

A g e s

< 9 9

1 0 1 0 1 1 1 1 1 2 1 2 1 3 1 3 1 4 1 4 1 5 1 5 1 6 1 6 1 7 1 7 1 8 1 8 1 9 1 9 2 0

2 0 2 1 2 1

> 2 2 0T o t a l sT o t a l s

t

1 1

1 1

1

1 1 1 1

1 1 1 1

1 1

2 5 1 9

t

1

1 1

2 1 1 1 1

2 0 1 5

t

5

t

1 1 1 1 1

1

1 1

1

1 9 1 5

t

1 1 1

1

1 6 1 2

t

1 1 1 1 1 2 1 3 6 5 7 6 5 4 3 3 3 1 3

6 7 6 6

t

6 3

t

1

1 2 8

t

6 2

t

6 1

t

6 5

t

7 4

t

1 1

1 1

1

1 1 1

1 8 1 3

t

1 2 2 1 1

1 9 1 3

t

9 6

t

1

1 1 1 1 1

2

1

1

1 1 2 2 1 1 1 1 1

3 2 2 4

A g G r o u pT o t a l s

2 3 3

1 0

6 9 9 9

1 1 9

1 1 9 8 9 7

1 1 1 8 1 9 2 0 1 7 1 6 1 4 1 1

8 8 5 7

2 8 1 02 1 1 2

M e a ni n g f u lC o u n t

1 1 1 8

2 T 5 7 3 9 5 9 6 6 5 6 7

1 4 1 5 1 6 1 5 1 5 1 1 4 "

9

8 - 7 3 6

2 1 1 2

S o u r c e : C o m p o s i t e o f T a b l e s f r o m P o w e l l S h k l o v ( 1 9 9 2 ) .

3


60/64


61/64

T a b l e

A t t r i b u t i o n S t u d y

B a s i c D a t a a n P r o b a b i l i t i e s

A t t r i b u t i o n

T a r g e t

U S A

E n t h u s - D i s c o u r -

i a s m a g e m e n t

C o n t r o l l a b l e :

1 S e l f 4 L O o o

2 S t u d e n t s ) 4 1 . 0 0 1 o . o o

3 . O t h e r s 0 . 9 3 0 . 3 3

U n c o n t r o l l a b l e :

4 S e l f

5 S t u d e n t s

6 C l i m a t e

W o r k l o a d

0 . 9 8 0 . 1 0

1 0 . 4 6 1 2 0 . 7 0

6 o o 9 1 . 0 0

i o o 5 1 . 0 0

J a p a n



5 0 . 9 9 3 o o

1 2 1 . 0 0 2 o o

0 . 9 7 0 . 1 3

o . o o 4 1 . 0 0

5 o . o o 1 0 1 . 0 0

1 5 0 . 9 6 1 3 o . o 2

o . o o 8 1 . 0 0

C a n a d a



7 1 . 0 0 1 o . o o

8 1 . 0 0 o o

0 . 8 5 0 . 3 8

1 0 . 6 3 1 0 . 5 3

i o . o o 4 1 . 0 0

7 0 0 1 6 1 . 0 0

1 o . o o 4 1 . 0 0

T o t a l s 1 9 1 8 4 1 4 3 2 9

G r a n d T o t a l

2 8

1 8 1 9

B O L D : F r e q u e n c i e s w i t h / ? 0 . 9 5 .

S t a n d a r d s i z e : F r e q u e n c i e s n o s i g n i f i c a n t .

s m a l l : F r e q u e n c i e s w i t h 0 . 0 5 .

3


62/64


63/64

T a b l e

F r e q u e n c i e s o R e s p o n s e s t V a r i o u s T o p i c s

D u r i n g C o u n s e l i n g S e s s i o n s

b y A d u l t C h i l d r e n o f A l c o h o l i c s

i R e c o v e r y o D e n i a l

I R e c o v e r y I D e n i a l

T o p i c F r e q u e n c y P r o b a b -

o d i s c u s s i o n o r e f e r e n c e s l l i t y

T o p i c F r e q u e n c y P r o b a b

o d i s c u s s i o n o r e f e r e n c e s U i t y

1 L i v i n g i s t o r m

2 C r a z y m a k i n g

3 O v e r - a c h i e v i n g

4 F r o z e n f e e l i n g s

5 S u r v i v o r g u i l t

6 N o b e l o n g i n g

6 6 S u d d e n , n a s t y m o o d

5

5

4

3

0

0

0

0

8 8

1 1

5 8

1 5

1 4

5

1

3

2

4

s w i n g s

U n f a i r p r e f e r e n c e s

D o n ' t d w h a t d a d d i

E m o t i o n a l l y l e f t h o m e

C o n s t a n t c r i t i c i s m

P h y s i c a l v i o l e n c e

2

2

4

3

3

3

0 . 0 0 9

0 . 1 7 2

0 . 9 2 1

0 . 5 1 2

0 . 8 9 2

0 . 9 0 5


64/64

Date post:	05-Apr-2018
Category:	Documents
Upload:	d-b-karron-phd
View:	216 times
Download:	0 times

Shklov, Powell (1999) a Non-Linear Analytical Approach to Observational Data

Documents