7/24/2019 Proof that the Sample Bivariate Correlation has limits (plus or minus) 1
1/29
" - E D 2 1 6 8 7 4
D O C U M E N T R E S U M E
A U T H O R
O ' B r i e n , - T r a n c i s J .
J r .
C d e f f i c i e n t H a s L i m i t s ( ( P l u s o r M i n u s ) ) 1 .
P U B D A T E
'
8 ' 2
. 1 1
.
N O T E
3 2 p .
:
\
T I T L E '
P r
S E 0 3 7 4 3 9
C o r r e l a t i o n
E D R S P R I C E
D E S C R I P T O R S
.
.
I D E N T I F I E R S
M F 0 1 / P C O 2 P l u s p o s t a g f .
,
* C o r r e l a t i o n ; * E d u c a t i d n a l R e s e a r c h ; H i g h e r
E d u c a t i o n ; M a t h e m a t i c a l F o r m u l a s ; * P r o o f
( M a t h e m a t i c s ) ; * R e s e a r c h T o o l s ; * S t a t i s t i c s
* A p p l i e c O S t a t i s t i c s
A B S T R A C T '
T h i s
e r p r e s e n t s i n d e t a i l a p r o o f o f t h e l i M i t s ,
o f t h ' a s a m p l e b i v a r i a t e c o r r e l a t i o n c d e f f i c i e n t w h i c h r e q u i r e s o n l y
k n o w l e d g e o f a l g e b r a . N o t a t i o n a n d b a s i c f o r m u l a s o f s t a n d a r d ( z )
s c o r e s , b i v a r i a t e c o r r e l a t i o n f o r m u l a s i n
u n s t a n d a r d i z e d a n d
s t a n d a r d i z e d f o r m , a n d a l g e b r a i c i n e q u a l i t i e s a r e ` r e v i e w e d f i r s t ,
i -
s i n c e t h e y a r e n e c e s s a r y f o r u n d e r s t a n d i n g t h e p r o o f . ' T h e n t h e p r o o f
i s p r e s e n t e d , w i t h a n a p p e n d i x . c o n t a i n i n g a d d i t i o n a l p r o o f s o f
r e l a t e d m a t e r i a l . ( N N S )
4
'
, P ,
6
.
O
O
1
I
f ,
o
* * * * * * * * * * * * * * * * * * * * * * * * * * * * 4 , * * * * * * * * * * * * * * 1 * * * * * * * * * * * * * * * * * * * * * * * * * * *
*
R e p r o d u c t i o n s s u p p l i e d b y E D R S a r e t h e b e e t t h a t c a n b e m a d e
*
* ,
f r o m t h e o r i g i n a l d o c u m e n t .
. *
* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * v * * * * * * * * * * * * * * * * * * * * * * * * * * * * * -
. f r
7/24/2019 Proof that the Sample Bivariate Correlation has limits (plus or minus) 1
2/29
U S . D E P A R T M E N T O F
E D U C A T I O N
N A T I O N A L I N S T I T U T E O F
E D U C A T I O N
D U C A T I O N A L R E S O U R C E S
I N F O R M A T I O N
C E N T E R I E R I C I
A r s a o c u m e n t h a s b e e n
r e p r o d u c e d a s
r e c e r e e d f r o m t h e p e r s o n o r
o f g a n i z a h o n
o n g i n a t i n g I t ,
M i n o r c h a n g e s h a v e b e e n m a d e
t o I m p r o v e
r e p r O d u C n O n Q u a l i t y .
P o i n t s o f c r e w o r % m o n s
s a t e d f n t h i s d o c u
m e e t d o n o t n e c e s s a r a y r e p r e s e n t
o t h c f a l N I E
p o s a f o n o r ' p o k y
P r o o f T h a t t h e S a m p l e B i v a r i a t e C o r r e l a t i o n C o e f f i c i e n t
H a s
L i m i t s
- I : 1
)
P E R M I S S I O N T O R E P R O D U C E T H I S
M A T E R r A L H A S B E E N G R A N T E D B Y
F r a r i c i s J . O ' B r i e n , J r . , ' P h . D .
T , 0 T H E E D U C A T I O N A L R E S O U R C E S
I N F O R M A T I O N C E N T E R ( E R I C ) .
'
V i r t u a l l y a l l s o c i a l s c i e n c e s t u d e n t s w h o h a v e s t u d i e d a p p l i e d
-
,
. .
s t a t i s t i c s h a v e b e e n i n t r o d u c e d t o t h e c o n c e p t s a n d f o r m u l a s
o r s l i n e a r
O
c o r r e l a t i o n o f t w o v a r i a b l e s .
A p p l i e d s t a t i s t i c s t e x t b o o k s r o u t i n e l y
s
r e p o r t t h e t h e o r e t i c a l l i m i t s o f t h e b i v a r i a t e . c o r r e l a t i o n c o e f f i c i e n t ; t a m e l y ,
' t h a t t h e c o e f f i c i e n t i s n o ' m o r e t h a n + 1 a n d n o l e s s t h a n
' H o W e v e r ,
n o c o m m o n l y u s e d a p p l i e d s t a t i s t i c s t e x t b o o k
p r o v e s t h i s .
O n e o f t h e
b e s t t e x t b o o k s a v a i l a b l e t o s t u d e n t s o f e d u c a t i o n a n d p s y c h o l o g y i n t r o d U c e s
o
t h e ' p r O o f ( G l a s s a n d S t a n l e y , 1 9 7 0 ) .
U n d o U b t e d l y , o n e o f t h e c o n s t r a i n t s
o
p l a c e d o n a u t h o r s b y p u b l i s h e r s i s s p a c e l i m i t a t i o n s a v a i l a b l e f o r d e t a i l e d
e x p l a n a t i o n s , d e r i v a t i o n s a n d p r o o f s ;
T h i s p a p e r w i l l s e t f o r t h i n - d e t a i l a p r o o f b f t h e l i m i t s o f t h e s a m p l e
b i v a r i a t e c o r r e l a t i o n c o e f f i c i e n t . S i n c e t h e p r o o f
r e q u i r e s o n l y k n o w l e d g e o f
4
. \
a l g e b r a , m o s t s t u d e n t s o f a p p l i e d s t a t i s t i c s a t t h e a d v a n c e d u n d e i g r a d u a t e
, o r
i n t r o d u c t o r y g r a d u a t e ' l e v e l s h o u l d h a v e l i t t l e d i f f i c u l t y i n u n d e r -
s t a n d i n g . t h e p r o o f .
A s a f o r m e r i n s t r u c t o r o f g r a d u a t e l e v e l i n t r o d u c t o r y
a p p l i e d s t a t i s t i c s ; I k n o w t h a t t h e t y p i c a l s t u d e n t c a n u n d e r s t a n d t h e
p r o d f a s i t i s p r e s e n t e d h e r e .
T h e k e y f d r t i n d e r s t a n d i n g s t a t i s t i c a l p r o o f s i s a p r e s e n t a t i o n
o f d e t a i l e \ d s t e p s i n - 4 w e l l a r t i c u l a t e d a n d c o h e r e n t m a n n e r .
A r e v i e w
1 P 4
o f r e l e v a n t s t a t i s t i c a l a n d m a t h e m a t i c a l c o n c e p t s i s a l s o h e l p f u l
( a n d
%
.
. .
7/24/2019 Proof that the Sample Bivariate Correlation has limits (plus or minus) 1
3/29
1 .
' 2 .
'
u s u a l l y r e q u i r e d ) .
W h e n s t u d e n t s a r e p r e s e n t e d
i n d e t a i l i m -
p o r t a n t s t a t i s t i c a l p r o o f s i t h e y f e e l t h a t s o m e o f t h e m y s t e r y a n d m a g i c
o f m a t h e m a t i c s h a s b e e n u n v e i l e d .
M y e x p e r i e n c e h a s b e e n t h a t t h e t y p i c a l
s t u d e n t o f a p p l i e d s t a t i s t i c s c a n f o l l o w a g o o d n u m b e r o f p r o o f s b e c g u s e
m o s t p r o o f s c a n b e p r e s e n t e d a l g e b r a i c a l l y w i t h o u t u s e o f c a l c u l u s . I n a d d i t i o n t o
e n h a n c i n g k n o w l e d g e , a n o c c a s i o n a l
p r o o f o f t e n i n c r e a s e s a c a d e m i c 4
m o t i v a t i o n a l
)
S o m e P r e l i m i n a r y C o n c e p t s
T h e p r o o f r e q u i r e s k n o w l e d g e o f s e v e r a l c o n c e p t s i n s t a t i s t i c s
X
.
a n d m a t h e m a t i c s .
I n o r d e r t o m a k e t h i s p a P e r s e l f - c o n t a i n e d , s o m e
p r e l i m i n a r y c o n c e p t s s t a t e d i n a c o n s i s t e n t n o t a t i o n w i l l b e r e v i e w e d .
W e w i l l r e v i e w t h e c o n c e p t s a n d f o r M u l a s o f s t a n d a r d i s c o r e s ( z s c o r e s ) ,
b i v a r i a t e c o r r e l a t i o n f o r m u l a s i n u n s t a n d a r d i z e d a n d s t a n d a r d i z e d f o r m ,
a n d a l g e b r a i c i n e q u a l i t i e s .
N o t a t i o n a n d B a s i c F o r m u l a s
T a b l e l ' i , a l a y o u t o f s y m b o l i c v a l u e s w r i t t e n i n t h e n o t a t i o n
t o ' b e u s e d i n t h i s p a p e r .
T h e m o d e l p r e s e n t e d i n T a b l e 1 i s o f t w o m e a s u r e s
i n u n s t a n d a r d i z e d ( r a w s c o r e r a n d s t a n d a r d i z e d ( z s c o r e ) f o r m . T a b l e
2
. p r e s e n t s s o m e f a m i l i a r
f o r m u l a s b a s e d o n u n s t a n d a r d i z e d v a r i a b l e s t h a t
w i l l b e u s e f u l ' f o r t h e ; d e v e l o p m e n t o f t h e p r o o f .
1 T h i s p a p e r i s o n e o f a s e r i e s c o n t e m p l a t e d . f o r p u b l i c a t i o n . [ S e e
O ' B r i e n , 1 9 8 2 ] .
E v e n t u a l l y , I h o p e t o p r e s e n t a t e x t b o o k o f a p p l i e d / s t a t '
t i c s p r o o f s a n d d e r i v a t i o n s t o s u p p l e m e n t s t a n d a r d a p p l i e d s t a t i s t i c s
t e x t b o o k s .
6 1 "
3
7/24/2019 Proof that the Sample Bivariate Correlation has limits (plus or minus) 1
4/29
T a b l e 1
.
T a b l e L a y o u t f o r T w o M e a s u r e s i n U n s t a n d a r d i z e d a n d S t a n d a r d i z e d F o r m
M e a s u r e
X
M e a s u r e
Y
U n s t a n d a r d i z g d ' , S t a n d a r d i z e d
U n s t a n d a r d i z e d S t a n d a r d i z e d
( X - ; ) / S
Z x1
x
( Y - Y ) / S
= Z
1
1
1
Y 1
X
2
( X
2
- R ) / S '
=
x 2
X
3
( X
3
r R ) / S
x
Z
x
r ,
3
0
t *
J Y
= ' i
2
Y
2
Y
3 '
( Y
3
= Z
Y 3
I
..
( g . 1 - R 1 / S
x
= Z
.
1
x .
Y i
( Y i - ) / S
= Z
1
Y
y i
. .
- X
n
( X
n
- T ) / S
. = Z
( Y
= Z
x
x
n
4 0 n
Y
n '
' S a m p l e
S i z e
S a m p l e
,
M e a n
S a m p l e
V a r i a n c e
n
x
S
2
3 c
n
z x
n
z
Y
Y ,
E
x
y
2
. , 2 *
8
S
2
Y
Y
'
r ' .
,
.
.
# .
.
- N O T E :
a l l s a m p l e s i z e t e r m s a r e e q u a . 1 ; t h 4 t i s : n
x
, 1 = n
z
= T i
y
- = n
z y
:
1
. .
.
. x .
. . .
A n y o f t h e s e
s a m p l e s i z e t e r m s c o u l d b e i d e n t i f i e d b y , j u s t . C h e s y m b o l - - s u c h A s
n .
W e ' w i l l u s e h w h e n i t i s n o t i m p o r t a n t t o d i s i i n g u i s h . . k m o n g t h e o t h e r s a m p l e '
s i z e t e r m s , b u t w i l l I l s e t h e t a b l e ' v a l u e s a b o v e w h e n i t i s n e c e s s a r y o r i m p o r t a n t
.
t o d o s o .
, ,
7/24/2019 Proof that the Sample Bivariate Correlation has limits (plus or minus) 1
5/29
T a b l e 2
R e l e v a n t F o r m u l a s f o r U n s t a n d a r d i z e d M e a s u r e s
M e a s u r e
X
M e a s u r e
- Y
n
n
x
Y
- 4
E
X
E
Y .
S a m p l e
X =
1
= 1
X .
1 = 1
1
.
M e a n
.
0
4
n
X
S u m
n x
n x X = T X .
i = 1
n x
S a m p l e
2
S
i = 1
1
V a r i a n c e
x
n
x
n x
S u m o f
( n - 1 ) S
2
= L . . . . ( X i
Y Y
: X )
2 ,
.
( n - 1 ) S 2
=
) , _ _ .
x x
( T . - ( Y . - Y ' ) - ?
S q u a r e s ,
i = 1
i = 1
1
/
(
.
=
Y
n
n Y =
E
Y .
1 = 1
1
n
N O T E S :
l ,
T h e s a m p l e i s i z e t e r m s a r e e q u a l : n
x
= n
y
. A l s o n
x
y
= n . = n 4
.
,
. .
m a n i p u l a t i o n
. , " S u m " i s s i m p l y - a n a l g e b r a i c
a n i p u l a t i o n o f " S a m p l e M e a n " ; i . e . ,
m u l t i p l y o v e r t h e s a m p l e s i z e t e r m i n " S a m p l e M e a n " t o g e t - " S u m " .
A l s o , " S u m o f S q u a r e s
i s s u c h a m a n i p u l a t i o n b a s e d o n " - S a m p l e
V a r i a n c e " . .
" S u m " a n d " S u m o f S q u a r e s " - w i l l b e u s e f u l l a t e r o n .
. .
1
. -
-
.
3 .
D e s c r i p t i v e s t a t i s t i c s f o r s t a n d a r d i z e d s c o r e t ' w i l l b e
.
d e v e l o p e d i n . t h e
b o d y " . o l . t h e t e x t .
7/24/2019 Proof that the Sample Bivariate Correlation has limits (plus or minus) 1
6/29
-
a
I l r
a
S t a n d a r d S c o r e s
I t w i l l b e K e c a l l e d t h a t t h e s t a n d a r d s c o r e f o r a n u n s t a n d a r d i z e d
. .
'
m e a s u r e ( r a w s c o r e ) i s " t h e s c o r e - m i n u s t h e m e a n d i v i d e d b y t h e s t a n d a r d
d e v i a t i o n " .
F o r c a s e 1 o f m e a s u r e X i n T a b l e 1 ,
t h e s t a n d a r d ' - ( z ) s c o r e i s :
\
F o r a n y ( h y p o t h e t i c a l l , c a s e , ' t h e s t a n d a r d , s c o r e , o f - a n , X m e a s u r e i s
.
x
.
x
1
Z
=
;
X
.
.
S
X
,
1
1
.
.
. T h e l a m e p r o c e d u r e c a n b e a p p l i e d t o Y m e a s u r d s . . F o r
c a s e ' l :
,
Y
1
Y
1
- Y
y
0
0
S i m i l a r l y ,
f o r t h e i t h ( h y p o t h e t i c a l c a s e ) , - w e h a v e :
Y -
. :
S
y
, S i n c e a s t a n d a r d s c o r e d i s t r i b u p i o n ( s u c h a s
.
.
.
d i s t r i b u t i o n o f v a r i a b l e m e a s u r e s . , w e c a n c a l c u l a t e m e a n s ; s t a n d a r d d e v i a t i o n s ,
,
-
. ,
.
,
.
. .
v a r i a n c e s , c o r r e l a t i o n s , a n d s o f o r t h , j u s t a s w e c a n , c a l c u l a t e
t h e S e -
.
_ _
s t a t i s t i c s f o r u n s t a n d a r d i z e d m e a s u r e s .
i n T a b l e 1 1 i s a
.
0 -
a
7/24/2019 Proof that the Sample Bivariate Correlation has limits (plus or minus) 1
7/29
V
M o s t s t u d e n t s w i l l r e c a l l t h a t t h e m e a n o f z s c o r e s i s e q u a l t o 0
6 .
a n d . t h e s t a n d a r d d e v i a t i o n ( a n d v a r i a n c e ) o f s t a n d a r d i Z e d s c o r e s i s e q u a l t o 1 .
( T h e p r o o f o f t h e s e s t a t e m e n t s i s g i v e n i n t h e A p p e n d i x
1
. )
T h e m e a n o f X s t a n d a r d i z e d s c o r e s i s d e f i n e d a s :
Z
x
=
4 0 k
S i m i l a r l y , f o r Y m e a s u r e s :
i = i
z
x i
- 0
4
e
z
n
2
0
T h e v a r i a n c e O f X i n z s c o r e n o t a t i o n i s d e f i n e d a s :
n
c z
E ) 2
x
- - .
x
1 1 2 1 = 1
1
4
P
z
n
- 1
= 1
z
.
. . .
.
x
4 ,
.
.
.
.
1
1
T h ' e A p p e n d i i C o n t a i n s p r o o f o f c e r t a i m c o n c e p t s ' o r
r e l a t i o n h i p s
.
t h a t m i y b e o f i n t e r e s t t o t h e r e a d e r b u t a r e n o t c r u c i a l
f o r . t h e . d e v e l o p m e n t
1 6
. , o f t h e p r o o f i n t h i s R a p e r ( t h e t h e o r e t i c a l l i m i t s o f t h e s a m p l e
b i v a r i a t e
c o r r e l a t i o n c o e f f i c i e n t ) .
.
. .
7/24/2019 Proof that the Sample Bivariate Correlation has limits (plus or minus) 1
8/29
.
' I
F o r t h e s t a n d e r d i z e d , Y m e a s u r e t h e v a r i a n c e i s d e f i n e d a s :
4 : 0
n
z
Y
1 E : ( z
- z 1
2
S
2
=
i = 1
Y i
Y
z
n z
- 1
S u m o f S q u a r e d S t a n d a r d S c o r e s .
-
T o u n d e r s t a n d t h e p r o o f i t i s n e c e s s a r y t o k n o w t h e r e s u l t
o f s u m m i n g a d i s t r i b u t i o r k o f s q u a r e d s t a n d a r d
s c o r 4 s .
I f w e s q u a r e
/ .
7 .
e a c h , s t a n d a r d s c o r e f o r t h e X m e a s u r e i n T a b l e 1 a n d s u m t h e m , w e o b t a i n :
1 1 ,
> . . . . . Z 2
=
Z 2
+
Z
2
+
.
.
x
4
.
i = 1
X i "
, , , - . I - 2
V
. ,
*
Z - 2
n
I f w e s u b s t i t u t e t h e a p p r o p r i a t e m e a n s a n d v a r i a n c e s i n . t h e r i g h t h a n d s i d e
o f t h e e x p r e s s i o n , w e o b t a i n : .
0
,
' n
z x
- - - - - -
2
.
2
0 (
1
4 0 2 ( X
2
- X ) .
( X - X )
n
E
z 2
.
+
+
. i . 7 1
x i S
x
2
2
I
. r '
; .
S
2
x
x
7/24/2019 Proof that the Sample Bivariate Correlation has limits (plus or minus) 1
9/29
S i n c e
C ,
t h e
S
2
i s a q o n s t a n t , w e c a n . f a c t o r i t o u t s i d e , a n d w r i t e :
'
8 .
n ,
z
x
,
. .
,
,
'
.
z -
. .
. 1
.
( x
1
- x )
2
+ ( x
2
- x r
2
+ . . . + ( x
n .
) i )
4
2
I
1 = 1
4 '
.
S ,
.
. , . , )
. e 0 8
4
.
R e w r i t i n g t h e r i g h t h a n d - s i d e i n s u m m a t i o n n o t a t i o n , w e o b t a i n :
h
( X
- - c o
z
2
1
x
x
k = 1 ,
1 :
2
x
S
2
i . x '
i = 1
.
.
F r o m T a b l e 2 , w e k n o w t h a t w e c a n s u b s t i t u t e t h e s u m o f s q u a r e s t e r m
i n t o t h e n u m e r a t o r o n ' t h e r i g h t h a n d s i d e . T h i s r e s u l t s i n :
4
( R e c a l l t h a t n - 1 = n - 1 ) .
*
I f w e w e r e t o w o r k t h r o u g h t h e s a m e s t e p s f o r Y , w e w o u l d o b t a i n :
. 5
t
( n L l ) S
2
x x
5
n x - 1
=
n 7 1
S
2
k
-
( R e c a l l t h a t n 7 1 = n - 1 ) .
, ( n - 1 ) S
Y
y
O
S
2
- - . 1 a - 1
=
, Y
4 1 .
4
i
7/24/2019 Proof that the Sample Bivariate Correlation has limits (plus or minus) 1
10/29
A s
9 .
T h e u r e l a t i o n s h i p s b e t w e e n s q u a r e d . z s c o r e s
a n d s a m p l e s i z e a r e v e r y i m p o r t a n t '
,
f o r t h e p r o o f ' l a t e r o n .
T h e y w i l l b e s u m m a r i z e d d a t e r o n f o r e a s y
r e f e r e n c e . _ . ,
C o r r e l a t i o n F o r m u l a s
U n s t a n d a r d i z e d F o r m .
I
U s i n g t h e n o t a t i o n ' a n d v a r i a b l e s i n
T a b l e s 1 a n d 2 , t h e i i n s t a n d
d i z e d
' f o r m . c o r c , e l a t i o n ' f o r t w o m e a s u r e s ( V a n d Y ) i s d e f i n e d a s
f o l l o w s :
r
x y
n
1
E
i = 1
1
3 ;
0 ;
- 7
n
n
- X ) 2
i = 1
n - 1
x
1
= 1
-
m a .
n - 1 ,
Y
6 . . . 1 .
N o t e t h a t t h e n u m e r a t o r c o n t a i n s t h e t e r m
n - 1 b e c a u s e i t i s n o t i m p o r t a n t
9
o r n e c e s s a r y t o d i s t i n g u i s h
b e t w e e n n
x
- 1 o r n
y
- 1 .
H o w e v e r , i n t h e d e n o m - ,
i n a t o r i t i s h e l p f u l t o d i s t i n g p i s h n n - 1
f r o m n - 1 .
I n a n y c a s e , a l l
Y
o f t h e s a m p l e s i z e t e r m s w o u l d b e
e q u a l , t o t h e s a m e n u m e r i c a l ' v a l u e
i f 5 a ,
, . . . . s e r r e / a t i o n c o e f f i c i e n t w e r e c o m p u t e d o n a s e t
o f d a t a ( n
x
- 1 =
- 1 = n - 1 )
r
4 '
1 0
7/24/2019 Proof that the Sample Bivariate Correlation has limits (plus or minus) 1
11/29
J r
S t a n d a r d i z e d F o r m
T h e c o r r e l a t i o n o f m e a s u r e , X s a n d
m e a s u r e
Y i n s t a n d a r d s c o r e f o r m
i s d e f i n e d a s f o l l o w s :
r z x ` z Y
1 1 E : ( Z
- - E ) ( Z
)
x .
x
1 7 .
y
n - 1 i = 1
1
n
.
z x
2
E ( Z
)
x . x
i = 1 ,
n z - - 1
x
z .
- Z
Y
)
2
Z
i = 1
z
y ,
I t i s p r o v e n i n t h e A p p e n d i x t h a t t h i s c o r r e l a t i o n f o r m u l a i s e g d a l t o
r z z
- 1
x y
1 0 .
I
n
i
E . Z Z
x .
.
d = 1
1 7 1 .
I f w e r e a r r a n g e j t h i s f o r m u l a y m u l t i p l y i n g o v e r t h e n - 1 t e r m , w e
o b t a i n :
i
( n - 1 ) r
z z
x y
- n
Z
x . , y .
i = 1 "
T h i s r e l a t i o n s h i p w i l l b e u s e f u l i n , t h e p r o o f
i t w i l l b e r e s t a t e d f o r
e a s y r e f e r e n c e l a t e r .
T h e r e a d e r m a y r e c a l l , t h a t t h e s a m e c o r r e l a t i o n c o e f f i c i e n t r e s u l t s
w h e n t h e v a r i a b l e s a r e i n r a w s c o r e f o r m o r s t a n d a r d s c o r e f o r m . T h a t i s : '
O
7/24/2019 Proof that the Sample Bivariate Correlation has limits (plus or minus) 1
12/29
C
r
. _ _
T h i s s t a t e m e n t i s p r o v e n i n t h e A p p e n d i x .
W & w i l l r e s t a t e i t p r i o r t o t h e
. .
,
.
.
p r o o f f o r t h e r e a d e r s c o n v e n i e n c e .
,
' C '
(
.
.
l l :
.
.
0
, I n e q u a l i t i e s -
.
,
t o
B e f o r e s t a r t l n g t h e p r O o r
i t i t n e c e s s a r y t o r e v i e
o n e e i f u r t h e r
t o p i c : a l g e b r a i c i n e q u a l i t i A .
I n t h e p r o o f w e a r e r e q u i r e d t o
m a n i p - -
u l a t e
f o r m o f i n e q u a l i t y :
t h e f o l m " g f e a t e k t h a n - o r e q U a l t o "
a n d
-
A i r l e s s t h a n , o r e q u a l t o " . A n e x a m p l e w i l l s e r v e a s a r e f r e s h e r .
.
F o r t w o v a r i a b l e s , s a y A a n d B , w e C a n . w r i t e :
A
> B
w h i c h m e a n s " A i s - g r e a t e r t h a n o r e q u a l t o B " .
E q u i v a l e n t l y , w e c a n w r i t e , i ,
,
B
- 1 ) ,
o f ' r
( i . e . , e
A + 1 ) .
x y
.
x y
P r o o f t h a t
r
4
+ 1
x y
o
a n d
t h e s e c o n d ' p a r t s h o w s t h e u p p e r l i m i t
W e w i l l p r o v e
t h e ' u p p ' e r l i m i t f i r s t .
g 7
T o p r O v e t h i s l i m i t , w e s i l l p e r f o r m
a l g e b r a i c m a n i p u l a t i o n s
o n a s t a t e m e n t w h i c h - i s
m a t h e m a t i c a l l y t r u e .
T h a t s t a t e m e n t i s :
n
D z
z .
1
2
Y i
x i
i = 1
1 5
o
1 4 .
7/24/2019 Proof that the Sample Bivariate Correlation has limits (plus or minus) 1
16/29
I n , w d r d s , t h e s t a t e m e n t m e a n s : : t h e s u m o f s q u a r e d
d i f f e r e n c e s o f n
s t a n d a r d i z e d v a l u e p a i r s w i l l a l w a y s b e e q u a l ' t o o r g r e a t e r t h a n
O . T h e
e ,
r e a d e r m a y r e f e r t o . T a b l e 1 f o r c l a r i f i c a t i o n .
T h e s q u a r e d d i f f e r e n c e s
a r e t a k e n 1 7 e a c h r o w ( p a i r s ) o f
a n d
v a l u e s s t a r t i n g a t
f i
Y i
Z
Z
x l , y i a n d c o n t i u i n g d o w n , t o t h e l a s t p a i r o f Z ' s ( Z x , Z
) .
n
Y n
. . . 4 4 .
1 5 .
M o s t s t u d e n t s r e a d i l y a g r e e t h a t t h e s q u a r e d s u m
w i l l b e g r e a t e r t h a n O .
' ,
B u t c a n i t e v e r b e e x a c t l y e q u a l t o 0 ? Y e s ,
t h e o r e t i c a l l y i t c a n .
R e f e r -
4
.
r i n g t o T a b l e 1 , i f
o l l e ; i m a g i n e s e a c h s t a n d a r d i z e d X a n d Y m e a s u r e t o h a v e
0
1
t h e s a m e n u m e r i c a l v a l u e , t h e n i t i s a p p a r e n t t h a t e a c h d i f f e r e n c e
w i l l b e
0 ; s o , t h e s q u a r e d
v a l u e
o f 0 i s a l s o O .
N o w , a s u m o f s q u a r e d O ' s .
w i l l i t s e l f b e e q u a l t o i 0 .
W h i l e i t m a y b e u n l i k e l y t o o c c u r
i n p r a c t i c e ,
i t i s o n l y r e q U i r e d
t h a t
: , ( Z
)
1 = 1
x i
Y i
0
b e t r u e i n a m a t h e m a t i c a l
i
s e n s e .
T h u s , t h e s t a t e m e n t i s t r u e .
W e w i l l e x p a n d t h i s s q u a r e d , s u m ,
p e r f o r m a l g e b i a i c m a n i p u l a t i o n s a n d s u b s t i t u t i o n s ,
a n d a r r i v e a t t h e p r o o f
f o r t h e u p p e r l i m i t o f t h e s a m p l e c o r r e l a t i o n c o e f f i c i e n t .
T h e a c t u a l s t e p s i n t h e
d e r i v a t i o n w i l l n o w b e p r e s e n t e d .
N o t e s
. p e r t a i n i n g t o t h e
a l g e b r a a r e p r o v i d e d f o r t h e r e a d e r s r e f e r e n c e .
R e f e r ,
t o T a b l e s 1 , 2 a n d 3 a s n e e d e d .
I t i s s u g g e s t e d t h a t t h e r e a d e r f i r s t
e x a m i n e t h e a l g e b r a i c s t a t e m e n t o n t h e l e f t s i d e o f t h e p a g e .
T h e n r e a d t h e
c o m m e n t o n t h e r i g h t s i d e f o r e x p l a n a t i o n . S e e n e x t p a g e .
1
T h a t i s , w i t h i n p a i r s , n o t a l l p a i r s .
E x a m p l e :
Y .
1 . 4 1
1 . 4 1
- . 6 8
- . 6 8
. 0 5
. 0 5
e t c .
4 0 .
o b
7/24/2019 Proof that the Sample Bivariate Correlation has limits (plus or minus) 1
17/29
Z ( Z
- Z
)
.
0
,
Y 1
1 = 1 '
; t ( Z 2
4
-
2 Z
Z
) > 0
1 x . y .
1 = 1
3 . 3 .
1 7
\
n
n
2
+ " Z -
x . Y 1
1 = 1 1 : 4 :
1 = 1
I
2 E
Z Z
x . y .
1
1
1 = 1
T h a t
r
+ 1
x y
0
t i
N o t e s
y e s t a t e m e n t
f r o m b e f o r e . S q u a r i n g
e a c h t e r m , w e o b t a i n a n e x p a n s i o n o f
t h d b i n o m i a l i n t h i s f o r m :
( A - B . )
2
= A 2 +
B 2
- 2 A B ,
D i s t r i b u t i n g t h e s u m m a t i & o p e l - a t o r
t o ' e a c h t e r m , a n d , b r i n g i n g g - t h e
c o n s t a n t 1 2 ) P o u t s i d e t h e s u m m a t i o n s i g n
c o ,
T h i s n e x t s t e t ) i s v e r y i m p o r t a n t . W e w i l l
s u b s t i t u t e t h r e e q u a n t i t i e e , a , 1 1 f r d m
T a b l e 3 . T h e y a r e :
n
2 : Z 2 = n - 1
, x .
i = 1 1
n
. 1 . Z 2
n - 1
Y
i = 1
,
i = 1
x Z y
=
( n - 1 ) r
z z
( n - 1 )
. .
3 . 3 .
x y
.
3
7/24/2019 Proof that the Sample Bivariate Correlation has limits (plus or minus) 1
18/29
1 3
S o
( n - 1 )
( n - 1 )
2 ( . 1 - 1 )
2 ( n - 1 ) r
> 0
' x y
2 . ( n - 1 ) r
x y
> 0
2 ( n - 1 ) ( 1 7 r
]
> 0
x y
2 ( n - 1 ) ( 1 - r x y ]
2 ( n - 1 ) '
( 1 - r
)
0
x y
0
2 ( n - 1 )
- 1 [ ( 1 - r
x y
)
>
0 ]
= r
x y
- 1
0
r
x y
1
+
1
' + i
x y
0
+
M a k i n g t h e
C o l l e c t i n g , t h e
t
. F a c t O r i n g t h e
D i v i d i n g e a c h
2 ( n - 1 ) w h i c h
e q u a l i t y s g n
p o s i t i v e b c a
H e r e w e m a k e
i n e q u a l i t y ' b
u s m u l t i p l y
b y - 1 _ ( s e e T a
t h e i n e q u a l i t
N o w , a d d
: + 1
T h i s g i v e s u s
E N D O F P R O O F
f "
r e e s u b s t i t u t i o n s
l i i c e t e i - m s o f ( n r 1 )
A .
n - 1 ) . t e r m
s i d e o f t h e i n e q u a l i t y b y
o e s n o t c h a n g e t h e i n - ,
a s
2 ( p - 1 ) . i s a l w a y s
s e n m u t t , a l w a y S , b e >
2
e
s e o f m u l t i p l y i n g a n
a n e g a t i v e n u m b e r .
L e t
c h s i d e o f t h e i n e q u a l i t y
l e 3 )
w h i c h r e v e r s e s
s i g n a n d r e v e r s e s t h e 1 - r
x y
t o e a c h s i d e
O R . U P P E R L I M I T .
'
7/24/2019 Proof that the Sample Bivariate Correlation has limits (plus or minus) 1
19/29
P r o o f t h a t
r
- 1
x y
, P a r t t w o o f t h e p r o o f
w i l l b e m u c h s i m p l e r b e c a u s e t h e s t r u c t u r e
1 8 .
o f o f t h e p r o o f i s v e r y m u c h
t r u e , n a m e l y : g .
f o l l o w t h e a m e b a s i c s t e p s . W e s t a r t o u t w i t h a s t a t e m e n t t h a t i s m a t h e -
.
.
,
e t h e f i r s t p a r t .
W e w i l l
2 : ( z
+
z
y .
) 2
1 = 1
x
' o
,
A g a i n t h i s s t a t e m e n t i s t r u e i n a m a t h e m a t i c a l s e n s e e v e n t h r o u g h t h e
4 1 1 ; , '
.
" e q u a l s 0 " a s p e c t i s v e r y , u n l i k e l y t o o c c u r i n
s t a t i s t i c a l , p r a c t i c e .
0
T h e d e v e l o p m e n t o f t h e p r o o f w i t h a p p r O p r i a t e n o t e s - b e g i n s o n t h e
n e x t p a g e -
-
- 1
4
0
7/24/2019 Proof that the Sample Bivariate Correlation has limits (plus or minus) 1
20/29
,
, . n
Z x +
Z
) 2
d
Y
i = 1
O
>
, 0
0 '
- 4 1 N h a
.
r
x y
; . . ?
0
n
,
E z
2
+ Z
2
+
2 Z
Z )
x .
.
y .
i = 1
1
Y i
e
x .
1
1
/
2
i = 1 1
i = 1 1 1 1
2 ( n - 1 ) [ 1 + r
]
x y
p
+
2 E Z Z , 0
x
i
y
i
M a k i n g s t h e s a m e t h r e e s u b s t i t u t i o n s
. '
A s i n p a r t o n e
/
w e o b t a i n e r
0
>
( 2 ,
4
S t e p ) r e s t a t e d .
S q u a r i n g e a c h t e r m
r e s u l t s i n a b i n o m i 4 a 1 e x p a n s i o n i n
t h i s f o r m :
1
( A + B )
2
= A
2
+
B
2
+ 2 A B
D i s t r i b u t i n g t h e s u m m a t i O n o p e r a t o r
.
,
.
a n d b r i n g i n g o u t t h e 2
. . . .
( n - 1 )
t +
2 ( n - 1 ) r
A
x y
i
A d d i n g l i k e t e r m s a n d f a c t o r i n g
0
D i v i d i n g e a c h s i d e b y ; p i - 1 )
1
r
. >
0
A d d i n g .
. 4 1 " 4 " ' t o . e a c h s i d e
x y
r
1 i %
.
1 .
+
r
- 1
> 0
1
S i m p l i f y i n g
x y 0
r
x y
>
- 1
E N D O F P R O O F F O R L O W E R L I M I T
2 3
2 2
.
j o l t
r a
J O ,
7/24/2019 Proof that the Sample Bivariate Correlation has limits (plus or minus) 1
21/29
4
, r
2 0 .
. ' . .
,
. . .
_
W e h a v e j u s t p r o v e n t h a t 1