+ All Categories
Home > Documents >  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean...

 · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean...

Date post: 05-May-2020
Category:
Upload: others
View: 0 times
Download: 0 times
Share this document with a friend
30
C03ed25.doc 8/7/2003 3:47 PM 1 Expressions for the MSE of Predictors in Balanced Two Stage Predictors of Realized Random Cluster Means With Response Error (This develops the MSE for more general predictors than in c03ed20.doc) Ed Stanek Introduction We outline the development of the MSE of predictors of realized cluster means in a balanced mixed model. Similar developments was given in c03ed20.doc and c03ed11.doc. Other developments were given in c02ed29.doc and c02ed30.doc. The document c03ed11.doc develops such expressions without response error. We use the expressions for the predictors given in c02ed31v8.doc. We begin with equation (3.2) from c02ed31v8.doc given by ( ) ( ) ( ) * * * * * * * ˆ 1 n I M m I nm I t n I m t nm I II NM nm I N nM T Y k Y k ρ ρ + + + + PY 1 g 1 PY 1 P Y g 1 0 = or ( ) ( ) ( ) ( ) ( ) * * * * * * * * 1, 2, ˆ 1 I nm I t n I m t nm I II I n I M m II I nM m N nM T Y k Y k Y ρ ρ + + + + + g 1 PY 1 P Y g 1 PY 1 g 1 = . Note that ( ) * * M m m n I n I M m m × = J P Y PY 1 and * * m n I n I m m = J P Y PY 1 . As a result, ( ) ( ) ( ) ( ) * * * * ˆ 1 M m m n NM nm nm nm m I t n t nm I II I N nM nm m T k k nm m nm ρ ρ × × × + + + + J J P J J g P P Y g Y 0 = . We express this as ( ) * ˆ I II I P + gA gB Y = where ( ) * 1 nm m t n t nm k nm m ρ ρ ′= + + J J A P P and ( ) ( ) ( ) * M m m n NM nm nm N nM nm m k nm × × × ′= + J J P B 0 .
Transcript
Page 1:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 1

Expressions for the MSE of Predictors in Balanced Two Stage Predictors of Realized Random Cluster Means With Response Error

(This develops the MSE for more general predictors than in c03ed20.doc) Ed Stanek

Introduction We outline the development of the MSE of predictors of realized cluster means in a balanced mixed model. Similar developments was given in c03ed20.doc and c03ed11.doc. Other developments were given in c02ed29.doc and c02ed30.doc. The document c03ed11.doc develops such expressions without response error. We use the expressions for the predictors given in c02ed31v8.doc. We begin with equation (3.2) from c02ed31v8.doc given by

( ) ( )( )

** * * * * *ˆ 1

n I M mI nm I t n I m t nm I II NM nm I

N n MT Y k Y kρ ρ

−−

⊗′ ′ + − ⊗ + + +

P Y 1g 1 P Y 1 P Y g 1 0=

or ( ) ( )

( ) ( ) ( )

* * * *

* * * *1, 2,

ˆ 1I nm I t n I m t nm I

II I n I M m II In M m N n M

T Y k

Y k Y

ρ ρ

−− −

′ + − ⊗ + ′ ′+ + ⊗ +

g 1 P Y 1 P Y

g 1 P Y 1 g 1

=.

Note that ( ) * *M m mn I n I M mm

− ×−

⊗ = ⊗

JP Y P Y 1 and * *m

n I n I mm ⊗ = ⊗

JP Y P Y 1 . As a result,

( ) ( )( )

( )

* * * *ˆ 1

M m mnNM nm nmnm m

I t n t nm I II I

N n M nm

mT k knm m nm

ρ ρ

− ×

− ×

− ×

⊗ ′ ′+ − ⊗ + + +

JJ PJ J

g P P Y g Y

0

=

. We express this as ( ) *ˆI II IP ′ ′ ′ ′+g A g B Y=

where ( ) *1nm mt n t nmk

nm mρ ρ

′ = + − ⊗ +

J JA P P and

( )( )

( )

*

M m mnNM nm nm

N n M nm

mknm

− ×

− ×

− ×

⊗ ′ = +

JJ P

B

0

.

Page 2:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 2

If we are interested in predicting a cluster mean where mI iI M

′′ ′= ⊗

1g e and

M m MII iI iIIM M

−′ ′ ′ ′ ′= ⊗ ⊗

1 1g e e and we are interested in positions where i n≤ so that

iII′ =e 0 , then we can simplify the predictor. Using these expressions, we simplify

( )

( )( )

( )

* *

* *

ˆ 1m nm miI t n t nm I

M m mnNM nm nmM m M

iI iII I

N n M nm

T kM nm m

mkM M nm

ρ ρ

− ×

− ×−

− ×

′ ′ ⊗ + − ⊗ +

⊗′ ′ ′ ′+ ⊗ ⊗ +

1 J Je P P Y

JJ P1 1

e e Y

0

=

to

( ) ( ) ( )* * * * * * * *ˆ 1t t i im M mT Y k Y Y Y k Y YM M

ρ ρ − + + − − + + − =

noting that * * *m nm nmiI I I

m m YM nm M nm M′ ′ ′ ⊗ = =

1 J 1e Y Y ,

( )* * * *m m miI n I iI n I i

m m Y YM m M m M′ ′ ′ ′⊗ ⊗ = ⊗ = −

1 J 1e P Y e P Y ,

m m n m m m n m miI nm iI iI iI iI iI n

m mM M n M m M n M m M m′ ′ ′ ′ ′ ′ ′ ′ ′ ′ ′ ′⊗ = ⊗ − ⊗ = ⊗ − ⊗ = ⊗

1 1 J 1 J 1 J 1 1e P e e e e e P

(and hence ( )* *miI nm i

m Y YM M′ ′ ⊗ = −

1e P ),

( ) * *NM nm nmM m MiI iII I

M m YM M nm M

− ×− ′ ′ − ′ ′⊗ ⊗ =

J1 1e e Y , and

( )

( )

( )

( )

* *

* * *

M m mn M m mM m M mM

iI iII I iI n I

N n M nm

miI n I i

mM M M m

M m M m Y YM m M

− ×

− ×− −

− ×

⊗ ′ ′′ ′ ′ ′⊗ ⊗ = ⊗ ⊗

′− − ′= ⊗ = −

JJP1 11

e e Y e P Y

0

1e P Y

.

This agrees with previous expressions. ..

Page 3:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 3

General Expressions for the MSE when there is Response Error

We wish to predict the expected value given by ( ) II II

II

P ′ ′=

Yg g

Y by

( ) *ˆI II IP ′ ′ ′ ′+g A g B Y= . As a result, ( )( )

*

ˆI

I II I II I

II

P P ′ ′ ′ ′ ′ ′− = + − −

Yg A g B g g Y

Y. We

express ( )( ) ( ) nmI II I II I II

NM nm−

′ − ′ ′′ ′ ′ ′ ′ ′+ − − = ′ −

A I 0g A g B g g g g B 0 I . As a result,

( )*

ˆI

nmI II I

NM nmII

P P−

′ − ′ ′− = ′ −

Y0A I

g g YIB 0

Y, and .

Now from c02ed29.doc (p. 6,7,8, and 10), ,

,

var I I III

II I IIII

=

V VYV VY

, where

( )2 *I e nm n m nmN

σσ σ2

2= + ⊗ −V I I J J , ( )

( )( )

*,

n M m mII I NM nm nm

N n M nmNσσ

2− ×2

− ×

− ×

⊗ = −

I JV J

0

, and ( )

( ) ( )

( ) ( )( )

* 2n M m n M m N n M

II NM nm e NM nmN n MN n M n M m

Nσσ σ

− 2− × −2− −

−− × −

⊗ = − + ⊗

I J 0V J I

0 I J. Also, from

c02ed31v6.doc (p17), 1 2 3

* *,

,

, ,

varI I I I II

I I I I II

II II I II I II

ξ ξ ξ

=

Y V V VY V V VY V V V

where * 2I I nmσ= +V V I . We

express this as 1 2 3

*,

2,

, ,

varI I I I II nm

I I I I II

II II I II I II

ξ ξ ξ σ

= +

Y V V V I 0 0Y V V V 0 0 0Y V V V 0 0 0

.

As a result,

( )

( )

1 2 3

1 2 3

*

ˆvar

varI

InmI II I nm

IINM nmII NM nm

P Pξ ξ ξ

ξ ξ ξ−

− =

′ − ′ ′ − ′ − −

Y A B gA I 0g g Y I 0 gB 0 I

Y 0 I

or

Page 4:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 4

( )

( )

( )

1 2 3

,

,

, ,

2

ˆvar

I I I IIInm

I II I I I II nmIINM nm

II I II I II NM nm

nmnm

I II nmNM nm

NM nm

P Pξ ξ ξ

σ

−−

−−

− =

′ − ′ ′ − ′ − −

′ − ′ ′+ − ′ − −

V V V A B gA I 0g g V V V I 0 gB 0 I

V V V 0 I

I 0 0 A BA I 0

g g 0 0 0 I 0B 0 I

0 0 0 0 I

I

II

gg

.

Now

( ) ( ) ( )

( ) ( )

,

,

, ,

,

, , ,

I I I IInm

I I I II nmNM nm

II I II I II NM nm

nm I nm I nm I IInm

I II I I II I I II IINM nm

nm I nm n

−−

′ − − = ′ − −

′ ′ ′ − − − − = ′ ′ ′− − − − ′ ′− − −

V V V A BA I 0

V V V I 0B 0 I

V V V 0 I

A BA I V A I V A I V

I 0B V V B V V B V V

0 I

A I V A I A I( )( )( )( )

,

, , ,

m I I II

I II I nm I II I I II II

′ ′ ′− − − − +

V B V

B V V A I B V B V B B V V

.

We simplify this expression using

( )

( )

( ) ( )

*

*

*

1

1

1 1

nm mt n t nm

nm m nmt n t nm t

m nmt nm t n t

knm m

knm m nm

km nm

ρ ρ

ρ ρ ρ

ρ ρ ρ

′ = + − ⊗ +

= + − ⊗ + − = + − ⊗ + −

J JA P P

J J JP I

J JI P

,

so that

( ) ( )

( )

( )

*

*

*

1 1

1

1

m nmnm t nm nm t n t

m nmt nm n

mt n nm

km nm

km nm

km

ρ ρ ρ

ρ

ρ

′ − = − + − ⊗ + −

= − − + ⊗ +

= − ⊗ −

J JA I I I P

J JI P

JP P

or

( ) *1 mnm t n nmk

′ − = − ⊗ −

JA I P P .

Page 5:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 5

We refer to results in c03ed23.doc for some details. Using

( )2 *I e nm n m nmN

σσ σ2

2= + ⊗ −V I I J J ,

( ) ( )

( ) ( ) ( )

( ) ( ) ( ) ( )

( )

* 2

* * *

2 * * *

2

1

1 1

1 1

1

mnm I t n nm e nm

m mt n nm n m t n nm nm

m mt e n nm t n n m nm n m

t e

km

k km m N

k km m

k

ρ σ

σρ σ ρ

ρ σ ρ σ

ρ σ

22

2

′ − = − ⊗ −

+ − ⊗ − ⊗ − − ⊗ − = = − ⊗ − + − ⊗ ⊗ − ⊗ =

= −

JA I V P P I

J JP P I J P P J

J JP P P I J P I J

( ) ( ) ( )

( ) ( ) ( )( )

( ) ( )( )

* * *

2 * * *

2 * * * 2

1

1 1 1

1 1

m nn nm t n m n m m

mt e n nm t n m

mt e n e nm

km n

k km

k m km

ρ σ

ρ σ ρ σ

ρ σ σ σ

2

2

2

⊗ − + − ⊗ − ⊗ − ⊗ = = − ⊗ − + − − ⊗ =

= − + − ⊗ −

J JP P P J I J J

JP P P J

JP P

. Then ( ) ( )

( ) ( )( )

( ) ( )( )

( ) ( )( )

( )

2 2 * * * 2 *

2* 2 * * * 2

2 2 * * * 2

2 2

1 1

1 1

1 1

1

nm I nm

m mt e n e nm n nm

m mt e n e nm n

mt e n nm e nm

t e

k m k km m

k k m km m

k m km

k

ρ σ σ σ

ρ σ σ σ

ρ σ σ σ

ρ σ

2

2

2

′ ′− − =

− + − ⊗ − ⊗ −

= − + − ⊗ − ⊗

− − + − ⊗ −

= −

A I V A I

J JP P P P

J JP P P

JP P P

( )( )

( ) ( )( ) ( )

*2 * * * * 2

2 22 * * * 2

1

1 1 1

me n

mt e n t e nm

m k k km

k m km

σ σ

ρ σ σ ρ σ

2

2

+ − − ⊗ − − + − ⊗ + −

JP

JP P

which simplifies (see c03ed23.doc for details) to

Page 6:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 6

( ) ( ) ( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )

2 2 * * *

2 22 * * * 2

2 22 * * * 2 * * * 2

2 2 * * * 2 * * 2

1 1

1 1

1 1 1

1 1

mnm I nm t e n

mt e n t e nm

mt e e n t e nm

t e e e

m k km

m k mm

m k k m k mm

m k k m k m

ρ σ σ

ρ σ σ σ ρ σ

ρ σ σ σ σ σ ρ σ

ρ σ σ σ σ σ

2

2 2

2 2 2

2 2

′ ′− − = − + − ⊗ − − + − ⊗ + −

= − + − − + + ⊗ + −

= − + − − + + +

JA I V A I P

JP P

JP P

( ) ( )

( ) ( ) ( ) ( )

( ) ( ) ( ) ( ) ( )

2* 2 2

2 22 * * * * 2

22 2* 2 * 2

1

1 1 1 1

1 1 1

me n t e nm

m mt e n t e n nm

mt e n t e n m

m

m k k km m

k mm

σ σ ρ σ

ρ σ σ ρ σ

ρ σ σ ρ σ

2

2

2

− ⊗ + − = − + − − + ⊗ − − ⊗ −

= − − + ⊗ + − ⊗

JP P

J JP P P

JP I P

or

( ) ( ) ( ) ( ) ( ) ( ) ( )22 2* 2 * 21 1 1mnm I nm t e n t e n mk m

mρ σ σ ρ σ2 ′ ′− − = − − + ⊗ + − ⊗

JA I V A I P I P

. We can express this equivalently as

( ) ( ) ( ) ( ) ( ) ( )22 2* * * * 2 21 1 2 1mnm I nm t e n t e nmk m k k

mρ σ σ ρ σ2 ′ ′− − = − − + − ⊗ + −

JA I V A I P P

. Next, we evaluate the expression for ( )( ),nm I I II′ − −A I V B V . First (note the error

in c03ed23.doc), since ( ) ( )

( )*nm NM nm m M m

n nm N n Mk

nm m× − × −

× −

= + ⊗

J JB P 0 ,

( ) ( ) ( )

( )2 * * 2 *nm NM nm m M m

I e e n nm N n M

nmm k mN nm mσσ σ σ σ

2× − × −2 2

× −

= + − + + ⊗

J JV B P 0 .

Also, since ( )

( ) ( )*

,m M m

I II n nm N n M nm NM nmm

m Nσσ

2× −2

× − × −

= ⊗ −

JV I 0 J , then

Page 7:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 7

( ) ( ) ( )

( )

( )

( )

( )

( ) ( ) ( ) ( )

( )

2 * * 2 *,

*

2 * * 2 *

nm NM nm m M mI I II e e n nm N n M

m M m nm NM nmn nm N n M

nm NM nm m M me e n nm N n M

nmm k mN nm m

nmmm N nm

m k mnm m

σσ σ σ σ

σσ

σ σ σ σ

2× − × −2 2

× −

2× − × −2

× −

× − × −2 2

× −

− = + − + + ⊗ − ⊗ +

= + + + ⊗

J JV B V P 0

J JI 0

J JP 0

( )

( )* m M m

n nm N n Mm

mσ × −2

× −

− ⊗

JI 0

or

( ) ( ) ( ) ( )

( )

( )

( )

2 * * 2 *,

*

nm NM nm m M mI I II e e n nm N n M

m M mn nm N n M

m k mnm m

mm

σ σ σ σ

σ

× − × −2 2

× −

× −2

× −

− = + + + ⊗

− ⊗

J JV B V P 0

JI 0

. Using these results,

Page 8:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 8

( )( ) ( )( ) ( )

( ) ( ) ( )

( )

( ) ( )

( )

2 * *,

* 2 * *

* *

1

1

1

nm NM nmmnm I I II t e n nm

m M mmt e n nm n nm N n M

m M mmt n nm n nm N n M

m km nm

k m km m

m km m

ρ σ σ

ρ σ σ

σ ρ

× −2

× −2

× −

× −2

× −

′ − − = − + ⊗ −

+ − + ⊗ − ⊗ − − ⊗ − ⊗

JJA I V B V P P

JJP P P 0

JJP P I 0

( ) ( ) ( )

( )

( )

( )

( ) ( )

( )

( )

* 2 * *

* *

1

1

m M m m M mmt e n n nm nnm N n M nm N n M

m M m m M mmt n n nm nnm N n M nm N

k m km m m

m km m m

ρ σ σ

σ ρ

× − × −2

× − × −

× − × −2

× − ×

=

= + − + ⊗ ⊗ − ⊗

− − ⊗ ⊗ − ⊗

J JJP P 0 P P 0

J JJP I 0 P I 0

( )

( ) ( ) ( )

( )

( )

( )

( ) ( )

( )

( )

( )

* 2 * *

* *

1

1

n M

m M m m M mt e n nnm N n M nm N n M

m M m m M mt n nm nnm N n M nm N n M

k m km m

m km m

ρ σ σ

σ ρ

× − × −2

× − × −

× − × −2

× − × −

= + − + ⊗ − ⊗

− − ⊗ − ⊗

J JP 0 P 0

J JP 0 P I 0

. Now ( )

( )

( )

( )

m M m m M mnm n nnm N n M nm N n Mm m

× − × −

× − × −

⊗ = ⊗

J JP I 0 P 0 so that

Page 9:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 9

( )( )

( ) ( ) ( )

( )

( )

( )

( ) ( )

( )

( )

( )

,

* 2 * *

* *

1

1

nm I I II

m M m m M mt e n nnm N n M nm N n M

m M m m M mt n nnm N n M nm N n M

k m km m

m km m

ρ σ σ

σ ρ

× − × −2

× − × −

× − × −2

× − × −

′ − − =

+ − + ⊗ − ⊗

− − ⊗ − ⊗

A I V B V

J JP 0 P 0

J JP 0 P 0

( ) ( ) ( )

( )

( ) ( )

( )

( ) ( ) ( ) ( )

( )

* 2 * *

* *

* * 2 * *

1 1

1 1

1 1

m M mt e n nm N n M

m M mt n nm N n M

m M mt e n nm N n M

k m km

m km

k k m mm

ρ σ σ

σ ρ

ρ σ σ σ

× −2

× −

× −2

× −

× −2 2

× −

= + − + − ⊗

− − − ⊗

= − − + − ⊗

JP 0

JP 0

JP 0

or ( )( )

( )( ) ( ) ( )

( )

,

* * 2 * *1 1

nm I I II

m M mt e n nm N n Mk k m m

mρ σ σ σ × −2 2

× −

′ − − =

= − − + − ⊗

A I V B V

JP 0

.

Finally, we evaluate , ,I II I I II II′ ′− − +B V B V B B V V . Since

( ) ( )

( )*nm NM nm m M m

n nm N n Mk

nm m× − × −

× −

= + ⊗

J JB P 0 and

( ) ( ) ( )

( )2 * * 2 *nm NM nm m M m

I e e n nm N n M

nmm k mN nm mσσ σ σ σ

2× − × −2 2

× −

= + − + + ⊗

J JV B P 0 ,

Page 10:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 10

( )( )

( )

( )

( ) ( )( )

( )

( )

2 * *

* 2 * *

M m mnNM nm nm nm NM nm

I e

N n M nm

M m mnNM nm nm m M m

e n

N n M nm

nm mm kN nm nm

mk m knm m

σσ σ

σ σ

− ×2

− × × −2

− ×

− ×

− × × −2

− ×

⊗ ′ = + − +

⊗ + + + ⊗

JJ JP

B V B

0

JJ JP

P

0( )

( ) ( )( )

( )

( ) ( ) ( ) ( )

2 * *2 2 *

nm N n M

M mNM nm n nm N n M

e e

N n M n M m N n M N n M

nm mm k mN nmσσ σ σ σ

× −

−2

−2 2 × −

− × − − × −

= + − + +

0

JJ P 0

0 0

.

Also, since ( )

( )( )

*,

n M m mII I NM nm nm

N n M nmNσσ

2− ×2

− ×

− ×

⊗ = −

I JV J

0,

( )

( )( )

( )

( )

( )( )

( )

( )

( )( )

*,

* *

*

n nm NM nmM m mII I NM nm nm

N n M nm

n m M mM m mnNM nm nm nm N n M

N n M nm

n N nnM m M

N nm

kN m

n n

σσ

σσ

σ

2× −− ×2

− ×

− ×

2× −− ×2

− × × −

− ×

× −2 − −

⊗ = −

⊗ + − ⊗

⊗ ⊗=

JI JV B J

0

JI JJ P 0

0

JJJ J

( )

( ) ( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( ) ( )( )

* *n M m n M m N n M

m MNM nm

N n M n M m N n M N n MN n M n M m N n M N n M

kNσσ

2− − × −2×−

− × − − × −− × − − × −

⊗ + −

P J 0J

0 00 0

since ( )

( ) ( ) ( )1n NM nm n M m NM nmmn M m m n m n

× − − × −×

− ×

⊗ ⊗ =

J JJI J , and

( )

( )( )

m M mn n n M mM m m m

× −

−− ×

⊗ ⊗ = ⊗

JI J P P J . Finally, combining terms,

Page 11:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 11

( ) ( )( )

( )

( ) ( ) ( ) ( )

( )( )

( )

( ) ( ) ( ) ( )

( ) ( ) ( )

( )

, ,

2 * *2 2 *

* * *2

I II I I II II

M mNM nm n nm N n M

e e

N n M n M m N n M N n M

n N nn n M m n M m N n MM m M m M

N n MN n M n M m N n M N n M

nm mm k mN nm

kn n

σσ σ σ σ

σ σ

−2

−2 2 × −

− × − − × −

× − − − × −2 2− − ×

− ×− × − − × −

′ ′− − + =

= + − + +

⊗ ⊗ ⊗

− −

B V B V B B V V

JJ P 0

0 0

JJ P J 0J J00 0 ( ) ( ) ( )

( )

( ) ( ) ( )

( )

( ) ( ) ( )

( )( ) ( )

( ) ( )( )

* *

2

2

n M m N n M N n M

NM nm

nM m n M mn M m N n M n M m N n M

N n MN n n N n M n M m

M M m N n M N n M

NM nm e NM nm

N

n

n

N

σ

σ σ

σ σ

− − × −

2

− −− × − − × −2 2

−− × − × −

× − − × −

2

− −

+

⊗ ⊗ − + ⊗ ⊗

− +

0

J

JJ 0 I J 0

J 0 I JJ 0

J I

or

( ) ( ) ( )( )

( )

( ) ( ) ( ) ( )

( )( )

( )

( ) ( ) ( ) ( )

( ) ( ) ( )

( )

, ,

2 * *2 2 * * *

*

2

I II I I II II

M mNM nm n nm N n M

e e

N n M n M m N n M N n M

nn N n M mn n M m N n M

M m M m M

N n nN n M n M m N n M N n M M

mm k m k mnm

nn n

n

σ σ σ σ σ

σ

−−2 2 2 × −

− × − − × −

× − − − × −2 − − ×

− ×− × − − × − ×

′ ′− − + =

= + + + −

⊗ ⊗ ⊗

− + ⊗

B V B V B B V V

JJ P 0

0 0

JJ J 0JJ J

J0 0 J

( ) ( ) ( )

( )( ) ( )

( ) ( )( )

* 2

M m N n M N n M

n M m n M m N n M

e NM nmN n MN n M n M m

σ σ

− − × −

− − × −2−

−− × −

⊗ + + ⊗

0

I J 0I

0 I J

We use these expression to summarize the expression for ( ) ( ) ( )( )( )( )

,

, , ,

nm I nm nm I I II

I II I nm I II I I II II

′ ′− − − −

′ ′ ′− − − − +

A I V A I A I V B V

B V V A I B V B V B B V V. The corresponding terms are

given by

( ) ( ) ( ) ( ) ( ) ( ) ( )22 2* 2 * 21 1 1mnm I nm t e n t e n mk m

mρ σ σ ρ σ2 ′ ′− − = − − + ⊗ + − ⊗

JA I V A I P I P

,

Page 12:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 12

( )( )

( )( ) ( ) ( )

( )

,

* * 2 * *1 1

nm I I II

m M mt e n nm N n Mk k m m

mρ σ σ σ × −2 2

× −

′ − − =

= − − + − ⊗

A I V B V

JP 0

and

( ) ( ) ( )( )

( )

( ) ( ) ( ) ( )

( )( )

( )

( ) ( ) ( ) ( )

( ) ( ) ( )

( )

, ,

2 * *2 2 * * *

*

2

I II I I II II

M mNM nm n nm N n M

e e

N n M n M m N n M N n M

nn N n M mn n M m N n M

M m M m M

N n nN n M n M m N n M N n M M

mm k m k mnm

nn n

n

σ σ σ σ σ

σ

−−2 2 2 × −

− × − − × −

× − − − × −2 − − ×

− ×− × − − × − ×

′ ′− − + =

= + + + −

⊗ ⊗ ⊗

− + ⊗

B V B V B B V V

JJ P 0

0 0

JJ J 0JJ J

J0 0 J

( ) ( ) ( )

( )( ) ( )

( ) ( )( )

* 2

M m N n M N n M

n M m n M m N n M

e NM nmN n MN n M n M m

σ σ

− − × −

− − × −2−

−− × −

⊗ + + ⊗

0

I J 0I

0 I J

.

Simplifying Terms for ( ) ( )nm I nm′ ′− −A I V A I We express

( ) ( ) ( ) ( ) ( ) ( ) ( )22 2* 2 * 21 1 1mnm I nm t e n t e n mk m

mρ σ σ ρ σ2 ′ ′− − = − − + ⊗ + − ⊗

JA I V A I P I P

as

( ) ( ) ( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( ) ( ) ( )

22 2* 2 * 2

2 22 22 * * *

1 1 1

1 1 1 1

mnm I nm t e n t e n m

mt e n n m t n m

k mm

k km

ρ σ σ ρ σ

ρ σ ρ σ

2

2

′ ′− − = − − + ⊗ + − ⊗

= − − ⊗ + ⊗ + − − ⊗

JA I V A I P I P

JP I P P J

. Now

( ) ( )

( )

( ) ( )

2*

*2 *

*2 *

1

2

2

mn n m

m m m n m mn n n n m n

m n mn n m

km

k km m m n m m

k km n m

− ⊗ + ⊗ =

= ⊗ − ⊗ + ⊗ − ⊗ + ⊗ − ⊗

= − ⊗ + ⊗ − ⊗

JP I P

J J J J J JP P I I I I

J J JP I I

.

Simplifying Terms for ( )( ),nm I I II′ − −A I V B V

Page 13:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 13

We express ( )( )

( )( ) ( ) ( )

( )

,

* * 2 * *1 1

nm I I II

m M mt e n nm N n Mk k m m

mρ σ σ σ × −2 2

× −

′ − − =

= − − + − ⊗

A I V B V

JP 0

using ( ) ( )* 2 * * * 2 * *1e ek m m k k mσ σ σ σ σ2 2 2+ − = + − as

( )( ) ( ) ( ) ( )( ) ( )

22* * * *

, 1 1 1enm I I II t n m M m nm N n M

k k kmσ

ρ σ 2

× − × −

′ − − = − − + − ⊗ A I V B V P J 0

. Simplifying Terms for , ,I II I I II II′ ′− − +B V B V B B V V We express this as

Page 14:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 14

( )( ) ( ) ( )

( ) ( ) ( ) ( )

( )( )

( )

( ) ( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

, ,

2 *

*2 2 * * *

*

1

2

I II I I II II

n M m n N n M m M

e

N n n M M m N n M N n M

M mn nm N n M

e

N n M n M m N n M N n M

n M m n N n M m M

N n M n M m N n M

mnm

mk m k m

n

σ σ

σ σ σ

σ

− × − − ×2

− × × − − × −

2 2 × −

− × − − × −

2 − × − − ×

− × − −

′ ′− − + =

⊗ ⊗ = + ⊗

+ + −

⊗ ⊗−

B V B V B B V V

J J J J

J J J

JP 0

0 0

J J J J

0 0( )

( ) ( ) ( )

( ) ( ) ( ) ( )

( )( ) ( )

( ) ( )( )

( )( ) ( ) ( )

( ) ( ) ( ) ( )

* 2

2 *

*

1

1

n M m n M m N n M

N n M N n n M M m N n M N n M

n M m n M m N n M

e NM nmN n MN n M n M m

n M m n N n M m M

e

N n n M M m N n M N n M

mnm

km

σ σ

σ σ

− − × −

× − − × × − − × −

− − × −2−

−− × −

− × − − ×2

− × × − − × −

⊗ + ⊗ ⊗ + + ⊗

⊗ ⊗ = + ⊗

+

J J 0

J J 0

I J 0I

0 I J

J J J J

J J J

( )( ) ( )

( ) ( ) ( ) ( )

( )( ) ( )

( ) ( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( ) ( )

( ) ( )

2 2 * * *

*2 2 * * *

*

2

1 2

n M m nm N n M

e

N n M n M m N n M N n M

n M m nm N n M

e

N n M n M m N n M N n M

n nM m M mn N n M m M n M m

N n M n M m N n M N n M

m k m

k m k mnm

n

σ σ σ

σ σ σ

σ

− × −2 2

− × − − × −

− × −2 2

− × − − × −

2 − −× − − × −

− × − − × −

⊗ + −

⊗ − + −

⊗ ⊗ ⊗ − +

I J 0

0 0

J J 0

0 0

J J J J J J 0

0 0( )

( ) ( ) ( ) ( )

( )( ) ( )

( ) ( )( )

* 2

N n M

N n n M M m N n M N n M

n M m n M m N n M

e NM nmN n MN n M n M m

σ σ

× −

− × × − − × −

− − × −2−

−− × −

⊗ ⊗ + + ⊗

J J 0

I J 0I

0 I J

or equivalently as

Page 15:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 15

( )

( ) ( )

( )( ) ( )

( )( ) ( )

( )

, ,

2 *

2 *

*2 2 * * **

* *

2 *

2 **

11

1 2

11

I II I I II II

e

e

e n M m n N n M m M

e

eN n n M M m N

mnm m

nmk m k mnm

nn n

mnm m

nmn

σ σσ σ

σ σ σσ

σ σ

σ σσ σ

σ

2

2

2 2− 2 × − − ×

2 2

2

22 − × × −

′ ′− − + =

+ + − + − ⊗ ⊗ − − −= + ⊗ + −

B V B V B B V V

J J J J

J J J( ) ( )

( )( ) ( )

( ) ( )

*2 2 * * *

*

*

2

1 2

n M N n M

en M m nm N n M

N n MN n M n M m

e NM nm

k m k mm

σ σ σ

σ

σ

σ

− × −

2 2

− × −2

2−− × −

+ − ⊗ + +

⊗ +

I J 0

0 I J

I. Now

( ) ( )

( )( )

( )( ) ( )

( ) ( ) ( )

( ) ( )( ) ( )

( ) ( ) ( )

* *2 * *2 2 * * *

* * *2 * *2

2 * *2 * *

2*2 * *2 *

2*2 * * * *

2*2 * * *

1 1 2

1 2 21

1 11 2 1

11 1 2 1

11 1 1 2 1

11 1 1

e e

e

e

e

e

e

m k m k mnm nm n n

km knm n n

m k knm n

k k knm n

k k k knm n

k k knm n

σ σσ σ σ σ σ

σ σσ σ

σ σ σ

σσ

σσ

σσ

2 22 2 2

2 22

2 2

2

2

2

+ − + − − − =

= + − + −

= + − + −

= − + − + −

= − + − + − −

= − + − +

( ) ( ) ( )

( ) ( )( )

2*2 * * *

2*2 * * *

2

11 1 1 2

11 1 1

e

e

k k knm n

k k knm n

σσ

σσ

2

2

= − + − + −

= − + − − or

Page 16:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 16

( ) ( )

( ) ( )

* *2 * *2 2 * * *

22*2 * *

1 1 2

11 1

e e

e

m k m k mnm nm n n

k knm n

σ σσ σ σ σ σ

σσ

2 22 2 2

2

+ − + − − − =

= − − −

.

Also,

( )2* *

2 * 2 *1 1 1 ee em

nm n nm n n nmσσ σσ σ σ σ

2 22 2+ − = + − = ,

and

( ) ( )

( )

*2 2 * * * * *2 2 * *2 *

2*2 2 * *

1 12 2 1

1 1

e e

e

k m k m k k km m

k km

σ σ σ σ σ σ

σ σ

2 2 2 2

2

+ − + = + − +

= + −.

As a result, the first term simplifies to

( )

( ) ( )

( )( ) ( )

( )( ) ( )

( )( ) ( )

2 *

2 *

*2 2 * * **

* *

2 *

2 **

11

1 2

11

e

e

e n M m n N n M m M

e

eN n n M M m N n M N n M

mnm m

nmk m k mnm

nn n

mnm m

nmn

σ σσ σ

σ σ σσ

σ σ

σ σσ σ

σ

2

2

2 2− 2 × − − ×

2 2

2

22 − × × − − × −

+ + − + − ⊗ ⊗ − − −

+ ⊗ + −

J J J J

J J J

( ) ( ) ( ) ( ) ( )

( ) ( )( )

( ) ( )

2 22*2 * *

22 *

11 1

1

e en M m n N n M m M

eeN n n M M m N n M N n M

k knm n nm

mnm nm

σ σσ

σσ σ

2− × − − ×

2

− × × − − × −

− − − ⊗ ⊗

= ⊗ +

J J J J

J J J

while the second term reduces to

( )( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( )

*2 2 * * *

*

*

2*2 2 * *

*

1 2

1 1

en M m nm N n M

N n MN n M n M m

e n M m nm N n M

N n MN n M n M m

k m k mm

k km

σ σ σ

σ

σ

σ σ

σ

2 2

− × −2

2−− × −

2− × −

2−− × −

+ − ⊗ =+

⊗ + − ⊗ = ⊗

I J 0

0 I J

I J 0

0 I J

.

As a result,

Page 17:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 17

( ) ( ) ( ) ( ) ( )

( ) ( )( )

( ) ( )

( ) ( ) ( )

( ) ( )

, ,

2 22*2 * *

22 *

2*2 2 * *

*

11 1

1

1 1

I II I I II II

e en M m n N n M m M

eeN n n M M m N n M N n M

e n M m nm N n M

N n MN n M n M m

k knm n nm

mnm nm

k km

σ σσ

σσ σ

σ σ

σ

2− × − − ×

2

− × × − − × −

2− × −

2−− × −

′ ′− − + =

− − − ⊗ ⊗

+ ⊗ + + − ⊗ + ⊗

B V B V B B V V

J J J J

J J J

I J 0

0 I J

2e NM nmσ −I

or

( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( )

, ,

*2 22* *

*

2

*2 22* *

1 1

1

I II I I II II

en M m nm N n M

N n MN n M n M m

n M m n N n M m Me

N n MN n n M M m

en M m nm N n M

N n M n

kk

n m

n

nm

kk

m

σσ

σ

σ

σσ

2− × −

2

−− × −

− × − − ×

−− × × −

2− × −

− ×

′ ′− − + =

− + − ⊗

+ ⊗

⊗ ⊗ ⊗ ⊗

+ − ⊗

B V B V B B V V

J J 0

0 J J

J J J J

J J J J

I J 0

0( )

( ) ( ) ( )

( ) ( )

2

*

*2 22* *

2

*

1

e NM nm

N n MM m

en M m nm N n M

NM nme NM nm

N nN n MN n M n M m

kk

mnm

n

σσ

σσ

σ

σ

−2

−−

2− × −

−−

2 −−− × −

+ ⊗

+ − ⊗ = + + + ⊗

II J

P J 0J

IJ

0 I J

. Summary of Results In summary,

( ) ( ) ( ) ( ) ( ) ( ) ( )

( ) ( ) ( )

222 2* 2

22 * *

1 1 1

1 1

enm I nm t n m t e n m

t n m

km

k

σρ ρ σ

ρ σ 2

′ ′− − = − − ⊗ + − ⊗

+ − − ⊗

A I V A I P J I P

P J,

Page 18:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 18

( )( )( )( )

( )( )( ) ( )

2* *

,2* *

1 1

1 1

et

nm I I II n m M m nm N n M

t

k km

k

σρ

ρ σ× − × −

2

− − ′ − − = ⊗ + − −

A I V B V P J 0 , and

( ) ( ) ( )

( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( )

( ) ( ) ( )

, ,

*2 22* *

*

22

1

I II I I II II

en M m nm N n M

N nN n MN n M n M m

n nM m M mnm N n M nm N n Me

eM MN n N nN n M n M m N n M n M m

kk

m

n

nm

σσ

σ

σσ

2− × −

2 −−− × −

− −× − × −

− −− × − − × −

′ ′− − + =

+ − ⊗

= + ⊗ ⊗ ⊗

+ ⊗ ⊗

B V B V B B V V

P J 0

J0 I J

I I 0 J J J

0 I I J J J

As a result, ( ) ( ) ( )( )( )( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

( )( )( )( )

( ) ( )

( ) ( )

,

, , ,

222 *

2* *

22 * *

2* *2 2

* *

1 11 1

1 11 11

1 1

nm I nm nm I I II

I II I nm I II I I II II

et n m

et

t n m n m M m nm N n M

tt e n m

et

km

k kmk

k

k k

σρ

σρ

ρ σρ σρ σ

σρ

2

× − × −2

′ ′− − − −

′ ′ ′− − − − + =

− − ⊗

− − + − − ⊗ ⊗ + − − + − ⊗

− −

A I V A I A I V B V

B V V A I B V B V B B V V

P J

P J P J 0

I P

( )( )( )

( )( )

( )

( )

( )

( ) ( ) ( ) ( )

( )

*2 2

2* *22

2

2* * 2

*

22

2

1

1 1

e

n M m

en e n M mM m m nm N n M

t en M m

N nN n M

ee MN nN n M nm N n M n M m

eMN n

km

k

mnm

k

nm

n

nm

nm

σ

σσ

σρ σ σ

σ

σσ

σ

−2

−− × × −2

2 −−

−− × − × −

⊗ + − ⊗ + ⊗ + − − + ⊗ + ⊗

+ ⊗

+ ⊗

P J

P J I I J

J J

JI J

0 J I I

J J

. We express this as

Page 19:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 19

( ) ( ) ( )( )( )( )

( ) ( ) ( ) ( )( )( ) ( )

( ) ( )( )

( ) ( )( ) ( )

( )

,

, , ,

2 22 * *

2 2* * *

1 1 1 1

1 1 1

nm I nm nm I I II

I II I nm I II I I II II

t n m t n m M m nm N n M

t n n M mM m m nm N n M

N n M nm

k k

k k

ρ ρ

σ ρ

× − × −

2−− × × −

− ×

′ ′− − − −

′ ′ ′− − − − +

+ − − ⊗ + − − ⊗ = + − − ⊗ + − ⊗

A I V A I A I V B V

B V V A I B V B V B B V V

P J P J 0

P J P J 0

0( ) ( ) ( )

( ) ( ) ( ) ( )( )( ) ( )

( ) ( )( ) ( )( ) ( )

( ) ( ) ( ) ( )

( ) ( )( )

22 * * *

2* * *2

2

2

1 1 1 1

1 1

1

N n MN n M n M m

t n m t n m M m nm N n M

et n n M mM m m nm N n M

N n MN n M nm N n M n M m

t n m nm n M m

e

k k k

k k km

ρ ρ

σρ

ρ

σ

−− × −

× − × −

−− × × −

−− × − × −

× −

− − ⊗ − − ⊗

+ − − ⊗ ⊗

− ⊗

+

0 0

P J P J 0

P J P J 0

0 0 0

I P 0( )

( )

( )

( )( )

( ) ( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )

22

2 2* 2

1

nm N n M

n M m

n M m nm nm N n Mn M m

N n MN n M nm N n M n M m

nm nm n M m nm N n M

ee n M mn M m nm nm N n M

e N n eN n M e MN n N nN n M nm N n M n M m

nm

nm

nm n nm

σσ

σ σσ σ

× −

− × × −−

−− × − × −

× − × −

−− × × −

2 −− − −− × − × −

+ ⊗

+

+ ⊗ + ⊗ +

0

I I0 0

J J

0 0 0

0 0 0

0 0 J

J0 J I J I I J M

J

Evaluation and Simplification of 2σ′ ′

′ ′

A A A BB A B B

Finally, we evaluate

Page 20:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 20

2 2

2

nmnm

nm nmNM nm

NM nm NM nm

σ σ

σ

−− −

′ ′− − = − ′ ′− − − ′ ′

= ′ ′

I 0 0 A B A BA I 0 A 0 0

0 0 0 I 0 I 0B 0 I B 0 0

0 0 0 0 I 0 I

A A A BB A B B

. Now

( ) ( )

( )

( ) ( )

( )

* *

*

* *

*

1 1

1

1 1

1

nm m nm mt n t nm t n t nm

nm nm mt n t nm

m nm mt n t n t nm

nm mt nm t n

k knm m nm m

knm nm m

k km nm m

knm m

ρ ρ ρ ρ

ρ ρ

ρ ρ ρ

ρ ρ

′ = + − ⊗ + + − ⊗ +

= + − ⊗ + + − ⊗ + − ⊗ +

+ + − ⊗

J J J JA A P P P P

J J JP P

J J JP P P

J JP P

( ) ( )

( )

( ) ( )

* *

*

* * 2

1 1

1

1 1 2

t nm

nm

mt t t n

mt t n t t nm

nm mt t t n t nm

nm

k km

km

k knm m

ρ

ρ ρ ρ

ρ ρ ρ ρ

ρ ρ ρ ρ

+

=

+ − − + ⊗ + − ⊗ +

= + − − + ⊗ +

P

J

JP

JP P

J JP P

or

( ) ( )2 * *1 2 1 m nmt nm t t t nk k

m nmρ ρ ρ ρ ′ = + − + − ⊗ +

J JA A P P .

Also,

( ) ( ) ( )

( ) ( ) ( )

( )

( ) ( ) ( ) ( )

( )

*

* *

* *

1 1

1 1

1 1

nm NM nmm nmt nm t n t

m M mm nmt nm t n t n nm N n M

nm NM nm m M mt t t t n nm N n M

km nm nm

k km nm m

k knm m

ρ ρ ρ

ρ ρ ρ

ρ ρ ρ ρ

× −

× −

× −

× − × −

× −

′ = + − ⊗ + −

+ + − ⊗ + − ⊗ = + − + + − ⊗

JJ JA B I P

JJ JI P P 0

J JP 0

( ) ( ) ( )

( )* *1nm NM nm m M m

t t n nm N n Mk k

nm mρ ρ× − × −

× −

= + + − ⊗

J JP 0

,

Page 21:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 21

or

( ) ( )

( )

( )* *1 m M m nm NM nmt t n nm N n M

k km nm

ρ ρ × − × −

× −

′ = + − ⊗ +

J JA B P 0 .

Finally,

( ) ( ) ( )

( )

( )

( )

( ) ( )

( )

( )( )

*

* *

*2

NM nm nm nm NM nm m M mn nm N n M

M m mn nm NM nm m M m

n nm N n M

N n M nm

M mNM nm n nm N

knm nm m

mk knm m

mknm

− × × − × −

× −

− ×

× − × −

× −

− ×

−−

×

′ = + ⊗

⊗ + + ⊗

⊗= +

J J JB B P 0

JJ JP

P 0

0

JJ P 0

( )

( ) ( ) ( ) ( )

n M

N n M n M m N n M N n M

− × − − × −

0 0

,

or ( )( )

( )

( ) ( ) ( ) ( )

*2

M mNM nm n nm N n M

N n M n M m N n M N n M

mknm

−−

× −

− × − − × −

′ = +

JJ P 0

B B0 0

.

To summarize,

( ) ( )( ) ( )

( )

2 2

2* *

* *

2

11 2 1

nmnm

nmNM nm

NM nm

m M mt nmt t n nm N n M

mt t t n

nm NM nnm

k km

k km

nm

σ σ

ρρ ρ

ρ ρ ρ

σ

−−

× −

× −

× −

′ ′′ − − = ′ ′′ − −

+ − ⊗ + − + − ⊗

++

=

I 0 0 A B A A A BA I 00 0 0 I 0 B A B BB 0 I0 0 0 0 I

JP P 0J

PJ

J ( )

( )( )

( )

( )

( )( )

( )

( ) ( ) ( ) ( )

* *

*2

1

m

M m mn

M mt tNM nm n nm N n M

N n M nm

N n M n M m N n M N n M

NM nm nm

nm

mk kmk

nm

nm

ρ ρ

− ×

−−

× −− ×

− × − − × −

− ×

⊗ + − ⊗ +

+

JP

JJ P 0

00 0

J

or

Page 22:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 22

( ) ( )( ) ( )

( )

( )

2 2

2

* ** *

2

* *

11 2 1

1

nmnm

nmNM nm

NM nm

t nmm M m

t t nm nm N n Mt t t n

t t

k kmk k

m

k k

σ σ

ρρ ρ

ρ ρ ρ

σ

ρ ρ

−−

× −

× −

′ ′′ − − = ′ ′′ − −

+ − ⊗ + − + − ⊗

=

+ −

I 0 0 A B A A A BA I 00 0 0 I 0 B A B BB 0 I0 0 0 0 I

P JP 0J

P

( )

( )

( )

( )

( ) ( ) ( ) ( )

*2

2

M m m M mn n nm N n M

N n M n M m N n M N n MN n M nm

NM

m mk

nmσ

− × −

× −

− × − − × −− ×

⊗ ⊗

+

J JP P 0

0 00

J

. We express this as

( ) ( ) ( ) ( )( ) ( )

( )( ) ( )( ) ( )

( ) ( ) ( ) ( ) ( )

2

* * * *

2* * *2

2

2

1 2 1 1

1

t t t n m t t n m M m nm N n M

t t n n M mM m m nm N n M

N n M nm N n M n M m N n M N n M

t nm nm n M

k k k k

k k km

σ

ρ ρ ρ ρ ρ

σ ρ ρ

ρ

σ

× − × −

−− × × −

− × − × − − × −

× −

′ ′ = ′ ′

+ − + − ⊗ + − ⊗ = + − ⊗ ⊗

A A A BB A B B

P J P J 0

P J P J 0

0 0 0

P 0( ) ( )

( ) ( ) ( ) ( )

( ) ( ) ( ) ( ) ( )

2

m nm N n M

NM

n M m nm n M m n M m nm N n M

N n M nm N n M n M m N n M N n M

nmσ

× −

− × − × − × −

− × − × − − × −

+

0J

0 0 0

0 0 0

or since ( ) ( )* * * * * *2 * *1 1t t t t tk k k k k k k kρ ρ ρ ρ ρ + − = + − = + − and

( ) ( ) ( ) ( )( )( )

( )

* * * *2

* *2 *2 2 *2

*2 * *2 2 *2

1 2 1 2 1 1 1

2 1 2

2 1 2

t t t t t t t

t t t t

t t t t

k k k k

k k k k

k k k k

ρ ρ ρ ρ ρ ρ ρ

ρ ρ ρ ρ

ρ ρ ρ ρ

+ − + − = − + − − = − + − +

= + − − +

.

Then,

Page 23:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 23

( ) ( ) ( )( ) ( )

( )( ) ( ) ( )

( ) ( ) ( ) ( ) ( )

( )( ) ( )

2

* * *

2* *

2*2

2 1 2 1

1

t t n m n m M m nm N n M

t n n M mM m m nm N n M

N n M nm N n M n M m N n M N n M

n m n m M m nm N n M

n M

k k k

k km

km

σ

ρ ρ

σρ

σ

× − × −

−− × × −

− × − × − − × −

× − × −

′ ′ = ′ ′

− − + ⊗ − ⊗ = − ⊗

⊗ ⊗

+ ⊗

A A A BB A B B

P J P J 0

P J 0 0

0 0 0

P J P J 0

P J( ) ( )( ) ( )

( ) ( ) ( ) ( ) ( )

( ) ( )

( ) ( ) ( ) ( )

( ) ( ) ( ) ( ) ( )

2

2 2

n M mm m nm N n M

N n M nm N n M n M m N n M N n M

t nm nm n M m nm N n M

NM

n M m nm n M m n M m nm N n M

N n M nm N n M n M m N n M N n M

nm

ρ

σ σ

−× × −

− × − × − − × −

× − × −

− × − × − × −

− × − × − − × −

+

P J 0

0 0 0

P 0 0J

0 0 0

0 0 0

or since ( ) ( )( )* * *2 1 2 2 1t t t tk k kρ ρ ρ ρ− − + = − − − ,

Page 24:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 24

( )( ) ( )

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )

( )

( )( )( ) ( )

( ) ( ) ( )

( )

2

22 *

2* *

2

1

n m nm n M m nm N n M

t n M mn M m nm nm N n M

N n M nm N n M n M m N n M N n M

t n m n m M m nm N n M

t n n M mM m m nm N n M

N n M nm N

km

k km

σ

σρ

ρ

σρ

× − × −

−− × × −

− × − × − − × −

× − × −

−− × × −

− ×

′ ′ = ′ ′

= −

− ⊗ ⊗

− ⊗

A A A BB A B B

P J 0 0

0 0 0

0 0 0

P J P J 0

P J 0 0

0 0( ) ( ) ( ) ( )

( )( ) ( )

( ) ( )( ) ( )

( ) ( ) ( ) ( ) ( )

( ) ( )

( ) ( ) ( ) ( )

2*2

2

2

n M n M m N n M N n M

n m n m M m nm N n M

n n M mM m m nm N n M

N n M nm N n M n M m N n M N n M

t nm nm n M m nm N n M

n M m nm n M m n M m nm N n M

N

kmσ

ρ

σ

− × − − × −

× − × −

−− × × −

− × − × − − × −

× − × −

− × − × − × −

⊗ ⊗ + ⊗ ⊗

0

P J P J 0

P J P J 0

0 0 0

P 0 0

0 0 0

0( ) ( ) ( ) ( ) ( )

2 NM

n M nm N n M n M m N n M N n M

nmσ

× − × − − × −

+

J

0 0

. Summary

Page 25:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 25

( ) ( ) ( )( )( )( )

( )

( ) ( ) ( )( ) ( )

( )( ) ( )( ) ( )

( ) ( ) ( ) ( )

,

, , ,

2

2* *

1 1

1 1

nm I nm nm I I II

I II I nm I II I I II II

t n m t n m M m nm N n M

t n n M mM m m nm N n M

N n MN n M nm N n M n M m

e

k

ρ ρ

σ ρ

σ

× − × −

2−− × × −

−− × − × −

′ ′− − − −

′ ′ ′− − − − +

+ − ⊗ − ⊗ = − − ⊗ ⊗

+

A I V A I A I V B V

B V V A I B V B V B B V V

P J P J 0

P J P J 0

0 0 0

( ) ( ) ( ) ( )( )( ) ( )

( ) ( )( ) ( )( ) ( )

( ) ( ) ( ) ( )

( ) ( )( ) ( )

( )

( )

( )( )

22 * * *

2* * *2

2

2

1 1 1 1

1 1

1

1

t n m t n m M m nm N n M

t n n M mM m m nm N n M

N n MN n M nm N n M n M m

t n m nm n M m nm N n M

n M m

e n M m nm nm N n Mn M m

N

k k k

k k km

nm

ρ ρ

ρ

ρ

σ

× − × −

−− × × −

−− × − × −

× − × −

− × × −−

− − ⊗ − − ⊗ − − ⊗ ⊗

− ⊗

⊗+

+ ⊗

P J P J 0

P J P J 0

0 0 0

I P 0 0

I I0 0

J J

0( ) ( ) ( ) ( )

( ) ( )

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )

2

2 2* 2

N n Mn M nm N n M n M m

nm nm n M m nm N n M

en M mn M m nm nm N n M

e N n eN n M e M MN n N nN n M nm N n M n M m

nm

nm n nm

σ

σ σσ σ

−− × − × −

× − × −

−− × × −

2 −− − −− × − × −

+ + ⊗ + ⊗ + ⊗

0 0

0 0 0

0 0 J

J0 J I J I I J J

and

Page 26:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 26

( )( ) ( )

( ) ( ) ( )

( ) ( ) ( ) ( ) ( )

( )

( )( )( ) ( )

( ) ( ) ( )

( )

2

22 *

2* *

2

1

n m nm n M m nm N n M

t n M mn M m nm nm N n M

N n M nm N n M n M m N n M N n M

t n m n m M m nm N n M

t n n M mM m m nm N n M

N n M nm N

km

k km

σ

σρ

ρ

σρ

× − × −

−− × × −

− × − × − − × −

× − × −

−− × × −

− ×

′ ′ = ′ ′

= −

− ⊗ ⊗

− ⊗

A A A BB A B B

P J 0 0

0 0 0

0 0 0

P J P J 0

P J 0 0

0 0( ) ( ) ( ) ( )

( )( ) ( )

( ) ( )( ) ( )

( ) ( ) ( ) ( ) ( )

( )

( ) ( ) ( )

( ) ( )

2*2

2

2

2

n M n M m N n M N n M

n m n m M m nm N n M

n n M mM m m nm N n M

N n M nm N n M n M m N n M N n M

t n m

t nm n M m nm N n Mn m

n M m nm n M m n M

km

nm

σ

ρ

ρ

σ

− × − − × −

× − × −

−− × × −

− × − × − − × −

× − × −

− × − ×

⊗ ⊗ + ⊗ ⊗

− ⊗

0

P J P J 0

P J P J 0

0 0 0

I I0 0

J J

0 0( ) ( )

( ) ( ) ( ) ( ) ( )

( )( ) ( )

( )( )

( )

( ) ( ) ( )( )

2

m nm N n M

N n M nm N n M n M m N n M N n M

n m n m M m nm N n M

n n M mM m m nm N n M

N n MN n n M m N n n M M m

nmσ

− × −

− × − × − − × −

× − × −

−− × × −

−− × × − × × −

⊗ ⊗

+ ⊗ ⊗ ⊗ ⊗ ⊗

0

0 0 0

J J J J 0

J J J J 0

J J J J J J

Special Cases

Page 27:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 27

We now consider a special case of this expression where terms simply. The

special case has mI iI M

′′ ′= ⊗

1g e and M m M

II iI iIIM M−′ ′ ′ ′ ′= ⊗ ⊗

1 1g e e . We assume that we

are interested in positions where i n≤ so that iII′ =e 0 . Then

( ) ( ) ( ) ( ) ( )( )( )( )

( )

1 2 3

,

, , ,

2

ˆvarnm I nm nm I I II I

I IIIII II I nm I II I I II II

II II

II

P Pξ ξ ξ

σ

′ ′− − − − ′ ′− = ′ ′ ′− − − − + ′ ′ ′ ′+ ′ ′

A I V A I A I V B V gg g gB V V A I B V B V B B V V

A A A B gg g B A B B g

. Now 1iI n iI

nn− ′ =

e P e , 1iI iI′ =e e , and 1iI n iI′ =e J e . Then

( ) ( ) ( ) ( )( )( )( )

( ) ( ) ( ) ( ) ( )

( ) ( ) ( )( ) ( )

,

, , ,

2 2 2* * 2

222 * 2 * * *2

2

1 1 1 2 1

1 1 1 1 2 1 1

nm I nm nm I I II II II

III II I nm I II I I II II

t t

et t

n k m m M m M mnn k m k k m M m k Mn mM

σ ρ ρ

σρ ρ

2

′ ′− − − − ′ ′ ′ ′ ′− − − − +

− − − + − − + − − = + − − + − − − + −

A I V A I A I V B V gg g gB V V A I B V B V B B V V

( )

( )

2

22e

m

M mM m

nmσ

− + − +

or

( ) ( ) ( ) ( )( )( )( )

( ) ( ) ( )

( )( ) ( )

( ) ( )

,

, , ,

2 2* *

2 2* *2

2

1 1 1

1 1 1 1

1

nm I nm nm I I II II II

III II I nm I II I I II II

t

et

e

n k m M mnn k m k M mn mM

M mM m

nm

σ ρ

σρ

σ

2

′ ′− − − − ′ ′ ′ ′ ′− − − − + − − − + − − = + − − + −

− + − +

A I V A I A I V B V gg g gB V V A I B V B V B B V V

.

We simplify this using the fact that ( )( ) ( )

( ) ( )

* * * * * *

* *

1 1

1

t t t

t

k m k M m mk m k m m Mk mk

m k M k f

ρ ρ ρ

ρ

− − + − = − + − + −

= − + −

to

Page 28:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 28

( ) ( ) ( ) ( )( )( )( )

( ) [ ]

( ) ( )

( )

,

, , ,

22 22* * * *

2

* *

1 11 1

1 1

1 1

nm I nm nm I I II II II

III II I nm I II I I II II

et t t

e

n nk f k k f f fn n m

f nf fnmn kn

σσ ρ ρ ρ

σ

σ

2

2

′ ′− − − − ′ ′ ′ ′ ′− − − − + − − = − − + + − + −

+ − + −

− = −

A I V A I A I V B V gg g gB V V A I B V B V B B V V

[ ] ( ) ( )

( ) ( )

22 22 *

2

11 1 1

1 1 1

et t t

e

nf k f fn m

f f nnm

σρ ρ ρ

σ

− − + − − −

+ − + −

. The second term reduces to

( )

( ) ( ) ( )

( ) ( )

2

22 * 2

2* * 2

22*2 2

2

22 2 2

22

1

11 2 2

1 1 2

II II

II

t

t t

tt

nk mm n

nk k m m M mm n

nk m m M m M mm nM

m mnm

Mnm

σ

σρ

σρ ρ

σ

ρσ ρ

σ

′ ′ ′ ′ = ′ ′ − −

− + − − + − − = + + − + − − +

A A A B gg g B A B B g

.

Now ( ) ( )

( )

2 2 22 2 2 2 2t t

t

m m M m m m mM mm

mM m M m

ρ ρ

ρ

− + − = − + −

= + −

and hence

Page 29:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 29

( )

( ) ( )

( ) ( )

2

22 * 2

2* *

222*2 2

2 22 2 2 2

2

1

111

1 2

II II

II

t

t t

tt

t

nk mm n

nk k mM m M mm n

nM k m m M m M mm n

m m Mnm nm

k

σ

σρ

σρ ρ

σ

ρ σσ ρ

ρ

′ ′ ′ ′ = ′ ′ − − − + − + − = − + + − + − − +

=

A A A B gg g B A B B g

( ) ( )

( ) ( )

2* 2

2* *

2*2

2 22 2

2 * 2

* *2 2

*2

2 2

1

11 1

1

1

1 11

t t

t

t

t t

t

n fm n

nk k f f fm n

nkm n

nfm n nm

k f

k k f f fnm n nmk

f

σ

σρ ρ

σ

σ σρ

ρ

ρ ρσ σ

ρ

− + − + − − +

− +

− + − + − − = + + +

.

Now ( ) ( )

( ) ( )( )( ) ( ) ( )( )

( ) ( )

2 * 2 * * *2 2 2

* * *2 *2

* * * *2

* * *2

1 1

1 1 1 1

1 1 1 1

1 1 1

t t t t

t t t t

t t t

t t t

k f k k f f f k f

f k f k f k f f k

f f k k k f k

f k f k f k

ρ ρ ρ ρ

ρ ρ ρ ρ ρ

ρ ρ ρ

ρ ρ ρ

− + − + − + + =

= − + + − − + − + + =

= − + − + − + =

= − + + − +

.

Then

( )( ) ( )

2

2 2* * * *21 1 1

II II

II

t t tn f k f k k f k

m n nm

σ

σ σρ ρ ρ

′ ′ ′ ′ = ′ ′ − = − + + − + +

A A A B gg g B A B B g

.

In summary, the MSE simplifies to

Page 30:  · 2009-04-24 · C03ed25.doc 8/7/2003 3:47 PM 2 If we are interested in predicting a cluster mean where m IiIM 1 ge and Mm M II iI iIIM M 1 1 ge e and we are interested in positions

C03ed25.doc 8/7/2003 3:47 PM 30

( ) ( ) ( ) ( ) ( ) ( )( )( )

( )( ) [ ] ( )

1 2 3

,

, , ,

2

22 2* * *

ˆvar

1 11 1 1

nm I nm nm I I II II II

III II I nm I II I I II II

II II

II

et t

P P

n nk f k fn n m

ξ ξ ξ

σ

σσ ρ ρ2

′ ′− − − − ′ ′− = ′ ′ ′− − − − + ′ ′ ′ ′+ = ′ ′

− − = − − + −

A I V A I A I V B V gg g gB V V A I B V B V B B V V

A A A B gg g B A B B g

( ) ( ) ( )

( ) ( )

22

2 2* * * *2

1 1 1 1

1 1 1

et

t t t

f f f nnm

n f k f k k f km n nm

σρ

σ σρ ρ ρ

− − + − + −

− + − + + − + + which Checks (numerically- see c03MSEcheck.xls) with the result on page 7 of c03ed20.doc!


Recommended