Bayesian and Markov Random Fields

8/2/2019 Bayesian and Markov Random Fields

1/143

B a y e s i a n M e t h o d s a n d

M a r k o v R a n d o m F i e l d s

M a r i o A . T . F i g u e i r e d o

D e p a r t m e n t o f E l e c t r i c a l a n d C o m p u t e r E n g i n e e r i n g

I n s t i t u t o S u p e r i o r T e c n i c o

L i s b o a , P O R T U G A L

e m a i l : m t f @ l x . i t . p t

T h a n k s : A n i l K . J a i n a n d R o b e r t D . N o w a k,

M i c h i g a n S t a t e U n i v e r s i t y , U S A


2/143

B a y e s i a n M e t h o d s a n d M a r k o v R a n d o m F i e l d s C V P R - 9 8 , S a n t a B a r b a r a , C A , U S A

M o s t i m a g e a n a l y s i s p r o b l e m s a r e \ i n f e r e n c e " p r o b l e m s :

g

O b s e r v e d i m a g e

\ I n f e r e n c e "

//f

I n f e r r e d i m a g e

F o r e x a m p l e , \ e d g e d e t e c t i o n " :

\ I n f e r e n c e "

//


I n s t i t u t o S u p e r i o r T e c n i c o , L i s b o n , P o r t u g a l

P a g e 2


3/143


T h e w o r d \ i m a g e " s h o u l d b e u n d e r s t o o d i n a w i d e s e n s e . E x a m p l e s :

C o n v e n t i o n a l i m a g e

C T i m a g e

0 5 10 15 20 250

5

10

15

0

5

F l o w i m a g e

R a n g e i m a g e



P a g e 3


4/143


E x a m p l e s o f \ i n f e r e n c e " p r o b l e m s

I m a g e r e s t o r a t i o n

E d g e d e t e c t i o n

0 20 40 60 80 100 120 140 160 180

20

40

60

80

100

120

140

C o n t o u r e s t i m a t i o n

T e m p l a t e m a t c h i n g



P a g e 4


5/143


M a i n f e a t u r e s o f \ i m a g e a n a l y s i s " p r o b l e m s

T h e y a r e i n f e r e n c e p r o b l e m s , i . e . , t h e y c a n b e f o r m u l a t e d a s :

\ f r o mg

, i n f e rf "

T h e y c a n n o t b e s o l v e d w i t h o u t u s i n g a p r i o r i k n o w l e d g e .

B o t h

fa n d

ga r e h i g h - d i m e n s i o n a l .

( e . g . , i m a g e s ) .

T h e y a r e n a t u r a l l y f o r m u l a t e d a s s t a t i s t i c a l i n f e r e n c e p r o b l e m s .



P a g e 5


6/143


I n t r o d u c t i o n t o B a y e s i a n t h e o r y

B a s i c a l l y , t h e B a y e s i a n a p p r o a c h p r o v i d e s a w a y t o \ i n v e r t " a n

o b s e r v a t i o n m o d e l , t a k i n g p r i o r k n o w l e d g e i n t o a c c o u n t .

f

U n k n o w n

//

k n o w l e d g e

$,

'& %$! "#O b s e r v a t i o n m o d e l

//

k n o w l e d g e

g

O b s e r v e d

BCoo

b

f

I n f e r r e d

'& %$! "#B a y e s i a n d e c i s i o noo

I n f e r r e d = e s t i m a t e d , o r

d e t e c t e d , o r c l a s s i e d , . . .

L o s s f u n c t i o n

KS



P a g e 6


7/143


T h e B a y e s i a n p h i l o s o p h y

K n o w l e d g e,

p r o b a b i l i t y

A s u b j e c t i v e ( n o n - f r e q u e n t i s t ) i n t e r p r e t a t i o n o f p r o b a b i l i t y .

P r o b a b i l i t i e s e x p r e s s \ d e g r e e s o f b e l i e f " .

E x a m p l e : \ t h e r e i s a 2 0

%p r o b a b i l i t y t h a t a c e r t a i n p a t i e n t h a s a

t u m o r " . S i n c e w e a r e c o n s i d e r i n g o n e p a r t i c u l a r p a t i e n t , t h i s

s t a t e m e n t h a s n o f r e q u e n t i a l m e a n i n g i t e x p r e s s e s a d e g r e e o f b e l i e f.

I t c a n b e s h o w n t h a t p r o b a b i l i t y t h e o r y i s t h e r i g h t t o o l t o f o r m a l l y

d e a l w i t h \ d e g r e e s o f b e l i e f " o r \ k n o w l e d g e "

C o x ( 4 6 ) , S a v a g e ( 5 4 ) , G o o d ( 6 0 ) , J e r e y s ( 3 9 , 6 1 ) , J a y n e s ( 6 3 , 6 8 , 9 1 ) .



P a g e 7


8/143


B a y e s i a n d e c i s i o n t h e o r y

K n o w l e d g e a b o u tf

p ( f )

$,

O b s e r v a t i o n m o d e l

p ( g j f )

L o s s f u n c t i o n

L ( f

b

f )

rzB a y e s i a n d e c i s i o n t h e o r y

O b s e r v e d d a t a

g

//

'& %$

! "#

D e c i s i o n r u l e

b

f = ( g )

A n \ a l g o r i t h m "

//I n f e r r e d q u a n t i t y

b

f



P a g e 8


9/143


H o w a r e B a y e s i a n d e c i s i o n r u l e s d e r i v e d ?

B y a p p l y i n g t h e f u n d a m e n t a l p r i n c i p l e s o f t h e B a y e s i a n p h i l o s o p h y :

K n o w l e d g e i s e x p r e s s e d v i a p r o b a b i l i t y f u n c t i o n s .

T h e \ c o n d i t i o n a l i t y p r i n c i p l e " : a n y i n f e r e n c e m u s t b e b a s e d

( c o n d i t i o n e d ) o n t h e o b s e r v e d d a t a (g

) .

T h e \ l i k e l i h o o d p r i n c i p l e " : T h e i n f o r m a t i o n c o n t a i n e d i n t h e

o b s e r v a t i o ng

c a n o n l y b e c a r r i e d v i a t h e l i k e l i h o o d f u n c t i o np ( f j g

) .

A c c o r d i n g l y , k n o w l e d g e a b o u tf

, o n c eg

i s o b s e r v e d , i s e x p r e s s e d b y t h e

a p o s t e r i o r i ( o r p o s t e r i o r ) p r o b a b i l i t y f u n c t i o n :

p ( f j g) =

p ( g j f ) p ( f )

p ( g )

\ B a y e s l a w "



P a g e 9


10/143


H o w a r e B a y e s i a n d e c i s i o n r u l e s d e r i v e d ? ( c o n t . )

O n c e

gi s o b s e r v e d , k n o w l e d g e a b o u t

fi s e x p r e s s e d b y

p ( f j g) .

G i v e n

g, w h a t i s t h e e x p e c t e d v a l u e o f t h e l o s s f u n c t i o n

L ( f

b

f) ?

E

h

L ( f

b

f ) j g

i

=

Z

L ( f

b

f ) p ( f j g ) d f

p ( f )

b

f j g

. . . t h e s o - c a l l e d \ a p o s t e r i o r i e x p e c t e d l o s s " .

A n \ o p t i m a l B a y e s r u l e " , i s o n e m i n i m i z i n g

p ( f )

b

f j g

:

b

f

B a y e s

=

B a y e s

( g) = a r g m i n

b

f

p ( f )

b

f j g



P a g e 1 0


11/143


H o w a r e B a y e s i a n d e c i s i o n r u l e s d e r i v e d ? ( c o n t . )

P r i o r

p ( f )

+3

'& %$

! "#

B a y e s L a w

p ( f j g) =

p(

gj

f)

p(

f)

p(

g)

L i k e l i h o o d

p ( g j f )

ks

L o s s

L ( f

b

f )

+3

'& %$

! "#\

a p o s t e r i o r i e x p e c t e d l o s s "

p ( f )

b

f j g

= E

h

L ( f

b

f ) j g

i

\ P u r e B a y e s i a n s ,

s t o p h e r e ! R e p o r t

t h e p o s t e r i o r "

hh

'& %$! "#

M i n i m i z e

a r g m i n

b

f

p ( f )

b

f j g

+3

D e c i s i o n r u l e

b

f = ( g )

\ B a y e s i a n i m a g e p r o c e s s o r "



P a g e 1 1


12/143


M o r e o n B a y e s l a w .

p ( f j g) =

p ( g j f ) p ( f )

p ( g )

T h e n u m e r a t o r i s t h e j o i n t p r o b a b i l i t y o f

fa n d

g :

p ( g j f ) p ( f) =

p ( g f ) :

T h e d e n o m i n a t o r i s s i m p l y a n o r m a l i z i n g c o n s t a n t ,

p ( g) =

Z

p ( g f ) d f =

Z

p ( g j f ) p ( f ) d f

. . . i t i s a m a r g i n a l p r o b a b i l i t y f u n c t i o n .

O t h e r n a m e s : u n c o n d i t i o n a l , p r e d i c t i v e , e v i d e n c e .

I n d i s c r e t e c a s e s , r a t h e r t h a n i n t e g r a l w e h a v e a s u m m a t i o n .



P a g e 1 2


13/143


T h e \ 0 / 1 " l o s s f u n c t i o n

F o r a s c a l a r c o n t i n u o u sf

2 F , e . g . ,F =

I R,

L

"

(f

b

f) =

8


14/143


T h e \ 0 / 1 " l o s s f u n c t i o n ( c o n t . )

M i n i m i z i n g t h e \ a p o s t e r i o r i " e x p e c t e d l o s s :

"

( g) = a r g m i n

d

Z

F

L

"

(f d

) p ( f j g )d f

= a r g m i n

d

Z

f: j

f;

dj

"

p ( f j g )d f

= a r g m i n

d

1 ;

Z

f: j

f;

dj < "

p ( f j g )d f

!

= a r g m a x

d

Z

d + "

d;

"

p ( f j g )d f



P a g e 1 4


15/143


L e t t i n g

"a p p r o a c h z e r o ,

l i m

"! 0

"

( g) = l i m

"! 0

a r g m a x

d

Z

d+

"

d;

"

p ( f j g )d f

= a r g m a x

f

p ( f j g )

M A P

( g )

b

f

M A P

. . . c a l l e d t h e \ m a x i m u m a p o s t e r i o r i " ( M A P ) e s t i m a t o r .

W i t h"

d e c r e a s i n g ,

"

( g) \ l o o k s

f o r " t h e h i g h e s t m o d e o fp ( f j g )

+3



P a g e 1 5


16/143


T h e \ 0 / 1 " l o s s f o r a s c a l a r d i s c r e t ef

2 F

L (f

b

f) =

8


17/143


\ Q u a d r a t i c " l o s s f u n c t i o n

F o r a s c a l a r c o n t i n u o u sf

2 F , e . g . ,F =

I R,

L

f

b

f

=

f ;

b

f

2

M i n i m i z i n g t h e a p o s t e r i o r i e x p e c t e d l o s s ,

P M

( g) = a r g m i n

d

E

h

( f ; d )

2

j g

i

= a r g m i n

d

f E

f

2

j g

| { z }

C o n s t a n t

+ d

2

; 2d E

f j g ] g

= E f j g ]

b

f

P M

. . . t h e \ p o s t e r i o r m e a n " ( P M ) e s t i m a t o r .



P a g e 1 7


18/143


E x a m p l e : G a u s s i a n o b s e r v a t i o n s w i t h a G a u s s i a n p r i o r .

T h e o b s e r v a t i o n m o d e l i s

p ( g j f) =

p(

g

1

g

2

: : : g

n

]

T

j f ) N ( f f : : : f

]

T

2

I )

=

;

2

2

; n = 2

e x p

(

;

1

2

2

n

X

i= 1

( g

i

; f )

2

)

w h e r eI

d e n o t e s a n i d e n t i t y m a t r i x .

T h e p r i o r i s

p ( f) =

;

2

2

; 1

=2

e x p

;

f

2

2

2

N ( 0

2

)

F r o m t h e s e t w o m o d e l s , t h e p o s t e r i o r i s s i m p l y

p ( f j g ) N

g

2

2

n

+

2

n

2

+

1

2

; 1

!

w i t h

g =

g

1

+: : :

+ g

n

n



P a g e 1 8


19/143


E x a m p l e : G a u s s i a n o b s e r v a t i o n s w i t h a G a u s s i a n p r i o r ( c o n t . ) .

A s s e e n i n t h e p r e v i o u s s l i d e

p ( f j g ) N

g

2

2

n

+

2

n

2

+

1

2

; 1

!

T h e n , s i n c e t h e m e a n a n d t h e m o d e o f a G a u s s i a n c o i n c i d e ,

b

f

M A P

=

b

f

P M

=

g

2

2

n

+

2

t h e e s t i m a t e i s a \ s h r u n k e n " v e r s i o n o f t h e s a m p l e m e a n

g .

I f t h e p r i o r h a d m e a n

, w e w o u l d h a v e

b

f

M A P

=

b

f

P M

=

2

n

+

g

2

2

n

+

2

i . e . , t h e e s t i m a t e i s a w e i g h t e d a v e r a g e o f

a n d

g



P a g e 1 9


20/143


E x a m p l e : G a u s s i a n o b s e r v a t i o n s w i t h a G a u s s i a n p r i o r ( c o n t . ) .

O b s e r v e t h a t

l i m

n! 1

2

n

+

g

2

2

n

+

2

= l i m

n! 1

2

+ n

g

2

2

+n

2

=

g

i . e . , a sn

i n c r e a s e s , t h e d a t a d o m i n a t e s t h e e s t i m a t e .

T h e p o s t e r i o r v a r i a n c e d o e s n o t d e p e n d o n

g ,

E

h

( f ;

b

f )

2

j g

i

=

n

2

+

1

2

; 1

i n v e r s e l y p r o p o r t i o n a l t o t h e d e g r e e o f c o n d e n c e o n t h e e s t i m a t e .

N o t i c e a l s o t h a t

l i m

n! 1

E

h

( f ;

b

f )

2

j g

i

= l i m

n! 1

n

2

+

1

2

; 1

= 0

. . . a sn

! 1 t h e c o n d e n c e o n t h e e s t i m a t e b e c o m e s a b s o l u t e .



P a g e 2 0


21/143


0 50 100 150 200 250 300 350 4000.2

0

0.2

0.4

0.6

0.8

1

1.2

Number of observations

Estimates

Sample meanMAP estimate with 2 = 0.1MAP estimate with 2 = 0.01

0 50 100 150 200 250 300 350 40010

3

102

101

Number of observations

Variances

A posteriori variance, with 2 = 0.1A posteriori variance, with 2 = 0.01



P a g e 2 1



22/143

E x a m p l e : G a u s s i a n m i x t u r e o b s e r v a t i o n s w i t h a G a u s s i a n p r i o r .

\ M i x t u r e " o b s e r v a t i o n m o d e l

p ( g j s) =

p

2

2

e x p

;

( g ; s ; )

2

2

2

+

1 ;

p

2

2

e x p

;

( g ; s )

2

2

2

s

//

/.-,()*++

//

/.-,()*++

//g

8


23/143

E x a m p l e : G a u s s i a n m i x t u r e o b s e r v a t i o n s w i t h a G a u s s i a n p r i o r ( c o n t . ) .

T h e p o s t e r i o r :

p ( s j g ) / e x p

;

( g ; s ; )

2

2

2

;

s

2

2

2

+ ( 1;

) e x p

;

( g ; s )

2

2

2

;

s

2

2

2

E x a m p l e :

= 0

: 6

2

= 4

2

= 0: 5

g= 0

: 5

+3

4 2 0 2 4 6 80

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

PM

MAP

s

pS(

s|g

=0.5

)

P M = \ c o m p r o m i s e " M A P = l a r g e s t m o d e .



P a g e 2 3



24/143

I m p r o p e r p r i o r s a n d \ m a x i m u m l i k e l i h o o d " i n f e r e n c e

R e c a l l t h a t t h e p o s t e r i o r i s c o m p u t e d a c c o r d i n g t o

p ( f j g) =

p ( g j f ) p ( f )

p ( g )

I f t h e M A P c r i t e r i o n i s b e i n g u s e d , a n d

p ( f) =

k ,

b

f

M A P

= a r g m a x

f

p ( g j f ) k

k

Z

p ( g j f ) d f

= a r g m a x

f

p ( g j f )

. . . t h e \ m a x i m u m l i k e l i h o o d " ( M L ) e s t i m a t e .

I n t h e d i s c r e t e c a s e , s i m p l y r e p l a c e t h e i n t e g r a l b y a s u m m a t i o n .



P a g e 2 4



25/143

I m p r o p e r p r i o r s a n d m a x i m u m l i k e l i h o o d i n f e r e n c e ( c o n t . )

I f t h e s p a c e t o w h i c h

fb e l o n g s i s u n b o u n d e d , e . g . ,

f 2I R

m

, o r

f 2I N , t h e p r i o r i s \ i m p r o p e r " :

Z

p ( f ) d f =

Z

k df = 1 :

o r

X

p ( f) =

k

X

1 =1 :

I f t h e p o s t e r i o r i s p r o p e r , a l l t h e e s t i m a t e s a r e s t i l l w e l l d e n e d .

I m p r o p e r p r i o r s r e i n f o r c e t h e \ k n o w l e d g e " i n t e r p r e t a t i o n o f

p r o b a b i l i t i e s .



P a g e 2 5



26/143

C o m p o u n d i n f e r e n c e : I n f e r r i n g a s e t o f u n k n o w n s

N o w ,

fi s a ( s a y ,

m- d i m e n s i o n a l ) v e c t o r ,

f=

f

1

f

2

: : : f

m

]

T

:

L o s s f u n c t i o n s f o r c o m p o u n d p r o b l e m s :

A d d i t i v e : S u c h t h a tL ( f

b

f) =

M

X

i= 1

L

i

( f

i

b

f

i

) .

N o n - a d d i t i v e : T h i s d e c o m p o s i t i o n d o e s n o t e x i s t .

O p t i m a l B a y e s r u l e s a r e s t i l l

b

f

B a y e s

=

B a y e s

( g) = a r g m i n

b

f

Z

L ( f

b

f ) p ( f j g )d f



P a g e 2 6



27/143

C o m p o u n d i n f e r e n c e w i t h n o n - a d d i t i v e l o s s f u n c t i o n s .

T h e r e i s n o t h i n g f u n d a m e n t a l l y n e w i n t h i s c a s e .

T h e \ 0 / 1 " l o s s , f o r a v e c t o r

f( e . g . ,

F =I R

m

) :

L

"

( f

b

f) =

8


28/143

C o m p o u n d i n f e r e n c e w i t h n o n - a d d i t i v e l o s s f u n c t i o n s ( c o n t . )

T h e q u a d r a t i c l o s s , f o r

f 2I R

m

: L ( f

b

f) = (

f ;

b

f )

T

Q ( f ;

b

f )

w h e r eQ

i s a s y m m e t r i c p o s i t i v e - d e n i t e (m m

) m a t r i x .

M i n i m i z i n g t h e a p o s t e r i o r i e x p e c t e d l o s s ,

P M

( g) = a r g m i n

b

f

E

h

( f ;

b

f )

T

Q ( f ;

b

f ) j g

i

= a r g m i n

b

f

f E

f

T

Q fj g

| { z }

C o n s t a n t

+

b

f

T

Q

b

f ; 2

b

f

T

Q E f j g ] g

= s o l u t i o n o f

n

Q

b

f = Q E f j g ]

o

( Qh a s i n v e r s e )

= E f j g ]

b

f

P M

. . . s t i l l t h e \ p o s t e r i o r m e a n " ( P M ) e s t i m a t o r .

R e m a r k a b l y , t h i s i s t r u e f o r a n y s y m m e t r i c p o s i t i v e - d e n i t e

Q .

S p e c i a l c a s e :Q

i s d i a g o n a l , t h e l o s s f u n c t i o n i s a d d i t i v e .



P a g e 2 8



29/143

C o m p o u n d i n f e r e n c e w i t h a d d i t i v e l o s s f u n c t i o n s

R e c a l l t h a t , i n t h i s c a s e ,

L ( f

b

f) =

M

X

i= 1

L

i

( f

i

b

f

i

) .

T h e o p t i m a l B a y e s r u l e

( g )

B a y e s

= a r g m i n

b

f

Z

m

X

i = 1

L

i

( f

i

b

f

i

)

| { z }

L(

f

b

f)

p ( f j g ) d f

= a r g m i n

b

f

m

X

i = 1

Z

L

i

( f

i

b

f

i

) p ( f j g ) d f

= a r g m i n

b

f

m

X

i= 1

Z

L

i

( f

i

b

f

i

)

Z

p ( f j g ) d f

;

i

d f

i

w h e r ed f

;

i

d e n o t e s d f

1

: : : d f

i; 1

d f

i+ 1

: : : d f

m

, t h a t i s , i n t e g r a t i o n w i t h

r e s p e c t t o a l l v a r i a b l e s e x c e p tf

i



P a g e 2 9



30/143

C o m p o u n d i n f e r e n c e w i t h a d d i t i v e l o s s f u n c t i o n s ( c o n t . )

F r o m t h e p r e v i o u s s l i d e :

( g )

B a y e s

= a r g m i n

b

f

m

X

i= 1

Z

L

i

( f

i

b

f

i

)

Z

p ( f j g ) d f

;

i

d f

i

B u t ,

Z

p ( f j g ) d f

; i

= p ( f

i

j g) ,

t h e a p o s t e r i o r i m a r g i n a l o f v a r i a b l ef

i

.

T h e n ,

( g )

B a y e s

= a r g m i n

b

f

m

X

i= 1

Z

L

i

( f

i

b

f

i

) p ( f

i

j g )d f

i

,

t h a t i s ,

b

f

i

B a y e s

= a r g m i n

b

f

i

Z

L

i

( f

i

b

f

i

) p ( f

i

j g )d f

i

i= 1

2 : : : m

C o n c l u s i o n : e a c h e s t i m a t e i s t h e m i n i m i z e r o f t h e c o r r e s p o n d i n g

m a r g i n a l a p o s t e r i o r i e x p e c t e d l o s s



P a g e 3 0



31/143

A d d i t i v e l o s s f u n c t i o n s : S p e c i a l c a s e s

T h e a d d i t i v e \ 0 / 1 " l o s s f u n c t i o n :

L ( f

b

f) =

m

X

i = 1

L

i

( f

i

b

f

i

) ,

w h e r e e a c hL

i

( f

i

b

f

i

) i s a \ 0 / 1 " l o s s f u n c t i o n f o r s c a l a r a r g u m e n t s .

A c c o r d i n g t o t h e g e n e r a l r e s u l t ,

b

f

M P M

=

a r g m a x

f

1

p ( f

1

j g) a r g m a x

f

2

p ( f

2

j g ) a r g m a x

f

m

p ( f

m

j g )

T

t h e m a x i m i z e r o f p o s t e r i o r m a r g i n a l s ( M P M ) .

T h e a d d i t i v e q u a d r a t i c l o s s f u n c t i o n :

L ( f

b

f) =

m

X

i= 1

( f

i

;

b

f

i

)

2

= (f ;

b

f )

T

( f ;

b

f) .

T h e g e n e r a l r e s u l t f o r q u a d r a t i c l o s s f u n c t i o n s i s s t i l l v a l i d .

T h i s i s a n a t u r a l f a c t b e c a u s e t h e m e a n i s i n t r i n s i c a l l y m a r g i n a l .



P a g e 3 1



32/143

E x a m p l e : G a u s s i a n o b s e r v a t i o n s a n d G a u s s i a n p r i o r .

O b s e r v a t i o n m o d e l : l i n e a r o p e r a t o r ( m a t r i x ) p l u s a d d i t i v e w h i t e

G a u s s i a n n o i s e :

g =H f

+ n w h e r e

n N ( 0

2

I )

C o r r e s p o n d i n g l i k e l i h o o d f u n c t i o n

p ( g j f) = ( 2

2

)

; n = 2

e x p

;

1

2

2

kH f

; g k

2

G a u s s i a n p r i o r :

p ( f) =

( 2 )

; n = 2

p

d e t (K )

e x p

;

1

2

f

T

K

; 1

f



P a g e 3 2



33/143

E x a m p l e : G a u s s i a n o b s e r v a t i o n s a n d G a u s s i a n p r i o r ( c o n t . )

T h e a p o s t e r i o r i ( j o i n t ) p r o b a b i l i t y d e n s i t y f u n c t i o n i s s t i l l G a u s s i a n

p ( f j g ) N

b

f P

w i t h

b

fb e i n g t h e M A P a n d P M e s t i m a t e , g i v e n b y

b

f= a r g m i n

f

f

T

2

K

; 1

+ H

T

H

f ; 2 f

T

H

T

g

=

2

K

; 1

+ H

T

H

; 1

H

T

g :

T h i s i s a l s o c a l l e d t h e ( v e c t o r ) W i e n e r l t e r .



P a g e 3 3



34/143

E x a m p l e : G a u s s i a n o b s e r v a t i o n s a n d G a u s s i a n p r i o r s p e c i a l c a s e s .

N o n o i s e : A b s e n c e o f n o i s e,

2

= 0

b

f =

H

T

H

; 1

H

T

g :

= a r g m i n

f

n

kH f

; g k

2

o

H

T

H

; 1

H

T

H

y

i s c a l l e d t h e M o o r e - P e n r o s e p s e u d o

( o r g e n e r a l i z e d)

i n v e r s e o f m a t r i xH .

I f

H

; 1

e x i s t s ,H

y

= H

; 1

I f

Hi s n o t i n v e r t i b l e ,

H

y

p r o v i d e s i t s l e a s t - s q u a r e s s e n s e

p s e u d o - s o l u t i o n .

T h i s e s t i m a t e i s a l s o t h e m a x i m u m l i k e l i h o o d o n e .



P a g e 3 4



35/143

E x a m p l e : G a u s s i a n o b s e r v a t i o n s a n d G a u s s i a n p r i o r s p e c i a l c a s e s .

P r i o r c o v a r i a n c e u p t o a f a c t o r : K=

2

B d i a g o n a l e l e m e n t s o f

B

e q u a l t o 1 .

2

c a n b e s e e n a s t h e \ p r i o r v a r i a n c e " .

K

; 1

= B

; 1

=

2

i s p o s i t i v e d e n i t e)

e x i s t s u n i q u e s y m m e t r i cD

s u c h t h a t D D= D

T

D = B

; 1

.

T h i s a l l o w s w r i t i n g

b

f= a r g m i n

f

k g ;H f

k

2

+

2

2

kD f

k

2

I n r e g u l a r i z a t i o n t h e o r y p a r l a n c e ,

kD f

k

2

i s c a l l e d t h e r e g u l a r i z i n g

t e r m , a n d

2

=

2

t h e r e g u l a r i z a t i o n p a r a m e t e r .

W e c a n a l s o w r i t e

b

f =

2

2

B

; 1

+ H

T

H

; 1

H

T

g

2

=

2

c o n t r o l s t h e r e l a t i v e w e i g h t o f t h e p r i o r a n d t h e d a t a .



P a g e 3 5



36/143

S u m m a r y o f w h a t w e h a v e s e e n u p t o t h i s p o i n t

I m a g e a n a l y s i s p r o b l e m s a r e i n f e r e n c e p r o b l e m s

I n t r o d u c t i o n t o B a y e s i a n i n f e r e n c e :

{ F u n d a m e n t a l p r i n c i p l e s : k n o w l e d g e a s p r o b a b i l i t y , l i k e l i h o o d a n d

c o n d i t i o n a l i t y .

{ F u n d a m e n t a l t o o l : B a y e s r u l e .

{ N e c e s s a r y m o d e l s : o b s e r v a t i o n m o d e l , p r i o r , l o s s f u n c t i o n .

{

A p o s t e r i o r i e x p e c t e d l o s s a n d o p t i m a l B a y e s r u l e s .

{ T h e \ 0 / 1 " l o s s f u n c t i o n a n d M A P i n f e r e n c e .

{ T h e q u a d r a t i c e r r o r l o s s f u n c t i o n a n d p o s t e r i o r m e a n e s t i m a t i o n .

{ E x a m p l e : G a u s s i a n o b s e r v a t i o n s a n d G a u s s i a n p r i o r .

{ E x a m p l e : M i x t u r e o f G a u s s i a n s o b s e r v a t i o n s a n d G a u s s i a n p r i o r .

{ I m p r o p e r p r i o r s a n d m a x i m u m l i k e l i h o o d ( M L ) i n f e r e n c e .

{ C o m p o u n d i n f e r e n c e : a d d i t i v e a n d n o n - a d d i t i v e l o s s f u n c t i o n s .

{ E x a m p l e : G a u s s i a n o b s e r v a t i o n s w i t h G a u s s i a n p r i o r .



P a g e 3 6



37/143

C o n j u g a t e p r i o r s : L o o k i n g f o r c o m p u t a t i o n a l c o n v e n i e n c e

S o m e t i m e s t h e p r i o r k n o w l e d g e i s v a g u e e n o u g h t o a l l o w t r a c t a b i l i t y

c o n c e r n s t o c o m e i n t o p l a y .

I n o t h e r w o r d s : c h o o s e p r i o r s c o m p a t i b l e w i t h k n o w l e d g e , b u t

l e a d i n g t o a t r a c t a b l e a p o s t e r i o r i p r o b a b i l i t y f u n c t i o n .

C o n j u g a t e p r i o r s f o r m a l i z e t h i s g o a l .

A f a m i l y o f l i k e l i h o o d f u n c t i o n s

L = f p ( g j f ) f2 F g

A ( p a r a m e t r i z e d ) f a m i l y o f p r i o r s

P = f p ( f j ) 2 g

P i s a c o n j u g a t e f a m i l y f o rL

, i f

8


38/143

C o n j u g a t e p r i o r s : A s i m p l e e x a m p l e

T h e f a m i l y o f G a u s s i a n l i k e l i h o o d f u n c t i o n s o f c o m m o n v a r i a n c e

L =

p ( g j f ) N

(f

2

) f

2I R

T h e f a m i l y o f G a u s s i a n p r i o r s o f a r b i t r a r y m e a n a n d v a r i a n c e

P =

p ( f j

2

) N

(

2

) (

2

) 2I R

I R

+

T h e a p o s t e r i o r i p r o b a b i l i t y d e n s i t y f u n c t i o n i s

p ( f j g ) N

2

+g

2

2

+

2

2

2

2

+

2

2 P

V e r y i m p o r t a n t : c o m p u t i n g t h e a p o s t e r i o r i p r o b a b i l i t y f u n c t i o n

o n l y i n v o l v e s \ u p d a t i n g " p a r a m e t e r s o f t h e p r i o r .



P a g e 3 8



39/143

C o n j u g a t e p r i o r s : A n o t h e r e x a m p l e

i s t h e ( u n k n o w n ) \ h e a d s " p r o b a b i l i t y o f a g i v e n c o i n .

O u t c o m e s o f a s e q u e n c e o f

nt o s s e s :

x= (

x

1

: : : x

n

) ,x

i

2 f1 0 g .

L i k e l i h o o d f u n c t i o n ( B e r n o u l l i ) , w i t h

n

h

( x) =

x

1

+ x

2

+: : :

+ x

n

,

p ( x j ) =

n

h

(

x)

( 1; )

n;

n

h

(

x)

:

A p r i o r i b e l i e f : \

s h o u l d b e c l o s e t o 1

=2 " .

C o n j u g a t e p r i o r : t h e B e t a d e n s i t y

p ( j

) B e ( ) =

; ( + )

; (

) ; ( )

; 1

( 1; )

; 1

d e n e d f o r 2

0

1 ] a n d > 0 .



P a g e 3 9



40/143

C o n j u g a t e p r i o r s : B e r n o u l l i e x a m p l e ( c o n t . )

M a i n f e a t u r e s o f

Be ( ) :

E j ] =

+

( m e a n )

E

"

;

+

2

#

=

( + )

2

( + + 1 )

( v a r i a n c e )

a r g m a x

p ( j ) =

; 1

+ ; 2

( m o d e , i f > 1 )

\ P u l l " t h e e s t i m a t e t o w a r d s 1

=2 : c h o o s e

= .

T h e q u a n t i t y

= c o n t r o l s \ h o w s t r o n g l y w e p u l l " .



P a g e 4 0



41/143


S e v e r a l B e t a d e n s i t i e s :

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.5

1

1.5

2

2.5

3

3.5

4

Beta prior

= = 1 = = 2 = = 10 = = 0.75

F o r =

1 , q u a l i t a t i v e l y d i e r e n t b e h a v i o r : t h e m o d e a t 1= 2

d i s a p p e a r s .



P a g e 4 1



42/143


T h e a p o s t e r i o r i d i s t r i b u t i o n i s a g a i n B e t a

p ( j x

) B e (

+ n

h

( x )

+ n ; n

h

( x) )

B a y e s i a n e s t i m a t e s o f

b

P M

=

P M

( x) =

+ n

h

( x )

+ + n

b

M A P

=

M A P

( x) =

+ n

h

( x ) ; 1

+ + n ; 2

:



P a g e 4 2



43/143


E v o l u t i o n o f t h e a p o s t e r i o r i d e n s i t i e s , f o r aB

e ( 5

5 ) p r i o r ( d o t t e d l i n e )

a n dB

e ( 1

1 ) a t p r i o r ( s o l i d l i n e ) .

0 0.25 0.5 0.75 10

0.5

1

n=1

0 0.25 0.5 0.75 10

0.5

1

n=5

0 0.25 0.5 0.75 10

0.5

1

n=10

0 0.25 0.5 0.75 10

0.5

1

n=20

0 0.25 0.5 0.75 10

0.5

1

n=50

0 0.25 0.5 0.75 10

0.5

1

n=500



P a g e 4 3



44/143

C o n j u g a t e p r i o r s : V a r i a n c e o f G a u s s i a n o b s e r v a t i o n s

ni . i . d . z e r o - m e a n G a u s s i a n o b s e r v a t i o n s o f u n k n o w n v a r i a n c e

2

= 1 =

L i k e l i h o o d f u n c t i o n

f ( x j ) =

n

Y

i= 1

r

2

e x p

;

x

2

i

2

=

2

n

2

e x p

(

;

2

n

X

i= 1

x

2

i

)

:

C o n j u g a t e p r i o r : t h e G a m m a d e n s i t y .

p ( j

) G a ( ) =

; ( )

; 1

e x p f ; g

f o r 2

0 1

) ( r e c a l l

= 1 =

2

) a n d > 0 .



P a g e 4 4



45/143

C o n j u g a t e p r i o r s : V a r i a n c e o f G a u s s i a n o b s e r v a t i o n s ( c o n t . )

M a i n f e a t u r e s o f t h e G a m m a d e n s i t y :

E j ] =

( m e a n )

E

"

;

2

#

=

2

( v a r i a n c e )

a r g m a x

p ( j ) =

; 1

( m o d e , i f

1 )



P a g e 4 5



46/143


S e v e r a l G a m m a d e n s i t i e s :

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 50

0.2

0.4

0.6

0.8

1

1.2

1.4

Gamma prior

= = 1

= = 2 = = 10 = 62.5, = 25



P a g e 4 6



47/143


A p o s t e r i o r i d e n s i t y :

p ( j x

1

x

2

: : : x

n

) G

a

+

n

2

+

1

2

n

X

i= 1

x

2

i

!

:

T h e c o r r e s p o n d i n g B a y e s i a n e s t i m a t e s

b

P M

=

2

n

+ 1

2

n

+

1

n

n

X

i= 1

x

2

i

!

; 1

b

M A P

=

2

n

+ 1;

2

n

2

n

+

1

n

n

X

i= 1

x

2

i

!

; 1

:

B o t h e s t i m a t e s c o n v e r g e t o t h e M L e s t i m a t e :

l i m

n! 1

b

P M

= l i m

n! 1

b

M A P

=

b

M L

= n

n

X

i= 1

x

2

i

!

; 1



P a g e 4 7



48/143

T h e v o n M i s e s T h e o r e m

A s l o n g a s t h e p r i o r i s c o n t i n u o u s a n d n o t z e r o a t t h e l o c a t i o n o f t h e M L

e s t i m a t e , t h e n , t h e M A P e s t i m a t e c o n v e r g e s t o t h e M L e s t i m a t e a s t h e

n u m b e r o f d a t a p o i n t sn

i n c r e a s e s .



P a g e 4 8



49/143

B a y e s i a n m o d e l s e l e c t i o n

S c e n a r i o : t h e r e a r e

Km o d e l s a v a i l a b l e , i . e . ,

m2 f

m

1

: : : m

K

g

G i v e n m o d e l

m ,

L i k e l i h o o d f u n c t i o n :p ( g j f

(

m)

m)

P r i o r :p ( f

(

m)

j m )

U n d e r d i e r e n tm

' s ,f

(

m)

m a y h a v e d i e r e n t m e a n i n g s , a n d s i z e s .

A p r i o r i m o d e l p r o b a b i l i t i e s

f p ( m)

m = m

1

: : : m

K

g .

T h e a p o s t e r i o r i p r o b a b i l i t y f u n c t i o n i s

p (m

f

(

m)

j g) =

p ( g j f

( m )

m) p ( f

( m )

m)

p ( g )

=

p ( g j f

( m )

m) p ( f

( m )

j m ) p ( m )

p ( g )



P a g e 4 9



50/143

S e e n s t r i c t l y a s a m o d e l s e l e c t i o n p r o b l e m , t h e n a t u r a l l o s s f u n c t i o n

i s t h e \ 0 / 1 " w i t h r e s p e c t t o t h e m o d e l , i . e .

L ( m

f

(

m)

) ( bm

b

f

( b

m)

) ] =

8


51/143

B a y e s i a n m o d e l s e l e c t i o n

C o m p a r i n g t w o m o d e l s : w h i c h o f

m

1

o rm

2

i s a p o s t e r i o r i m o r e

l i k e l y ?

A n s w e r i s g i v e n b y t h e s o - c a l l e d \ p o s t e r i o r o d d s r a t i o "

p ( m

1

j g )

p ( m

2

j g )

=

p ( g j m

1

)

p ( g j m

2

)

| { z }

\ B a y e s ' f a c t o r "

p ( m

1

)

p ( m

2

)

| { z }

\ p r i o r o d d s r a t i o "

B a y e s ' f a c t o r = e v i d e n c e , p r o v i d e d b y

g, f o r

m

1

v e r s u sm

2

.



P a g e 5 1



52/143

B a y e s i a n m o d e l s e l e c t i o n : E x a m p l e

D o e s a s e q u e n c e o f b i n a r y v a r i a b l e s ( e . g . , c o i n t o s s e s ) c o m e s f r o m t w o

d i e r e n t s o u r c e s ?

O b s e r v a t i o n s :

g=

g

1

: : : g

t

g

t+ 1

: : : g2 t

] , w i t hg

i

2 f0 1 g .

C o m p e t i n g m o d e l s :

m

1

= \ a l lg

i

' s c o m e f r o m t h e s a m e i . i . d . b i n a r y s o u r c e w i t h

P r o b ( 1 ) =

" ( e . g . , s a m e c o i n ) .

m

2

= \ g

1

: : : g

t

] a n d g

t+ 1

: : : g

2

t

] c o m e f r o m t w o d i e r e n t s o u r c e s

w i t h P r o b ( 1 ) =

a n d P r o b ( 1 ) =

, r e s p e c t i v e l y "

( e . g . , t w o c o i n s w i t h d i e r e n t p r o b a b i l i t i e s o f \ h e a d s " ) .

P a r a m e t e r v e c t o r u n d e r

m

1

, f

(

m

1

)

= ]

P a r a m e t e r v e c t o r u n d e rm

2

, f

(

m

2

)

= ]

N o t i c e t h a t w i t h = , m

2

b e c o m e sm

1



P a g e 5 2



53/143

B a y e s i a n m o d e l s e l e c t i o n : E x a m p l e ( c o n t . )

L i k e l i h o o d f u n c t i o n u n d e r

m

1

:

p ( g j m

1

) =

2

t

Y

i= 1

g

i

( 1; )

1 ;

g

i

=

n(

g)

( 1; )

2

t;

n(

g)

w h e r en ( g

) i s t h e t o t a l n u m b e r o f 1 ' s .

L i k e l i h o o d f u n c t i o n u n d e r

m

2

:

p ( g j m

2

) =

n

1

(

g)

( 1; )

t;

n

1

(

g)

n

2

(

g)

( 1; )

t;

n

2

(

g)

w h e r en

1

( g) a n d

n

2

( g) a r e t h e n u m b e r s o f o n e s i n t h e r s t a n d

s e c o n d h a l v e s o f t h e d a t a , r e s p e c t i v e l y .

N o t i c e t h a t

n

1

( g) +

n

2

( g) =

n ( g) .



P a g e 5 3



54/143


P r i o r u n d e r

m

1

:

p ( j m

1

) = 1

f o r 2

0

1 ]

P r i o r u n d e r

m

2

:

p (

j m

2

) = 1 f o r ( ) 2

0

1 ]

0

1 ]

T h e s e t w o p r i o r s m e a n : \ i n a n y c a s e , w e k n o w n o t h i n g a b o u t t h e

p a r a m e t e r s " .



P a g e 5 4



55/143


E v i d e n c e i n f a v o r o f

m

1

( r e c a l l t h a tp ( j m

1

) = 1 )

p ( m

1

j g) =

Z

1

0

n(

g)

( 1; )

2

t;

n(

g)

d =

( 2t ; n ( g

) ) !n ( g

) !

( 2a

+ 1 ) !

E v i d e n c e i n f a v o r o f

m

2

( r e c a l l t h a tp (

j m

2

) = 1 ) :

p ( m

2

j g) =

Z

1

0

Z

1

0

n

1

(

g)

( 1; )

t;

n

1

(

g)

n

2

(

g)

( 1; )

t;

n

2

(

g)

d d

=

( t ; n

1

( g) !

n

1

( g) !

( t+ 1 ) !

( t ; n

2

( g) !

n

2

( g) !

( t+ 1 ) !



P a g e 5 5



56/143


D e c i s i o n r e g i o n s f o r a l l p o s s i b l e o u t c o m e s w i t h 2t

= 1 0 0 , a n d

p ( m

1

) =p ( m

2

) = 1=

2 .

n1

n2

m1

(same source)

m2

(two sources)

m2

(two sources)

5 10 15 20 25 30 35 40 45 50

5

10

15

20

25

30

35

40

45

50



P a g e 5 6



57/143

B a y e s i a n m o d e l s e l e c t i o n : A n o t h e r e x a m p l e

S e g m e n t i n g a s e q u e n c e o f b i n a r y i . i . d . o b s e r v a t i o n s :

I s t h e r e a c h a n g e o f m o d e l ? W h e r e ?

0 20 40 60 80 100 1200.2

0

0.2

0.4

0.6

0.8

1

Trials

0 20 40 60 80 100 12010

0

10

20

30

Candidate location

Log

ofBayesfactor

First segmentation

0 10 20 30 40 50 601.5

1

0.5

0

Candidate location

Log

ofBayesfa

ctor

Segmentation of left segment

0 5 10 15 20 25 30 35 40 45 501.5

1

0.5

0

Candidate location

Log

ofBayesfactor

Segmentation of right segment



P a g e 5 7



58/143

M o d e l s e l e c t i o n : S c h w a r z ' s B a y e s i a n i n f e r e n c e c r i t e r i o n ( B I C )

O f t e n , i t i s v e r y d i c u l t / i m p o s s i b l e t o c o m p u t e

p ( g j m) .

B y u s i n g a T a y l o r e x p a n s i o n o f t h e l i k e l i h o o d , a r o u n d t h e M L

e s t i m a t e , a n d f o r a \ s m o o t h e n o u g h " p r i o r , w e h a v e

p ( g j m ) ' p ( g j

b

f

(

m)

m) n

;

d i m ( f

( m )

)

2

B I C (

m )

b

f

( m )

i s t h e M L e s t i m a t e , u n d e r m o d e lm .

d i m (f

(

m)

) = \ d i m e n s i o n o ff

(

m)

u n d e r m o d e lm

" .

ni s t h e s i z e o f t h e o b s e r v a t i o n v e c t o r

g .

L e t u s a l s o l o o k a t

;l o g ( B I C (

m) ) =

;l o g

p ( g j

b

f

(

m)

m ) +

d i m (f

(

m)

)

2

l o gn



P a g e 5 8



59/143

M o d e l s e l e c t i o n : R i s s a n e n ' s m i n i m u m d e s c r i p t i o n l e n g t h

( M D L )

C o n s i d e r a n u n k n o w n

f

(

k)

o f u n k n o w n d i m e n s i o nk .

D a t a i s o b s e r v e d a c c o r d i n g t o

p ( g j f

(

k)

)

F o r e a c h

k( e a c h m o d e l ) ,

p ( f

(

k)

j k) i s c o n s t a n t

i . e . , i fk

w a s k n o w n , w e c o u l d n d t h e M L e s t i m a t e

b

f

(

k)

H o w e v e r ,

ki s u n k n o w n , a n d t h e l i k e l i h o o d i n c r e a s e s w i t h

k :

k

2

> k

1

) p ( g j

b

f

(

k

2

)

) p ( g j

b

f

(

k

1

)

)

C o n c l u s i o n : t h e M L e s t i m a t e o f

ki s : \ a s l a r g e a s p o s s i b l e "

t h i s i s c l e a r l y u s e l e s s .



P a g e 5 9



60/143

M i n i m u m d e s c r i p t i o n l e n g t h ( M D L )

F a c t ( f r o m i n f o r m a t i o n t h e o r y ) : t h e s h o r t e s t c o d e - l e n g t h f o r d a t a

g

g i v e n t h a t i t w a s g e n e r a t e d a c c o r d i n g t op ( g j f

( k )

) i s

L ( g j f

(

k)

) =;

l o g

2

p ( g j f

(

k)

) ( b i t s )

T h e n , f o r a g i v e n

k, l o o k i n g f o r t h e M L e s t i m a t e o f

f

(

k)

i s t h e s a m e

a s l o o k i n g f o r t h e c o d e f o r w h i c hg

h a s t h e s h o r t e s t c o d e - w o r d :

a r g m a x

f

( k )

p ( g j f

(

k)

) = a r g m i n

( k )

;l o g

p ( g j f

(

k)

)

= a r g m i n

f

( k )

L ( g j f

(

k)

)

I f a c o d e i s b u i l t t o t r a n s m i t

g, b a s e d o n

f

(

k)

, t h e nf

(

k)

a l s o h a s t o

b e t r a n s m i t t e d . C o n c l u s i o n : t h e t o t a l c o d e - l e n g t h i s

L ( g f

(

k)

) =L ( g j f

(

k)

) +L ( f

(

k)

)



P a g e 6 0



61/143

M i n i m u m d e s c r i p t i o n l e n g t h ( M D L ) ( c o n t . )

T h e t o t a l c o d e - l e n g t h i s

L ( g f

(

k)

) =;

l o g

2

p ( g j f

(

k)

) +L ( f

(

k)

)

T h e M D L c r i t e r i o n :

(

b

k

b

f

(

b

k)

)

M D L

= a r g m i n

k f

( k )

;l o g

2

p ( g j f

(

k)

) +L ( f

(

k)

)

B a s i c a l l y , t h e t e r m

L ( f

(

k)

) g r o w s w i t hk

c o u n t e r b a l a n c i n g t h e

b e h a v i o r o f t h e l i k e l i h o o d .

F r o m a B a y e s i a n p o i n t o f v i e w , w e h a v e a p r i o r

p ( f

(

k)

) / 2

;

L(

f

( k )

)



P a g e 6 1



62/143

M i n i m u m d e s c r i p t i o n l e n g t h ( c o n t . )

W h a t a b o u t

L ( f

(

k)

) ? I t i s p r o b l e m - d e p e n d e n t .

I f t h e c o m p o n e n t s o f

f

(

k)

a r e r e a l n u m b e r s ( a n d u n d e r c e r t a i n o t h e r

c o n d i t i o n s ) t h e ( a s y m p t o t i c a l l y ) o p t i m a l c h o i c e i s

L ( f

(

k)

) =

k

2

l o gn

w h e r en

i s t h e s i z e o f t h e d a t a v e c t o rg .

I n t e r e s t i n g l y , i n t h i s c a s e M D L c o i n c i d e s w i t h B I C .

I n o t h e r s i t u a t i o n s ( e . g . , d i s c r e t e p a r a m e t e r s ) , t h e r e a r e n a t u r a l

c h o i c e s .



P a g e 6 2



63/143

M i n i m u m d e s c r i p t i o n l e n g t h : E x a m p l e

F i t t i n g a p o l y n o m i a l o f u n k n o w n d e g r e e :f

(

k+ 1 )

c o n t a i n s t h e c o e c i e n t s

o f ak

- o r d e r p o l y n o m i a l .

O b s e r v a t i o n m o d e l :g

= \ t r u e p o l y n o m i a l p l u s w h i t e G a u s s i a n n o i s e " .

1 0.5 0 0.5 12

4

6

8

10

Order = 2

1 0.5 0 0.5 12

4

6

8

10

Order = 3

1 0.5 0 0.5 12

4

6

8

10

Order = 4

1 0.5 0 0.5 12

4

6

8

10

Order = 6

1 0.5 0 0.5 12

4

6

8

10

Order = 12

1 0.5 0 0.5 12

4

6

8

10

Order = 15

1 0.5 0 0.5 12

4

6

8

10

Order = 20

1 0.5 0 0.5 12

4

6

8

10

Order = 30



P a g e 6 3


M i n i m u m d e s c r i p t i o n l e n g t h : E x a m p l e


64/143

F i t t i n g a p o l y n o m i a l o f u n k n o w n d e g r e e .

;l o g

p ( g j f

(

k)

) k e e p s g o i n g d o w n , b u t M D L p i c k s t h e r i g h t o r d e r

b

k= 4 .

0 2 4 6 8 10 12 14 16 18 200.2

0.4

0.6

0.8

1

1.2

Polynomial order

loglikeliho

od

0 2 4 6 8 10 12 14 16 18 2030

20

10

0

10

Polynomial order

Descriptionlength



P a g e 6 4



65/143

I n t r o d u c t i o n t o M a r k o v R a n d o m F i e l d s

I m a g e a n a l y s i s p r o b l e m s

,c o m p o u n d i n f e r e n c e p r o b l e m s .

P r i o r

p ( f) f o r m a l i z e s e x p e c t e d j o i n t b e h a v i o r o f e l e m e n t s o f

f .

M a r k o v r a n d o m e l d s : a c o n v e n i e n t t o o l t o w r i t e p r i o r s f o r i m a g e

a n a l y s i s p r o b l e m s .

J u s t a s M a r k o v r a n d o m p r o c e s s e s f o r m a l i z e t e m p o r a l

e v o l u t i o n s / d e p e n d e n c i e s .



P a g e 6 5



66/143

G r a p h s a n d r a n d o m e l d s o n g r a p h s .

B a s i c g r a p h - t h e o r e t i c c o n c e p t s

Ag r a p h

G= (

N E) i s a c o l l e c t i o n o f n o d e s ( o r v e r t i c e s

)

N = f n

1

n

2

: : : n

j

Nj

g

a n d e d g e sE = f ( n

i

1

n

i

2

) : : :

( n

i

2 j E j ; 1

n

i

2 j E j

)g

N N .

N o t a t i o n :j N j

= n u m b e r o f e l e m e n t s o f s e tN .

W e c o n s i d e r o n l y u n d i r e c t e d g r a p h s , i . e . , t h e e l e m e n t s o f

Ea r e s e e n

a s u n o r d e r e d p a i r s : (n

i

n

j

) ( n

j

n

i

) .

T w o n o d e s

n

1

, n

2

2 Na r e n e i g h b o r s i f t h e c o r r e s p o n d i n g e d g e

e x i s t s , i . e . , i f (n

1

n

2

) 2 E .



P a g e 6 6



67/143


B a s i c g r a p h - t h e o r e t i c c o n c e p t s ( c o n t . )

A c o m p l e t e g r a p h : a l l n o d e s a r e n e i g h b o r s o f a l l o t h e r n o d e s .

A n o d e i s n o t n e i g h b o r o f i t s e l f n o (

n

i

n

i

) e d g e s a r e a l l o w e d .

N e i g h b o r h o o d o f a n o d e :

N ( n

i

) =f n

j

: (n

i

n

j

) 2 E g .

T h e n e i g h b o r h o o d r e l a t i o n i s s y m m e t r i c a l :

n

j

2 N ( n

i

) , n

i

2 N ( n

j

)



P a g e 6 7



68/143


E x a m p l e o f a g r a p h :

'&%$!"#1 '&%$!"#2

'&%$!"#3

'&%$!"#4

'&%$!"#5

'&%$!"#6

N = f 1 2 3 4 5 6 g

E = f( 1

2 )

( 1

3 )

( 2

4 )

( 2

5 )

( 3

6 )

( 5

6 )

( 3

4 )

( 4

5 ) g

N N

N( 1 ) =

f 2 3 g , N( 2 ) =

f 1 4 5 g , N( 3 ) =

f 1 4 6 g, e t c . . .



P a g e 6 8



69/143


C l i q u e o f

Gi s e i t h e r a s i n g l e n o d e o r a c o m p l e t e s u b g r a p h o f

G .

I n o t h e r w o r d s , a s i n g l e n o d e o r a s u b s e t o f n o d e s t h a t a r e a l l

m u t u a l n e i g h b o r s .

E x a m p l e s o f c l i q u e s f r o m t h e p r e v i o u s g r a p h

'&%$!"#1 '&%$!"#2

'&%$!"#3

'&%$!"#3

'&%$!"#4

'&%$!"#5

S e t o f a l l c l i q u e s ( f r o m t h e s a m e e x a m p l e ) :

C = N E f ( 2

4 5 )

g



P a g e 6 9



70/143


A l e n g t h -

kp a t h i n

Gi s a n o r d e r e d s e q u e n c e o f n o d e s , (

n

1

n

2

: : : n

k

) ,

s u c h t h a t (n

j

n

j + 1

) 2 E .

E x a m p l e : a g r a p h a n d a l e n g t h - 4 p a t h .

'&%$!"#1

'&%$!"#2

'&%$!"#2

'&%$!"#3

'&%$!"#

4

'&%$!"#

5

'&%$!"#3

'&%$!"#4

'&%$!"#

5

'&%$!"#6



P a g e 7 0




71/143

L e t

A , B , Cb e t h r e e d i s j o i n t s u b s e t s o f

N .

W e s a y t h a t

Cs e p a r a t e s

Af r o m

Bi f a n y p a t h f r o m a n o d e i n

At o

a n o d e i nB

c o n t a i n s o n e ( o r m o r e ) n o d e i nC .

E x a m p l e , i n t h e g r a p h

'&%$!"#1

'&%$!"#2

'&%$!"#3

'&%$!"#

4

'&%$!"#

5

'&%$!"#6

C = f 1 4 6 gs e p a r a t e s

A = f 3 gf r o m

B = f 2 5 g



P a g e 7 1




72/143

C o n s i d e r a j o i n t p r o b a b i l i t y f u n c t i o n

p ( f) =

p ( f

1

f

2

: : : f

m

) . .

A s s i g n e a c h v a r i a b l e t o a n o d e o f a g r a p h ,

N = f 1 2 : : : m

g .

W e h a v e \ r a n d o m e l d o n g r a p hN

" .

L e t

f

A

, f

B

, f

C

b e t h r e e d i s j o i n t s u b s e t s o fF

( i . e . ,A , B

, a n dC

a r e

d i s j o i n t s u b s e t s o fN

. I f

p ( f

A

f

B

j f

C

) =p ( f

A

j f

C

) p ( f

B

j f

C

) ( \ Cs e p a r a t e s

Af r o m

B" .

\ p( ) i s g l o b a l M a r k o v " w i t h r e s p e c t t o

N. T h e g r a p h i s c a l l e d a n

\ I- m a p " o f

p ( f )

A n y

p ( f) i s \ g l o b a l M a r k o v " w i t h r e s p e c t t o t h e c o m p l e t e g r a p h .

I f r a t h e r t h a n

(, w e h a v e

,, t h e g r a p h i s c a l l e d a \ p e r f e c t

I- m a p " .



P a g e 7 2




73/143

P a i r - w i s e M a r k o v i a n i t y .

P a i r - w i s e M a r k o v i a n i t y :

(i j

) 62 E ) \ f

i

a n df

j

a r e

i n d e p e n d e n t , w h e n c o n d i t i o n e d o n a l l t h e o t h e r v a r i a b l e s " .

P r o o f : s i m p l y n o t i c e t h a t i fi

a n dj

a r e n o t n e i g h b o r s , t h e

r e m a i n i n g n o d e s s e p a r a t ei

f r o mj .

E x a m p l e : i n t h e f o l l o w i n g g r a p h ,

p ( f

1

f

6

j f

2

f

3

f

4

f

5

) =p ( f

1

j f

2

f

3

f

4

f

5

) p ( f

6

j f

2

f

3

f

4

f

5

) .

76540123'&%$!"#f

1

76540123f

2

76540123f 3

}}}}}}}}}

76540123f 4

}}}}}}}}}

76540123f 5

76540123'&%$!"#f

6

}}}}}}}}}



P a g e 7 3


L o c a l M a r k o v i a n i t y .


74/143

L o c a l M a r k o v i a n i t y :

p ( f

i

f

N = ( f i g N ( i ) )

j f

N ( i )

) =p ( f

i

j f

N ( i )

) p ( f

N = ( f i g N ( i ) )

j f

N ( i )

)

\ g i v e n i t s n e i g h b o r h o o d , a v a r i a b l e i s i n d e p e n d e n t o n t h e r e s t " .

P r o o f : N o t i c e t h a tN ( f

i

) s e p a r a t e sf

i

f r o m t h e r e s t o f t h e g r a p h .

E q u i v a l e n t f o r m ( b e t t e r k n o w n i n t h e M R F l i t e r a t u r e ) :

p ( f

i

j f

N =f

ig

) =p ( f

i

j f

N(

i)

)

P r o o f : d i v i d e t h e a b o v e e q u a l i t y b yp ( f

N =( f

ig

N(

i) )

j f

N(

i)

) :

p ( f

i

f

N =( f

ig

N(

i) )

j f

N(

i)

)

p ( f

N =( f

ig

N(

i) )

j f

N(

i)

)

= p ( f

i

j f

N ( i )

)

p ( f

i

j f

N =f

ig

) =p ( f

i

j f

N(

i)

)

b e c a u s e N = ( f i

g N ( i

) ) ] N ( i

) =N = f i g .



P a g e 7 4


H a m m e r s l e y - C l i f o r d t h e o r e m


75/143

C o n s i d e r a r a n d o m e l dF

o n a g r a p hN

, s u c h t h a tp ( f ) >

0 .

a ) I f t h e e l dF

h a s t h e l o c a l M a r k o v p r o p e r t y , t h e np ( f

) c a n b e w r i t t e n

a s a G i b b s d i s t r i b u t i o n

p ( f) =

1

Z

e x p

(

;

X

C2 C

V

C

( f

C

)

)

w h e r eZ

, t h e n o r m a l i z i n g c o n s t a n t , i s c a l l e d t h e p a r t i t i o n f u n c t i o n.

T h e f u n c t i o n sV

C

( ) a r e c a l l e d c l i q u e p o t e n t i a l s . T h e n e g a t i v e o f t h e

e x p o n e n t i s c a l l e d e n e r g y.

b ) I fp ( f

) c a n b e w r i t t e n i n G i b b s f o r m f o r t h e c l i q u e s o f s o m e g r a p h ,

t h e n i t h a s t h e g l o b a l M a r k o v p r o p e r t y .

F u n d a m e n t a l c o n s e q u e n c e : a M a r k o v r a n d o m e l d c a n b e s p e c i e d v i a

t h e c l i q u e p o t e n t i a l s .



P a g e 7 5



76/143

H a m m e r s l e y - C l i f o r d t h e o r e m ( c o n t . )

C o m p u t i n g t h e l o c a l M a r k o v i a n c o n d i t i o n a l s f r o m t h e c l i q u e

p o t e n t i a l s

p ( f

i

j f

N(

i)

) =

1

Z ( f

N(

i)

)

e x p

(

;

X

C:

i2

C

V

C

( f

C

)

)

N o t i c e t h a t t h e n o r m a l i z i n g c o n s t a n t m a y d e p e n d o n t h e

n e i g h b o r h o o d s t a t e .



P a g e 7 6



77/143

R e g u l a r r e c t a n g u l a r l a t t i c e s

L e t u s n o w f o c u s o n r e g u l a r r e c t a n g u l a r l a t t i c e s

.

N = f (i j

) i = 1 : : : M j = 1 : : : N

g

A h i e r a r c h y n e i g h b o r h o o d s y s t e m s :

N

0

(i j ) = f g , z e r o - o r d e r ( e m p t y n e i g h b o r h o o d s )

N

1

(i j ) =

f (k l

) ( i ; k )

2

+ (j ; l )

2

1 g, o r d e r - 1 ( 4 n e a r e s t

n e i g h b o r s )

N

2

(i j ) =

f (k l

) ( i ; k )

2

+ (j ; l )

2

2 g, o r d e r - 2 ( 8 n e a r e s t

n e i g h b o r s )

e t c . . .



P a g e 7 7




78/143

I l l u s t r a t i o n o f r s t o r d e r n e i g h b o r h o o d s y s t e m :

i; 1 j ; 1

i; 1 j i ; 1 j + 1

i j ; 1 i j 1 j + 1

i+ 1 j ; 1

i+ 1 j i + 1 j + 1

N

1

(i j ) =

f(

i; 1 j )

( i j ; 1 )

( i j + 1 )

(

i+ 1 j )

g( 4 n e a r e s t n e i g h b o r s ) .



P a g e 7 8




79/143

I l l u s t r a t i o n o f s e c o n d o r d e r n e i g h b o r h o o d s y s t e m :

i; 1 j ; 1

ssss

sssss

i; 1 j

ssss

sssss

i; 1 j + 1

i j ; 1

ssssss

sss

i j

sssss

ssss

1 j + 1

i+ 1 j ; 1

i+ 1 j

i+ 1 j + 1

N

2

(i j ) =

f(

i; 1 j ; 1 )

(

i; 1 j )

(

i; 1 j + 1 )

( i j ; 1 )

( i j + 1 )

(

i+ 1 j ; 1 )

(

i+ 1 j )

(

i+ 1 j + 1 )

g

( 8 n e a r e s t n e i g h b o r s ) .



P a g e 7 9



80/143


C l i q u e s o f a r s t o r d e r n e i g h b o r h o o d s y s t e m : a l l s i n g l e n o d e s p l u s a l l

s u b g r a p h s o f t h e t y p e s

i; 1 j

i j ; 1 i j i j

N o t a t i o n :

C

k

= \ s e t o f a l l c l i q u e s f o r t h e o r d e r -k

n e i g h b o r h o o d s y s t e m " .



P a g e 8 0




81/143

C l i q u e s o f a s e c o n d o r d e r n e i g h b o r h o o d :C

1

p l u s a l l s u b g r a p h s o f t h e

t y p e s

i; 1 j i ; 1 j

qqqq

qqqq

i j ; 1

i j i j i j + 1i

; 1 j ; 1

ssss

sss

ssi

; 1 j

i j; 1

qqqq

qqqq

i j i j i j+ 1

i j; 1

i j

i+ 1 j i + 1 j



P a g e 8 1



82/143

A u t o - m o d e l s

O n l y p a i r - w i s e i n t e r a c t i o n s .

I n t e r m s o f c l i q u e p o t e n t i a l s :

j C j > 2 ) V

C

( ) = 0 .

T h e s e a r e t h e s i m p l e s m o d e l s , b e y o n d s i t e i n d e p e n d e n c e .

E v e n f o r l a r g e n e i g h b o r h o o d s , w e c a n d e n e a n a u t o - m o d e l .



P a g e 8 2


G a u s s - M a r k o v R a n d o m F i e l d s ( G M R F )


83/143

J o i n t p r o b a b i l i t y d e n s i t y f u n c t i o n ( f o r z e r o m e a n )

p ( f) =

p

d e t (A )

( 2 )

m = 2

e x p

;

1

2

f

T

A f

T h e q u a d r a t i c f o r m i n t h e e x p o n e n t c a n b e w r i t t e n a s

f

T

A f=

m

X

i= 1

m

X

j= 1

f

i

f

j

A

i j

r e v e a l i n g t h a t t h i s i s a n a u t o - m o d e l ( t h e r e a r e o n l y p a i r - w i s e t e r m s ) .

M a t r i x

A( t h e p o t e n t i a l m a t r i x , i n v e r s e o f t h e c o v a r i a n c e m a t r i x )

d e t e r m i n e s t h e n e i g h b o r h o o d s y s t e m :

i 2 N ( j ) , A

i j

6= 0



P a g e 8 3



84/143

N o t i c e t h a t t o b e a v a l i d p o t e n t i a l m a t r i x ,A

h a s t o b e s y m m e t r i c ,

t h u s r e s p e c t i n g t h e s y m m e t r y o f n e i g h b o r h o o d r e l a t i o n s .

M a r i o A . T . F i g u e i

Date post:	05-Apr-2018
Category:	Documents
Upload:	telnet2
View:	232 times
Download:	0 times

Bayesian and Markov Random Fields

Documents