8/8/2019 Approximating Markov Chains

1/5

P r o c . N a t i . A c a d . S c i . USAV o l . 8 9 , p p . 4 4 3 2 - 4 4 3 6 , May 1 9 9 2M a t h e m a t i c s

A p p r o x i m a t i n g Markov c h a i n s( s t o c h a s t i c p r o c e s s e s / d y n a m i c a l s y s t e m s / t u r b u l e n c e / w e a k c o n v e r g e n c e / a p p r o x i m a t e e n t r o p y )

S T E V E N M . P I N C U S9 9 0 M o o s e H i l l R o a d , G u i l f o r d , CT 0 6 4 3 7C o m m u n i c a t e d b y P e t e r D . L a x , J a n u a r y 2 4 , 1 9 9 2ABSTRACT A common f r a m e w o r k o f f i i t e s t a t e a p p r o x -i m a t i n g M a r k o v c h a i n s i s d e v e l o p e d f o r d i s c r e t e t i m e d e t e r -m i n i s t i c a n d s t o c h a s t i c p r o c e s s e s . Two t y p e s o f a p p r o x i m a t i n gc h a i n s a r e i n t r o d u c e d : ( i ) t h o s e b a s e d o n s t a t i o n a r y c o n d i t i o n a lp r o b a b i l i t i e s ( t i m e a v e r a g i n g ) a n d ( i i ) t r a n s i e n t , b a s e d o n t h ep e r c e n t a g e o f t h e L e b e s g u e m e a s u r e o f t h e i m a g e o f c e l l si n t e r s e c t i n g a n y g i v e n c e l l . F o r g e n e r a l d y n a m i c a l s y s t e m s ,s t a t i o n a r y m e a s u r e s f o r b o t h a p p r o x i m a t i n g c h a i n s c o n v e r g ew e a k l y t o s t a t i o n a r y m e a s u r e s f o r t h e t r u e p r o c e s s a s p a r t i t i o nw i d t h c o n v e r g e s t o 0 . F r o m g o v e r n i n g e q u a t i o n s , t r a n i e n tc h a i n s a n d r e s u l t a n t a p p r o x i m a t i o n s o f a l l n - t i m e u n i t p r o b a -b i l i t i e s c a n b e c o m p u t e d a n a l y t i c a l l y , d e s p i t e t y p i c a l l y s i n g u l a rt r u e - p r o c e s s s t a t i o n a r y m e a s u r e s ( n o d e n s i t y f u n c t i o n ) . T r a n -s i t i o n p r o b a b i l i t i e s b e t w e e n c e l l s a c c o u n t e x p l i c i t l y f o r c o r r e -l a t i o n b e t w e e n s u c c e s s i v e t i m e i n c r e m e n t s . F o r d y n a m i c a ls y s t e m s d e f i n e d b y u n i f o r m l y c o n v e r g e n t m a p s o n a c o m p a c ts e t ( e . g . , l o g i s t i c , H e n o n m a p s ) , t h e r e a l s o i s w e a k c o n t i n u i t yw i t h a c o n t r o l p a r a m e t e r . T h u s a l l m o m e n t s a r e c o n t i n u o u sw i t h p a r a m e t e r c h a n g e , a c r o s s b i f u r c a t i o n s a n d c h a o t i c r e -g i m e s . A p p r o x i m a t e e n t r o p y i s s e e n a s t h e i n f o r m a t i o n -t h e o r e t i c r a t e o f e n t r o p y f o r a p p r o x i m a t i n g M a r k o v c h a i n s a n di s s u g g e s t e d a s a p a r a m e t e r f o r t u r b u l e n c e ; a d i s c o n t i n u i t y i nt h e K o i m o g o r o v - S i n a i e n t r o p y i m p l i e s t h a t i n t h e p h y s i c a lw o r l d , s o m e m e a s u r e o f c o a r s e g r a i n i n g i n a m i x i n g p a r a m e t e ri s r e q u i r e d .I a i m t o d e v e l o p a f r a m e w o r k o f f i n i t e s t a t e s p a c e a p p r o x i -m a t i n g ( m , r ) M a r k o v c h a i n s f o r d i s c r e t e - t i m e s t o c h a s t i c a n dd e t e r m i n i s t i c p r o c e s s e s . T h e m o t i v a t i o n d e r i v e s f r o m n e e d s :( i ) t o a s s e s s c l a i m s o f d e t e r m i n i s t i c c h a o s , f r o m t i m e - s e r i e sa n a l y s i s ; ( i i ) t o p r o d u c e a t r a c t a b l e , g e n e r a l p r o c e d u r e f o r" s o l v i n g " s t o c h a s t i c a n d d e t e r m i n i s t i c d i f f e r e n c e e q u a t i o n s ;a n d ( i i i ) t o a d d r e s s m e a n i n g f u l q u e s t i o n s f o r d y n a m i c a ls y s t e m s w h e r e t h e r e i s s e n s i t i v i t y t o i n i t i a l c o n d i t i o n s .I n m a n y r e p o r t s o f c h a o s ( e . g . , r e f s . 1 a n d 2 ) , i t a p p e a r s t h a ti n v e s t i g a t o r s may b e o b s e r v i n g a c o r r e l a t e d , p o s s i b l y s t o -c h a s t i c p r o c e s s w i t h a s t a t i o n a r y m e a s u r e . To e v a l u a t ep a r a d i g m s o t h e r t h a n c h a o t i c p r o c e s s e s a n d i n d e p e n d e n t ,i d e n t i c a l l y d i s t r i b u t e d r a n d o m v a r i a b l e s a s c a n d i d a t e m o d e l sf o r d a t a , we n e e d f i r s t t o a s s e s s t h e b e h a v i o r o f c o n t i n u o u s -s t a t e p r o c e s s e s , o n a p a r t i t i o n , i n a s t a t i s t i c a l l y v a l i d m a n n e r .P r o c e s s a p p r o x i m a t i o n b y a l o w - o r d e r M a r k o v c h a i n o n ac o a r s e p a r t i t i o n w i l l p r o v i d e t h i s v a l i d i t y . S e c o n d , f o r b o t hs t o c h a s t i c a n d d e t e r m i n i s t i c d i f f e r e n t i a l e q u a t i o n s , a n a l y t i cs o l u t i o n t e c h n i q u e s a r e o f t e n n o n e x i s t e n t , s o t h e u t i l i t y o f af a m i l y o f e a s i l y s o l v e d a p p r o x i m a t i n g p r o c e s s e s , c o n v e r g i n gt o a t r u e s o l u t i o n , i s a p p a r e n t . F o r m a l l y , m t h - o r d e r d i f f e r -e n c e e q u a t i o n s a r e m t h - o r d e r M a r k o v p r o c e s s e s , c o n t i n u o u s -s t a t e s p a c e . T h e i d e a h e r e i s t o a p p r o x i m a t e t h e s e s y s t e m s b ym t h - o r d e r d i s c r e t e - s t a t e s p a c e M a r k o v c h a i n s , w h i c h a r ew e l l u n d e r s t o o d , w i t h s t r a i g h t f o r w a r d p r o c e d u r e s t o c a l c u -l a t e s t a t i o n a r y m e a s u r e s a n d r a t e s o f c o n v e r g e n c e t o s t e a d ys t a t e . T h i r d , i f a d y n a m i c a l s y s t e m o r d i f f e r e n t i a l e q u a t i o n i s

s e n s i t i v e t o i n i t i a l c o n d i t i o n s , a t r a n s i e n t c a l c u l a t i o n i s i n a p -p r o p r i a t e , s i n c e t w o a r b i t r a r i l y c l o s e i n i t i a l c o n d i t i o n s c a np r o d u c e d i v e r g e n t o r b i t s . A l s o , s t e a d y - s t a t e p r o b a b i l i t i e s d on o t t e l l t h e w h o l e s t o r y , i g n o r i n g c o r r e l a t i o n b e t w e e n v a l u e sa t s u c c e s s i v e t i m e p o i n t s .F o r d e t e r m i n i s t i c d i f f e r e n t i a l e q u a t i o n s , t h e a p p r o x i m a t -i n g - c h a i n a p p r o a c h c o n t r a s t s f u n d a m e n t a l l y w i t h c l a s s i c a ls o l u t i o n m e t h o d s ( 3 , 4 ) . F o r a f i n i t e - d i f f e r e n c e a p p r o x i m a -t i o n , o n e s o l v e s f o r g r i d v a l u e s a t t i m e t + A t , d e t e r m i n i s t i -c a l l y , i n t e r m s o f g r i d v a l u e s a t t i m e t , A t , t h e m e s h d i m e n -s i o n s , a n d n o n l i n e a r d i f f e r e n t i a l o p e r a t o r s ; i n t h e p r e s e n ta p p r o a c h , g r i d v a l u e s a t t i m e t + A t a r e p r o b a b i l i s t i c a l l ys p e c i f i e d f r o m t h e a f o r e m e n t i o n e d d a t a . A n t i c i p a t e d a d v a n -t a g e s h e r e a r e t h a t a p p r o x i m a t i n g M a r k o v c h a i n s w i l l ( i )p r o v i d e a p r o b a b i l i s t i c a n a l o g u e o f a t r a n s i e n t s o l u t i o n ; ( i i )a c c o u n t e x p l i c i t l y f o r c o r r e l a t i o n b e t w e e n s u c c e s s i v e t i m ei n c r e m e n t s ; a n d ( i i i ) h a v e n i c e " s t a b i l i t y " p r o p e r t i e s , f o rc l a s s i c a l l y u n s t a b l e p r o c e s s e s , i n t h a t s t a t i o n a r y m e a s u r e s f o rt h e s e M a r k o v c h a i n s w i l l b e w e a k l y c o n t i n u o u s w i t h p e r t u r -b a t i o n s .T h e a p p r o x i m a t i n g ( m , r ) M a r k o v c h a i n s w i l l b e g i v e n b ye x p l i c i t t r a n s i t i o n m a t r i c e s , w i t h t h e e l e m e n t s p V w e l l - d e f i n e da p p r o x i m a t i o n s o f l o c a l - p r o c e s s b e h a v i o r . O n e c a n t h e nc a l c u l a t e t h e s t a t i o n a r y m e a s u r e { i r j f o r t h e a p p r o x i m a t i n gc h a i n , a n d u s e t h e p a r a m e t e r s { p u } a n d { i r i } i n a v a r i e t y o fw a y s - e . g . , ( i ) t o e s t a b l i s h t h a t t w o p r o c e s s e s a r e d i f f e r e n t ,b y e s t a b l i s h i n g t h a t t h e i r r e s p e c t i v e a p p r o x i m a t i n g c h a i n s a r ed i f f e r e n t , a n d ( i i ) t o e s t i m a t e t r u e p r o c e s s p a r a m e t e r s b yr e l a t e d p a r a m e t e r s f o r t h e a p p r o x i m a t i n g c h a i n . G r e a t e ra p p r o x i m a t i o n a c c u r a c y ( l a r g e r m a n d s m a l l e r r ) r e q u i r e sg r e a t e r d a t a i n p u t , i n t h e s p i r i t o f a n a l o g o u s r e q u i r e m e n t s f o rT a y l o r a n d F o u r i e r s e r i e s .A p p r o x i m a t i n g M a r k o v C h a i n s a n d R e l a t e d P a r a m e t e r sF o r d e t e r m i n i s t i c a n d s t o c h a s t i c d i s c r e t e - t i m e p r o c e s s e s ,s u p p o r t o n s o m e i n t e r v a l [ A , B ] , I d e f i n e a p p r o x i m a t i n g ( m ,r ) M a r k o v c h a i n s . T h e s e c h a i n s a r e m t h - o r d e r , s t a t e s p a c e { A+ r / 2 , A + 3 r / 2 , . . . , B - r / 2 } . We a s s u m e e q u i l i b r i u m( s t a t i o n a r y ) b e h a v i o r t h r o u g h o u t m o s t o f t h i s d i s c u s s i o n .R e c a l l t h e f o l l o w i n g . D e f i n i t i o n 1 : T h e M a r k o v c h a i n ( o rp r o c e s s ) { X " } i s o f o r d e r m i f t h e c o n d i t i o n a l p r o b a b i l i t y P { X , ,E A n X k = a k , k < n } i s i n d e p e n d e n t o f t h e v a l u e s a k f o r k< n - m.D e f i n i t i o n 2 : F o r a s t a t i o n a r y d i s c r e t e t i m e , c o n t i n u o u ss t a t e - s p a c e s t o c h a s t i c p r o c e s s , w i t h A - X n - B a l m o s ts u r e l y , d e f i n e a n a p p r o x i m a t i n g ( m , r , A , B ) M a r k o v c h a i n a sf o l l o w s : ( a ) D i v i d e [ A , B ] i n t o ( B - A ) / r c e l l s ; t h e i t h c e l l C ( i )= [ x , x + r ) , w h e r e x = A + ( i - 1 ) r ; ( b ) d e f i n e m i d ( i ) = A+ ( i - 1 ) r + r / 2 ; ( c ) d e f i n e P i v e t j f o r a l l l e n g t h m v e c t o r s o fi n t e g e r s i v e c t a n d i n t e g e r s j , i v e c t = ( i l . i 2 , * * , i m ) , 1 < i t k( B - A ) / r f o r a l l k , 1 c j c ( B - A ) / r . P i v e c t j = { c o n d i t i o n a lp r o b a b i l i t y t h a t X k E C Q j ) , g i v e n t h a t Xkl E C ( i U ) , X k - 2 EC ( i 2 ) , . . . , a n d X k - m E C ( i m ) } . By s t a t i o n a r i t y , t h i s p r o b a -b i l i t y i s c o n s t a n t f o r a l l k . When p r o b a b i l i t y { X k l E C ( i U ) ,A b b r e v i a t i o n : ApEn, a p p r o x i m a t e e n t r o p y .

4 4 3 2

T h e p u b l i c a t i o n c o s t s o f t h i s a r t i c l e w e r e d e f r a y e d i n p a r t b y p a g e c h a r g ep a y m e n t . T h i s a r t i c l e m u s t t h e r e f o r e b e h e r e b y m a r k e d " a d v e r t i s e m e n t "i n a c c o r d a n c e w i th 1 8 U . S . C . 1 7 3 4 s o l e l y t o i n d i c a t e t h i s f a c t .

8/8/2019 Approximating Markov Chains

2/5

P r o c . N a t l . A c a d . S c i . USA 8 9 ( 1 9 9 2 ) 4 4 3 3X k - 2 E C ( i 2 ) , . . , a n d X k m E C ( i m ) } = 0 , d e f i n e P i v e c t j =0 ; a n d ( d ) d e f i n e t h e a p p r o x i m a t i n g ( m , r , A , B ) M a r k o v c h a i nY i a s a n m t h - o r d e r c h a i n , s t a t e s p a c e { m i d ( i ) } , b y t h e a b o v et r a n s i t i o n p r o b a b i l i t i e s : P { Y k = m i d ( j ) I I Y k l = m i d ( i l ) , . . . ,a n d Y k - m = m i d ( i m ) } : = P { X k E C ( j ) I l X k - l E C ( i l ) , . . , a n dX k - m E C ( i m ) } .I n i n s t a n c e s i n w h i c h A a n d B a r e t a c i t l y s e t , I r e f e r t o t h ea b o v e a s a p p r o x i m a t i n g ( m , r ) M a r k o v c h a i n s a n d m a k e a na n a l o g o u s d e f i n i t i o n f o r d e t e r m i n i s t i c p r o c e s s e s . F i r s t , weh a v e t h e f o l l o w i n g .D e f i n i t i o n 3 : A d e t e r m i n i s t i c p r o c e s s { X " } i s o f o r d e r m i ff o r a l l n , X n = f ( X n 1 , X n 2 -. 2 . . , w i t h f a s i n g l e -v a l u e d f u n c t i o n .S u c h p r o c e s s e s a r i s e , e . g . , i n e x p l i c i t t i m e - s t e p a p p r o x i -m a t i o n s t o m t h - o r d e r d i f f e r e n t i a l e q u a t i o n s . F o r t h e n e x td e f i n i t i o n , a s t a t i o n a r y p r o c e s s i s r e q u i r e d , w h i c h we f o r m a sf o l l o w s . S t e p A : f o r a n o r d e r m d e t e r m i n i s t i c p r o c e s s , a s s i g n{ X 1 , X 2 , . . . . , X m } t o h a v e a j o i n t p r o b a b i l i t y d i s t r i b u t i o ng i v e n b y a ( s e l e c t e d ) s t a t i o n a r y m e a s u r e f o r f . S t e p B : f o r a l lk > m, d e f i n e X k = f ( X k l , X k - 2 , . . . . , X k m ) . { X n j i s t h e n as t a t i o n a r y s t o c h a s t i c p r o c e s s . We t y p i c a l l y a r e i n t e r e s t e d i nt h e p h y s i c a l ( K o l m o g o r o v ) s t a t i o n a r y m e a s u r e ( r e f . 5 , p . 6 2 6 )f o r f . F o r a w i d e c l a s s o f d e t e r m i n i s t i c p r o c e s s e s , t h i sm e a s u r e i s u n i q u e , g i v e n b y w e l l - d e f i n e d t i m e a v e r a g e s .D e f i n i t i o n 4 : F o r a d e t e r m i n i s t i c p r o c e s s o f o r d e r m , w i t ha p r e s e l e c t e d s t a t i o n a r y m e a s u r e a n d w i t h A ' X i ' B . d e f i n ea n a p p r o x i m a t i n g ( m i , r , A , B ) M a r k o v c h a i n b y ( i ) f o r m i n g a na s s o c i a t e d s t a t i o n a r y s t o c h a s t i c p r o c e s s b y u s i n g s t e p s A a n dB a n d t h e n ( i i ) a p p l y i n g D e f i n i t i o n 2 .I a l s o c o n s i d e r a n a l t e r n a t i v e M a r k o v c h a i n a p p r o x i m a t i o nt o a d e t e r m i n i s t i c map f . T h i s t r a n s i e n t c h a i n c a n b e c a l c u -l a t e d a n a l y t i c a l l y f r o m f , w i t h o u t k n o w l e d g e o f t h e s t a t i o n a r ym e a s u r e . T r a n s i t i o n p r o b a b i l i t i e s a r e d e f i n e d b y t h e f r a c t i o no f t h e L e b e s g u e m e a s u r e o f t h e i m a g e o f t h e c o n d i t i o n i n g s e tt h a t i n t e r s e c t s a g i v e n i n t e r v a l . We a s s u m e t h r o u g h o u t t h em i n i m a l r e s t r i c t i o n o n f t h a t t h e r e e x i s t s n o c o l l e c t i o n o f c e l l so n w h i c h f i s c o n s t a n t . T h i s e n s u r e s n o n z e r o d e n o m i n a t o r sa n d h e n c e w e l l - d e f i n e d p i v e t j ' s , i n t h e f o l l o w i n g .D e f i n i t i o n 5 : A t r a n s i e n t ( m , r , A , B ) M a r k o v c h a i n f o r ad e t e r m i n i s t i c map f o f o r d e r m i s d e f i n e d o n t h e s a m e s t a t es p a c e a s f o r D e f i n i t i o n s 2 a n d 4 . T h e t e r m i n o l o g y a n dd e f i n i t i o n s ( 2 a , 2 b , a n d 2 d ) a p p l y b u t t h e c o n d i t i o n a l p r o b -a b i l i t i e s a r e f o r m e d d i f f e r e n t l y : ( c ) P i v e c t j = A ( C ( j ) n f ( c ( i l )C ( i 2 ) , . . . , C ( i m ) ) ) 3 / A ~ f ( C ( Q i ) , C ( i 2 ) , . . . . i( m ) ) ) , w h e r e A i st h e L e b e s g u e m e a s u r e o n R .D e f i n i t i o n 6 : A p p r o x i m a t e e n t r o p y ( A p E n ) i s d e f i n e d a sf o l l o w s . F i x r > 0 a n d ma p o s i t i v e i n t e g e r . G i v e n a r e a l i z a t i o n{ x , } o f a p r o c e s s { X , } , d e f i n e v i = ( x i , x i + , . . . , x i + , _ , ) . D e f i n eC 7 ' ( r ) : = ( n u m b e r o f 1 c j c N - m + 1 s u c h t h a t d [ v i , v j ]c r ) / ( N - m + 1 ) , w h e r e we d e f i n e d [ v i , v j ] = m a x k = 1 , 2 , . . .( l X i + k - 1 - X j + k - 1 I ) . D e f i n e F " ' ( r ) = ( N - m + 1 ) - 1 X N - m + ll o g C , ( r ) , a n d i f i t e x i s t s a l m o s t s u r e l y , A p E n ( m , r ) = l i m N . x[ " M ( r ) - ( D m + 1 ( r ) ] .ApEn h a s b e e n d e v e l o p e d a s a n e f f i c i e n t p a r a m e t e r o fc o m p l e x i t y , w i t h b o t h t h e o r e t i c a l ( 6 ) a n d c l i n i c a l u t i l i t y

( 8 - 1 1 ) d e m o n s t r a t e d f o r 1 0 0 0 d a t a p o i n t s . S i n c e i t i s g e n e r a l l yf i n i t e , A p E n p r o v i d e s t h e c a p a c i t y t o d i s t i n g u i s h many p r o -c e s s e s t h a t K o l m o g o r o v - S i n a i e n t r o p y c a n n o t d i s t i n g u i s h( 6 ) , i n c l u d i n g c o r r e l a t e d s t a t i o n a r y s t o c h a s t i c p r o c e s s e s .S i n c e a n m t h - o r d e r M a r k o v c h a i n i s a f i r s t - o r d e r c h a i n ,s u i t a b l y r e c a s t , t h e o r e m 3 o f r e f . 6 c a n b e a p p l i e d t o a p p r o x -i m a t i n g ( m , r ) M a r k o v c h a i n s . L e t : = { m i d ( i ) } , i = 1 , . . .( B - A ) / r . D e f i n e r , : = { a l l s e q u e n c e s o f v e c t o r s ( i l , i 2 , . . . .i m ) w i t h i k E i r f o r e a c h k } . We t h e n i m m e d i a t e l y d e d u c eT h e o r e m 1 ; i n t h i s d i s c r e t e s e t t i n g , t h e r i g h t - h a n d s i d e o f E q .1 i s w e l l - k n o w n t o i n f o r m a t i o n t h e o r i s t s a s t h e e n t r o p y r a t e .THEOREM 1 . F o r a n a p p r o x i m a t i n g ( m , r , A , B ) M a r k o vc h a i n w i t h s < r , a l m o s t s u r e l yA p E n ( m , s ) = - X ' i r ( i v e c t ) p i v e c t j l o g ( p i v e c t j ) t 1 ]i v e c t E r j i e r

w h e r e i r i s a s t a t i o n a r y m e a s u r e f o r t h i s M a r k o v c h a i n .E x a m p l e 1-An ( m , r ) a p p r o x i m a t i n g c h a i n f o r i n d e p e n -d e n t , i d e n t i c a l l y d i s t r i b u t e d u n i f o r m r a n d o m v a r i a b l e s { X , } o n[ 0 , 1 ] : T h e s t a t e s p a c e r = { r / 2 , 3 r / 2 , . . . , 1 - r / 2 } , a n d t h et r a n s i t i o n p r o b a b i l i t i e s P i v e c t . j = 1 / r f o r a l l i v e c t E r m a n d je F .E x a m p l e 2-The c h a o t i c map f ( x ) = 3 . 6 x ( 1 - x ) o n [ 0 , 1 ] :T r a n s i t i o n p r o b a b i l i t y m a t r i c e s f o r b o t h t h e a p p r o x i m a t i n g ( 1 ,1 / 1 0 ) M a r k o v c h a i n ( M A T ) a n d t h e t r a n s i e n t ( 1 , 1 / 1 0 )M a r k o v c h a i n ( T M A T ) f o r f ( x ) a r e s h o w n i n T a b l e 1 w i t h t h e( i , j ) t h e n t r y c o r r e s p o n d i n g t o a t r a n s i t i o n f r o m C ( i ) t o C ( 2 j ) .S t a t i o n a r y p r o b a b i l i t i e s a r e : ( 0 0 0 0 . 2 1 7 0 . 1 4 7 0 . 1 2 9 0 . 0 0 70 . 0 4 8 0 . 4 5 2 0 ) f o r MAT a n d ( 0 0 0 0 . 1 2 3 0 . 1 6 2 0 . 1 3 8 0 . 0 6 0 0 . 1 0 80 . 4 0 9 0 ) f o r TMAT. A s s h o w n i n T h e o r e m 3 , s t a t i o n a r yp r o b a b i l i t i e s o f { m i d ( i ) } f o r MAT a g r e e w i t h t i m e - a v e r a g ep r o b a b i l i t i e s f o r t h e { C ( i ) } g i v e n b y i t e r a t i o n s o f f ( x ) . Toe n s u r e t h a t a l l r o w s h a v e p r o b a b i l i t i e s t h a t sum t o 1 i n MAT,we s h o u l d d e l e t e c e l l s f r o m t h e s t a t e s p a c e w i t h 0 s t a t i o n a r yp r o b a b i l i t y .

C o n v e r g e n c e o f A p p r o x i m a t i n g C h a i n sT h e ( m , r ) a p p r o x i m a t i n g c h a i n s c a n b e u s e d t o " s o l v e "d e t e r m i n i s t i c a n d s t o c h a s t i c m t h - o r d e r d i f f e r e n c e e q u a t i o n s .T h e o r i e n t a t i o n i s c o m p u t a t i o n a l ; we a r e i n t e r e s t e d i n m o -m e n t s o f s y s t e m v a r i a b l e s , t h e p e r c e n t a g e o f t i m e s p e n t i np r e s c r i b e d d o m a i n s , a n d m e a s u r e s o f c o r r e l a t i o n b e t w e e nc o n t i g u o u s o b s e r v a t i o n s . S t a t i o n a r y m e a s u r e s p r o v i d e t h i si n f o r m a t i o n , s o t h e y b e c o m e t h e o b j e c t s o f s t u d y . B e l o w , i ti s s h o w n t h a t u n d e r g e n e r a l c o n d i t i o n s , s t a t i o n a r y m e a s u r e sf o r t h e a p p r o x i m a t i n g ( m , r ) c h a i n s a n d t h e t r a n s i e n t ( m , r )c h a i n s c o n v e r g e w e a k l y t o s t a t i o n a r y m e a s u r e s f o r a g i v e nm t h o r d e r p r o c e s s a s r - ) 0 . We c a n t h u s e s t i m a t e much a b o u tt h e b e h a v i o r o f a d y n a m i c a l s y s t e m b y u s i n g s t r a i g h t f o r w a r da p p r o x i m a t i n g c h a i n c o m p u t a t i o n s . Weak c o n v e r g e n c e r e -s u l t s a r e m o s t i n t e r e s t i n g i n c h a o t i c s e t t i n g s , w h e r e s o m en e i g h b o r i n g o r b i t s u l t i m a t e l y d i v e r g e . T r a n s i e n t i n f o r m a t i o nd o e s n o t m a k e s e n s e f o r s u c h s y s t e m s , b u t we c a n s t i l l i n q u i r ea b o u t i r l ( A ) , t h e p r o b a b i l i t y s p e n t i n A , o r w 3 ( Z ) , w h e r e Z =

T a b l e 1 . T r a n s i t i o n p r o b a b i l i t y m a t r i c e s f o r t h e a p p r o x i m a t i n g ( 1 , 1 / 1 0 ) M a r k o v c h a i n a n d t h e t r a n s i e n t ( 1 , 1 / 1 0 ) M a r k o v c h a i nf o r f ( x )0 00 00000000000000000000000 0 0 0 . 4 8 0000

00

00

0

00

0

0 . 3 2 70

MAT00000000 . 8 6 4

0 . 1 9 30

000000

00 . 1 3 6

00

0000 . 2 2 3000000

000

0 . 7 7 71 . 01 . 01 . 0000

0 .000000000

0 . 3 0 9000000000 . 3 0 9

0 . 3 0 90000

0

0

000 . 3 0 9

0 . 3 0 9000000000 . 3 0 9

0 . 0 7 30 . 3 0 200000

0

0 . 3 0 20 . 0 7 3

TMAT0 00 . 3 % 0 . 3 0 20 0 . 1 3 30 00 00 00 00 0 . 1 3 3

0 . 3 % 0 . 3 0 20 0

000 . 5 5 600000 . 5 5 600

000 . 3 1 10 . 4 0 70

00 . 4 0 70 . 3 1 100

0000 . 5 9 31 . 01 . 00 . 5 9 3000

000000000

0

M a t h e m a t i c s : P i n c u s

8/8/2019 Approximating Markov Chains

3/5

P r o c . N a t l . A c a d . S c i . USA 8 9 ( 1 9 9 2 ){ X n E A 1 & X n + l E A 2 & X n + 2 E A 3 } , t h e p r o b a b i l i t y t h a t t h r e es u c c e s s i v e o b s e r v a t i o n s f a l l i n t o p r e s c r i b e d s e t s . We n o wi n d i c a t e a n a n a l y t i c m e t h o d f o r e s t i m a t i n g t h e l a t t e r q u a n t i t ya b o v e f o r t h e map x n + l = 3 . 6 x n ( 1 - x " ) , w i t h A 1 = [ 0 . 8 , 0 . 9 ] ,A 2 = [ 0 . 4 , 0 . 5 ] , a n d A 3 = [ 0 . 8 , 0 . 9 ] ; t h e t h e o r e m s b e l o we s t a b l i s h t h e c o n v e r g e n c e o f t h e e s t i m a t e t o t h e t r u e v a l u e a st h e m e s h s i z e g o e s t o 0 . By c o m p u t e r e x p e r i m e nt b a s e d o n 1 0 6p o i n t s , i r 3 ( Z ) = 0 . 1 4 6 . F o r t h e t r a n s i e n t ( 1 , 0 . 1 ) c h a i na p p r o x i m a t i o n , 1 r T R ( Z ) = P r ( X n + 2 E [ 0 . 8 , 0 . 9 1 1 1 X n + l E [ 0 . 4 ,0 . 5 ] & X n E [ 0 . 8 , 0 . 9 ] ) P r ( X n + l E [ 0 . 4 , 0 . 5 1 1 1 X n E [ 0 . 8 , 0 . 9 ] ) i r T R( X n E [ 0 . 8 , 0 . 9 ] ) , w h e r e P r a n d i i r R r e f e r t o t h e a p p r o x i m a t i n gc h a i n . S i n c e [ 0 . 4 , 0 . 5 ] a n d [ 0 . 8 , 0 . 9 ] a r e s i n g l e a t o m s i n t h e ( 1 ,0 . 1 ) p a r t i t i o n , w r R ( Z ) = p 5 9 p 9 5 v M ( 9 ) , w i t h c e l l i c o r r e -s p o n d i n g t o [ 0 . 1 ( i - 1 ) , 0 . 1 i ] . F r o m E x a m p l e 2 , we c a nc o n c l u d e t h a t i r r R ( Z ) = ( 1 . 0 ) ( 0 . 3 9 6 ) ( 0 . 4 0 9 ) = 0 . 1 6 2 . N o t et h a t i r T R ( Z ) i s m u c h c l o s e r t o r 3 ( Z ) t h a n i s i r i ( A ) 1 T r l ( A 2 ) 1 r 1 ( A 3 )= ( 0 . 4 5 2 ) ( 0 . 1 4 7 ) ( 0 . 4 5 2 ) = 0 . 0 3 0 , t h e l a t t e r t h e p r o d u c t o fe x a c t s t e a d y - s t a t e p r o b a b i l i t i e s , w h i c h w o u l d e q u a l 1 r 3 ( Z ) i fs u c c e s s i v e o b s e r v a t i o n s w e r e u n c o r r e l a t e d . T o a n a l y t i c a l l ya p p r o x i m a t e t h e m e a s u r e o f a n n - t i m e u n i t e v e n t , ( i ) c a l c u l a t ea l l p v c c t j f o r a t r a n s i e n t c h a i n a p p r o x i m a t i o n TR f o r t h e g i v e ns y s t e m , ( i i ) c o m p u t e a l l X i v c t b y r a i s i n g TR t o a h i g h p o w e r ,a n d ( i i i ) d e r i v e a l l n - t i m e u n i t p r o b a b i l i t i e s b y u s i n g t h eC h a p m a n - K o l m o g o r o v e q u a t i o n s .B e l o w , t h e s p a c e A w i l l a l w a y s b e a c o m p a c t s u b s e t o f R " .I w i s h t o c o m p a r e s t o c h a s t i c p r o c e s s e s , p a r t i c u l a r l y M a r k o vp r o c e s s e s , t o o n e a n o t h e r a n d t o d e t e r m i n i s t i c m a p s , a n d s oc o n s i d e r a s p a c e o f t r a n s i t i o n p r o b a b i l i t i e s o n A , T r ( A ) .D e f i n i t i o n 7 : G i v e n A C R I , d e f i n e t E T r ( A ) , t ={ p r o b a b i l i t y m e a s u r e s t a o n A f o r a l l a E A , s u c h t h a t f o r a l lB C A B o r e l m e a s u r a b l e , t h e map a t ( a , B ) i s a B o r e l -m e a s u r a b l e f u n c t i o n } .F o r a ( d e t e r m i n i s t i c ) f u n c t i o n f : A A , ( t f ) a w i l l b e t h ep o i n t m a s s S f ( a ) f o r a l l a .D e f i n i t i o n 8 - A c t i o n o f T r ( A ) : F o r t E T r ( A ) a n d L , am e a s u r e o n A , d e f i n e t * , u a s a m e a s u r e o n A g i v e n b yf f ( z ) d ( t * p ) ( z ) = f u f ( y ) t ( z , d y ) ] d p u ( z ) , f o r a l l B o r e l -m e a s u r a b l e f u n c t i o n s f .

D e f i n i t i o n 9 : A p r o b a b i l i t y m e a s u r e A u o n A i s s t a t i o n a r y f o rt E T r ( A ) i f t * , = p .D e f i n i t i o n 9 a g r e e s w i t h t h e s t a n d a r d n o t i o n f o r d e t e r m i n -i s t i c f a n d f o r M a r k o v c h a i n s . B y l e m m a 1 . 2 o f r e f . 1 2 , t h e r ee x i s t s a t l e a s t o n e s u c h s t a t i o n a r y m e a s u r e f o r t E T r ( A ) .B e l o w , I d o n o t p r e s u m e a b s o l u t e c o n t i n u i t y o f s t a t i o n a r ym e a s u r e s w i t h r e s p e c t t o L e b e s g u e m e a s u r e ; t y p i c a l l y t h e s em e a s u r e s a r e s i n g u l a r . F o r { t j , t E T r ( A ) , w e s a y t h a t t nc o n v e r g e s t o t i f w h e n e v e r p u n c o n v e r g e s t o , u w e a k l y o n A ,t h e n t n n c o n v e r g e s t o t p u w e a k l y o n A .T h e n e x t , c e n t r a l l e m m a r e q u i r e s t h a t t w o c o n d i t i o n s b es a t i s f i e d t o c o n c l u d e w e a k c o n v e r g e n c e . T h e s e c o n d i t i o n sa r e o f t e n e a s y t o v e r i f y ( s e e b e l o w ) , e n s u r i n g a p p l i c a b i l i t y .LEMMA 1 ( w e a k c o n v e r g e n c e o f p r o c e s s e s ) . A s s u m e w e a r eg i v e n A a c o m p a c t s u b s e t o f R ' a n d t r a n s i t i o n p r o b a b i l i t i e st n a n d t o n T r ( A ) . F u r t h e r m o r e , a s s u m e t h e f o l l o w i n g .C o n d i t i o n A : T h e map on A : a -+ t ( a , d y ) i s w e a k l yc o n t i n u o u s [ i . e . , f j ( y ) t ( a , d y ) i s a c o n t i n u o u s f u n c t i o n o f af o r e v e r y c o n t i n u o u s b o u n d e d f o n A ] .C o n d i t i o n B ( u n i f o r m i t y i n w e a k c o n v e r g e n c e ) : G i v e n a n y8 > 0 a n d a n y b o u n d e d c o n t i n u o u s f , t h e r e e x i s t s N s u c h t h a tf o r a l l n > N a n d f o r a l l a E A , f A f ( y ) t n ( a , d y ) - f A f ( y ) t ( a ,d y ) < 6 . T h e n t n c o n v e r g e s t o t .P r o o f : C h o o s e p r o b a b i l i t y m e a s u r e s v n t h a t c o n v e r g ew e a k l y t o v o n A . C h o o s e f c o n t i n u o u s ; t h e n I f f d ( t n * v n ) -f f d * ) I s i f f d ( t , * v n ) - f f d ( t * v I + I f f d ( t * v n ) -f f d ( t * v ) 1 . F o r t h e f i r s t t e r m o n t h e r i g h t - h a n d s i d e , I f f d ( t n* v n )-f f d ( t * v n ) I =I f [ f f ( y ) t n ( z , d y ) ] d v n ( z ) - f [ f f ( y ) t ( z ,d y ) ] d v A , ( z ) I c Uu P I f A f ( y ) t , ( z , d y ) -IA f ( y ) t ( z ,y)-d(z)w h i c h , b y C o n d i t i o n B , c o n v e r g e s t o 0 a s n - - o o . F o r t h es e c o n d t e r m o n t h e r i g h t - h a n d s i d e , I f f d ( t * V " ) -f f d ( t * v ) l = i f [ f f ( y ) t ( z , d y ) ] d v n ( z ) - f [ f ( y ) t ( z , d y ) ] d v ( z ) l .

T h e i n t e g r a l i n b r a c k e t s i s a c o n t i n u o u s f u n c t i o n o f z , b yC o n d i t i o n A , h e n c e t h e s e c o n d t e r m c o n v e r g e s t o 0 a s n - X 0 0b y t h e w e a k c o n v e r g e n c e o f v n t o v . T h e r e f o r e t n * v nc o n v e r g e s w e a k l y t o t * v , h e n c e Lemma 1 .THEOREM 2 ( w e a k c o n v e r g e n c e o f s t a t i o n a r y m e a s u r e s ) .A s s u m e A i s a c o m p a c t s u b s e t o f R W , t r a n s i t i o n p r o b a b i l i t i e st n c o n v e r g e t o t o n T r ( A ) , a n d t h a s a u n i q u e s t a t i o n a r ym e a s u r e v o n A . F o r e a c h n , c h o o s e v n s t a t i o n a r y f o r t n o nA . T h e n v n c o nv e r g e s w e a k l y t o v .P r o o f : S i n c e A i s c o m p a c t , t h e { v " } a r e a t i g h t f a m i l y a n dh a v e a s u b s e q u e n c e { v " ( j ) } t h a t c o n v e r g e s w e a k l y t o s o m ep r o b a b i l i t y m e a s u r e T o n A ( t h e o r e m 6 . 1 o f r e f . 1 3 ) . I c l a i mt h a t T i s s t a t i o n a r y f o r t . S i n c e t n ( j ) c o n v e r g e s t o t , t n ( j ) * V " ( j )c o n v e r g e s w e a k l y t o t * I . B u t t n ( j ) * v n ( i ) = V n ( i ) b ys t a t i o n a r i t y , s o v " ( i ) c o n v e r g e s w e a k l y t o t * T . S i n c e v " ( i )c o n v e r g e s w e a k l y t o I , I c o n c l u d e t h a t t * T = T ( a sc l a i m e d ) , a n d b y u n i q u e n e s s o f t h e s t a t i o n a r y m e a s u r e f o r t ,t h a t T = v . T h i s e s t a b l i s h e s c o n v e r g e n c e f o r s o m e s u b s e -q u e n c e . S u p p o s e v n d o e s n o t c o n v e r g e w e a k l y t o v ; t h e n f o rs o m e f i n C ( A ) a n d s o m e p o s i t i v e e , I f f d v , , ( ) - f f d v I > Ef o r a l l V n ( i ) i n s o m e s u b s e q u e n c e . M i m i c k i n g t h e a b o v ea r g u m e n t , s i n c e t h e { v ( i ) } a r e a t i g h t f a m i l y , t h e r e i s a f u r t h e rs u b s e q u e n c e { v , ( i ( m ) ) } t h a t c o n v e r g e s w e a k l y t o a p r o b a b i l i t ym e a s u r e f o n A , w i t h { s t a t i o n a r y f o r t . S o e = v , c o n t r a d i c t i n gt h e b o u n d i n g a w a y o f t h e a b o v e b y E . T h i s c o m p l e t e s t h ep r o o f .T o i n v o k e T h e o r e m 2 d i r e c t l y , a l i m i t p r o c e s s w i t h a u n i q u es t a t i o n a r y m e a s u r e i s r e q u i r e d . I n g e n e r a l , s t o c h a s t i c p e r t u r -b a t i o n s o f d y n a m i c a l s y s t e m s h a v e u n i q u e s t a t i o n a r y m e a -s u r e s ( 1 4 ) . We n e x t s e e t h a t we c a n e s t i m a t e a s t a t i o n a r ym e a s u r e f o r a d y n a m i c a l s y s t e m b y f i n d i n g t h e s t a t i o n a r ym e a s u r e f o r a n a p p r o x i m a t i n g c h a i n , w i t h s m a l l r .T H E O R E M 3 . G i v e n f : [ A , B ] - * [ A , B ] , s e l e c t a s t a t i o n a r ym e a s u r e u f o r f a n d d e f i n e a ( 1 , r ) a p p r o x i m a t i n g c h a i n A r o n{ m i d ( i ) } g i v e n b y D e f i n i t i o n s 2 a n d 4 . S u p p o s e t h e r e e x i s t s r os u c h t h a t f o r a l l r < r o , A r i s i r r e d u c i b l e , w h e n r e s t r i c t e d t ot h o s e c e l l s w i t h p o s i t i v e I L m e a s u r e . T h e n v r , t h e u n i q u es t a t i o n a r y m e a s u r e f o r A r , c o n v e r g e s w e a k l y t o A a s r - * 0 .

P r o o f : U n i q u e n e s s o f v r o n { m i d ( i ) : p ( C , ) > 0 } f o l l o w s f r o mt h e i r r e d u c i b i l i t y a s s u m p t i o n o n A r . We s e e t h e f o l l o w i n g :v , ( m i d ( i ) ) = p ( C , ) , f o r C i w i t h p o s i t i v e I A m e a s u r e . I n v o k i n gs t a t i o n a r i t y , A ( C ( j ) ) = u ( f ' - C ( i ) ) . T h i s l a t t e r q u a n t i t y = 1 :, ( f - 1 ( C ( j ) ) n C ( i ) ) = i [ L , ( f - N ( C ( j ) ) n C ( i ) ) / p ( C ( i ) ) ] i j ( C ( i ) )= X i P m i d ( i ) , m i d ( j ) A 4 C ( i ) ) , f o r a l l j . S i n c e v r ( m i d ( j ) ) : = A ( C j )s a t i s f i e s v , ( m i d ( j ) ) = E X i P m i d ( i ) , m i d ( j ) v r ( m i d ( i ) ) , v , i s s t a t i o n a r yo n { m i d ( i ) : ! u ( C , ) > 0 } , a n d b y t h e u n i q u e n e s s o f v r , t h er e l a t i o n s h i p v r ( m i d ( i ) ) = 4 ( C 1 ) i s v e r i f i e d . T o e s t a b l i s h w e a kc o n v e r g e n c e o f v r t o A , i t s u f f i c e s t o s h o w t h a t t h e d i s t r i b u t i o nf u n c t i o n s F r ( x ) = v r ( [ A , x ] ) c o n v e r g e t o F ( x ) = A , ( [ A , x ] ) a ta l l c o n t i n u i t y p o i n t s x o f F ( 1 3 ) . B y t h i s r e l a t i o n s h i p , F ( x ) -F r ( x ) = , u ( ( m i d ( i ) r , x , x ] ) , w i t h m i d ( i ) r x t h e l a r g e s t m i d p o i n t i nt h e ( 1 , r ) p a r t i t i o n - x . T h u s I F ( x ) - F r ( x ) I < u ( ( x - 1 / r , x ] ) ,w h i c h c o n v e r g e s t o 0 a s r - * 0 s i n c e x i s a c o n t i n u i t y p o i n t o fF . T o s e e t h a t t h e i r r e d u c i b i l i t y a s s u m p t i o n i s n e c e s s a r y ,c o n s i d e r f ( x ) = 3 . 6 x ( 1 - x ) . L e t a b e t h e f i x e d p o i n t o f f i n( 0 , 1 ) , a n d l e t b a n d c b e t h e f i x e d p o i n t s o f f 2 ; f ( b ) = c a n df ( c ) = b . T h e m e a s u r e ( 8 a + Y 2 ( S b + S c ) ) / 2 i s s t a t i o n a r y f o rf . F o r s u f f i c i e n t l y s m a l l r , t h e a p p r o x i m a t i n g c h a i n f o r t h i sm e a s u r e i s s u p p o r t e d o n t h r e e p o i n t s , w i th n o n z e r o t r a n s i t i o np r o b a b i l i t i e s P a , a = 1 , P b , c = 1 , a n d P c , b = 1 ( a s s o c i a t i n g a , b ,a n d c w i t h t h e r e s p e c t i v e c e l l m i d p o i n t s ) . F o r e a c h r , c h o o s e8 , a a s a s t a t i o n a r y m e a s u r e f o r t h e a p p r o x i m a t i n g c h a i n . T h e nt h e w e a k l i m o 6 a $ ( 6 a + ' / 2 ( O b + S c ) ) / 2 .F o r m a n y d y n a m i c a l s y s t e m s , i n c l u d i n g i r r e d u c i b l e a x i o mA s y s t e m s ( 1 5 ) , u n i q u e p h y s i c a l m e a s u r e s e x i s t ( 1 6 ) a n d a g r e ew i t h S i n a i - R u e l l e - B o w e n ( S R B ) m e a s u r e s ( 1 7 ) . I f n o p h y s -i c a l m e a s u r e e x i s t s , t h e r e i s n o e r g o d i c b e h a v i o r ( 5 ) , a t e r r i b l es t a t e o f a f f a i r s ( 1 8 ) . F o r t u n a t e l y , i n b o t h c o m p u t e r e x p e r i -m e n t s a n d t h e p h y s i c a l w o r l d , a s m a l l , " u n c e r t a i n " p e r t u r -

4 4 3 4 M a t h e m a t i c s : P i n c u s

8/8/2019 Approximating Markov Chains

4/5

P r o c . N a t l . A c a d . S c i . USA 8 9 ( 1 9 9 2 ) 4 4 3 5b a t i o n i s a cv e r i f i e s t h et h e t r u e p r ct r a n s i t i v e a xa r y m e a s u r eTHEORENt r a n s i e n t Mt h e n o t a t i o it h e u n i q u e in a m e l y ( t r ) aS m i d ( j ) . TheiP r o o f : WC o n d i t i o n A= g ( f ( a ) ) , ct i o n B , c h cc o m p a c t , gt h a t I x - yu n i f o r m l y ci m p l i e s t h a tf o r a r b i t r a r 3= 1 ( - j P i j g ( in o n z e r o m aI m i d ( i ) - ft h i s x , s i n c e- f ( a ) | < ( r8 . T h i s e s t aS i n c e t ri d e n t i c a l s t aa r e s t r a i g h t ]i r r e d u c i b i l i tc o n v e r g e n ci c a l m e a s u rM a r k o v c h a4-i-9},aa n o t h e r .A s s h o w it r a n s i e n t c hm e a s u r e o ft r i b u t i o n f u xm a p x n + 1 =a p p r o x i m a tM a r k o v c h Ed e n s i t y o n cT h e ( 1 , 0 . 0 4s t a t i o n a r y r0 . 1 ) a p p r o xo f t h e t r u e It r a n s i e n t c k

1 . 00 . 8

v 0 . 6 -VX .

FIG. 1 . S ii c a l m e a s u r et h e ( 1 , 0 . 1 ) aa n d App ( 1 ,c h a i n [ T r ( 1 ,

: o m p o n e n t i n s y s t e m e v o l u t i o n . T h e r e s u l t b e l o w T h e w e a k c o n v e r g e n c e r e s u l t s a b o v e a r e t r u e much m o r ec o n v e r g e n c e o f t r a n s i e n t a p p r o x i m a t i n g c h a i n s t o g e n e r a l l y t h a n f o r u n i f o r m p a r t i t i o n s , w h i c h w e r e c h o s e n f o rc e s s o n T r ( A ) . We e x p e c t t h a t f o r t o p o l o g i c a l l y p e d a g o g i c s i m p l i c i t y . T h e o r e m 5 g e n e r a l i z e s T h e o r e m 4 f o rc i o m A s y s t e m s , t h e c o r r e s p o n d i n g u n i q u e s t a t i o n - t r a n s i e n t a p p r o x i m a t i n g c h a i n s . T h e p r o o f , o m i t t e d , i s v i r t u -v s c o n v e r g e w e a k l y t o t h e p h y s i c a l m e a s u r e o f f . a l l y i d e n t i c a l t o t h a t f o r T h e o r e m 4 ( r e c a l l t h a t L e m ma I h a s4 4 . G i v e n f : [ A , B ] - - [ A , B ] c o n t i n u o u s a n d A , a b e e n e s t a b l i s h e d f o r A C R " ) . We s a y a f i n i t e c o l l e c t i o n { P . }' a r k o v c h a i n f o r f , d e f i n e t r E T r ( [ A , B ] ) , r e c a l l i n g o f s u b s e t s o f R I f o r m a p a r t i t i o n o f A i f A i s t h e u n i o n o f t h en o f D e f i n i t i o n s 2 a n d 5 : f o r a E [ A , B ] , c h o o s e m u t u a l l y d i s j o i n t c o n n e c t e d P i .w i t h a E C ( i ) . D e f i n e ( t r ) a t o a g r e e w i t h p 1 J f o r A r ; THEOREM 5 . A s s u m e f : A - - A i s c o n t i n u o u s o n c o m p a c t AD ) h a s t h e a t o m i c p r o b a b i l i t y d i s t r i b u t i o n A C R m . C h o o s e a s e q u e n c e o f p a r t i t i o n s { P i } r o f A f o r r> 0 s u c h_Ih a t d s u p ( r ) = m a x i d i a m ( P i ) - 0 a s r -) 0 . F o r e a c h i a n d r ,{ t r c o n v e r g e s t o t f o n T r [ A , B ] a s rLem . c h o o s e a n a r b i t r a r y e l e m e n t ( m W r E ( P j ) r . F o r e a c h r , d e f i n el e v e r i f y C o n d i t i o n s A a n d B o f Lemma 1 . F o r a t r a n s i e n t M a r k o v c h a i n f o r f on { ( m ( i ) ) r } , a s i n D e f i n i t i o n 5 ,{ o i c h o o s e g c o n t i n u o u s .h e n f ( A B J g ( y ) t C o a , d i ) b y t h e p e r c e n t a g e o f t h e i m a g e o f a c e l l P i t h a t i n t e r s e c t s e a c hi n a s m n c e f i s c o n t i n u o u s . F o r C o n d i - s p e c i f i e d c e l l P j . D e f i n e t r E T r ( A ) : f o r a E A, choose t h eo s e c o n t i n u o u s g a n d 8 > 0 . S i n c e [ A , B ] i s u n i q u e i w i t h a E ( P i ) r . D e f i n e ( t r ) a t o a g r e e w i t h p i ~ f o r A r : ( t r ) ai s u n i f o r m l y c o n t i n u o u s , h e n c e t h e r e e x i s t s f s u c h h a s t h e a t o m i c p r o b a b i l i t y d i s t r i b u t i o n e j P i , j i m j ) . T h e n t r< o n i m p l i e s t h a t s g ( x ) g ( y ) 0 . D e f i n e K = s u p a E A K a.7 ( f i n i t e , s i n c e Ka i s c o n t i n u o u s o n a compact s e t ) . S i n c e A i sc o m p a c t , g i s u n i f o r m l y c o n t i n u o u s , a n d h e n c e t h e r e e x i s t s T/ X ' s u c h t h a t I x - y l

8/8/2019 Approximating Markov Chains

5/5

P r o c . N a t l . A c a d . S c i . USA 8 9 ( 1 9 9 2 )

0 . 60 . 50 . 40 . 30 . 2 3 . 5 3 . 6 3 . 7 3 . 8 3 . 9

r

F I G . 2 . Mean a n d s t a n d a r d d e v i a t i o n v s . c o n t r o l p a r a m e t e r r f o rt h e l o g i s t i c map x , , + 1 = r x " ( 1 -x " ) .m o m ent s t a t i s t i c s , s i n c e t h e y ar e i n t e g r a l s o f p o l y n o m i a l sw i t h r e s p e c t t o t h e s t a t i o n a r y m e a s u r e [ e . g . , t h e mean =fA x d x ( x ) ] . T h i s i s i l l u s t r a t e d i n F i g . 2 , w h i c h d e m o n s t r a t e st h e c o n t i n u i t y o f t h e t i m e - a v e r a g e d mean a n d s t a n d a r d d e -v i a t i o n as a f u n c t i o n o f t h e c o n t r o l p a r a m e t e r f o r t h e l o g i s t i cm a p . S i n c e t h e s e c a l c u l a t i o n s ar e p e r f o r m e d b y c o m p u t e r ,t h e y y i e l d s t a t i s t i c s f o r a s l i g h t l y p e r t u r b e d v e r s i o n o f t h el o g i s t i c m a p , w h i c h f i t s t h e c o n t e x t o f T h e o r e m 7 . C o m p a r et h e p e r s p e c t i v e s o f t h e a n a l y s t / s t a t i s t i c i a n a n d t h e t o p o l o g i s t ;t h e t o p o l o g i s t sees s t r u c t u r a l c h a n g e a n d i n s t a b i l i t y w i t hc o n t r o l p a r a m e t e r , t h r o u g h b i f u r c a t i o n s a n d i n t o c h a o t i cr e g i o n s , w h i l e t h e a n a l y s t sees c o n t i n u i t y . tI d e m o n s t r a t e w e a k c o n v e r g e n c e acros s b i f u r c a t i o n s f o rt h e map x , , + , = r x , ( 1 - " ) near r = 3 . 0 , w h e r e t h e s y s t e mc h a n g e s f r o m a s i n g l e l i m i t p o i n t t o a p e r i o d 2 l i m i t . F o r r