+ All Categories
Home > Documents > World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

Date post: 03-Apr-2018
Category:
Upload: edouard-kach
View: 213 times
Download: 0 times
Share this document with a friend

of 238

Transcript
  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    1/238

    I N F O R M A T I O N -

    T H E O R E T I C

    I N C O M P L E T E N E S S

    G . J . C h a i t i n

    I B M , P O B o x 7 0 4

    Y o r k t o w n H e i g h t s , N Y 1 0 5 9 8

    c h a i t i n @ w a t s o n . i b m . c o m

    P u b l i s h e d 1 9 9 2 b y

    W o r l d S c i e n t i c , S i n g a p o r e

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    2/238

    A c k n o w l e d g m e n t s | T h e a u t h o r a n d t h e p u b l i s h e r a r e g r a t e f u l t o t h e f o l l o w -

    i n g f o r p e r m i s s i o n t o r e p r i n t t h e p a p e r s i n c l u d e d i n t h i s v o l u m e :

    L a R e c h e r c h e

    I P C M a g a z i n e s L t d . ( N e w S c i e n t i s t )

    E l s e v i e r S c i e n c e P u b l i s h i n g C o . , I n c .

    ( A p p l i e d M a t h e m a t i c s a n d C o m p u t a t i o n )

    K l u w e r A c a d e m i c P u b l i s h e r s B . V . a n d M a r c E . C a r v a l l o

    ( N a t u r e , C o g n i t i o n , a n d S y s t e m , V o l . 3 )

    S p r i n g e r - V e r l a g N e w Y o r k I n c . ( T h e M a t h e m a t i c a l I n t e l l i g e n c e r )

    T h a n k s a r e d u e t o A b r a h a m P e l e d , M i c h a e l B l a s g e n a n d M a r t i n H o p k i n s ( C o m -

    p u t e r S c i e n c e D e p a r t m e n t , W a t s o n R e s e a r c h C e n t e r ) f o r s u p p o r t i n g t h i s r e s e a r c h .

    A l s o t o A x e l L e i j o n h u f v u d a n d V e l a V e l u p i l l a i , w h o s e i n v i t a t i o n t o t h e a u t h o r t o

    g i v e a s e r i e s o f l e c t u r e s a t t h e U C L A C e n t e r f o r C o m p u t a b l e E c o n o m i c s w a s a n

    i m p o r t a n t s t i m u l u s .

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    3/238

    T o m y p a r e n t s S a r a a n d N o r m a n ,

    a n d t o M a u r e e n a n d C a r m e n f o r b e i n g s o s w e e t !

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    4/238

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    5/238

    F o r e w o r d

    M y b o o k A l g o r i t h m i c I n f o r m a t i o n T h e o r y i s l i k e h i k i n g u p a m o u n t a i n

    b y t h e f a s t e s t r o u t e , n o t s t o p p i n g u n t i l o n e r e a c h e s t h e t o p . H e r e w e

    s h a l l i n s t e a d t a k e a l o o k a t i n t e r e s t i n g s i g h t s a l o n g t h e w a y a n d e x p l o r e

    s o m e a l t e r n a t e r o u t e s , i n r o u g h l y t h e o r d e r t h a t I d i s c o v e r e d t h e m .

    I n t h i s b o o k I s h a l l s u r v e y e i g h t d i e r e n t t h e o r i e s o f p r o g r a m s i z e

    c o m p l e x i t y b a s e d o n e i g h t d i e r e n t p r o g r a m m i n g m o d e l s . A n d I ' l l d i s -

    c u s s t h e i n c o m p l e t e n e s s r e s u l t s t h a t o n e g e t s i n e a c h o f t h e s e e i g h t

    t h e o r i e s .

    I d e c i d e d t o t e l l t h i s s t o r y i n t h e f o r m o f a m a t h e m a t i c a l a u t o b i -

    o g r a p h y .

    G r e g o r y C h a i t i n

    v

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    6/238

    v i

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    7/238

    C o n t e n t s

    A l i f e i n m a t h 1

    I T e c h n i c a l S u r v e y 1 3

    T u r i n g m a c h i n e s 1 7

    B l a n k - e n d m a r k e r p r o g r a m s 2 5

    L I S P p r o g r a m - s i z e c o m p l e x i t y 3 7

    L I S P p r o g r a m - s i z e c o m p l e x i t y I I 5 5

    L I S P p r o g r a m - s i z e c o m p l e x i t y I I I 8 3

    L I S P p r o g r a m - s i z e c o m p l e x i t y I V 9 7

    I n f o r m a t i o n - t h e o r e t i c i n c o m p l e t e n e s s 1 0 7

    I I N o n - T e c h n i c a l D i s c u s s i o n s 1 2 9

    A r e n a p r o g r a m o n ` n u m b e r s ' 1 3 3

    A r a n d o m w a l k i n a r i t h m e t i c 1 3 7

    N u m b e r a n d r a n d o m n e s s 1 4 5

    R a n d o m n e s s i n a r i t h m e t i c 1 6 1

    v i i

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    8/238

    v i i i

    L e h a s a r d d e s n o m b r e s 1 7 1

    C o m p l e x i t y a n d r a n d o m n e s s i n m a t h e m a t i c s 1 8 9

    B o o k r e v i e w 2 0 5

    T h e C h a l l e n g e f o r t h e F u t u r e 2 1 5

    C o m p l e x i t y a n d b i o l o g y 2 1 7

    A f t e r w o r d 2 1 9

    B i b l i o g r a p h y 2 2 3

    S o u r c e s o f q u o t a t i o n s 2 2 3

    C l a s s i c s 2 2 5

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    9/238

    A L I F E I N M A T H

    \ G u t s a n d i m a g i n a t i o n ! "

    | T h e a m b i t i o u s y o u n g d i r e c t o r E a s t o n i n

    N o r m a n C h a i t i n ' s 1 9 6 2 l m T h e S m a l l H o u r s

    \ T h e o p e n s e c r e t o f r e a l s u c c e s s i s t o t h r o w y o u r w h o l e p e r s o n a l i t y a t

    a p r o b l e m . "

    | G . P o l y a , H o w t o S o l v e I t

    \ T o a p p r e c i a t e t h e l i v i n g s p i r i t r a t h e r t h a n t h e d r y b o n e s o f m a t h e -

    m a t i c s , i t i s n e c e s s a r y t o i n s p e c t t h e w o r k o f a m a s t e r a t r s t h a n d .

    T e x t b o o k s a n d t r e a t i s e s a r e a n u n a v o i d a b l e e v i l T h e v e r y c r u d i t i e s

    o f t h e r s t a t t a c k o n a s i g n i c a n t p r o b l e m b y a m a s t e r a r e m o r e i l l u -

    m i n a t i n g t h a n a l l t h e p r e t t y e l e g a n c e o f t h e s t a n d a r d t e x t s w h i c h h a s

    b e e n w o n a t t h e c o s t o f p e r h a p s c e n t u r i e s o f n i c k y p o l i s h i n g . "

    | E r i c T e m p l e B e l l ,

    M a t h e m a t i c s : Q u e e n & S e r v a n t o f S c i e n c e

    B e g i n n i n g s

    I n w h i c h w e c o n s i d e r t h e p l i g h t o f a b r i g h t c h i l d g r o w i n g u p i n M a n h a t -

    t a n a n d a t t e m p t i n g t o l e a r n e v e r y t h i n g , i n c l u d i n g g e n e r a l r e l a t i v i t y a n d

    G o d e l ' s i n c o m p l e t e n e s s t h e o r e m , o n h i s o w n .

    I t w a s f u n b e i n g a c h i l d i n M a n h a t t a n i n t h e l a t e 1 9 5 0 s a n d e a r l y

    1 9 6 0 s . I w a s l u c k y t o g o t o a s e r i e s o f g o o d p u b l i c s c h o o l s , a n d

    t o t a k e a d v a n t a g e o f m a n y s p e c i a l p r o g r a m s f o r b r i g h t c h i l d r e n , a n d

    m a n y a c c e l e r a t e d s c h o o l p r o g r a m s . T h e B r o n x H i g h S c h o o l o f S c i -

    e n c e w a s a n e x c i t i n g p l a c e , w i t h a n e x c e l l e n t s c h o o l l i b r a r y , a n d l o t s o f

    1

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    10/238

    2 P r o l o g u e

    v e r y b r i g h t s t u d e n t s . T h e r e w e r e n e w a l m o s t - c o l l e g e - l e v e l e x p e r i m e n t a l

    m a t h , p h y s i c s , b i o l o g y a n d c h e m i s t r y c o u r s e s t h a t h a d b e e n p r o v o k e d

    b y t h e R u s s i a n s u c c e s s i n o r b i t i n g t h e a r t i c i a l s a t e l l i t e S p u t n i k b e f o r e

    A m e r i c a c o u l d p u t a s a t e l l i t e i n o r b i t . W h i l e a t t h e B r o n x H i g h S c h o o l

    o f S c i e n c e I g o t i n t o a s p e c i a l p r o g r a m f o r b r i g h t h i g h s c h o o l s t u d e n t s

    r u n b y C o l u m b i a U n i v e r s i t y , c a l l e d t h e S c i e n c e H o n o r s P r o g r a m , w h e r e

    I w a s a b l e t o p l a y w i t h c o m p u t e r s . T h i s w a s g r e a t f u n , a n d n o t a t a l l

    u s u a l a t t h a t t i m e , b e c a u s e c o m p u t e r s w e r e s t i l l a n o v e l t y .

    W e l i v e d a b l o c k a w a y f r o m C e n t r a l P a r k , n e a r m a n y b r a n c h e s o f

    t h e N e w Y o r k C i t y P u b l i c L i b r a r y f u l l o f i n t e r e s t i n g b o o k s , a n d a l s o

    a t w a l k i n g d i s t a n c e f r o m t h e M u s e u m o f M o d e r n A r t ( c o n v e n i e n t l y

    l o c a t e d a c r o s s t h e s t r e e t f r o m a b r a n c h o f t h e P u b l i c L i b r a r y ) . I s p e n t

    m u c h o f m y t i m e i n t h e p a r k , a t t h e l i b r a r y , a n d i n t h e M u s e u m o f

    M o d e r n A r t , w h e r e I s a w m a n y i n t e r e s t i n g o l d a n d f o r e i g n l m s . ( I ' v e

    n e v e r l o s t m y t a s t e f o r s u c h l m s t h e e a r l y I n g m a r B e r g m a n l m s

    a n d E r i c R o h m e r ' s l m s a r e a m o n g m y f a v o r i t e s a s a n a d u l t . )

    I w o u l d h i k e a c r o s s C e n t r a l P a r k , l o o k i n g f o r i n t e r e s t i n g r o c k s , p a r -

    t i c u l a r l y c r y s t a l s a n d f o s s i l s , w h i c h I w o u l d t h e n c o m p a r e w i t h t h e

    c o l l e c t i o n o f m i n e r a l s i n t h e M u s e u m o f N a t u r a l H i s t o r y a c r o s s t h e

    p a r k f r o m o u r a p a r t m e n t . ( A s a n a d u l t I ' v e c o n t i n u e d h i k i n g . F i r s t i n

    A r g e n t i n a , t h e n i n N e w Y o r k ' s H u d s o n V a l l e y a n d M a i n e ' s M t . D e s e r t

    I s l a n d , a n d l a t e l y i n S w i t z e r l a n d . )

    M y p a r e n t s w e r e i n v o l v e d w i t h t h e U n i t e d N a t i o n s a n d w i t h t h e

    t h e a t e r a n d l m m a k i n g . R e c e n t l y I w a s y i n g b a c k t o N e w Y o r k o n a

    S w i s s a i r i g h t a f t e r l e c t u r i n g i n G

    o d e l ' s c l a s s r o o m i n V i e n n a , a n d a

    d o c u m e n t a r y a b o u t M a r i l y n M o n r o e w a s s h o w n o n t h e p l a n e . A l l o f

    a s u d d e n , t h e r e o n t h e s c r e e n f o r a m o m e n t w e r e m y f a t h e r a n d s e v e r a l

    o t h e r s w i t h M a r i l y n M o n r o e !

    A l l t h i s g a v e m e t h e f e e l i n g t h a t a n y t h i n g w a s p o s s i b l e , t h a t t h e

    s k y w a s t h e l i m i t . A s t h e a m b i t i o u s y o u n g d i r e c t o r E a s t o n s a y s i n m y

    f a t h e r ' s 1 9 6 2 l m T h e S m a l l H o u r s , a l l i t t a k e s i s \ G u t s a n d i m a g i n a -

    t i o n ! "

    T w o b i g s t e p s i n m y c h i l d h o o d w e r e w h e n I w a s g i v e n p e r m i s s i o n t o

    t a k e o u t b o o k s f r o m t h e a d u l t s e c t i o n o f t h e N e w Y o r k P u b l i c L i b r a r y ,

    e v e n t h o u g h I w a s m u c h t o o y o u n g . A l s o w h e n i n h i g h s c h o o l a s a

    m e m b e r o f t h e C o l u m b i a U n i v e r s i t y S c i e n c e H o n o r s P r o g r a m I w a s

    g i v e n t h e r u n o f t h e s t a c k s o f t h e C o l u m b i a U n i v e r s i t y m a t h e m a t i c s

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    11/238

    A L i f e i n M a t h 3

    l i b r a r y , a n d c o u l d h a v e r s t - h a n d c o n t a c t w i t h t h e c o l l e c t e d w o r k s o f

    m a s t e r s l i k e N e i l s H e n r i k A b e l a n d L

    e o n a r d E u l e r . T h e l i b r a r y

    a t t h e B r o n x H i g h S c h o o l o f S c i e n c e w a s a l s o g o o d , a n d l a t e r I h a d

    p e r m i s s i o n t o e n t e r t h e s t a c k s o f t h e C i t y C o l l e g e l i b r a r y . I r e a d a l o t

    I w a s a s p o n g e !

    S c i e n t i c A m e r i c a n w i t h M a r t i n G a r d n e r ' s M a t h e m a t i c a l

    G a m e s a n d t h e A m a t e u r A s t r o n o m e r a n d A m a t e u r S c i e n t i s t d e p a r t -

    m e n t s p l a y e d a b i g r o l e i n m y c h i l d h o o d . I r e a d e v e r y i s s u e , a n d t r i e d

    o u t m a n y o f t h e m a t h e m a t i c a l g a m e s a n d a m a t e u r s c i e n t i s t e x p e r i -

    m e n t s . O n e o f m y a m a t e u r s c i e n t i s t p r o j e c t s w a s b u i l d i n g a v a n d e

    G r a a f f e l e c t r o s t a t i c g e n e r a t o r , w h i c h I d i d w h e n I w a s e l e v e n y e a r s

    o l d .

    M y r s t l o v e s w e r e p h y s i c s a n d a s t r o n o m y . I w a n t e d v e r y b a d l y t o

    l e a r n E i n s t e i n ' s t h e o r i e s a n d b u i l d a t e l e s c o p e o n m y o w n . ( I d i d -

    n ' t q u i t e m a n a g e i t t h e n , b u t a s a n a d u l t I d i d . ) O n e p r o b l e m w a s

    t h a t t o r e a d t h e p h y s i c s b o o k s o n e h a d t o u n d e r s t a n d m a t h e m a t i c s .

    A n d i t w a s h a r d t o g e t e q u i p m e n t f o r p h y s i c s e x p e r i m e n t s a n d a s t r o n -

    o m y . S o I s t a r t e d s t u d y i n g m a t h a n d e x p e r i m e n t i n g w i t h c o m p u t e r s . I

    s p e n t a l o t o f t i m e i n h i g h s c h o o l p r o g r a m m i n g E d w a r d F . M o o r e ' s

    \ G e d a n k e n - E x p e r i m e n t s o n S e q u e n t i a l M a c h i n e s , "

    1

    w h i c h l e d t o m y

    r s t p u b l i c a t i o n , w r i t t e n w h i l e I w a s i n h i g h s c h o o l .

    2

    I n h i g h s c h o o l I w a s a l s o i n t e r e s t e d i n g a m e t h e o r y , i n f o r m a t i o n

    t h e o r y a n d i n G

    o d e l ' s i n c o m p l e t e n e s s t h e o r e m . T h e s e s u b j e c t s w e r e

    s t i l l r e l a t i v e l y n e w a n d e x c i t i n g t h e n , a n d t h e r e w e r e n o t m a n y b o o k s

    a b o u t t h e m o r a b o u t c o m p u t e r s e i t h e r , w h i c h w e r e a l s o a n o v e l t y a t

    t h a t t i m e . I r s t h a d t h e i d e a o f d e n i n g r a n d o m n e s s v i a a l g o r i t h m i c

    i n c o m p r e s s i b i l i t y a s p a r t o f t h e a n s w e r f o r a n e s s a y q u e s t i o n o n t h e

    e n t r a n c e e x a m t o g e t i n t o t h e S c i e n c e H o n o r s P r o g r a m ! B u t I f o r g o t

    t h e i d e a f o r a f e w y e a r s .

    T h e s u m m e r b e t w e e n t h e B r o n x H i g h S c h o o l o f S c i e n c e a n d t h e

    C i t y C o l l e g e o f t h e C i t y U n i v e r s i t y o f N e w Y o r k , I t h o u g h t a b o u t t h e

    s i m p l i c i t y a n d s p e e d o f p r o g r a m s f o r c o m p u t i n g i n n i t e s e t s o f n a t u r a l

    1

    E d w a r d F . M o o r e , \ G e d a n k e n - E x p e r i m e n t s o n S e q u e n t i a l M a c h i n e s , " i n

    C l a u d e E . S h a n n o n a n d J o h n M c C a r t h y , A u t o m a t a S t u d i e s , A n n a l s o f M a t h -

    e m a t i c s S t u d i e s , N o . 3 4 , P r i n c e t o n : P r i n c e t o n U n i v e r s i t y P r e s s ( 1 9 5 6 ) , p p . 1 2 9 { 1 5 3 .

    2

    G r e g o r y J . C h a i t i n , \ A n I m p r o v e m e n t o n a T h e o r e m o f E . F . M o o r e , " I E E E

    T r a n s a c t i o n s o n E l e c t r o n i c C o m p u t e r s E C - 1 4 ( 1 9 6 5 ) , p p . 4 6 6 { 4 6 7 .

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    12/238

    4 P r o l o g u e

    n u m b e r s .

    3

    I n t h i s c o n n e c t i o n I c a m e u p w i t h m y r s t i n c o m p l e t e -

    n e s s t h e o r e m .

    4

    G

    o d e l ' s o r i g i n a l p r o o f I h a d f o u n d t o b e i n n i t e l y

    f a s c i n a t i n g , b u t i n c o m p r e h e n s i b l e . O n c e I f o r m u l a t e d a n d p r o v e d a n

    i n c o m p l e t e n e s s t h e o r e m o f m y o w n , I b e g a n t o u n d e r s t a n d G

    o d e l ' s

    ( T o r e a l l y u n d e r s t a n d s o m e t h i n g , I b e l i e v e t h a t o n e m u s t d i s c o v e r i t

    o n e s e l f , n o t l e a r n i t f r o m a n y o n e e l s e ! )

    D u r i n g m y r s t y e a r a t C i t y C o l l e g e , w h i l e r e a d i n g v o n N e u -

    m a n n a n d M o r g e n s t e r n ' s T h e o r y o f G a m e s a n d E c o n o m i c B e h a v i o r

    w h e r e t h e y i n v o k e r a n d o m ( \ m i x e d " ) s t r a t e g i e s f o r z e r o - s u m t w o - p e r s o n

    g a m e s w i t h o u t a s a d d l e p o i n t ( \ J u s t i c a t i o n o f t h e P r o c e d u r e a s A p -

    p l i e d t o a n I n d i v i d u a l P l a y " ) ,

    5

    I r e c a l l e d m y i d e a f o r a d e n i t i o n o f

    r a n d o m n e s s , a n d d e c i d e d t o t r y t o d e v e l o p i t m a t h e m a t i c a l l y u s i n g t h e

    n o t i o n o f a T u r i n g m a c h i n e . I d i d t h i s t h e n e x t s u m m e r , t h e s u m m e r

    o f 1 9 6 5 , b e t w e e n m y r s t a n d s e c o n d y e a r s a t C i t y C o l l e g e , w h i l e s e e i n g

    i n t e r e s t i n g l m s a t t h e M u s e u m o f M o d e r n A r t a n d t h i n k i n g i n C e n t r a l

    P a r k . W h e n c o l l e g e s t a r t e d i n t h e f a l l , I w a s e x c u s e d f r o m a t t e n d i n g

    c l a s s e s t o n i s h w r i t i n g u p m y r e s u l t s !

    6 7 8 9

    T h e s e p a p e r s c o n t a i n t w o

    t h e o r i e s o f p r o g r a m s i z e b a s e d o n c o u n t i n g t h e n u m b e r o f s t a t e s i n T u r -

    i n g m a c h i n e s , a n d o n e t h e o r y o f p r o g r a m s i z e b a s e d o n c o u n t i n g b i t s i n

    3

    T h i s e v e n t u a l l y b e c a m e : G r e g o r y J . C h a i t i n , \ O n t h e S i m p l i c i t y a n d S p e e d

    o f P r o g r a m s f o r C o m p u t i n g I n n i t e S e t s o f N a t u r a l N u m b e r s , " J o u r n a l o f t h e A C M

    1 6 ( 1 9 6 9 ) , p p . 4 0 7 { 4 2 2 .

    4

    M a x i m i z i n g o v e r a l l p r o v a b l y t o t a l r e c u r s i v e f u n c t i o n s , o n e o b t a i n s a t o t a l r e -

    c u r s i v e f u n c t i o n t h a t g r o w s m o r e q u i c k l y t h a n a n y f u n c t i o n t h a t i s p r o v a b l y t o t a l .

    S e e t h e d i s c u s s i o n a t t h e e n d o f S e c t i o n 2 o f : G r e g o r y J . C h a i t i n , \ G o d e l ' s T h e -

    o r e m a n d I n f o r m a t i o n , " I n t e r n a t i o n a l J o u r n a l o f T h e o r e t i c a l P h y s i c s 2 2 ( 1 9 8 2 ) , p p .

    9 4 1 { 9 5 4 .

    5

    J o h n v o n N e u m a n n a n d O s k a r M o r g e n s t e r n , T h e o r y o f G a m e s a n d E c o -

    n o m i c B e h a v i o r , P r i n c e t o n : P r i n c e t o n U n i v e r s i t y P r e s s ( 1 9 5 3 ) , p p . 1 4 6 { 1 4 8 .

    6

    G r e g o r y J . C h a i t i n , \ O n t h e L e n g t h o f P r o g r a m s f o r C o m p u t i n g F i n i t e

    B i n a r y S e q u e n c e s b y B o u n d e d - T r a n s f e r T u r i n g M a c h i n e s , " A b s t r a c t 6 6 T { 2 6 , A M S

    N o t i c e s 1 3 ( 1 9 6 6 ) , p . 1 3 3 .

    7

    G r e g o r y J . C h a i t i n , \ O n t h e L e n g t h o f P r o g r a m s f o r C o m p u t i n g F i n i t e

    B i n a r y S e q u e n c e s b y B o u n d e d - T r a n s f e r T u r i n g M a c h i n e s I I , " A b s t r a c t 6 3 1 { 6 , A M S

    N o t i c e s 1 3 ( 1 9 6 6 ) , p p . 2 2 8 { 2 2 9 .

    8

    G r e g o r y J . C h a i t i n , \ O n t h e L e n g t h o f P r o g r a m s f o r C o m p u t i n g F i n i t e

    B i n a r y S e q u e n c e s , " J o u r n a l o f t h e A C M 1 3 ( 1 9 6 6 ) , p p . 5 4 7 { 5 6 9 .

    9

    G r e g o r y J . C h a i t i n , \ O n t h e L e n g t h o f P r o g r a m s f o r C o m p u t i n g F i n i t e

    B i n a r y S e q u e n c e s : S t a t i s t i c a l C o n s i d e r a t i o n s , " J o u r n a l o f t h e A C M 1 6 ( 1 9 6 9 ) , p p .

    1 4 5 { 1 5 9 . P u b l i c a t i o n w a s i n e x p l i c a b l y d e l a y e d .

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    13/238

    A L i f e i n M a t h 5

    p r o g r a m s f o r m o r e a b s t r a c t b i n a r y c o m p u t e r s a l t o g e t h e r t h r e e d i e r -

    e n t t h e o r i e s o f p r o g r a m s i z e ! ( I d i d a l l t h i s w h e n I w a s e i g h t e e n . ) T h e n

    m y p a r e n t s a n d I m o v e d t o B u e n o s A i r e s , a s o p h i s t i c a t e d E u r o p e a n

    c i t y o f c a f e s , c i n e m a s , r e s t a u r a n t s , b e e r h a l l s , a n d r o w i n g c l u b s . T h e r e

    m y a d u l t l i f e b e g a n a n d I a l m o s t i m m e d i a t e l y j o i n e d I B M w o r k i n g a s

    a p r o g r a m m e r , c o n t i n u i n g m y r e s e a r c h a s a h o b b y .

    A d u l t A c t i v i t i e s

    I n A u g u s t 1 9 6 8 I p r e s e n t e d a p a p e r s u m m a r i z i n g m y i d e a s a t t h e P a n -

    A m e r i c a n S y m p o s i u m o f A p p l i e d M a t h e m a t i c s i n B u e n o s A i r e s . T h i s

    w a s p u b l i s h e d i n 1 9 7 0 .

    1 0

    I n 1 9 7 0 I a l s o p u b l i s h e d s o m e t h o u g h t s o n

    p o s s i b l e c o n n e c t i o n s b e t w e e n m y w o r k a n d J o h n v o n N e u m a n n ' s

    i d e a s o n s e l f - r e p r o d u c i n g a u t o m a t a

    1 1

    i n t h e n e w s l e t t e r o f t h e A C M ' s

    S p e c i a l I n t e r e s t C o m m i t t e e o n A u t o m a t a a n d C o m p u t a b i l i t y T h e o r y

    ( S I C A C T ) .

    1 2

    ( S I C A C T w a s l a t e r r e n a m e d S I G A C T , t h e S p e c i a l I n t e r -

    e s t G r o u p o n A u t o m a t a a n d C o m p u t a b i l i t y T h e o r y ) .

    I d i s c o v e r e d m y r s t i n f o r m a t i o n - t h e o r e t i c i n c o m p l e t e n e s s t h e o r e m

    i n 1 9 7 0 a t t h e a g e o f t w e n t y - t w o w h i l e I w a s v i s i t i n g a R i o d e J a n i e r o

    u n i v e r s i t y a n d e n j o y i n g t h e t r o p i c a l b e a c h e s a n d t h e e x c i t e m e n t o f

    C a r n i v a l .

    1 3 1 4

    ( I s h o u l d h a v e d i s c o v e r e d t h i s i n c o m p l e t e n e s s t h e o r e m i n

    1 9 6 5 , b e c a u s e t h i s t h e o r e m i s a n i m m e d i a t e c o n s e q u e n c e o f t h e p r o o f

    t h a t p r o g r a m - s i z e c o m p l e x i t y i s u n c o m p u t a b l e t h a t I g i v e i n m y 1 9 6 6

    J o u r n a l o f t h e A C M p a p e r . T h e r e a s o n t h a t I d i d n ' t d i s c o v e r t h i s t h e o -

    r e m i n 1 9 6 5 i s t h a t I w a s s o i n t e r e s t e d i n r a n d o m n e s s t h a t I t e m p o r a r i l y

    f o r g o t a b o u t i n c o m p l e t e n e s s ! T h e m o m e n t t h a t I t h o u g h t a b o u t r a n -

    d o m n e s s a n d i n c o m p l e t e n e s s , I r e a l i z e d t h a t o n e c a n n o t p r o v e t h a t

    1 0

    G r e g o r y J . C h a i t i n , \ O n t h e D i c u l t y o f C o m p u t a t i o n s , " I E E E T r a n s a c -

    t i o n s o n I n f o r m a t i o n T h e o r y I T { 1 6 ( 1 9 7 0 ) , p p . 5 { 9 .

    1 1

    J o h n v o n N e u m a n n , T h e o r y o f S e l f - R e p r o d u c i n g A u t o m a t a , U r b a n a : U n i v e r -

    s i t y o f I l l i n o i s P r e s s ( 1 9 6 6 ) . E d i t e d a n d c o m p l e t e d b y A r t h u r W . B u r k s .

    1 2

    G r e g o r y J . C h a i t i n , \ T o a M a t h e m a t i c a l D e n i t i o n o f ` L i f e ' , " A C M S I C A C T

    N e w s 4 ( J a n u a r y 1 9 7 0 ) , p p . 1 2 { 1 8 .

    1 3

    G r e g o r y J . C h a i t i n , \ C o m p u t a t i o n a l C o m p l e x i t y a n d G o d e l ' s I n c o m p l e t e -

    n e s s T h e o r e m , " A b s t r a c t 7 0 T { E 3 5 , A M S N o t i c e s 1 7 ( 1 9 7 0 ) , p . 6 7 2 .

    1 4

    G r e g o r y J . C h a i t i n , \ C o m p u t a t i o n a l C o m p l e x i t y a n d G o d e l ' s I n c o m p l e t e -

    n e s s T h e o r e m , " A C M S I G A C T N e w s 9 ( A p r i l 1 9 7 1 ) , p p . 1 1 { 1 2 .

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    14/238

    6 P r o l o g u e

    a s t r i n g i s r a n d o m b e c a u s e o f v e r y s t r o n g i n f o r m a t i o n - t h e o r e t i c c o n -

    s t r a i n t s o n t h e p o w e r o f m a t h e m a t i c a l r e a s o n i n g . )

    A n d i n R i o I o b t a i n e d a c o p y o f t h e o r i g i n a l M I T L I S P 1 . 5 m a n u a l .

    1 5

    W h e n I r e t u r n e d t o B u e n o s A i r e s I l e a r n e d L I S P b y w r i t i n g a L I S P

    i n t e r p r e t e r . T h i s w a s t h e r s t o f m a n y L I S P i n t e r p r e t e r s t h a t I w a s t o

    w r i t e , a n d t h e b e g i n n i n g o f a l o n g l o v e a a i r w i t h L I S P . ( I w a s h a v i n g

    s o m u c h f u n p l a y i n g w i t h L I S P o n c o m p u t e r s t h a t I d i d n o t r e a l i z e t h a t

    m y t h e o r e t i c a l i d e a s o n p r o g r a m - s i z e c o m p l e x i t y a p p l y b e a u t i f u l l y t o

    L I S P .

    1 6

    )

    T h e e a r l y 1 9 7 0 s w e r e a t i m e o f i n t e n s e a c t i v i t y .

    1 7 1 8 1 9 2 0 2 1 2 2

    I g a v e

    a c o u r s e o n L I S P a n d t w o c o u r s e s o n \ C o m p u t a b i l i t y a n d M e t a m a t h e -

    m a t i c s " a t C i e n c i a s E x a c t a s , t h e S c h o o l o f E x a c t S c i e n c e s o f t h e U n i -

    v e r s i t y o f B u e n o s A i r e s .

    I n t h e e a r l y 1 9 7 0 s I c o n t i n u e d d e v e l o p i n g m y i n f o r m a t i o n - t h e o r e t i c

    a p p r o a c h t o i n c o m p l e t e n e s s . I n O c t o b e r 1 9 7 1 , J a c o b T . S c h w a r t z

    p r e s e n t e d a p a p e r o n t h i s f o r m e a t t h e C o u r a n t I n s t i t u t e C o m p u t a -

    t i o n a l C o m p l e x i t y S y m p o s i u m i n N e w Y o r k . I n J u n e 1 9 7 3 , T e r r e n c e

    L . F i n e p r e s e n t e d a p a p e r o n t h i s f o r m e a t t h e I E E E I n t e r n a t i o n a l

    S y m p o s i u m o n I n f o r m a t i o n T h e o r y i n A s h k e l o n , I s r a e l .

    2 3

    I n 1 9 7 4 t h e s e

    1 5

    J o h n M c C a r t h y , P a u l W . A b r a h a m s , D a n i e l J . E d w a r d s , T i m o t h y

    P . H a r t , a n d M i c h a e l I . L e v i n , L I S P 1 . 5 P r o g r a m m e r ' s M a n u a l , C a m b r i d g e :

    M I T P r e s s ( 1 9 8 5 ) .

    1 6

    S e e p a g e s 3 7 { 1 0 5 i n t h i s v o l u m e .

    1 7

    G r e g o r y J . C h a i t i n , I n f o r m a t i o n - T h e o r e t i c A s p e c t s o f t h e T u r i n g D e g r e e s ,

    A b s t r a c t 7 2 T { E 7 7 , A M S N o t i c e s 1 9 ( 1 9 7 2 ) , p p . A { 6 0 1 , A { 6 0 2 .

    1 8

    G r e g o r y J . C h a i t i n , \ I n f o r m a t i o n - T h e o r e t i c A s p e c t s o f P o s t ' s C o n s t r u c t i o n

    o f a S i m p l e S e t , " A b s t r a c t 7 2 T { E 8 5 , A M S N o t i c e s 1 9 ( 1 9 7 2 ) , p . A { 7 1 2 .

    1 9

    G r e g o r y J . C h a i t i n , \ O n t h e D i c u l t y o f G e n e r a t i n g a l l B i n a r y S t r i n g s o f

    C o m p l e x i t y l e s s t h a n N " A b s t r a c t 7 2 T { E 1 0 1 , A M S N o t i c e s 1 9 ( 1 9 7 2 ) , p . A { 7 6 4 .

    2 0

    G r e g o r y J . C h a i t i n , \ O n t h e G r e a t e s t N a t u r a l N u m b e r o f D e n i t i o n a l o r

    I n f o r m a t i o n C o m p l e x i t y N " R e c u r s i v e F u n c t i o n T h e o r y : N e w s l e t t e r 4 ( J a n u a r y

    1 9 7 3 ) , p p . 1 1 { 1 3 .

    2 1

    G r e g o r y J . C h a i t i n , \ A N e c e s s a r y a n d S u c i e n t C o n d i t i o n f o r a n I n n i t e

    B i n a r y S t r i n g t o b e R e c u r s i v e , " R e c u r s i v e F u n c t i o n T h e o r y : N e w s l e t t e r 4 ( J a n u a r y

    1 9 7 3 ) , p . 1 3 .

    2 2

    G r e g o r y J . C h a i t i n , \ T h e r e a r e F e w M i n i m a l D e s c r i p t i o n s , " R e c u r s i v e F u n c -

    t i o n T h e o r y : N e w s l e t t e r 4 ( J a n u a r y 1 9 7 3 ) , p . 1 4 .

    2 3

    G r e g o r y J . C h a i t i n , \ I n f o r m a t i o n - T h e o r e t i c C o m p u t a t i o n a l C o m p l e x i t y , "

    A b s t r a c t s o f P a p e r s , 1 9 7 3 I E E E I n t e r n a t i o n a l S y m p o s i u m o n I n f o r m a t i o n T h e o r y ,

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    15/238

    A L i f e i n M a t h 7

    t w o p a p e r s w e r e p u b l i s h e d a s a n i n v i t e d p a p e r i n t h e I E E E T r a n s a c -

    t i o n s o n I n f o r m a t i o n T h e o r y

    2 4

    a n d a m u c h l o n g e r p a p e r i n t h e J o u r n a l

    o f t h e A C M .

    2 5

    W h i l e v i s i t i n g t h e I B M T h o m a s J . W a t s o n R e s e a r c h C e n t e r i n

    N e w Y o r k i n 1 9 7 4 , I r e a l i z e d t h a t i t i s v e r y i m p o r t a n t t o u s e a b s t r a c t

    b i n a r y c o m p u t e r s t o m e a s u r e p r o g r a m - s i z e c o m p l e x i t y t h a t h a v e s e l f -

    d e l i m i t i n g p r o g r a m s .

    2 6

    ( I n d e e d , t h e T u r i n g m a c h i n e s t h a t I h a d s t u d -

    i e d h a d s e l f - d e l i m i t i n g p r o g r a m s . D r o p p i n g t h i s w h e n g o i n g t o a b s t r a c t

    b i n a r y c o m p u t e r s h a d b e e n a m i s t a k e . ) T h e d e n i t i o n o f r e l a t i v e c o m -

    p l e x i t y a l s o n e e d e d a c o r r e c t i o n . T h i s n e w a p p r o a c h m a d e a w o r l d o f

    d i e r e n c e : I t w a s d u r i n g t h i s v i s i t t h a t I d e v i s e d t h e h a l t i n g p r o b a b i l i t y

    a n d s h o w e d t h a t i s r a n d o m . A t t h i s p o i n t i t b e c a m e a p p r o p r i a t e t o

    r e f e r t o t h i s s u b j e c t a s \ a l g o r i t h m i c i n f o r m a t i o n t h e o r y " t h e d e n i t i o n s

    w e r e n o w r i g h t . I w a s i n v i t e d t o s p e a k a b o u t t h i s a t t h e o p e n i n g p l e -

    n a r y s e s s i o n o f t h e 1 9 7 4 I E E E I n t e r n a t i o n a l S y m p o s i u m o n I n f o r m a t i o n

    T h e o r y .

    2 7

    I n 1 9 7 5 m y r s t S c i e n t i c A m e r i c a n a r t i c l e a p p e a r e d .

    2 8

    I v i s i t e d

    t h e I B M T h o m a s J . W a t s o n R e s e a r c h C e n t e r a g a i n , w r o t e a f e w

    J u n e 2 5 { 2 9 , 1 9 7 3 , K i n g S a u l H o t e l , A s h k e l o n , I s r a e l , I E E E C a t a l o g N o . 7 3 C H O

    7 5 3 { 4 I T , p . F 1 { 1 .

    2 4

    G r e g o r y J . C h a i t i n , \ I n f o r m a t i o n - T h e o r e t i c C o m p u t a t i o n a l C o m p l e x i t y , "

    I E E E T r a n s a c t i o n s o n I n f o r m a t i o n T h e o r y I T { 2 0 ( 1 9 7 4 ) , p p . 1 0 { 1 5 . R e p r i n t e d i n :

    T h o m a s T y m o c z k o , N e w D i r e c t i o n s i n t h e P h i l o s o p h y o f M a t h e m a t i c s , B o s t o n :

    B i r k h a u s e r ( 1 9 8 6 ) , p p . 2 8 7 { 2 9 9 .

    2 5

    G r e g o r y J . C h a i t i n , \ I n f o r m a t i o n - T h e o r e t i c L i m i t a t i o n s o f F o r m a l S y s -

    t e m s , " J o u r n a l o f t h e A C M 2 1 ( 1 9 7 4 ) , p p . 4 0 3 { 4 2 4 .

    2 6

    G r e g o r y J . C h a i t i n , \ A T h e o r y o f P r o g r a m S i z e F o r m a l l y I d e n t i c a l t o I n -

    f o r m a t i o n T h e o r y , " J o u r n a l o f t h e A C M 2 2 ( 1 9 7 5 ) , p p . 3 2 9 { 3 4 0 .

    2 7

    G r e g o r y J . C h a i t i n , \ A T h e o r y o f P r o g r a m S i z e F o r m a l l y I d e n t i c a l t o I n -

    f o r m a t i o n T h e o r y , " A b s t r a c t s o f P a p e r s , 1 9 7 4 I E E E I n t e r n a t i o n a l S y m p o s i u m o n

    I n f o r m a t i o n T h e o r y , O c t o b e r 2 8 { 3 1 , 1 9 7 4 , U n i v e r s i t y o f N o t r e D a m e , N o t r e D a m e ,

    I n d i a n a , U S A , I E E E C a t a l o g N o . 7 4 C H O 8 8 3 { 9 I T , p . 2 .

    2 8

    G r e g o r y J . C h a i t i n , \ R a n d o m n e s s a n d M a t h e m a t i c a l P r o o f , " S c i e n t i c

    A m e r i c a n 2 3 2 ( M a y 1 9 7 5 ) , p p . 4 7 { 5 2 . A l s o p u b l i s h e d i n t h e F r e n c h , I t a l i a n a n d

    J a p a n e s e e d i t i o n s o f S c i e n t i c A m e r i c a n .

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    16/238

    8 P r o l o g u e

    p a p e r s ,

    2 9 3 0 3 1

    a n d t h e n b e c a m e a p e r m a n e n t m e m b e r o f t h e s t a a t

    t h e W a t s o n R e s e a r c h C e n t e r . F o r a d e c a d e I w a s h e a v i l y i n v o l v e d

    i n p i o n e e r i n g w o r k o n R I S C t e c h n o l o g y . I n s p i t e o f t h i s , I m a n a g e d

    t o p u b l i s h a f e w s u r v e y p a p e r s ,

    3 2 3 3 3 4

    a n i m p r o v e d v e r s i o n o f m y 1 9 7 0

    S I C A C T p a p e r o n b i o l o g y ,

    3 5

    a n d a n o t e w i t h J a c o b T . S c h w a r t z .

    3 6

    I n t h e m i d 1 9 8 0 s , a f t e r w o r k i n g o n a c o m p u t e r p h y s i c s c o u r s e ,

    3 7

    I

    r e c e i v e d a n i n v i t a t i o n t o w r i t e t h e r s t b o o k i n t h e n e w C a m b r i d g e

    U n i v e r s i t y P r e s s s e r i e s C a m b r i d g e T r a c t s i n T h e o r e t i c a l C o m p u t e r S c i -

    e n c e . T h i s i n v i t a t i o n w a s a t r e m e n d o u s s t i m u l u s . I t e n c o u r a g e d m e

    t o r e - t h i n k i n c o m p l e t e n e s s u s i n g s e l f - d e l i m i t i n g c o m p l e x i t y ( m y 1 9 7 4

    d e n i t i o n s ) . W h i l e w o r k i n g o n t h e b o o k I d i s c o v e r e d t h a t t h e r e i s

    r a n d o m n e s s i n a r i t h m e t i c .

    3 8 3 9

    I p r o v e d t h i s b y t r a n s f o r m i n g i n t o

    2 9

    G r e g o r y J . C h a i t i n , \ I n f o r m a t i o n - T h e o r e t i c C h a r a c t e r i z a t i o n s o f R e c u r s i v e

    I n n i t e S t r i n g s , " T h e o r e t i c a l C o m p u t e r S c i e n c e 2 ( 1 9 7 6 ) , p p . 4 5 { 4 8 .

    3 0

    G r e g o r y J . C h a i t i n , \ A l g o r i t h m i c E n t r o p y o f S e t s , " C o m p u t e r s & M a t h e -

    m a t i c s w i t h A p p l i c a t i o n s 2 ( 1 9 7 6 ) , p p . 2 3 3 { 2 4 5 .

    3 1

    G r e g o r y J . C h a i t i n , \ P r o g r a m S i z e , O r a c l e s , a n d t h e J u m p O p e r a t i o n , "

    O s a k a J o u r n a l o f M a t h e m a t i c s 1 4 ( 1 9 7 7 ) , p p . 1 3 9 { 1 4 9 .

    3 2

    G r e g o r y J . C h a i t i n , \ A l g o r i t h m i c I n f o r m a t i o n T h e o r y , " I B M J o u r n a l o f

    R e s e a r c h a n d D e v e l o p m e n t 2 1 ( 1 9 7 7 ) , p p . 3 5 0 { 3 5 9 , 4 9 6 .

    3 3

    G r e g o r y J . C h a i t i n , \ A l g o r i t h m i c I n f o r m a t i o n T h e o r y , " i n S a m u e l K o t z ,

    N o r m a n L . J o h n s o n a n d C a m p b e l l B . R e a d , E n c y c l o p e d i a o f S t a t i s t i c a l S c i -

    e n c e s , V o l . 1 , N e w Y o r k : W i l e y ( 1 9 8 2 ) , p p . 3 8 { 4 1 .

    3 4

    G r e g o r y J . C h a i t i n , \ G o d e l ' s T h e o r e m a n d I n f o r m a t i o n , " I n t e r n a t i o n a l

    J o u r n a l o f T h e o r e t i c a l P h y s i c s 2 2 ( 1 9 8 2 ) , p p . 9 4 1 { 9 5 4 . R e p r i n t e d i n : T h o m a s T y -

    m o c z k o , N e w D i r e c t i o n s i n t h e P h i l o s o p h y o f M a t h e m a t i c s , B o s t o n : B i r k h a u s e r

    ( 1 9 8 6 ) , p p . 3 0 0 { 3 1 1 .

    3 5

    G r e g o r y J . C h a i t i n , \ T o w a r d a M a t h e m a t i c a l D e n i t i o n o f ` L i f e ' , " i n

    R a p h a e l D . L e v i n e a n d M y r o n T r i b u s , T h e M a x i m u m E n t r o p y F o r m a l i s m ,

    C a m b r i d g e : M I T P r e s s ( 1 9 7 9 ) , p p . 4 7 7 { 4 9 8 .

    3 6

    G r e g o r y J . C h a i t i n a n d J a c o b T . S c h w a r t z , \ A N o t e o n M o n t e C a r l o

    P r i m a l i t y T e s t s a n d A l g o r i t h m i c I n f o r m a t i o n T h e o r y , " C o m m u n i c a t i o n s o n P u r e

    a n d A p p l i e d M a t h e m a t i c s 3 1 ( 1 9 7 8 ) , p p . 5 2 1 { 5 2 7 .

    3 7

    G r e g o r y J . C h a i t i n , \ A n A P L 2 G a l l e r y o f M a t h e m a t i c a l P h y s i c s | A C o u r s e

    O u t l i n e , " i n I B M J a p a n , P r o c e e d i n g s J a p a n 8 5 A P L S y m p o s i u m , f o r m N : G E 1 8 {

    9 9 4 8 { 0 ( 1 9 8 5 ) , p p . 1 { 5 6 .

    3 8

    G r e g o r y J . C h a i t i n , \ R a n d o m R e a l s a n d E x p o n e n t i a l D i o p h a n t i n e E q u a -

    t i o n s , " R e s e a r c h R e p o r t R C { 1 1 7 8 8 , Y o r k t o w n H e i g h t s : I B M T h o m a s J . W a t s o n

    R e s e a r c h C e n t e r ( M a r c h 1 9 8 6 ) , 6 p p .

    3 9

    G r e g o r y J . C h a i t i n , \ I n c o m p l e t e n e s s T h e o r e m s f o r R a n d o m R e a l s , " A d -

    v a n c e s i n A p p l i e d M a t h e m a t i c s 8 ( 1 9 8 7 ) , p p . 1 1 9 { 1 4 6 .

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    17/238

    A L i f e i n M a t h 9

    a t w o - h u n d r e d p a g e a l g e b r a i c e q u a t i o n i n v o l v i n g o n l y w h o l e n u m b e r s .

    T h e b o o k

    4 0

    i s f u l l o f n e w r e s u l t s , a n d h a s a f o r e w o r d b y J a c o b T .

    S c h w a r t z . A c o l l e c t i o n o f m y p a p e r s

    4 1

    w a s p u b l i s h e d a t t h e s a m e

    t i m e .

    4 2

    M y d i s c o v e r y o f r a n d o m n e s s i n a r i t h m e t i c a t t r a c t e d a g r e a t d e a l o f

    a t t e n t i o n , s t a r t i n g w i t h a n a r t i c l e b y I a n S t e w a r t i n N a t u r e .

    4 3

    I h a d

    t h e p l e a s u r e o f w r i t i n g a b o u t i t n o t o n l y i n S c i e n t i c A m e r i c a n ,

    4 4

    b u t

    a l s o i n t h e E n g l i s h m a g a z i n e N e w S c i e n t i s t

    4 5

    a n d t h e F r e n c h m a g a z i n e

    L a R e c h e r c h e .

    4 6

    I a l s o h a d t h e p l e a s u r e o f b e i n g i n v i t e d t o s p e a k o n t h i s

    w o r k i n t h e v e r y r o o m o f t h e M a t h e m a t i c a l I n s t i t u t e o f t h e U n i v e r s i t y

    o f V i e n n a w h e r e G

    o d e l u s e d t o t e a c h .

    4 7

    T h e r o o m w h e r e I l e c t u r e d

    i s c a l l e d t h e G

    o d e l c l a s s r o o m a n d h a s a s t o n e p l a q u e o n t h e w a l l

    a n n o u n c i n g t h a t \ h i e r w i r k t e K U R T G

    O D E L v o n 1 9 3 2 { 1 9 3 8 " .

    I a l s o g a v e a l e s s t e c h n i c a l t a l k o n t h e b a c k g r o u n d a n d t h e b r o a d e r

    4 0

    G r e g o r y J . C h a i t i n , A l g o r i t h m i c I n f o r m a t i o n T h e o r y , C a m b r i d g e T r a c t s

    i n T h e o r e t i c a l C o m p u t e r S c i e n c e , N o . 1 , C a m b r i d g e : C a m b r i d g e U n i v e r s i t y P r e s s

    ( 1 9 8 7 ) . R e p r i n t e d w i t h c o r r e c t i o n s i n 1 9 8 8 a n d 1 9 9 0 .

    4 1

    G r e g o r y J . C h a i t i n , I n f o r m a t i o n , R a n d o m n e s s & I n c o m p l e t e n e s s | P a p e r s

    o n A l g o r i t h m i c I n f o r m a t i o n T h e o r y , S i n g a p o r e : W o r l d S c i e n t i c ( 1 9 8 7 ) . A s e c o n d

    e d i t i o n w a s p u b l i s h e d i n 1 9 9 0 .

    4 2

    I n c i d e n t a l l y , m y f a t h e r p u b l i s h e d a b o o k w h e n h e w a s t w e n t y . I w a s f o r t y w h e n

    t h e s e t w o b o o k s a p p e a r e d .

    4 3

    I a n S t e w a r t , \ T h e U l t i m a t e i n U n d e c i d a b i l i t y , " N a t u r e 2 3 2 ( 1 0 M a r c h 1 9 8 8 ) ,

    p p . 1 1 5 { 1 1 6 .

    4 4

    G r e g o r y J . C h a i t i n , \ R a n d o m n e s s i n A r i t h m e t i c , " S c i e n t i c A m e r i c a n 2 5 9

    ( J u l y 1 9 8 8 ) , p p . 8 0 { 8 5 . A l s o p u b l i s h e d i n t h e F r e n c h , G e r m a n , I t a l i a n , J a p a n e s e

    a n d S p a n i s h e d i t i o n s o f S c i e n t i c A m e r i c a n .

    4 5

    G r e g o r y J . C h a i t i n , \ A R a n d o m W a l k i n A r i t h m e t i c , " N e w S c i e n t i s t 1 2 5

    ( 2 4 M a r c h 1 9 9 0 ) , p p . 4 4 { 4 6 . R e p r i n t e d i n : N i n a H a l l , T h e N e w S c i e n t i s t G u i d e

    t o C h a o s , H a r m o n d s w o r t h : P e n g u i n ( 1 9 9 1 ) , p p . 1 9 6 { 2 0 2 . A l s o r e p r i n t e d i n t h i s

    v o l u m e , p . 1 3 7 .

    4 6

    G r e g o r y J . C h a i t i n , \ L e H a s a r d d e s N o m b r e s , " L a R e c h e r c h e 2 2 ( M a y 1 9 9 1 ) ,

    p p . 6 1 0 { 6 1 5 . R e p r i n t e d i n t h i s v o l u m e , p . 1 7 1 . A l s o p u b l i s h e d i n t h e S p a n i s h e d i t i o n

    o f L a R e c h e r c h e

    4 7

    G r e g o r y J . C h a i t i n , \ R a n d o m n e s s i n A r i t h m e t i c , " i n M a r c E . C a r -

    v a l l o , N a t u r e , C o g n i t i o n a n d S y s t e m , V o l . 3 , D o r d r e c h t : K l u w e r ( 1 9 9 3 ) , i n p r e s s .

    R e p r i n t e d i n t h i s v o l u m e , p . 1 6 1 .

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    18/238

    1 0 P r o l o g u e

    s i g n i c a n c e o f m y w o r k .

    4 8 4 9

    H o w i s t h e t w o - h u n d r e d p a g e e q u a t i o n f o r c o n s t r u c t e d ? I s t a r t

    w i t h a n i n t e r p r e t e r f o r a t o y v e r s i o n o f L I S P t h a t I o r i g i n a l l y u s e d i n

    t h e L I S P c o u r s e t h a t I g a v e a t C i e n c i a s E x a c t a s ( t h e S c h o o l o f E x a c t

    S c i e n c e s o f t h e U n i v e r s i t y o f B u e n o s A i r e s ) i n t h e e a r l y 1 9 7 0 s . I t h e n

    t a k e t h i s L I S P i n t e r p r e t e r a n d t r a n s f o r m i t i n t o a n e q u a t i o n u s i n g i d e a s

    o f J o n e s a n d M a t i j a s e v i

    c

    5 0

    F i n a l l y , I p l u g a L I S P p r o g r a m f o r

    c o m p u t i n g a p p r o x i m a t i o n s t o i n t o t h e e q u a t i o n t h a t I p r o d u c e d f r o m

    t h e L I S P i n t e r p r e t e r . T h e s o f t w a r e f o r d o i n g a l l o f t h i s w a s o r i g i n a l l y i n

    a s s e m b l y l a n g u a g e . I t h a s b e e n r e w r i t t e n t w i c e : i n C , a n d i n t h e v e r y

    h i g h l e v e l l a n g u a g e S E T L 2 . ( T h i s s o f t w a r e i s a v a i l a b l e o n r e q u e s t . )

    I h a d t h e p l e a s u r e o f s p e a k i n g a t t w o S o l v a y c o n f e r e n c e s i n B r u s -

    s e l s . O n e t o o k p l a c e i n O c t o b e r 1 9 8 5 , t h e o t h e r i n S e p t e m b e r 1 9 8 9 .

    B o t h c o n f e r e n c e s w e r e o r g a n i z e d b y P r o f I l y a P r i g o g i n e a n d s p o n -

    s o r e d b y t h e S o l v a y I n s t i t u t e a n d t h e H o n d a F o u n d a t i o n . B o t h

    c o n f e r e n c e s w e r e q u i t e s t i m u l a t i n g . M y r s t t a l k i s s u m m a r i z e d i n a

    p a p e r .

    5 1

    M y s e c o n d t a l k w a s l m e d a t r a n s c r i p t i s i n c l u d e d i n t h e s e c -

    o n d c o l l e c t i o n o f m y p a p e r s

    5 2

    ( m y N e w S c i e n t i s t a r t i c l e i s a c o n d e n s e d

    v e r s i o n o f t h i s t a l k m y L a R e c h e r c h e a r t i c l e i s a n e x p a n d e d v e r s i o n ) .

    I a m g r a t e f u l t o t h e K i n g a n d Q u e e n o f B e l g i u m , M r H o n d a ,

    M r S o l v a y a n d P r o f P r i g o g i n e f o r t h e i r h o s p i t a l i t y . T w o m e m o -

    r a b l e m o m e n t s : O n e , a d i n n e r a t M r S o l v a y ' s c i t y r e s i d e n c e . A m o n g

    t h e g u e s t s , t h e K i n g a n d Q u e e n o f B e l g i u m , t h e C r o w n P r i n c e o f

    J a p a n , M r H o n d a a n d P r o f P r i g o g i n e . T h e o t h e r , a p a r t y h o s t e d

    4 8

    G r e g o r y J . C h a i t i n , \ Z a h l e n u n d Z u f a l l , " i n H a n s - C h r i s t i a n R e i c h e l

    a n d E n r i q u e P r a t d e l a R i b a , N a t u r w i s s e n s c h a f t u n d W e l t b i l d , V i e n n a : V e r l a g

    H o l d e r { P i c h l e r { T e m p s k y ( 1 9 9 2 ) , p p . 3 0 { 4 4 .

    4 9

    G r e g o r y J . C h a i t i n , \ N u m b e r a n d R a n d o m n e s s , " i n M a r c E . C a r -

    v a l l o , N a t u r e , C o g n i t i o n a n d S y s t e m , V o l . 3 , D o r d r e c h t : K l u w e r ( 1 9 9 3 ) , i n p r e s s .

    R e p r i n t e d i n t h i s v o l u m e , p . 1 4 5 .

    5 0

    J a m e s P . J o n e s a n d Y u r i V . M a t i j a s e v i

    c \ R e g i s t e r M a c h i n e P r o o f o f t h e

    T h e o r e m o n E x p o n e n t i a l D i o p h a n t i n e R e p r e s e n t a t i o n o f E n u m e r a b l e S e t s , " J o u r n a l

    o f S y m b o l i c L o g i c 4 9 ( 1 9 8 4 ) , p p . 8 1 8 { 8 2 9 .

    5 1

    G r e g o r y J . C h a i t i n , \ R a n d o m n e s s a n d G o d e l ' s T h e o r e m , " M o n d e s e n

    D e v e l o p p e m e n t 5 4 { 5 5 ( 1 9 8 6 ) , p p . 1 2 5 { 1 2 8 .

    5 2

    G r e g o r y J . C h a i t i n , \ U n d e c i d a b i l i t y & R a n d o m n e s s i n P u r e M a t h e m a t i c s , "

    i n G r e g o r y J . C h a i t i n , I n f o r m a t i o n , R a n d o m n e s s & I n c o m p l e t e n e s s | P a p e r s o n

    A l g o r i t h m i c I n f o r m a t i o n T h e o r y , S i n g a p o r e : W o r l d S c i e n t i c ( 1 9 9 0 ) , p p . 3 0 7 { 3 1 3 .

    A L i f e i n M a t h 1 1

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    19/238

    b y M r H o n d a , w i t h a s t r i n g q u a r t e t p l a y i n g M o z a r t a n d d r e s s e d i n

    p e r i o d c o s t u m e s . D u r i n g a b r e a k , o n e o f t h e p e r f o r m e r s s t a n d i n g i n h i s

    w i g a n d k n e e - b r e e c h e s , e a t i n g s u s h i w i t h c h o p s t i c k s !

    R e c e n t l y I h a v e g i v e n m u c h t h o u g h t t o p r o g r a m s i z e i n

    L I S P ,

    5 3 5 4 5 5 5 6

    w h i c h w o r k s o u t n i c e l y .

    M y l a t e s t p a p e r p r e s e n t s s u r p r i s i n g r e f o r m u l a t i o n s o f m y m o s t

    b a s i c i n c o m p l e t e n e s s t h e o r e m s u s i n g s e l f - d e l i m i t i n g e n u m e r a t i o n

    c o m p l e x i t y .

    5 7

    T h i s b o o k i s t h e s t o r y o f m y m a t h e m a t i c a l a d v e n t u r e s , a n d t h i s

    s t o r y i s t o l d r o u g h l y i n t h e o r d e r t h a t I m a d e t h e d i s c o v e r i e s . T h e

    r s t p a r t s u r v e y s e i g h t d i e r e n t t h e o r i e s o f p r o g r a m - s i z e c o m p l e x i t y :

    o n e b a s e d o n T u r i n g m a c h i n e s , t h r e e b a s e d o n L I S P , a n d f o u r u s i n g

    a b s t r a c t b i n a r y c o m p u t e r s ( s e e t h e i n d e x o f c o m p l e x i t y m e a s u r e s o n

    p . 1 2 ) . I n e a c h c a s e t h e e m p h a s i s i s o n i n c o m p l e t e n e s s t h e o r e m s . T h e

    s e c o n d p a r t d i s c u s s e s t h e s i g n i c a n c e o f i n f o r m a t i o n - t h e o r e t i c i n c o m -

    p l e t e n e s s .

    \ T h e e s s e n t i a l i n t h e b e i n g o f a m a n o f m y t y p e l i e s p r e c i s e l y i n w h a t

    h e t h i n k s a n d h o w h e t h i n k s , n o t i n w h a t h e d o e s o r s u e r s . "

    \ T h i s e x p o s i t i o n h a s f u l l l e d i t s p u r p o s e i f i t s h o w s t h e r e a d e r h o w t h e

    e o r t s o f a l i f e h a n g t o g e t h e r a n d w h y t h e y h a v e l e d t o e x p e c t a t i o n s

    o f a d e n i t e f o r m . "

    | A l b e r t E i n s t e i n , A u t o b i o g r a p h i c a l N o t e s

    5 3

    G r e g o r y J . C h a i t i n , \ L I S P P r o g r a m - S i z e C o m p l e x i t y , " A p p l i e d M a t h e m a t i c s

    a n d C o m p u t a t i o n 4 9 ( 1 9 9 2 ) , p p . 7 9 { 9 3 . R e p r i n t e d i n t h i s v o l u m e , p . 3 7 .

    5 4

    G r e g o r y J . C h a i t i n , \ L I S P P r o g r a m - S i z e C o m p l e x i t y I I , " A p p l i e d M a t h e -

    m a t i c s a n d C o m p u t a t i o n 5 2 ( 1 9 9 2 ) , p p . 1 0 3 { 1 2 6 . R e p r i n t e d i n t h i s v o l u m e , p . 5 5 .

    5 5

    G r e g o r y J . C h a i t i n , \ L I S P P r o g r a m - S i z e C o m p l e x i t y I I I , " A p p l i e d M a t h e -

    m a t i c s a n d C o m p u t a t i o n 5 2 ( 1 9 9 2 ) , p p . 1 2 7 { 1 3 9 . R e p r i n t e d i n t h i s v o l u m e , p . 8 3 .

    5 6

    G r e g o r y J . C h a i t i n , \ L I S P P r o g r a m - S i z e C o m p l e x i t y I V , " A p p l i e d M a t h e -

    m a t i c s a n d C o m p u t a t i o n 5 2 ( 1 9 9 2 ) , p p . 1 4 1 { 1 4 7 . R e p r i n t e d i n t h i s v o l u m e , p . 9 7 .

    5 7

    G r e g o r y J . C h a i t i n , \ I n f o r m a t i o n - T h e o r e t i c I n c o m p l e t e n e s s , " A p p l i e d

    M a t h e m a t i c s a n d C o m p u t a t i o n 5 2 ( 1 9 9 2 ) , p p . 8 3 { 1 0 1 . R e p r i n t e d i n t h i s v o l u m e ,

    p . 1 0 7 .

    1 2 P r o l o g u e

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    20/238

    I n d e x o f C o m p l e x i t y M e a s u r e s

    N o t a t i o n N a m e : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : P a g e U n i t

    T u r i n g M a c h i n e s C o m p l e x i t y M e a s u r e

    H

    t m

    T u r i n g M a c h i n e C o m p l e x i t y : : : : : : : : : : : : : : : 1 7 S t a t e s

    L I S P C o m p l e x i t y M e a s u r e s

    H

    l i s p

    ( R e a l ) L I S P C o m p l e x i t y : : : : : : : : : : : : : : : : : : : 3 7 C h a r a c t e r s

    H

    p f

    P a r e n t h e s i s - F r e e L I S P C o m p l e x i t y : : : : : : : : : 8 3 C h a r a c t e r s

    H

    c s

    C h a r a c t e r - S t r i n g L I S P C o m p l e x i t y : : : : : : : : 9 7 C h a r a c t e r s

    A b s t r a c t B i n a r y C o m p u t e r C o m p l e x i t y M e a s u r e s

    H

    b

    B l a n k - E n d m a r k e r C o m p l e x i t y : : : : : : : : : : : : : 2 5 B i t s

    H

    b e

    B l a n k - E n d m a r k e r E n u m e r a t i o n C o m p l e x i t y 3 0 B i t s

    H S e l f - D e l i m i t i n g C o m p l e x i t y : : : : : : : : : : : : : : : 1 0 8 B i t s

    H

    e

    S e l f - D e l i m i t i n g E n u m e r a t i o n C o m p l e x i t y 1 1 3 B i t s

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    21/238

    P a r t I

    T e c h n i c a l S u r v e y

    1 3

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    22/238

    1 5

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    23/238

    \ T h e m a t h e m a t i c i a n ' s p a t t e r n s , l i k e t h e p a i n t e r ' s o r p o e t ' s , m u s t b e

    b e a u t i f u l t h e i d e a s , l i k e t h e c o l o u r s o r t h e w o r d s , m u s t t t o g e t h e r

    i n a h a r m o n i o u s w a y . B e a u t y i s t h e r s t t e s t : t h e r e i s n o p e r m a n e n t

    p l a c e i n t h e w o r l d f o r u g l y m a t h e m a t i c s . "

    \ A m a t h e m a t i c i a n , l i k e a p a i n t e r o r p o e t , i s a m a k e r o f p a t t e r n s .

    I f h i s p a t t e r n s a r e m o r e p e r m a n e n t t h a n t h e i r s , i t i s b e c a u s e t h e y a r e

    m a d e w i t h i d e a s . "

    | G . H . H a r d y , A M a t h e m a t i c i a n ' s A p o l o g y

    1

    \ T w o p r o o f s a r e b e t t e r t h a n o n e . "

    \ L o o k o u t f o r s i m p l e i n t u i t i v e i d e a s : C a n y o u s e e i t a t a g l a n c e ? "

    \ C a n y o u u s e t h e r e s u l t , o r t h e m e t h o d , f o r s o m e o t h e r p r o b l e m ? "

    \ Q u i t e o f t e n , w h e n a n i d e a t h a t c o u l d b e h e l p f u l p r e s e n t s i t s e l f , w e d o

    n o t a p p r e c i a t e i t , f o r i t i s s o i n c o n s p i c u o u s . T h e e x p e r t h a s , p e r h a p s ,

    n o m o r e i d e a s t h a n t h e i n e x p e r i e n c e d , b u t a p p r e c i a t e s m o r e w h a t h e

    h a s a n d u s e s i t b e t t e r . "

    \ T h e f u t u r e m a t h e m a t i c i a n s h o u l d s o l v e p r o b l e m s , c h o o s e t h e p r o b -

    l e m s w h i c h a r e i n h i s l i n e , m e d i t a t e u p o n t h e i r s o l u t i o n , a n d i n v e n t

    n e w p r o b l e m s . B y t h i s m e a n s , a n d b y a l l o t h e r m e a n s , h e s h o u l d e n -

    d e a v o r t o m a k e h i s r s t i m p o r t a n t d i s c o v e r y : h e s h o u l d d i s c o v e r h i s

    l i k e s a n d h i s d i s l i k e s , h i s t a s t e , h i s o w n l i n e . "

    | G . P o l y a , H o w t o S o l v e I t

    1

    S e e a l s o : R o b e r t K a n i g e l , T h e M a n W h o K n e w I n n i t y : A L i f e o f t h e G e n i u s

    R a m a n u j a n , N e w Y o r k : S c r i b n e r s ( 1 9 9 1 ) .

    1 6 P a r t I | S u r v e y

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    24/238

    \ I f w e m a r v e l a t t h e p a t i e n c e a n d t h e c o u r a g e o f t h e p i o n e e r s , w e

    m u s t a l s o m a r v e l a t t h e i r p e r s i s t e n t b l i n d n e s s i n m i s s i n g t h e e a s i e r

    w a y s t h r o u g h t h e w i l d e r n e s s a n d o v e r t h e m o u n t a i n s . W h a t h u m a n

    p e r v e r s i t y m a d e t h e m t u r n e a s t t o p e r i s h i n t h e d e s e r t , w h e n b y g o i n g

    w e s t t h e y c o u l d h a v e m a r c h e d s t r a i g h t t h r o u g h t o e a s e a n d p l e n t y ? "

    | E r i c T e m p l e B e l l ,

    M a t h e m a t i c s : Q u e e n & S e r v a n t o f S c i e n c e

    \ ` A m a t h e m a t i c i a n ' s r e p u t a t i o n r e s t s o n t h e n u m b e r o f b a d p r o o f s h e

    h a s g i v e n . ' ( P i o n e e r w o r k i s c l u m s y . ) "

    | A . S . B e s i c o v i t c h q u o t e d i n

    J . E . L i t t l e w o o d , A M a t h e m a t i c i a n ' s M i s c e l l a n y

    \ O n r e v i e n t t o u j o u r s a s e s p r e m i e r e s a m o u r s . "

    O n e a l w a y s r e t u r n s t o o n e ' s r s t l o v e s . ]

    | M a r k K a c , E n i g m a s o f C h a n c e

    \ H e w h o s e e k s f o r m e t h o d s w i t h o u t h a v i n g a d e n i t e p r o b l e m i n m i n d

    s e e k s f o r t h e m o s t p a r t i n v a i n . "

    | D a v i d H i l b e r t ,

    I n t e r n a t i o n a l C o n g r e s s o f M a t h e m a t i c i a n s ,

    P a r i s , 1 9 0 0

    \ A t h e o r y i s t h e m o r e i m p r e s s i v e t h e g r e a t e r t h e s i m p l i c i t y o f i t s

    p r e m i s e s i s , t h e m o r e d i e r e n t k i n d s o f t h i n g s i t r e l a t e s , a n d t h e m o r e

    e x t e n d e d i s i t s a r e a o f a p p l i c a b i l i t y . "

    | A l b e r t E i n s t e i n , A u t o b i o g r a p h i c a l N o t e s

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    25/238

    T U R I N G M A C H I N E S

    G . J . C h a i t i n

    A b s t r a c t

    W e r e v i e w t h e T u r i n g m a c h i n e v e r s i o n o f a f u n d a m e n t a l i n f o r m a t i o n -

    t h e o r e t i c i n c o m p l e t e n e s s t h e o r e m , w h i c h a s s e r t s t h a t i t i s d i c u l t t o

    p r o v e t h a t s p e c i c s t r i n g s s h a v e h i g h T u r i n g m a c h i n e s t a t e c o m p l e x i t y

    H

    t m

    ( s ) . W e a l s o c o n s t r u c t a T u r i n g m a c h i n e \ h a l t i n g p r o b a b i l i t y "

    t m

    w i t h t h e p r o p e r t y t h a t t h e i n i t i a l s e g m e n t s o f i t s b a s e - t w o e x p a n s i o n

    a s y m p t o t i c a l l y h a v e t h e m a x i m u m p o s s i b l e T u r i n g m a c h i n e c o m p l e x i t y

    H

    t m

    1 . T u r i n g M a c h i n e C o m p l e x i t y H

    t m

    F o l l o w i n g 1 ] , c o n s i d e r T u r i n g m a c h i n e s w i t h a s i n g l e o n e - w a y i n n i t e

    t a p e ( i n n i t e t o t h e r i g h t ) , a s i n g l e r e a d - w r i t e s c a n n e r , a n d a t a p e -

    s y m b o l a l p h a b e t c o n s i s t i n g o f b l a n k , 0 a n d 1 . S u c h a n n - s t a t e 3 - t a p e -

    s y m b o l T u r i n g m a c h i n e i s d e n e d b y a 3 n t a b l e . T h i s t a b l e g i v e s t h e

    a c t i o n t o b e p e r f o r m e d a n d t h e n e x t s t a t e a s a f u n c t i o n o f t h e c u r r e n t

    s t a t e a n d t h e s y m b o l c u r r e n t l y b e i n g s c a n n e d o n t h e t a p e . T h e r e a r e

    s i x p o s s i b l e a c t i o n s : w r i t e b l a n k ( e r a s e t a p e ) , w r i t e 0 , w r i t e 1 , s h i f t

    t a p e l e f t , s h i f t t a p e r i g h t , o r h a l t .

    T h i s c h a p t e r o f t h e s u r v e y h a s n o t b e e n p u b l i s h e d e l s e w h e r e .

    1 7

    1 8 P a r t I | S u r v e y

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    26/238

    D e n e t h e T u r i n g m a c h i n e c o m p l e x i t y H

    t m

    ( s ) o f a b i t s t r i n g s t o

    b e t h e n u m b e r o f s t a t e s i n t h e s m a l l e s t n - s t a t e 3 - t a p e - s y m b o l T u r i n g

    m a c h i n e t h a t s t a r t s w i t h t h e s c a n n e r a t t h e b e g i n n i n g o f a b l a n k t a p e

    a n d h a l t s w i t h s w r i t t e n a t t h e b e g i n n i n g o f t h e t a p e , w i t h t h e r e s t o f

    t h e t a p e b l a n k , a n d w i t h t h e s c a n n e r o n t h e r s t b l a n k s q u a r e o f t h e

    t a p e .

    1

    I n 1 ] i t i s s h o w n t h a t t h e m a x i m u m p o s s i b l e T u r i n g m a c h i n e c o m -

    p l e x i t y H

    t m

    ( s ) o f a n n - b i t s t r i n g s i s a s y m p t o t i c t o n = 2 l o g

    2

    n . F u r -

    t h e r m o r e , m o s t n - b i t s t r i n g s s h a v e T u r i n g m a c h i n e c o m p l e x i t y c l o s e

    t o n = 2 l o g

    2

    n . E q u i v a l e n t l y , m o s t 2 n l o g

    2

    n b i t s t r i n g s h a v e T u r i n g m a -

    c h i n e c o m p l e x i t y c l o s e t o n . M o r e o v e r , i t i s p r o p o s e d i n 1 ] t h a t s u c h

    s t r i n g s a r e \ r a n d o m " f o r e x a m p l e , i t i s s h o w n t h a t i n t h e l i m i t o f l a r g e

    n s u c h s h a v e e x a c t l y t h e s a m e r e l a t i v e f r e q u e n c y o f 0 ' s a n d 1 ' s .

    T h e s e q u e l 2 ] c o n s i d e r s r a n d o m i n n i t e b i t s t r i n g s a n d l a b o r i o u s l y

    c o n s t r u c t s a n e x a m p l e , i . e . , a s p e c i c i n n i t e s t r i n g w h o s e i n i t i a l n -

    b i t s e g m e n t s h a v e T u r i n g m a c h i n e c o m p l e x i t y c l o s e t o t h e m a x i m u m

    p o s s i b l e , w h i c h i s n = 2 l o g

    2

    n . A s w e s h o w i n S e c t i o n 2 , t h e r e i s a m u c h

    b e t t e r w a y t o d o t h i s : v i a a h a l t i n g p r o b a b i l i t y .

    2 . T h e \ H a l t i n g P r o b a b i l i t y "

    t m

    T h e r e a r e

    n

    ( 6 n )

    3 n

    n !

    n - s t a t e 3 - t a p e - s y m b o l T u r i n g m a c h i n e s . T h e f a c t o r n o n t h e l e f t i s t o

    s p e c i f y t h e i n i t i a l s t a t e . T h e e x p o n e n t 3 n i s b e c a u s e t h e r e a r e t h a t

    m a n y e n t r i e s i n t h e t a b l e d e n i n g t h e T u r i n g m a c h i n e . T h e b a s e 6 n i s

    b e c a u s e e a c h o f t h e 3 n t a b l e e n t r i e s s p e c i e s o n e o f s i x o p e r a t i o n s a n d

    o n e o f n s t a t e s . T h e d e n o m i n a t o r n ! i s b e c a u s e a n y p e r m u t a t i o n o f t h e

    s t a t e n u m b e r s g i v e s t h e s a m e b e h a v i o r .

    l o g n ! n l o g n . T h u s

    l o g

    2

    ( t h e t o t a l n u m b e r o f n - s t a t e T u r i n g m a c h i n e s ) 2 n l o g

    2

    n

    1

    A s w i l l b e d i s c u s s e d b e l o w , t h i s d e n i t i o n i l l u s t r a t e s o u r \ l i n k a g e c o n v e n t i o n . "

    T u r i n g M a c h i n e s 1 9

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    27/238

    D e n e

    t m

    =

    1

    X

    n = 1

    # o f n - s t a t e T u r i n g m a c h i n e s t h a t h a l t

    2

    d l o g

    2

    ( t o t a l # o f n - s t a t e T u r i n g m a c h i n e s ) e

    2

    ; 2 d l o g

    2

    n e ; 1

    T h e f a c t o r o f 2

    ; 2 d l o g

    2

    n e ; 1

    i s i n o r d e r t o i n s u r e c o n v e r g e n c e i t i s e a s y t o

    s e e t h a t

    P

    1

    n = 1

    2

    ; 2 d l o g

    2

    n e ; 1

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    28/238

    T h e \ O ( l o g n ) " h e r e i s b e c a u s e w e c a n r u n a f o r m a l s y s t e m ' s p r o o f -

    c h e c k e r t o g e t t h e o r e m s , b u t t h e p r o o f - c h e c k e r d o e s n o t t e l l u s h o w

    m a n y s t a t e s i t h a s , i . e . , w h a t i t s T u r i n g m a c h i n e c o m p l e x i t y i s .

    2

    P r o o f ( O r i g i n a l V e r s i o n ) : S u p p o s e w e a r e g i v e n a n - s t a t e T u r i n g

    m a c h i n e f o r c h e c k i n g p u r p o r t e d p r o o f s i n a f o r m a l s y s t e m . T h e o u t p u t

    i s e i t h e r a m e s s a g e t h a t t h e p r o o f i s i n c o r r e c t , o r e l s e t h e t h e o r e m

    e s t a b l i s h e d b y t h e p r o o f . W e a s s u m e t h a t t h e p r o o f - c h e c k e r i s c o d e d

    i n s u c h a w a y t h a t i t c a n b e i n v o k e d a s a s u b r o u t i n e , i . e . , i t o b e y s t h e

    l i n k a g e c o n v e n t i o n s w e d i s c u s s e d a b o v e . W e a d d b l o g

    2

    k c + c s t a t e s t o

    t e l l u s a n a r b i t r a r y n a t u r a l n u m b e r k t h a t w e w i l l d e t e r m i n e l a t e r , a n d

    c

    0

    m o r e s t a t e s t h a t k e e p c a l l i n g t h e p r o o f - c h e c k e r u n t i l w e n d a p r o o f

    t h a t a s p e c i c b i t s t r i n g s h a s T u r i n g m a c h i n e s t a t e c o m p l e x i t y > k

    T h e n w e o u t p u t s a n d h a l t . T h i s g i v e s u s a T u r i n g m a c h i n e w i t h

    n + b l o g

    2

    k c + c + c

    0

    s t a t e s t h a t p r o d u c e s a s t r i n g s w i t h T u r i n g m a c h i n e c o m p l e x i t y

    > k

    T h a t i s , t h e r e i s a T u r i n g m a c h i n e w i t h

    n + l o g

    2

    k + c + c

    0

    s t a t e s t h a t p r o d u c e s a s t r i n g s w i t h T u r i n g m a c h i n e c o m p l e x i t y

    > k

    L e t u s t a k e

    k = n + l o g

    2

    n + + c + c

    0

    w h i c h m u s t b e a n i n t e g e r . T h u s t h e r e i s a T u r i n g m a c h i n e w i t h

    n + l o g

    2

    ( n + l o g

    2

    n + + c + c

    0

    ) + c + c

    0

    2

    O n e c o u l d ( b u t w e w o n ' t ) a d d t o o u r T u r i n g m a c h i n e s a w a y t o w r i t e o n t h e

    t a p e t h e c u r r e n t s t a t e n u m b e r . T h i s c o u l d t h e n b e u s e d t o d e t e r m i n e t h e s i z e

    o f a p r o g r a m b y s u b t r a c t i n g t h e i n i t i a l s t a t e f r o m t h e n a l s t a t e . I n f a c t , r e a l

    c o m p u t e r s c a n g e t a r e t u r n a d d r e s s f o r a s u b r o u t i n e i n t o a r e g i s t e r , s o t h a t t h e

    s u b r o u t i n e k n o w s w h e r e t o b r a n c h a f t e r i t i s n i s h e d .

    T u r i n g M a c h i n e s 2 1

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    29/238

    s t a t e s t h a t p r o d u c e s a s t r i n g s w i t h T u r i n g m a c h i n e c o m p l e x i t y

    > n + l o g

    2

    n + + c + c

    0

    T h i s i m p l i e s t h a t

    n + l o g

    2

    n + + c + c

    0

    < n + l o g

    2

    ( n + l o g

    2

    n + + c + c

    0

    ) + c + c

    0

    I . e . ,

    l o g

    2

    n +

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    30/238

    i s b l o g

    2

    n c + 1 , i s m u c h l e s s t h a n n . T h e r e f o r e t h e n u m b e r o f b i t s t o

    e x p r e s s t h i s s i z e i s m u c h l e s s t h a n t h e n u m b e r o f b i t s t o e x p r e s s n

    ( M o r e p r e c i s e l y , t h e n u m b e r o f b i t s i n t h e b a s e - t w o n u m e r a l f o r t h e

    n u m b e r o f b i t s i n n i s i n t h e l i m i t a v a n i s h i n g f r a c t i o n o f t h e n u m b e r o f

    b i t s i n t h e b a s e - t w o n u m e r a l f o r n . ) S o w h e n t h e s i z e o f t h e b a s e - t w o

    n u m e r a l f o r n i s a d d e d t o n , t h e b a s e - t w o n u m e r a l f o r t h e r e s u l t w i l l

    u s u a l l y b e t h e s a m e s i z e a s t h e b a s e - t w o n u m e r a l f o r n . A t m o s t o n e

    b i t i s a d d e d t o i t s s i z e i n t h e u n l i k e l y e v e n t t h a t o v e r o w o c c u r s ( i . e . ,

    a c a r r y o u t o f t h e l e f t - m o s t n o n - z e r o b i t p o s i t i o n ) .

    H i s t o r y : T h i s w a s m y v e r y r s t i n f o r m a t i o n - t h e o r e t i c i n c o m p l e t e -

    n e s s t h e o r e m 4 , 5 ] . T h e o n l y d i e r e n c e i s t h a t h e r e I s p e l l o u t a l l t h e

    i n e q u a l i t i e s .

    4 . P r o v i n g L o w e r B o u n d s I I

    H e r e i s a n a r r a n g e m e n t o f t h e p r o o f t h a t a v o i d s t h e m e s s y i n e q u a l i t i e s .

    P r o o f ( I m p r o v e d V e r s i o n ) : S u p p o s e w e a r e g i v e n a n n - s t a t e

    T u r i n g m a c h i n e f o r c h e c k i n g p u r p o r t e d p r o o f s i n a f o r m a l s y s t e m . T h e

    o u t p u t i s e i t h e r a m e s s a g e t h a t t h e p r o o f i s i n c o r r e c t , o r e l s e t h e t h e o r e m

    e s t a b l i s h e d b y t h e p r o o f . W e a s s u m e t h a t t h e p r o o f - c h e c k e r i s c o d e d i n

    s u c h a w a y t h a t i t c a n b e i n v o k e d a s a s u b r o u t i n e . W e a d d b l o g

    2

    k c + c

    s t a t e s t o t e l l u s a n a r b i t r a r y n a t u r a l n u m b e r k t h a t w e w i l l d e t e r m i n e

    l a t e r , a n d c

    0

    m o r e s t a t e s t h a t k e e p c a l l i n g t h e p r o o f - c h e c k e r u n t i l w e

    n d a p r o o f t h a t a s p e c i c b i t s t r i n g s h a s T u r i n g m a c h i n e c o m p l e x i t y

    > k + b l o g

    2

    k c + c . T h e n w e o u t p u t s a n d h a l t .

    T h i s g i v e s u s a T u r i n g m a c h i n e w i t h

    n + b l o g

    2

    k c + c + c

    0

    s t a t e s t h a t p r o d u c e s a s t r i n g s w i t h T u r i n g m a c h i n e c o m p l e x i t y

    > k + b l o g

    2

    k c + c

    T a k i n g k = n + c

    0

    , w e h a v e a T u r i n g m a c h i n e w i t h

    n + b l o g

    2

    ( n + c

    0

    ) c + c + c

    0

    s t a t e s t h a t p r o d u c e s a s t r i n g s w i t h T u r i n g m a c h i n e c o m p l e x i t y

    > n + c

    0

    + b l o g

    2

    ( n + c

    0

    ) c + c

    T u r i n g M a c h i n e s 2 3

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    31/238

    w h i c h i s i m p o s s i b l e . T h u s a n n - s t a t e f o r m a l s y s t e m c a n n o t e s t a b l i s h

    t h a t a s p e c i c b i t s t r i n g h a s c o m p l e x i t y

    > n + c

    0

    + b l o g

    2

    ( n + c

    0

    ) c + c = n + O ( l o g n )

    Q . E . D .

    I t i s m u c h e a s i e r t o f o r m u l a t e t h i s i n f o r m a t i o n - t h e o r e t i c i n c o m p l e t e -

    n e s s t h e o r e m i n L I S P 3 , S e c t i o n 3 ] . T h e L I S P r e s u l t i s a l s o m u c h

    s h a r p e r .

    R e f e r e n c e s

    1 G . J . C h a i t i n , \ O n t h e l e n g t h o f p r o g r a m s f o r c o m p u t i n g n i t e

    b i n a r y s e q u e n c e s , " J o u r n a l o f t h e A C M 1 3 ( 1 9 6 6 ) , 5 4 7 { 5 6 9 .

    2 G . J . C h a i t i n , \ O n t h e l e n g t h o f p r o g r a m s f o r c o m p u t i n g n i t e

    b i n a r y s e q u e n c e s : s t a t i s t i c a l c o n s i d e r a t i o n s , " J o u r n a l o f t h e A C M

    1 6 ( 1 9 6 9 ) , 1 4 5 { 1 5 9 .

    3 G . J . C h a i t i n , \ L I S P p r o g r a m - s i z e c o m p l e x i t y I I , " A p p l i e d

    M a t h e m a t i c s a n d C o m p u t a t i o n , i n p r e s s .

    4 G . J . C h a i t i n , \ C o m p u t a t i o n a l c o m p l e x i t y a n d G o d e l ' s i n c o m -

    p l e t e n e s s t h e o r e m , " A b s t r a c t 7 0 T { E 3 5 , A M S N o t i c e s 1 7 ( 1 9 7 0 ) ,

    6 7 2 .

    5 G . J . C h a i t i n , \ C o m p u t a t i o n a l c o m p l e x i t y a n d G o d e l ' s i n c o m -

    p l e t e n e s s t h e o r e m , " A C M S I G A C T N e w s 9 ( A p r i l 1 9 7 1 ) , 1 1 { 1 2 .

    2 4 P a r t I | S u r v e y

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    32/238

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    33/238

    B L A N K - E N D M A R K E R

    P R O G R A M S

    G . J . C h a i t i n

    A b s t r a c t

    W e r e v i e w f o u r d i e r e n t v e r s i o n s o f t h e i n f o r m a t i o n - t h e o r e t i c i n c o m -

    p l e t e n e s s t h e o r e m a s s e r t i n g t h a t i t i s d i c u l t t o p r o v e t h a t s p e c i c

    s t r i n g s s h a v e h i g h b l a n k - e n d m a r k e r c o m p l e x i t y H

    b

    ( s ) . W e a l s o c o n -

    s t r u c t a b l a n k - e n d m a r k e r \ h a l t i n g p r o b a b i l i t y "

    b

    w i t h t h e p r o p e r t y

    t h a t t h e i n i t i a l s e g m e n t s o f i t s b a s e - t w o e x p a n s i o n a s y m p t o t i c a l l y h a v e

    t h e m a x i m u m p o s s i b l e b l a n k - e n d m a r k e r c o m p l e x i t y H

    b

    1 . B l a n k - E n d m a r k e r C o m p l e x i t y H

    b

    F o l l o w i n g 1 , A p p e n d i x ] , w e d e n e t h e a b s t r a c t s e t t i n g .

    A c o m p u t e r C i s a p a r t i a l r e c u r s i v e f u n c t i o n t h a t m a p s a p r o g r a m

    p t h a t i s a b i t s t r i n g i n t o a n o u t p u t C ( p ) t h a t i s a l s o a n i n d i v i d u a l b i t

    s t r i n g . T h e c o m p l e x i t y H

    C

    ( x ) o f t h e b i t s t r i n g x b a s e d o n t h e c o m p u t e r

    C i s t h e s i z e i n b i t s p o f t h e s m a l l e s t p r o g r a m p f o r c o m p u t i n g x w i t h

    T h i s c h a p t e r o f t h e s u r v e y h a s n o t b e e n p u b l i s h e d e l s e w h e r e .

    2 5

    2 6 P a r t I | S u r v e y

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    34/238

    C :

    H

    C

    ( x ) = m i n

    C ( p ) = x

    p

    D e n e a u n i v e r s a l c o m p u t e r U a s f o l l o w s :

    U ( p 1

    i 0 s

    z } | {

    0 0 0 0 0 0 ) = C

    i

    ( p )

    H e r e C

    i

    i s t h e c o m p u t e r w i t h G o d e l n u m b e r i , i . e . , t h e i t h c o m p u t e r .

    H e n c e

    H

    U

    ( x ) H

    C

    i

    ( x ) + ( i + 1 )

    f o r a l l s t r i n g s x . T h e g e n e r a l d e n i t i o n o f a u n i v e r s a l c o m p u t e r U i s

    t h a t i t i s o n e t h a t h a s t h e p r o p e r t y t h a t f o r e a c h c o m p u t e r C t h e r e i s

    a c o n s t a n t s i m

    C

    ( t h e c o s t i n b i t s o f s i m u l a t i n g C ) s u c h t h a t

    H

    U

    ( x ) H

    C

    ( x ) + s i m

    C

    f o r a l l x . T h e u n i v e r s a l c o m p u t e r U w e d e n e d a b o v e s a t i s e s t h i s d e -

    n i t i o n w i t h s i m

    C

    i

    = i + 1 . W e p i c k t h i s p a r t i c u l a r u n i v e r s a l c o m p u t e r U

    a s o u r s t a n d a r d o n e a n d d e n e t h e b l a n k - e n d m a r k e r c o m p l e x i t y H

    b

    ( x )

    t o b e H

    U

    ( x ) :

    H

    b

    ( x ) = H

    U

    ( x )

    2 . D i s c u s s i o n

    T h e r s t t h i n g t o d o w i t h a n e w c o m p l e x i t y m e a s u r e i s t o d e t e r m i n e

    t h e m a x i m u m c o m p l e x i t y t h a t a n n - b i t s t r i n g c a n h a v e a n d w h e t h e r

    m o s t n - b i t s t r i n g s h a v e c l o s e t o t h i s m a x i m u m c o m p l e x i t y . C o n s i d e r

    t h e i d e n t i t y - f u n c t i o n c o m p u t e r C w i t h C ( p ) = p f o r a l l p r o g r a m s p

    T h i s s h o w s t h a t

    H

    b

    ( s ) s + s i m

    C

    f o r a l l s t r i n g s s . D o m o s t n - b i t s h a v e c o m p l e x i t y c l o s e t o n ? Y e s ,

    b e c a u s e t h e r e a r e 2

    n

    n - b i t s t r i n g s s b u t o n l y

    1 + 2 + 4 + + 2

    n ; k ; 1

    =

    X

    j < n ; k

    2

    j

    = 2

    n ; k

    ; 1

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    35/238

    3 . T h e \ H a l t i n g P r o b a b i l i t y "

    b

    I n S e c t i o n 2 w e s a w t h a t m o s t n i t e b i t s t r i n g s a r e c o m p l e x . H o w a b o u t

    c o n s t r u c t i n g a n i n n i t e b i t s t r i n g w i t h c o m p l e x i n i t i a l s e g m e n t s ?

    L e t

    P

    n

    2

    ; f ( n )

    1 , e . g . , f ( n ) = 2 d l o g

    2

    n e + 1 = O ( l o g n )

    D e n e

    b

    =

    X

    n

    # f p r o g r a m s p o f s i z e n s u c h t h a t U ( p ) h a l t s g 2

    ; n ; f ( n )

    T h e n 0

    b

    1 b e c a u s e t h e r e a r e 2

    n

    n - b i t p r o g r a m s p . I . e . ,

    b

    X

    n

    2

    n

    2

    ; n ; f ( n )

    =

    X

    n

    2

    ; f ( n )

    1

    H e n c e t h e b l a n k - e n d m a r k e r c o m p l e x i t y o f t h e r s t n + f ( n ) b i t s o f

    b

    i s g r e a t e r t h a n o r e q u a l t o n ; c

    F r o m t h i s i t c a n b e s h o w n t h a t

    b

    i s w h a t B o r e l c a l l e d a n o r m a l

    r e a l n u m b e r .

    T h e d e s c r i p t i o n i n t h i s s e c t i o n i s v e r y c o n c i s e . F o r m o r e d e t a i l s , s e e

    t h e a n a l o g o u s d i s c u s s i o n f o r L I S P i n 2 , S e c t i o n s 4 , 7 a n d 9 ] .

    4 . P r o v i n g L o w e r B o u n d s o n H

    b

    N o w l e t ' s d o s o m e m e t a m a t h e m a t i c s u s i n g t h e c o m p l e x i t y m e a s u r e H

    b

    W e c o n s i d e r a x e d s e t o f r u l e s o f i n f e r e n c e F t o b e a r e c u r s i v e l y

    e n u m e r a b l e s e t o f o r d e r e d p a i r s o f t h e f o r m A T i n d i c a t i n g t h a t t h e

    t h e o r e m T f o l l o w s f r o m t h e a x i o m A . ( W e m a y c o n s i d e r t h e a x i o m A

    t o b e r e p r e s e n t e d a s a b i t s t r i n g v i a s o m e s t a n d a r d b i n a r y e n c o d i n g . )

    T h e o r e m A : C o n s i d e r a f o r m a l s y s t e m F

    A

    c o n s i s t i n g o f a l l t h e o -

    r e m s T d e r i v e d f r o m a s i n g l e a x i o m A n b i t s i n s i z e b y a p p l y i n g t o i t a

    x e d s e t o f r u l e s o f i n f e r e n c e . T h i s f o r m a l s y s t e m F

    A

    o f s i z e n c a n n o t

    p r o v e t h a t a s p e c i c s t r i n g h a s b l a n k - e n d m a r k e r c o m p l e x i t y > n + c

    P r o o f : C o n s i d e r a s p e c i a l - p u r p o s e c o m p u t e r C t h a t d o e s t h e f o l -

    l o w i n g w h e n g i v e n t h e a x i o m A o f a f o r m a l s y s t e m F

    A

    f o l l o w e d b y a 1

    a n d a n y n u m b e r o f 0 ' s :

    C ( A 1

    k 0 s

    z } | {

    0 0 0 0 0 0 ) =

    (

    T h e r s t s p e c i c s t r i n g s

    ?

    t h a t c a n b e s h o w n i n F

    A

    t o h a v e

    c o m p l e x i t y > A + 2 k + 1

    2 8 P a r t I | S u r v e y

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    36/238

    H o w d o e s C a c c o m p l i s h t h i s ? G i v e n t h e p r o g r a m p , C c o u n t s t h e

    n u m b e r k o f 0 ' s a t t h e r i g h t e n d o f p . I t t h e n r e m o v e s t h e m a n d t h e

    r i g h t m o s t 1 b i t i n o r d e r t o o b t a i n t h e a x i o m A . N o w C k n o w s A a n d

    k C t h e n s e a r c h e s t h r o u g h a l l p r o o f s d e r i v e d f r o m t h e a x i o m A i n s i z e

    o r d e r , a n d a m o n g t h o s e o f t h e s a m e s i z e , i n s o m e a r b i t r a r y a l p h a b e t i c a l

    o r d e r , a p p l y i n g t h e p r o o f - c h e c k i n g a l g o r i t h m a s s o c i a t e d w i t h t h e x e d

    r u l e s o f i n f e r e n c e t o e a c h p r o o f i n t u r n . ( M o r e a b s t r a c t l y , C e n u m e r a t e s

    F

    A

    = f T : A T g . ) I n t h i s m a n n e r C d e t e r m i n e s e a c h t h e o r e m T

    t h a t f o l l o w s f r o m t h e a x i o m A C e x a m i n e s e a c h T u n t i l i t n d s o n e o f

    t h e f o r m

    \ H

    b

    ( s

    ?

    ) > j "

    t h a t a s s e r t s t h a t a s p e c i c b i t s t r i n g s

    ?

    h a s b l a n k - e n d m a r k e r c o m p l e x i t y

    g r e a t e r t h a n a s p e c i c n a t u r a l n u m b e r j t h a t i s g r e a t e r t h a n o r e q u a l

    t o A + 2 k + 1 C t h e n o u t p u t s s

    ?

    a n d h a l t s . T h i s s h o w s t h a t

    A + 2 k + 1 < H

    b

    ( s

    ?

    ) A 1

    k 0 s

    z } | {

    0 0 0 0 0 0 + s i m

    C

    I . e . ,

    A + 2 k + 1 < H

    b

    ( s

    ?

    ) A + 1 + k + s i m

    C

    T h i s i m p l i e s

    k n + c

    P r o o f : I n s t e a d o f b e i n g g i v e n A d i r e c t l y , C i s g i v e n a n H

    b

    ( A ) b i t

    p r o g r a m p

    A

    f o r U t o c o m p u t e A . I . e . , C ' s p r o g r a m p i s n o w o f t h e f o r m

    p

    0

    = p

    A

    1

    k 0 s

    z } | {

    0 0 0 0 0 0

    B l a n k - E n d m a r k e r P r o g r a m s 2 9

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    37/238

    i n s t e a d o f

    p = A 1

    k 0 s

    z } | {

    0 0 0 0 0 0

    H e r e

    p

    A

    = H

    b

    ( A )

    a n d

    U ( p

    A

    ) = A

    S o n o w w e h a v e

    p

    0

    = H

    b

    ( A ) + 1 + k

    i n s t e a d o f

    p = A + 1 + k

    A n d n o w

    C ( p

    0

    ) = s

    ?

    a n d

    H

    b

    ( s

    ?

    ) > H

    b

    ( A ) + 2 k + 1

    H e n c e w e h a v e

    H

    b

    ( A ) + 2 k + 1 < H

    b

    ( s

    ?

    ) H

    b

    ( A ) + 1 + k + s i m

    C

    T h i s y i e l d s a c o n t r a d i c t i o n f o r k = s i m

    C

    Q . E . D .

    T h e o r e m s A a n d B a r e s h a r p h e r e i s t h e c o n v e r s e .

    T h e o r e m C : T h e r e i s a f o r m a l s y s t e m F

    A

    w i t h n - b i t a x i o m s A t h a t

    e n a b l e s u s t o d e t e r m i n e :

    ( a ) w h i c h b i t s t r i n g s h a v e b l a n k - e n d m a r k e r c o m p l e x i t y n , a n d

    ( b ) t h e e x a c t b l a n k - e n d m a r k e r c o m p l e x i t y o f e a c h b i t s t r i n g w i t h

    b l a n k - e n d m a r k e r c o m p l e x i t y < n

    P r o o f : H e r e a r e t w o a x i o m s A f r o m w h i c h w e c a n d e d u c e t h e d e -

    s i r e d t h e o r e m s :

    ( a ) T h e n - b i t s t r i n g t h a t i s t h e b a s e - t w o n u m e r a l f o r t h e n u m b e r o f

    p r o g r a m s p o f s i z e < n t h a t h a l t .

    3 0 P a r t I | S u r v e y

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    38/238

    ( b ) p 1 0 0 0 0 0 0 , t h e p r o g r a m p o f s i z e < n t h a t t a k e s l o n g e s t t o h a l t

    ( t h e r e m a y b e s e v e r a l ) p a d d e d o n t h e r i g h t t o e x a c t l y n b i t s w i t h

    a 1 b i t a n d t h e r e q u i r e d ( p o s s i b l y z e r o ) n u m b e r o f 0 b i t s .

    Q . E . D .

    H e r e i s a c o r o l l a r y o f t h e i d e a s p r e s e n t e d i n t h i s s e c t i o n . A n n +

    O ( 1 ) b i t f o r m a l s y s t e m i s n e c e s s a r y a n d s u c i e n t t o s e t t l e t h e h a l t i n g

    p r o b l e m f o r a l l p r o g r a m s o f s i z e l e s s t h a n n b i t s . F o r a d e t a i l e d p r o o f ,

    s e e 3 , T h e o r e m 4 . 4 ] .

    5 . E n u m e r a t i o n C o m p l e x i t y H

    b e

    F o l l o w i n g 3 ] , w e e x t e n d t h e f o r m a l i s m t h a t w e p r e s e n t e d i n S e c t i o n 1

    f r o m n i t e c o m p u t a t i o n s w i t h a s i n g l e o u t p u t t o i n n i t e c o m p u t a t i o n s

    w i t h a n i n n i t e a m o u n t o f o u t p u t . S o l e t ' s n o w c o n s i d e r c o m p u t e r s

    t h a t n e v e r h a l t , w h i c h w e s h a l l r e f e r t o a s e n u m e r a t i o n c o m p u t e r s , o r

    e - c o m p u t e r s f o r s h o r t . A n e - c o m p u t e r C i s g i v e n b y a c o m p u t a b l e

    f u n c t i o n t h a t m a p s t h e p r o g r a m p a n d t h e t i m e t i n t o t h e n i t e s e t o f

    b i t s t r i n g s t h a t i s t h e o u t p u t C ( p t ) o f C a t t i m e t w i t h p r o g r a m p . T h e

    t o t a l o u t p u t C ( p ) p r o d u c e d b y e - c o m p u t e r C w h e n r u n n i n g p r o g r a m p

    i s t h e n d e n e d t o b e

    C ( p ) =

    1

    t = 0

    C ( p t )

    T h e c o m p l e x i t y H

    C

    ( S ) o f t h e s e t S b a s e d o n t h e e - c o m p u t e r C i s t h e

    s i z e i n b i t s p o f t h e s m a l l e s t p r o g r a m p f o r e n u m e r a t i n g S w i t h C :

    H

    C

    ( S ) = m i n

    C ( p ) = S

    p

    D e n e a u n i v e r s a l e - c o m p u t e r U

    e

    a s f o l l o w s :

    U

    e

    ( p 1

    i 0 s

    z } | {

    0 0 0 0 0 0 ) = C

    i

    ( p )

    H e r e C

    i

    i s t h e e - c o m p u t e r w i t h G o d e l n u m b e r i , i . e . , t h e i t h e - c o m p u t e r .

    H e n c e

    H

    U

    e

    ( S ) H

    C

    i

    ( S ) + ( i + 1 )

    B l a n k - E n d m a r k e r P r o g r a m s 3 1

    f o r a l l S . T h e g e n e r a l d e n i t i o n o f a u n i v e r s a l e - c o m p u t e r U i s t h a t

  • 7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)

    39/238

    i t i s o n e t h a t h a s t h e p r o p e r t y t h a t f o r e a c h e - c o m p u t e r C t h e r e i s a

    c o n s t a n t s i m

    C

    ( t h e c o s t i n b i t s o f s i m u l a t i n g C ) s u c h t h a t

    H

    U

    ( S ) H

    C

    ( S ) + s i m

    C

    f o r a l l S . T h e u n i v e r s a l e - c o m p u t e r U

    e

    w e d e n e d a b o v e s a t i s e s t h i s

    d e n i t i o n w i t h s i m

    C

    i

    = i + 1 . W e p i c k t h i s p a r t i c u l a r u n i v e r s a l e -

    c o m p u t e r U

    e

    a s o u r s t a n d a r d o n e a n d d e n e t h e b l a n k - e n d m a r k e r e -

    c o m p l e x i t y

    1

    H

    b e

    ( S ) t o b e H

    U

    e

    ( S ) :

    H

    b e

    ( S ) = H

    U

    e

    ( S )

    I n s u m m a r y , t h e b l a n k - e n d m a r k e r e - c o m p l e x i t y H

    b e

    ( S ) o f a

    r e c u r s i v e l y - e n u m e r a b l e s e t S i s t h e s i z e i n b i t s p o f t h e s m a l l e s t c o m -

    p u t e r p r o g r a m p t h a t m a k e s o u r s t a n d a r d u n i v e r s a l e - c o m p u t e r U

    e

    e n u -

    m e r a t e t h e s e t S

    6 . P r o v i n g L o w e r B o u n d s I I

    N o w w e r e f o r m u l a t e T h e o r e m B u s i n g t h e c o n c e p t s o f S e c t i o n 5 .

    T h e o r e m D : C o n s i d e r a f o r m a l s y s t e m c o n s i s t i n g o f a r e c u r s i v e l y

    e n u m e r a b l e s e t T o f t h e o r e m s . S u p p o s e t h a t H

    b e

    ( T ) n . T h i s f o r m a l

    s y s t e m T o f b l a n k - e n d m a r k e r e - c o m p l e x i t y n c a n n o t p r o v e t h a t a

    s p e c i c s t r i n g h a s b l a n k - e n d m a r k e r c o m p l e x i t y > n + c . M o r e p r e c i s e l y ,

    i f a t h e o r e m o f t h e f o r m \ H

    b

    ( s ) > n " i s i n T o n l y i f i t i s t r u e , t h e n

    \ H

    b

    ( s ) > n " i s


Recommended