| Date post: | 09-Apr-2018 |
| Category: |
Documents |
| Upload: | deepak-kumar-singh |
| View: | 217 times |
| Download: | 0 times |
of 29
8/7/2019 breeder93
1/29
P r e d i c t i v e M o d e l s f o r t h e
B r e e d e r G e n e t i c A l g o r i t h m
I . C o n t i n u o u s P a r a m e t e r O p t i m i z a t i o n
H e i n z M u h l e n b e i n
m u e h l e n @ g m d . d e
D i r k S c h l i e r k a m p - V o o s e n
d i r k @ g m d . d e
G M D P . O . 1 3 1 6
D - 5 2 0 5 S a n k t A u g u s t i n 1 , G e r m a n y
A b s t r a c t
I n t h i s p a p e r a n e w g e n e t i c a l g o r i t h m c a l l e d t h e B r e e d e r G e n e t i c A l -
g o r i t h m ( B G A ) i s i n t r o d u c e d . T h e B G A i s b a s e d o n a r t i c i a l s e l e c t i o n
s i m i l a r t o t h a t u s e d b y h u m a n b r e e d e r s . A p r e d i c t i v e m o d e l f o r t h e B G A i s
p r e s e n t e d w h i c h i s d e r i v e d f r o m q u a n t i t a t i v e g e n e t i c s . T h e m o d e l i s u s e d t o
p r e d i c t t h e b e h a v i o r o f t h e B G A f o r s i m p l e t e s t f u n c t i o n s . D i e r e n t m u t a t i o n
s c h e m e s a r e c o m p a r e d b y c o m p u t i n g t h e e x p e c t e d p r o g r e s s t o t h e s o l u t i o n .
T h e n u m e r i c a l p e r f o r m a n c e o f t h e B G A i s d e m o n s t r a t e d o n a t e s t s u i t e o f
m u l t i m o d a l f u n c t i o n s . T h e n u m b e r o f f u n c t i o n e v a l u a t i o n s n e e d e d t o l o c a t e
t h e o p t i m u m s c a l e s o n l y a s n l n ( n ) w h e r e n i s t h e n u m b e r o f p a r a m e t e r s .
R e s u l t s u p t o n = 1 0 0 0 a r e r e p o r t e d .
1 I n t r o d u c t i o n
I n ( M u h l e n b e i n , G o r g e s - S c h l e u t e r & K r a m e r 1 9 8 8 ) , ( M u h l e n b e i n , 1 9 9 1 ) , ( M u h l e n -
b e i n , 1 9 9 2 b ) t h e p a r a l l e l g e n e t i c a l g o r i t h m ( P G A ) w a s s u c c e s s f u l l y a p p l i e d t o c o m -
b i n a t o r i c a l p r o b l e m s . C o n t i n u o u s p a r a m e t e r o p t i m i z a t i o n h a s b e e n d e s c r i b e d i n
( M u h l e n b e i n , S c h o m i s c h & B o r n , 1 9 9 1 ) . W e h a v e n o w s u b s t a n t i a l l y i m p r o v e d t h e
r e s u l t s o b t a i n e d w i t h t h e P G A . T h e i m p r o v e m e n t s a r e t h e r e s u l t o f a n e w g e n e t i c
a l g o r i t h m . T h i s a l g o r i t h m w e c a l l t h e D i s t r i b u t e d B r e e d e r G e n e t i c A l g o r i t h m
( D B G A ) . T h e D B G A i s i n s p i r e d b y b r e e d i n g . E a c h o n e o f a n u m b e r o f v i r t u a l
b r e e d e r s h a s t h e t a s k o f i m p r o v i n g i t s o w n s u b p o p u l a t i o n . O c c a s i o n a l l y a b r e e d e r
I n E v o l u t i o n a r y C o m p u t a t i o n , 1 ( 1 ) : 2 5 - 4 9 , 1 9 9 3 .
1
8/7/2019 breeder93
2/29
g e t s a n e w i n d i v i d u a l f r o m i t s n e i g h b o r i n g b r e e d e r s . A D B G A w i t h a s i n g l e v i r t u a l
b r e e d e r i s c a l l e d a B r e e d e r G e n e t i c A l g o r i t h m ( B G A )
W h e r e a s t h e P G A m o d e l s n a t u r a l a n d s e l f - o r g a n i z e d e v o l u t i o n , t h e D B G A i s
b a s e d o n r a t i o n a l s e l e c t i o n p e r f o r m e d b y h u m a n b r e e d e r s . I n b i o l o g i c a l t e r m i n o l -
o g y : t h e P G A m o d e l s n a t u r a l s e l e c t i o n a n d t h e D B G A m o d e l s a r t i c i a l s e l e c t i o n
W e e x p e c t e d a r t i c i a l s e l e c t i o n t o b e m o r e e c i e n t f o r o p t i m i z a t i o n t h a n n a t u r a l s e -
l e c t i o n . W e w i l l s h o w i n t h i s p a p e r t h a t t h i s i s i n d e e d t h e c a s e . T h i s r e s u l t d o e s n o t
i m p l y t h a t t h e D B G A i s \ b e t t e r " t h a n t h e P G A . B o t h a l g o r i t h m s a r e i m p o r t a n t ,
b o t h f r o m a b i o l o g i c a l a n d a c o m p u t e r s c i e n c e p o i n t o f v i e w . T h e D B G A m o d e l s r a -
t i o n a l c o n t r o l l e d e v o l u t i o n w h e r e a s t h e P G A m o d e l s e v o l u t i o n w h i c h s e l f - o r g a n i z e s .
T h e m a j o r g o a l o f t h i s p a p e r i s t o s h o w t h a t t h e B G A c a n p r o t , b o t h i n t h e o r y
a n d p r a c t i c e , f r o m t h e l o n g e x p e r i e n c e a c c u m u l a t e d b y h u m a n b r e e d e r s . I n t h e l a s t
t w o h u n d r e d y e a r s , s t a r t i n g j u s t b e f o r e D a r w i n , b r e e d i n g o f a n i m a l s h a s a d v a n c e d
f r o m a n a r t b a s e d o n i n t u i t i o n t o a n e m p i r i c a l s c i e n c e b a s e d o n s t a t i s t i c s . T h e B G A
h a s b e e n s t r i c t l y d e s i g n e d a c c o r d i n g t o t h i s s c i e n c e o f b r e e d i n g . B u t u n t i l r e c e n t l y ,
t h e r e h a s b e e n a m a j o r d i e r e n c e b e t w e e n a r e a l b r e e d e r a n d t h e v i r t u a l b r e e d e r
o f o u r g e n e t i c a l g o r i t h m . T h e h u m a n b r e e d e r d o e s n o t h a v e i n f o r m a t i o n a b o u t t h e
g e n e t i c m a t e r i a l , h e h a s t o e s t i m a t e a g g r e g r a t e v a l u e s w h i c h h e c a l l s t h e b r e e d i n g
v a l u e o f a n a n i m a l . T h e v i r t u a l b r e e d e r o f o u r G A h a s k n o w l e d g e a b o u t a l l t h e g e n e s
o f h i s p o p u l a t i o n . F u r t h e r m o r e h e c o n t r o l s t h e g e n e t i c o p e r a t o r s ( i . e . m u t a t i o n ,
r e c o m b i n a t i o n e t c . ) . B u t w i t h t h e i n t r o d u c t i o n o f b i o t e c h n o l o g y t h i s d i s t i n c t i o n w i l l
p r o b a b l y s o o n v a n i s h !
T h e B G A i s n o t r a d i c a l l y n e w , i t c a n b e s e e n a s a r e c o m b i n a t i o n b e t w e e n e v o l u -
t i o n s t r a t e g i e s E S ( S c h w e f e l , 1 9 8 1 ) , ( B a c k , H o m e i s t e r & S c h w e f e l , 1 9 9 1 ) a n d g e n e t i c
a l g o r i t h m s G A ( G o l d b e r g , 1 9 8 9 ) . T h e B G A u s e s t r u n c a t i o n s e l e c t i o n a s p e r f o r m e d
b y b r e e d e r s . T h i s s e l e c t i o n s c h e m e i s s i m i l a r t o t h e ( , ) - s t r a t e g y i n E S ( S c h w e f e l ,
1 9 8 1 ) . T h e s e a r c h p r o c e s s o f t h e B G A i s m a i n l y d r i v e n b y r e c o m b i n a t i o n , m a k i n g
t h e B G A a g e n e t i c a l g o r i t h m . M u t a t i o n i s a n i m p o r t a n t b a c k g r o u n d o p e r a t o r f o r
t h e B G A . T h e m u t a t i o n r a t e i s i n v e r s e l y p r o p o r t i o n a l t o t h e n u m b e r o f p a r a m e t e r s
t o b e o p t i m i z e d a n d t h e m u t a t i o n r a n g e i s x e d .
T h e B G A i s a r a n d o m s e a r c h m e t h o d w h i c h c a n b e a p p l i e d t o b o t h d i s c r e t e a n d
c o n t i n u o u s f u n c t i o n s . I n t h i s p a p e r t h e f o l l o w i n g q u e s t i o n s w i l l b e a n s w e r e d
G i v e n a m u t a t i o n s c h e m e , w h a t i s t h e e x p e c t e d p r o g r e s s o f s u c c e s s f u l m u t a -
t i o n s f o r a s i n g l e i n d i v i d u a l ?
G i v e n a s e l e c t i o n a n d r e c o m b i n a t i o n s c h e d u l e , w h a t i s t h e e x p e c t e d p r o g r e s s
o f t h e p o p u l a t i o n ?
T h i s a p p r o a c h i s o p p o s i t e t o t h e s t a n d a r d G A a n a l y s i s , w h i c h s t a r t s w i t h t h e
s c h e m a t h e o r e m . M u t a t i o n a n d r e c o m b i n a t i o n a r e o n l y c o n s i d e r e d a s d i s r u p t i o n s .
W e s e e m u t a t i o n a n d r e c o m b i n a t i o n a s c o n s t r u c t i v e o p e r a t o r s . T h e y a r e e v a l u a t e d
a c c o r d i n g t o t h e p r o b a b i l i t y t h a t t h e y c r e a t e b e t t e r s o l u t i o n s .
T h e o u t l i n e o f t h e p a p e r i s a s f o l l o w s . I n s e c t i o n 2 w e f o r m a l l y d e s c r i b e t h e
D B G A a n d t h e B G A . M u t a t i o n i s a n a l y z e d i n s e c t i o n 3 . T h e a p p r o a c h o f q u a n -
2
8/7/2019 breeder93
3/29
t i t a t i v e g e n e t i c s t o a r t i c i a l s e l e c t i o n i s e x p l a i n e d i n s e c t i o n 4 . T h e f r a m e w o r k i s
u s e d t o i n v e s t i g a t e s e l e c t i o n a n d r e c o m b i n a t i o n . T h e s e l e c t i o n e q u a t i o n i s u s e d i n
t h e f o l l o w i n g s e c t i o n t o a n a l y z e p r o p o r t i o n a t e s e l e c t i o n . I t i s s h o w n i n s e c t i o n 5
t h a t p r o p o r t i o n a t e s e l e c t i o n i s n o t a g o o d s c h e m e f o r o p t i m i z a t i o n . T h e e m p i r i c a l
l a w s d e r i v e d i n s e c t i o n 4 a r e i n v e s t i g a t e d i n s e c t i o n 6 f o r c o n t i n u o u s p a r a m e t e r o p -
t i m i z a t i o n . T h e i n t e r a c t i o n o f r e c o m b i n a t i o n a n d m u t a t i o n i s a n a l y z e d i n s e c t i o n 7 .
N u m e r i c a l r e s u l t s f o r d i m e n s i o n s u p t o 1 0 0 0 a r e r e p o r t e d i n s e c t i o n 8 .
W e s t r o n g l y b e l i e v e t h a t a g o o d t h e o r y h a s t o b e p r o v e n w i t h c h a l l e n g i n g a p p l i -
c a t i o n s . T h e r e f o r e w e o n l y d e s c r i b e t h a t p a r t o f t h e t h e o r y w h i c h i s n e c e s s a r y f o r
u n d e r s t a n d i n g t h e r a t i o n a l e o f t h e B G A . T h e t h e o r y i s e x p l a i n e d i n m o r e d e t a i l i n
( M u h l e n b e i n & S c h l i e r k a m p - V o o s e n , 1 9 9 2 a ) . T h i s p a p e r c o n c e n t r a t e s o n t h e B G A .
T h e D B G A i s i n v e s t i g a t e d i n ( M u h l e n b e i n & S c h l i e r k a m p - V o o s e n , 1 9 9 2 b ) .
2 A f o r m a l d e s c r i p t i o n o f t h e D B G A
T h e d e s c r i p t i o n i s a n a l o g o u s t o t h a t i n ( M u h l e n b e i n , S c h o m i s c h & B o r n , 1 9 9 1 ) w h e r e
t h e P G A i s d e s c r i b e d . T h e D B G A i s a n e i g h t t u p l e
D B G A = ( P
0
s u b N s g B G A F t e r m ) ( 1 )
w h e r e
P
0
: = i n i t i a l p o p u l a t i o n
s u b : = n u m b e r o f s u b g r o u p s
N : = n u m b e r o f i n d i v i d u a l s p e r s u b g r o u p
s g : = n u m b e r o f n e i g h b o r i n g s u b g r o u p s
: = m i g r a t i o n s c h e d u l e
B G A : = B r e e d e r G e n e t i c A l g o r i t h m
F : = t n e s s f u n c t i o n
t e r m : = t e r m i n a t i o n c r i t e r i o n
E a c h s u b g r o u p i s c o n t r o l l e d b y a B G A . A B G A c a n b e d e s c r i b e d b y
B G A = ( P
0
g
N T ; H C F t e r m ) ( 2 )
P
0
g
i s t h e i n i t i a l s u b p o p u l a t i o n , N t h e s i z e o f t h e p o p u l a t i o n , T t h e t r u n c a t i o n
t h r e s h o l d , ; t h e r e c o m b i n a t i o n o p e r a t o r , t h e m u t a t i o n o p e r a t o r a n d t e r m t h e
t e r m i n a t i o n c r i t e r i o n . H C i s a h i l l - c l i m b i n g m e t h o d .
A l l n u m e r i c a l r e s u l t s i n t h i s p a p e r h a v e b e e n o b t a i n e d w i t h o u t l o c a l h i l l - c l i m b i n g .
W e w i l l s h o w i n t h e n e x t s e c t i o n t h a t t h e B G A m u t a t i o n o p e r a t o r w o r k s a l m o s t a s
w e l l a s m o r e s p e c i a l i z e d l o c a l h i l l - c l i m b i n g m e t h o d s w h i c h d o n o t u s e d e r i v a t i v e s
o f t h e f u n c t i o n t o b e o p t i m i z e d . T h e r e f o r e f o r c o n t i n u o u s p a r a m e t e r o p t i m i z a t i o n
l o c a l h i l l - c l i m b i n g i s n o t a s i m p o r t a n t a s f o r d i s c r e t e o p t i m i z a t i o n p r o b l e m s . T h e
i m p o r t a n c e o f h i l l - c l i m b i n g i n d i s c r e t e d o m a i n s h a s b e e n s h o w n i n ( M u h l e n b e i n ,
1 9 9 1 ) , ( M u h l e n b e i n , 1 9 9 2 a ) .
3
8/7/2019 breeder93
4/29
W e w i l l n o w d e s c r i b e e a c h o p e r a t o r i n m o r e d e t a i l . T h e i r r e s p e c t i v e i n u e n c e
o n t h e p e r f o r m a n c e o f t h e B G A w i l l b e i n v e s t i g a t e d i n t h e f o l l o w i n g s e c t i o n s . F o r a
B G A r u n a s e t o f g e n e t i c o p e r a t o r s i s d e n e d . T h e n t h e s e o p e r a t o r s a r e a p p l i e d t o
t h e i n d i v i d u a l s o f t h e p o p u l a t i o n . T h e r e a r e n o p r o b a b i l i t i e s f o r t h e a p p l i c a t i o n o f
t h e o p e r a t o r s .
2 . 1 S e l e c t i o n
T h e B G A u s e s a s e l e c t i o n s c h e m e c a l l e d t r u n c a t i o n s e l e c t i o n . T h e T % b e s t i n d i v i d -
u a l s a r e s e l e c t e d a n d m a t e d r a n d o m l y u n t i l t h e n u m b e r o f o s p r i n g i s e q u a l t o t h e
s i z e o f t h e p o p u l a t i o n . T h e o s p r i n g g e n e r a t i o n r e p l a c e s t h e p a r e n t p o p u l a t i o n . T h e
b e s t i n d i v i d u a l f o u n d s o f a r w i l l r e m a i n i n t h e p o p u l a t i o n . S e l f - m a t i n g i s p r o h i b i t e d .
2 . 2 R e c o m b i n a t i o n
I n ( M u h l e n b e i n , S c h o m i s c h & B o r n , 1 9 9 1 ) w e d i s t i n g u i s h e d b e t w e e n r e c o m b i n a t i o n
a n d c r o s s i n g - o v e r . T h e m i x i n g o f t h e v a r i a b l e s w a s c a l l e d r e c o m b i n a t i o n a n d t h e
m i x i n g o f t h e v a l u e s o f a v a r i a b l e w a s n a m e d c r o s s i n g - o v e r . F r o m a m a t h e m a t i c a l
v i e w p o i n t t h i s d i s t i n c t i o n i s u n n e c e s s a r y . A n y o p e r a t o r w h i c h c o m b i n e s t h e g e n e t i c
m a t e r i a l o f t w o p a r e n t s w e w i l l c a l l a r e c o m b i n a t i o n o p e r a t o r i n t h i s p a p e r . R e c o m -
b i n a t i o n i s t h e m o s t i m p o r t a n t s e a r c h o p e r a t o r o f t h e B G A . W e h a v e i m p l e m e n t e d
t h r e e d i e r e n t o p e r a t o r s .
D i s c r e t e r e c o m b i n a t i o n
L e t x = ( x
1
: : : x
n
) a n d y = ( y
1
: : : y
n
) b e t h e p a r e n t s t r i n g s . T h e n t h e
o s p r i n g z = ( z
1
: : : z
n
) i s c o m p u t e d b y
z
i
= f x
i
g o r f y
i
g ( 3 )
x
i
o r y
i
a r e c h o s e n w i t h p r o b a b i l i t y 0 . 5 .
E x t e n d e d i n t e r m e d i a t e r e c o m b i n a t i o n
z
i
= x
i
+
i
( y
i
; x
i
) i = 1 : : : n ( 4 )
i
i s c h o s e n u n i f o r m r a n d o m l y i n t h e i n t e r v a l ; 0 2 5 1 2 5
E x t e n d e d l i n e r e c o m b i n a t i o n
z
i
= x
i
+ ( y
i
; x
i
) i = 1 : : : n ( 5 )
i s c h o s e n u n i f o r m r a n d o m l y i n ; 0 2 5 1 2 5 ] .
T h e g e o m e t r i c e e c t o f r e c o m b i n a t i o n h a s b e e n e x p l a i n e d i n ( M u h l e n b e i n , S c h o m i s c h
& B o r n , 1 9 9 1 ) . D i s c r e t e r e c o m b i n a t i o n g e n e r a t e s c o r n e r s o f t h e h y p e r c u b e d e n e d
b y t h e c o m p o n e n t s o f x a n d y . E x t e n d e d i n t e r m e d i a t e r e c o m b i n a t i o n c a n g e n e r a t e
4
8/7/2019 breeder93
5/29
a n y p o i n t w i t h i n a s l i g h t l y l a r g e r h y p e r c u b e . E x t e n d e d l i n e r e c o m b i n a t i o n g e n e r a t e s
a p o i n t o n t h e l i n e d e n e d b y x a n d y . I n b o t h o p e r a t o r s t h e n e w p o i n t m a y l i e
o u t s i d e x
i
y
i
T h e r a t i o n a l o f t h e s e o p e r a t o r s a r e g e o m e t r i c a l l y o b v i o u s . D i s c r e t e r e c o m b i n a -
t i o n a n d i n t e r m e d i a t e r e c o m b i n a t i o n w i t h = 0 5 h a v e b e e n u s e d s u c c e s s f u l l y i n
g e n e t i c a l g o r i t h m s a n d e v o l u t i o n s t r a t e g i e s . T h e y h a v e b e e n a l r e a d y p r o p o s e d b y
B r e m e r m a n n ( 1 9 6 6 ) .
E a c h r e c o m b i n a t i o n o p e r a t o r h a s b e e n d e s i g n e d t o s o l v e s p e c i c p r o b l e m s w h i c h
h a v e b e e n e n c o u n t e r e d . I n t h e c o u r s e o f a p p l y i n g t h e B G A t o m o r e p r o b l e m s w e
w i l l e x t e n d t h e t h r e e b a s i c o p e r a t o r s i n t h e f u t u r e . T h e n e x t r e c o m b i n a t i o n o p e r a t o r
w i l l b e b a s e d o n t h r e e - t u p l e m a t i n g . H e r e t h r e e p o i n t s ( p a r e n t s ) w i l l b e r e c o m b i n e d .
G e n e r a l m - t u p l e m a t i n g h a s a l r e a d y b e e n s u g g e s t e d b y B r e m e r m a n n ( 1 9 6 6 ) .
2 . 3 M u t a t i o n
A v a r i a b l e x
i
i s s e l e c t e d w i t h p r o b a b i l i t y p
m
f o r m u t a t i o n . T h e B G A n o r m a l l y
u s e s p
m
= 1 = n . A t l e a s t o n e v a r i a b l e w i l l b e m u t a t e d . A v a l u e o u t o f a n i n t e r v a l
; r a n g e
i
r a n g e
i
] i s a d d e d t o t h e s e l e c t e d v a r i a b l e . r a n g e
i
d e n e s t h e m u t a t i o n
r a n g e . I t i s n o r m a l l y s e t t o 0 1 s e a r c h i n t e r v a l
i
s e a r c h i n t e r v a l
i
i s t h e d o m a i n o f
d e n i t i o n o f v a r i a b l e x
i
T h e n e w v a l u e z
i
i s c o m p u t e d a c c o r d i n g t o
z
i
= x
i
r a n g e
i
( 6 )
T h e + o r ; s i g n i s c h o s e n w i t h p r o b a b i l i t y 0 . 5 . i s c o m p u t e d f r o m a d i s t r i b u t i o n
w h i c h p r e f e r s s m a l l v a l u e s . T h i s i s r e a l i z e d a s f o l l o w s
=
1 5
X
i = 0
i
2
; i
i
2 0 1
B e f o r e m u t a t i o n w e s e t
i
= 0 . T h e n e a c h
i
i s m u t a t e d t o 1 w i t h p r o b a b i l i t y
p
= 1 = 1 6 . O n l y
i
= 1 c o n t r i b u t e s t o t h e s u m . O n t h e a v e r a g e t h e r e w i l l b e j u s t
o n e
i
w i t h v a l u e 1 , s a y
j
. T h e n i s g i v e n b y
= 2
; j
T h e m u t a t i o n o p e r a t o r i s s i m i l a r i n s p i r i t t o t h a t u s e d b y t h e P G A ( M u h l e n b e i n ,
S c h o m i s c h & B o r n , 1 9 9 1 ) , b u t t h e B G A o p e r a t o r i s m u c h m o r e e a s y t o u n d e r s t a n d .
F u r t h e r m o r e , i t i s i n d e p e n d e n t o f t h e l o c a t i o n i n p h e n o t y p e s p a c e .
T h e s t a n d a r d B G A m u t a t i o n o p e r a t o r i s a b l e t o g e n e r a t e a n y p o i n t i n t h e h y -
p e r c u b e w i t h c e n t e r x d e n e d b y x
i
r a n g e
i
. B u t i t t e s t s m u c h m o r e o f t e n i n t h e
n e i g b o r h o o d o f x . I n t h e a b o v e s t a n d a r d s e t t i n g , t h e m u t a t i o n o p e r a t o r i s a b l e t o
l o c a t e t h e o p t i m a l x
i
u p t o a p r e c i s i o n o f r a n g e
i
2
; 1 5
. T h e r a t i o n a l e o f t h i s m u t a t i o n
o p e r a t o r w i l l b e e x p l a i n e d i n t h e n e x t s e c t i o n .
5
8/7/2019 breeder93
6/29
3 M u t a t i o n i n c o n t i n u o u s d o m a i n s
T h e m u t a t i o n o p e r a t o r h a s b e e n i n v e s t i g a t e d f o r b i n a r y d o m a i n s i n ( M u h l e n b e i n ,
1 9 9 1 ) , ( M u h l e n b e i n , 1 9 9 2 a ) . I t w a s s h o w n t h a t t h e m u t a t i o n r a t e s h o u l d b e i n v e r s e l y
p r o p o r t i o n a l t o t h e n u m b e r o f b i t s i n t h e c h r o m o s o m e . I n t h i s s e c t i o n w e w i l l s h o w
t h a t a n a d a p t a t i o n o f t h e a b o v e s t r a t e g y , t h e B G A m u t a t i o n s c h e m e , a l s o w o r k s
w e l l i n c o n t i n u o u s d o m a i n s .
O u r a n a l y s i s i s s i m i l a r t o t h e i n v e s t i g a t i o n o f m u t a t i o n i n e v o l u t i o n s t r a t e g i e s
( B a c k , H o m e i s t e r & S c h w e f e l , 1 9 9 1 ) , ( S c h w e f e l , 1 9 8 1 ) , ( R e c h e n b e r g , 1 9 7 3 ) a n d i n
r a n d o m s e a r c h m e t h o d s ( T o r n & Z i l i n s k a s , 1 9 8 9 ) , ( S o l i s & W e t s , 1 9 8 1 ) .
W e w i l l c o m p a r e d i e r e n t m u t a t i o n s c h e m e s a c c o r d i n g t o t h e p e r f o r m a n c e m e a -
s u r e e x p e c t e d p r o g r e s s E ( r ) . G i v e n a n a r b i t r a r y p o i n t x w i t h d i s t a n c e r t o t h e
o p t i m u m t h e n E ( r ) i s d e n e d a s t h e e x p e c t e d i m p r o v e m e n t o f x b y s u c c e s s f u l m u -
t a t i o n s i n e u c l i d i a n d i s t a n c e . M u t a t i o n s g i v i n g n o i m p r o v e m e n t a r e n o t c o u n t e d .
E ( r ) i s d e n e d b y p r o b a b i l i t y t h e o r y a s a n i n t e g r a l o v e r t h e d o m a i n o f s u c c e s s f u l
m u t a t i o n s . T h e i n t e g r a n d i s g i v e n b y p r o g r e s s ( y ) p r o b a b i l i t y ( y ) . T h e d o m a i n o f
s u c c e s s f u l m u t a t i o n d e p e n d s o n t h e t n e s s f u n c t i o n . W e w i l l a s s u m e f o r t h e a n a l y s i s
a u n i m o d a l f u n c t i o n w i t h s p h e r i c a l s y m m e t r y .
F i r s t w e w i l l c o m p u t e t h e e x p e c t e d p r o g r e s s i n o n e d i m e n s i o n f o r d i e r e n t m u -
t a t i o n s c h e m e s - u n i f o r m d i s t r i b u t e d m u t a t i o n , n o r m a l d i s t r i b u t e d m u t a t i o n a n d
t h e B G A m u t a t i o n s c h e m e . W e w i l l s h o w t h a t t h e e x p e c t e d p r o g r e s s o f t h e s i m p l e
B G A s c h e m e i s o n l y s i x t i m e s w o r s e t h a n n o r m a l d i s t r i b u t e d m u t a t i o n w i t h o p t i m a l
a d a p t a t i o n .
U n i f o r m d i s t r i b u t e d m u t a t i o n
T h e m u t a t i o n o p e r a t o r r a n d o m l y c h o o s e s a n u m b e r z i n t h e i n t e r v a l d e n e d b y
; A A A i s c a l l e d t h e m u t a t i o n r a n g e . T h e n e w p o i n t i s g i v e n b y
x
m
= x + z
L e t k x k = r . F o r c o n v e n i e n c e l e t t h e o p t i m u m b e i n 0 . T h e n f o r A 2 r t h e
e x p e c t e d p r o g r e s s o f s u c c e s s f u l m u t a t i o n s i s g i v e n b y
E ( r ) = 2
Z
r
0
x
2 A
d x =
r
2
2 A
( 7 )
T h e o p t i m u m p r o g r e s s i s o b t a i n e d f o r A = 2 r . S i m i l a r l y w e h a v e f o r A r
E ( r ) =
Z
A
0
x
2 A
d x =
A
4
( 8 )
T h e o p t i m u m p r o g r e s s i s o b t a i n e d f o r A = r . T h e f o r m u l a s f o r t h e c a s e r A 2 r
a r e s l i g h t l y m o r e d i c u l t a n d o m i t t e d h e r e . T h i s p r o v e s t h e n e x t t h e o r e m .
T h e o r e m 1 F o r u n i f o r m d i s t r i b u t e d m u t a t i o n t h e o p t i m a l m u t a t i o n r a n g e i s g i v e n
b y A = 2 r o r A = r . I n b o t h c a s e s t h e n o r m a l i z e d e x p e c t e d p r o g r e s s i s g i v e n b y
E ( r )
r
=
1
4
( 9 )
6
8/7/2019 breeder93
7/29
R e m a r k : I f t h e m u t a t i o n r a n g e i s h e l d c o n s t a n t , t h e n t h e n o r m a l i z e d e x p e c t e d
p r o g r e s s g o e s t o z e r o f o r r ; ! 0
W e w i l l n o w i n v e s t i g a t e a d i s t r i b u t i o n w h i c h m o r e o f t e n c h o o s e s p o i n t s i n t h e
n e i g h b o r h o o d o f r .
N o r m a l d i s t r i b u t e d m u t a t i o n
N o r m a l d i s t r i b u t e d m u t a t i o n i s u s e d i n e v o l u t i o n s t r a t e g i e s ( B a c k , H o m e i s t e r , &
S c h w e f e l , 1 9 9 1 ) . T h e m u t a t i o n o p e r a t o r c h o o s e s a r a n d o m n u m b e r z f r o m a n o r m a l
d i s t r i b u t i o n N ( 0 ) w i t h s t a n d a r d d e v i a t i o n
z w i l l b e a s u c c e s s f u l m u t a t i o n i f ; 2 r < z < 0 . T h e e x p e c t e d p r o g r e s s f o r t h e s e
m u t a t i o n s c a n b e c o m p u t e d a s u s u a l
E ( r ) =
1
p
2
Z
0
; r
; x e x p
; x
2
2
2
d x +
Z
; r
; 2 r
( 2 r + x ) e x p
; x
2
2
2
d x
!
( 1 0 )
A f t e r t e d i o u s , b u t s t r a i g h t f o r w a r d i n t e g r a t i o n o n e o b t a i n s
E ( r ) =
p
2
1 ; 2 e x p
; r
2
2
2
+ e x p
; 2 r
2
2
!
+
s
2
r
Z
;
r
; 2
r
e x p ;
x
2
2
d x ( 1 1 )
T h e s t a n d a r d d e v i a t i o n g i v i n g t h e o p t i m a l e x p e c t e d p r o g r e s s c a n b e o b t a i n e d f r o m
d E
d
= 0 . W e w i l l n o t c o m p u t e i t h e r e , b e c a u s e f o r h i g h d i m e n s i o n s ( n 0 ) R e c h e n -
b e r g ( 1 9 7 3 ) w a s a b l e t o c o m p u t e i t a p p r o x i m a t e l y . W e w i l l u s e R e c h e n b e r g ' s r e s u l t
l a t e r w h e n w e i n v e s t i g a t e n d i m e n s i o n s . F r o m t h e a b o v e e q u a t i o n w e o b t a i n b y
T a y l o r s e r i e s e x p a n s i o n
T h e o r e m 2 F o r x e d a n d r ; ! 0 t h e e x p e c t e d p r o g r e s s i s a p p r o x i m a t e
E ( r )
r
2
p
2
( 1 2 )
F o r = r o n e o b t a i n s t h e n o r m a l i z e d p r o g r e s s
E ( r )
r
0 1 ( 1 3 )
R e m a r k : I f i s h e l d x e d t h e n t h e n o r m a l i z e d e x p e c t e d p r o g r e s s g o e s t o z e r o f o r
r ; ! 0 . A c o n s t a n t n o r m a l i z e d e x p e c t e d p r o g r e s s i s o b t a i n e d i f i s p r o p o r t i o n a l
t o r
B o t h , u n i f o r m a n d n o r m a l d i s t r i b u t e d m u t a t i o n n e e d a n a d a p t a t i o n o f t h e m u -
t a t i o n r a n g e i n o r d e r t o g i v e a r e a s o n a b l e p r o g r e s s f o r s m a l l r . W e w i l l n o w s h o w
t h a t t h e B G A m u t a t i o n s c h e m e d o e s n o t n e e d s u c h a n a d a p t a t i o n .
T h e B G A m u t a t i o n s c h e m e
T h e B G A m u t a t i o n o p e r a t o r r a n d o m l y c h o o s e s w i t h p r o b a b i l i t y 1 = 3 2 o n e o f t h e 3 2
p o i n t s
( 2
; 1 5
A 2
; 1 4
A : : : 2
0
A ) ( 1 4 )
7
8/7/2019 breeder93
8/29
A d e n e s t h e m u t a t i o n r a n g e . T h e B G A m u t a t i o n s c h e m e c a n a p p r o x i m a t e t h e
o p t i m u m o n l y u p t o a p r e c i s i o n o f 2
; 1 5
A
4 7 1 2
T h e o r e m 3 T h e n o r m a l i z e d e x p e c t e d p r o g r e s s f o r t h e B G A m u t a t i o n s c h e m e i s
b o u n d e d b y
1
3 2
E ( r )
r
1
1 6
( 1 5 )
P r o o f : F o r s i m p l i c i t y , l e t f o r s o m e 0 k 1 5
A = 2
k
r
S u c c e s s f u l m u t a t i o n s h a v e t o b e i n t h e r a n g e ; 2 r < z < 0 . T h e n t h e e x p e c t e d
p r o g r e s s i s g i v e n b y
E ( r ) =
1
3 2
r ( 1 + + 2
; 1 5 + k
) ( 1 6 )
T h e n o r m a l i z e d e x p e c t e d p r o g r e s s f o r t h e B G A m u t a t i o n s c h e m e i s o f t h e s a m e
o r d e r a s t h e o p t i m a l s c h e m e s f o r u n i f o r m o r n o r m a l d i s t r i b u t e d m u t a t i o n . B u t t h e
o p t i m a l s c h e m e s n e e d t h e e x a c t d i s t a n c e r t o t h e o p t i m u m . I n a r e a l a p p l i c a t i o n t h e
d i s t a n c e i s n o t k n o w n . T h e r e f o r e t h e m u t a t i o n r a n g e h a s t o b e e m p i r i c a l l y a d a p t e d
( B a c k , H o m e i s t e r & S c h w e f e l , 1 9 9 1 ) .
T h e B G A m u t a t i o n i s r o b u s t . I t d o e s n o t n e e d a n a d a p t a t i o n o f t h e m u t a t i o n
r a n g e b e c a u s e i t g e n e r a t e s p o i n t s m o r e o f t e n i n t h e n e i g h b o r h o o d o f t h e g i v e n p o i n t .
N e v e r t h e l e s s t h e B G A m u t a t i o n i s o n l y a b o u t t h r e e t i m e s l e s s e c i e n t t h a n n o r m a l
d i s t r i b u t e d m u t a t i o n w i t h = r
W e w i l l n o w i n v e s t i g a t e m u t a t i o n i n h i g h d i m e n s i o n s . W e w i l l s t a r t w i t h t h e
B G A m u t a t i o n b e c a u s e i t i s t h e s i m p l e s t t o a n a l y z e .
T h e B G A m u t a t i o n i n n d i m e n s i o n s
A v a r i a b l e i s c h o s e n w i t h p r o b a b i l i t y p
m
= 1 = n f o r m u t a t i o n . T h e r e f o r e o n a v e r a g e
j u s t o n e v a r i a b l e w i l l b e m u t a t e d .
T h e o r e m 4 G i v e n a p o i n t w i t h d i s t a n c e r A t o t h e o p t i m u m , t h e n t h e e x p e c t e d
p r o g r e s s i n n d i m e n s i o n s i s b o u n d e d b y
1
3 2 n
E ( n r )
r
1
1 6 n
( 1 7 )
P r o o f L e t a n a r b i t r a r y p o i n t w i t h d i s t a n c e r b e g i v e n . B y r o t a t i o n w e m o v e t h e
p o i n t t o t h e r s t a x i s . T h i s w i l l g i v e t h e p o i n t ( r 0 : : : 0 ) . T h e r o t a t i o n d o e s n o t
c h a n g e t h e a v e r a g e p r o g r e s s b e c a u s e w e a s u m e d t h a t t h e t n e s s f u n c t i o n i s s p h e r i c a l
s y m m e t r i c . T h e r e f o r e
4 7 1 2
I f a h i g h e r p r e c i s i o n i s n e e d e d , t h e m u t a t i o n r a n g e w i l l b e r e d u c e d d u r i n g t h e r u n . W e w i l l
d i s c u s s t h i s m o d i c a t i o n a t t h e e n d o f t h e s e c t i o n .
8
8/7/2019 breeder93
9/29
E ( n r ) =
1
n
E
x
1
( r )
E
x
1
( r ) i s t h e a v e r a g e p r o g r e s s i n t h e d i r e c t i o n o f x
1
. T h e r e s u l t n o w f o l l o w s f r o m
t h e o r e m 3 .
T h e n o r m a l i z e d e x p e c t e d p r o g r e s s d e c r e a s e s w i t h 1 = n . W e w i l l n o w c o n s i d e r u n i f o r m
d i s t r i b u t e d m u t a t i o n .
U n i f o r m d i s t r i b u t e d m u t a t i o n i n n d i m e n s i o n s
T h e m u t a t i o n o p e r a t o r c h o o s e s n - t i m e s a n u m b e r f r o m t h e i n t e r v a l d e n e d b y
; A A ] . L e t a p o i n t w i t h d i s t a n c e r t o t h e o p t i m u m b e g i v e n .
T h e o r e m 5 T h e e x p e c t e d p r o g r e s s f o r u n i f o r m m u t a t i o n i s g i v e n f o r A 2 r b y
E ( n r )
r
=
2 n ( n + 1 )
r
n + 1
A
n
( 1 8 )
T h e o p t i m a l e x p e c t e d p r o g r e s s i s o b t a i n e d f o r A = 2 r
E ( n r )
r
=
2 n ( n + 1 )
2
; n
( 1 9 )
P r o o f : W e s t a r t w i t h n = 2 . L e t k x k = r
1
. T h e e x p e c t e d p r o g r e s s c a n b e o b t a i n e d
f r o m t h e i n t e g r a l
E ( 2 r
1
) =
1
4 A
2
Z
r
1
0
Z
2
0
( r
1
; r ) r d d r
T h e r e f o r e
E ( 2 r
1
) =
1 2
r
3
1
A
2
F o r a r b i t r a r y n t h e e x p e c t e d p r o g r e s s i s g i v e n b y
E ( n r
1
) =
1
( 2 A )
n
Z
r
1
0
Z
( r
1
; r ) d h
n
( r ) d r
T h e i n n e r i n t e g r a l h a s t o b e d o n e i n p o l a r c o o r d i n a t e s o v e r t h e s u r f a c e o f t h e n -
d i m e n s i o n a l h y p e r s p h e r e o f r a d i u s r . W e c o m p u t e d
E ( n r
1
) =
2 n ( n + 1 )
r
n + 1
1
A
n
( 2 0 )
F r o m t h i s e q u a t i o n t h e t h e o r e m i m m e d i a t e l y f o l l o w s .
T h e o p t i m a l n o r m a l i z e d a v e r a g e p r o g r e s s f o r u n i f o r m d i s t r i b u t e d m u t a t i o n d e c r e a s e s
e x p o n e n t i a l w i t h n . T h e r e a s o n f o r t h i s b e h a v i o r i s t h e w e l l k n o w n f a c t t h a t t h e
9
8/7/2019 breeder93
10/29
v o l u m e o f t h e u n i t s p h e r e i n n - d i m e n s i o n s g o e s t o z e r o f o r n ; ! 1 . B e t t e r r e s u l t s
c a n b e o b t a i n e d i f t h e u n i f o r m d i s t r i b u t i o n i s r e s t r i c t e d t o a h y p e r s p h e r e w i t h r a d i u s
r
h
. F o r r
h
= 1 2 2 5 r =
p
n t h e e x p e c t e d p r o g r e s s w a s c o m p u t e d f o r l a r g e n a n d s m a l l
r i n ( S c h u m e r & S t e i g l i t z , 1 9 6 8 )
E ( n r )
r
=
0 2
n
( 2 1 )
W e n o w t u r n t o n o r m a l d i s t r i b u t e d m u t a t i o n .
N o r m a l d i s t r i b u t e d m u t a t i o n i n n d i m e n s i o n s
T h e m u t a t i o n o p e r a t o r c h o o s e s n - t i m e s a n u m b e r r a n d o m l y f r o m a n o r m a l d i s t r i -
b u t i o n N ( 0 ) w i t h s t a n d a r d d e v i a t i o n . L e t k x k = r
1
T h e e x p e c t e d p r o g r e s s i s g i v e n b y
E ( r
1
) =
1
(
p
2 )
n
Z
0
; r
1
Z
; r e x p ;
r
2
2
2
d h
n
d r +
Z
; r 1
; 2 r
1
Z
( 2 r
1
+ r ) e x p ;
r
2
2
2
d h
n
d r
!
( 2 2 )
T h e i n n e r i n t e g r a l h a s t o b e d o n e i n p o l a r c o o r d i n a t e s o v e r h a l f o f t h e s u r f a c e o f
t h e n - d i m e n s i o n a l h y p e r s p h e r e o f r a d i u s r . T h i s i n t e g r a l d o e s n o t a p p e a r t o b e
i n t r a c t a b l e . N e v e r t h e l e s s , w e d i d n o t n d a c l o s e d s o l u t i o n . H o w e v e r R e c h e n b e r g
w a s a b l e t o c o m p u t e t h e e x p e c t e d p r o g r e s s a p p r o x i m a t e l y f o r n 0 . W e j u s t c i t e
t h e r e s u l t ( R e c h e n b e r g , 1 9 7 3 ) .
T h e o r e m 6 ( R e c h e n b e r g ) : T h e o p t i m a l s t a n d a r d d e v i a t i o n f o r n o r m a l d i s t r i b u t e d
m u t a t i o n i s g i v e n b y
o p t
= 1 2
r
n
T h e e x p e c t e d p r o g r e s s i s a p p r o x i m a t e l y
E ( n r )
r
=
0 2
n
( 2 3 )
W e n o w s u m m a r i z e t h e r e s u l t s o f t h e a b o v e a n a l y s i s . T h e r e s u l t s h a v e b e e n p r o v e d
f o r u n i m o d a l t n e s s f u n c t i o n s w i t h r o t a t i o n a l s y m m e t r y o n l y .
T h e e x p e c t e d p r o g r e s s f o r t h e s i m p l e B G A s c h e m e i s 4 ; 6 t i m e s l e s s t h a n t h e
e x p e c t e d p r o g r e s s f o r t h e n o r m a l d i s t r i b u t e d m u t a t i o n w i t h o p t i m a l . I t s c a l e s i n
n d i m e n s i o n s l i k e 1 = n w h i c h i s b e l i e v e d t o b e t h e o p t i m a l p r o g r e s s r a t e f o r s e a r c h
m e t h o d s w h i c h d o n o t u s e d e r i v a t i v e s o f t h e f u n c t i o n . W e m a y t h u s p r o p o s e t h e
f o l l o w i n g r u l e f o r h i g h d i m e n s i o n s .
R u l e 1 D o n o t c h a n g e t o o m a n y v a r i a b l e s a t t h e s a m e t i m e i n h i g h d i m e n s i o n s
1 0
8/7/2019 breeder93
11/29
T h e a b o v e r u l e w a s a l r e a d y f o u n d b y B r e m e r m a n n ( 1 9 6 6 ) . F o r p r o b l e m s o f t h e k i n d
k e k = k b ; M x k m i n i m a l
h e s u g g e s t e d u n i f o r m m u t a t i o n w i t h a m u t a t i o n r a n g e o f
A =
k e k
n
T h i s i s a v e r y s i m p l e a n d c o n s t r u c t i v e a d a p t a t i o n s c h e m e . B u t u n f o r t u n a t e l y a n
a n a l y s i s i m m e d i a t e l y s h o w s t h a t t h e n o r m a l i z e d e x p e c t e d p r o g r e s s g e t s w o r s e w i t h
i n c r e a s i n g k M k
T h e f o r m u l a s o f t h i s s e c t i o n c a n b e u s e d t o e s t i m a t e t h e n u m b e r o f t r i a l s t o
a p p r o x i m a t e t h e o p t i m u m w i t h a g i v e n p r e c i s i o n . F o r s i m p l i c i t y , l e t u s a s s u m e a
p o p u l a t i o n o f s i z e 1 . I n t h i s c a s e t h e B G A a c c e p t s a m u t a t e d s t r i n g o n l y i f i t i s n o t
w o r s e t h a n t h e p a r e n t s t r i n g .
T h e o r e m 7 F o r s i m p l i c i t y l e t t h e o p t i m u m b e a t x = 0 . L e t t h e e x p e c t e d p r o g r e s s
b e o f t h e f o r m E ( k x k ) = c k x k = n . T h e n t h e n u m b e r o f i t e r a t i o n s I T n e e d e d t o
a p p r o x i m a t e t h e o p t i m u m u p t o a p r e c i s i o n o f i s g i v e n f o r n 0 b y
I T =
n
c
l n
k x
0
k
( 2 4 )
P r o o f : L e t x
0
b e t h e i n i t i a l s t r i n g , r
0
i t s e u c l i d i a n n o r m . I n a v e r y c r u d e s t a t i s t i c a l
a p p r o x i m a t i o n w e h a v e
k x
i + 1
k = k x
i
k ( 1 ;
c
n
)
T h e r e f o r e w e g e t
k x
i
k = k x
0
k ( 1 ;
c
n
)
i
( 2 5 )
T h e n u m b e r o f i t e r a t i o n s I T c a n b e c o m p u t e d f r o m t h e e q u a t i o n
i l n ( 1 ;
c
n
) = l n (
k x
i
k
k x
0
k
)
b y T a y l o r s e r i e s e x p e n s i o n a n d k x
I T
k =
R e m a r k : T h e n u m b e r o f i t e r a t i o n s l i n e a r l y i n c r e a s e s w i t h n , i f t h e i n i t i a l s t r i n g
h a s t h e s a m e e u c l i d i a n d i s t a n c e i n a l l d i m e n s i o n s .
T h e a b o v e t h e o r e m w a s d e r i v e d w i t h o u t s t a t i s t i c a l r i g o u r . T h e r e f o r e w e i n v e s t i -
g a t e d t h e m u t a t i o n s c h e m e w i t h s i m u l a t i o n s . I n t a b l e 1 n u m e r i c a l r e s u l t s a r e g i v e n
f o r t h e i n i t i a l s t r i n g x
0
= ( 1 1 : : : 1 ) . N o t e t h a t t h e e u c l i d i a n d i s t a n c e o f t h i s s t r i n g
i s
p
n . T h e r e f o r e t h e n u m b e r o f i t e r a t i o n s s h o u l d a p p r o x i m a t e l y i n c r e a s e l i k e n l n ( n )
T h e t n e s s f u n c t i o n i s t h e e u c l i d e a n d i s t a n c e .
T h e t a b l e 1 c o n r m s t h e s t a t i s t i c a l a n a l y s i s . T h e n u m b e r o f i t e r a t i o n s i n c r e a s e s
l i k e 3 2 n l n ( 1 0
3
k x
0
k ) . W e w o u l d l i k e t o m e n t i o n t h a t S o l i s a n d W e t s ( 1 9 8 1 ) r e p o r t a
1 1
8/7/2019 breeder93
12/29
n p
m
I T S D 3 2 n l n ( 1 0
3
p
n )
1 0 0 . 1 2 2 4 0 4 2 4 2 5 7 8
1 0 0 . 2 2 1 9 7 4 3 3
1 0 0 . 4 6 0 9 0 1 1 7 7
2 0 0 . 0 5 4 8 5 5 7 0 1 5 3 8 0
2 0 0 . 1 5 2 9 6 7 8 0
2 0 0 . 2 1 2 1 3 1 1 3 9 0
1 0 0 0 . 0 1 3 3 3 1 8 2 1 0 1 2 9 4 7 3
1 0 0 0 . 0 2 3 3 7 7 2 1 6 3 7
1 0 0 0 . 0 4 8 3 1 5 0 5 7 4 1
T a b l e 1 : N u m b e r o f i t e r a t i o n s I T , t e r m i n a t i o n = 1 0
; 3
c o n s t a n t o f 3 3 f o r t h e i r r a n d o m s e a r c h m e t h o d . T h e i r m e t h o d d y n a m i c a l l y a d j u s t s
t h e r a n g e o f m u t a t i o n .
T h e n u m b e r o f i t e r a t i o n s c h a n g e s d r a m a t i c a l l y i f t h e m u t a t i o n r a t e g r o w s . A
v e r y s m a l l c h a n g e ( i n a b s o l u t e t e r m s ) o f t h e m u t a t i o n r a t e f r o m 1 = 1 0 0 t o 4 = 1 0 0 h a s
a h u g e i m p a c t . W e h a v e e x p l a i n e d t h i s b e h a v i o r f o r d i s c r e t e f u n c t i o n s i n ( M u h l e n -
b e i n , 1 9 9 2 a ) .
T h e B G A m u t a t i o n s c h e m e c a n s t i l l b e i m p r o v e d b y t w o o r m o r e d i s c r e t e a d a p t a -
t i o n s t e p s . T h e a d a p t a t i o n w o r k s i f n o t j u s t a s i n g l e p o i n t b u t a p o p u l a t i o n o f p o i n t s
a r e u s e d . W e o u t l i n e t h e i d e a w i t h a n e x a m p l e . W e r e s t r i c t t h e B G A m u t a t i o n r a n g e
t o s a y 9 p o i n t s i n s t e a d o f 1 5
( 2
; 8
A : : : 2
0
A )
T h e n i f a l l p o i n t s o f t h e p o p u l a t i o n a r e w i t h i n s a y a r a n g e o f 2
; 7
A , w e c h a n g e t h e
m u t a t i o n r a n g e t o
A
0
= 2
; 7
A
T h i s p r o c e d u r e i s e q u i v a l e n t t o d y n a m i c p a r a m e t e r e n c o d i n g t e c h n i q u e s ( S c h r a u -
d o l p h & B e l e w , 1 9 9 2 ) . B u t n o t e t h a t t h e a b o v e p r o c e d u r e r e d u c e s t h e r o b u s t n e s s
o f t h e m u t a t i o n s c h e m e . A f t e r a d i s c r e t e a d a p t a t i o n s t e p , p o i n t s o u t s i d e t h e n e w
r a n g e c a n n o t b e g e n e r a t e d b y m u t a t i o n a n y m o r e .
4 T h e r e s p o n s e t o s e l e c t i o n
I n t h i s s e c t i o n w e i n v e s t i g a t e t h e e x p e c t e d p r o g r e s s t o t h e s o l u t i o n f o r t h e d i s c r e t e
r e c o m b i n a t i o n o p e r a t o r . C o m p a r e d t o m u t a t i o n t h e f o l l o w i n g d i c u l t y a r i s e s . R e -
c o m b i n a t i o n c a n n o t b e a n a l y z e d f o r a s i n g l e p o i n t ( i n d i v i d u a l ) , i t n e e d s a t l e a s t
t w o p o i n t s . F u r t h e r m o r e r e c o m b i n a t i o n i s n o t a r a n d o m p r o c e s s , i t d e p e n d s o n t h e
1 2
8/7/2019 breeder93
13/29
F i g u r e 1 : R e g r e s s i o n o f t r u n c a t i o n s e l e c t i o n
B r e e d e r s o f t e n u s e t r u n c a t i o n s e l e c t i o n o r m a s s s e l e c t i o n a s s h o w n i n g u r e 1 . I n
t r u n c a t i o n s e l e c t i o n w i t h t h r e s h o l d T , t h e T % b e s t i n d i v i d u a l s w i l l b e s e l e c t e d a s
p a r e n t s . T i s n o r m a l l y c h o s e n i n t h e r a n g e 5 0 % t o 1 0 % .
1 3
8/7/2019 breeder93
14/29
T h e p r e d i c t i o n o f t h e r e s p o n s e t o s e l e c t i o n s t a r t s w i t h
R ( t + 1 ) = b
t
S ( t ) ( 2 8 )
T h e b r e e d e r e i t h e r m e a s u r e s b
t
i n p r e v i o u s g e n e r a t i o n s o r e s t i m a t e s b
t
b y d i e r e n t
m e t h o d s ( C r o w , 1 9 8 6 ) . I t i s n o r m a l l y a s s u m e d t h a t b
t
i s c o n s t a n t f o r a c e r t a i n
n u m b e r o f g e n e r a t i o n s . T h i s l e a d s t o
R ( t + 1 ) = b S ( t ) ( 2 9 )
T h e r e i s n o g e n e t i c s i n v o l v e d i n t h i s e q u a t i o n . I t i s s i m p l y a n e x t r a p o l a t i o n f r o m
d i r e c t o b s e r v a t i o n . T h e p r e d i c t i o n o f j u s t o n e g e n e r a t i o n i s o n l y h a l f t h e s t o r y . T h e
b r e e d e r ( a n d t h e G A u s e r ) w o u l d l i k e t o p r e d i c t t h e c u m u l a t i v e r e s p o n s e R
n
f o r n
g e n e r a t i o n s o f h i s b r e e d i n g s c h e m e .
R
n
=
n
X
t = 1
R ( t ) ( 3 0 )
I n o r d e r t o c o m p u t e R
n
a s e c o n d e q u a t i o n i s n e e d e d . I n q u a n t i t a t i v e g e n e t i c s , s e v e r a l
a p p r o x i m a t e e q u a t i o n s f o r S ( t ) a r e p r o p o s e d ( B u l m e r , 1 9 8 0 ) , ( F a l c o n e r , 1 9 8 1 ) . U n -
f o r t u n a t e l y t h e s e e q u a t i o n s a r e n o t u s e f u l i n t h e c a s e o f h a p l o i d o r g a n i s m s a s u s e d
i n o u r B G A . T h e r e f o r e , w e c a n o n l y a p p l y t h e r e s e a r c h m e t h o d s o f q u a n t i t a t i v e
g e n e t i c s , n o t t h e r e s u l t s .
O u r a p p r o a c h h a s b e e n i n u e n c e d b y R o b e r t s o n , w h o w r o t e i n ( R o b e r t s o n , 1 9 7 0 ) :
\ W e m a y b y c o n v e n t i o n a l a n a l y s i s d i s c o v e r t h a t f a c t o r A a n d f a c t o r B h a v e s i g n i -
c a n t e e c t s a n d t h a t t h e r e i s a s i g n i c a n t i n t e r a c t i o n b e t w e e n t h e m . I t i s h o w e v e r
m u c h m o r e u s e f u l t o n d t h a t a n a n a l y s i s i n t e r m s o f , s a y , A / B a c c o u n t s f o r a l m o s t
a l l t h e v a r i a t i o n s d u e t o b o t h f a c t o r s . I n s t a t i s t i c a l t e r m s , w e a r e s e e k i n g t h e b e s t
` r e - p a r a m e t e r i z a t i o n ' " . W e w i l l s h o w t h a t a r e - p a r a m e t e r i z a t i o n i s p o s s i b l e f o r t h e
B G A .
I f t h e t n e s s v a l u e s a r e n o r m a l l y d i s t r i b u t e d , t h e s e l e c t i o n d i e r e n t i a l S ( t ) i n
t r u n c a t i o n s e l e c t i o n i s a p p r o x i m a t e l y g i v e n b y
S = I
p
( 3 1 )
w h e r e
p
i s t h e s t a n d a r d d e v i a t i o n . I i s c a l l e d t h e s e l e c t i o n i n t e n s i t y . T h e f o r m u l a
i s a f e a t u r e o f t h e n o r m a l d i s t r i b u t i o n . A d e r i v a t i o n c a n b e f o u n d i n ( B u l m e r , 1 9 8 0 ) .
I n t a b l e 2 t h e r e l a t i o n b e t w e e n t h e t r u n c a t i o n t h r e s h o l d T a n d t h e s e l e c t i o n i n t e n s i t y
I i s s h o w n . A d e c r e a s e f r o m 5 0 % t o 1 % l e a d s t o a n i n c r e a s e o f t h e s e l e c t i o n i n t e n s i t y
f r o m 0 . 8 t o 2 . 6 6 .
I f w e i n s e r t ( 3 1 ) i n t o ( 2 9 ) w e o b t a i n t h e w e l l - k n o w n s e l e c t i o n e q u a t i o n ( F a l c o n e r ,
1 9 8 1 )
R ( t + 1 ) = b I
p
( t ) ( 3 2 )
T h e s c i e n c e o f a r t i c i a l s e l e c t i o n c o n s i s t s o f e s t i m a t i n g b a n d
p
( t ) . T h e e s t i m a t e s
d e p e n d o n t h e t n e s s f u n c t i o n . W e w i l l u s e a s a n i n t r o d u c t o r y e x a m p l e t h e b i n a r y
1 4
8/7/2019 breeder93
15/29
T 8 0 % 5 0 % 4 0 % 2 0 % 1 0 % 1 %
I 0 . 3 4 0 . 8 0 . 9 7 1 . 2 1 . 7 6 2 . 6 6
T a b l e 2 : S e l e c t i o n i n t e n s i t y .
O N E M A X f u n c t i o n . H e r e t h e t n e s s i s g i v e n b y t h e n u m b e r o f 1 ' s i n t h e b i n a r y
s t r i n g .
I n p r i n c i p l e , t h e s e l e c t i o n e q u a t i o n c a n b e u s e d f o r a n y p o p u l a t i o n s . B u t t h e
q u a l i t y o f t h e p r e d i c t i o n d e p e n d s o n t h e s i z e o f t h e p o p u l a t i o n a n d t h e g e n e t i c o p -
e r a t o r s . T h e r e s p o n s e t o s e l e c t i o n f o r t h e m u t a t i o n o p e r a t o r i s e r r a t i c f o r s m a l l
p o p u l a t i o n s . T h e r e f o r e w e h a v e u s e d i n s e c t i o n 3 p r o b a b i l i t y t h e o r y t o p r e d i c t t h e
o u t c o m e o f m a n y t r i a l s . T h e b e h a v i o r o f r e c o m b i n a t i o n i s m u c h m o r e p r e d i c t a b l e .
F o r t h i s r e a s o n w e c o n s i d e r t h i s c a s e r s t . W e a s s u m e u n i f o r m c r o s s i n g - o v e r f o r
r e c o m b i n a t i o n ( S y s w e r d a , 1 9 8 9 ) . U n i f o r m c r o s s i n g - o v e r i s s i m i l a r t o d i s c r e t e r e c o m -
b i n a t i o n i n c o n t i n u o u s d o m a i n s .
W e w i l l r s t e s t i m a t e b . A p o p u l a r m e t h o d f o r e s t i m a t i o n i s t o m a k e a r e g r e s s i o n
o f t h e m i d p a r e n t t n e s s v a l u e t o t h e o s p r i n g . T h e m i d p a r e n t t n e s s v a l u e i s d e n e d
a s t h e a v e r a g e o f t h e t n e s s o f t h e t w o p a r e n t s . A s i m p l e c a l c u l a t i o n s h o w s t h a t
t h e p r o b a b i l i t y o f t h e o s p r i n g b e i n g b e t t e r t h a n t h e m i d p a r e n t i s e q u a l t o t h e
p r o b a b i l i t y o f t h e m b e i n g w o r s e . T h e r e f o r e t h e a v e r a g e t n e s s o f t h e o s p r i n g w i l l
b e t h e s a m e a s t h e a v e r a g e o f t h e m i d p a r e n t s . T h e r e s u l t m e a n s t h a t t h e a v e r a g e
o f t h e o s p r i n g i s t h e s a m e a s t h e a v e r a g e o f t h e s e l e c t e d p a r e n t s . T h i s g i v e s b = 1
f o r O N E M A X
E s t i m a t i n g
p
( t ) i s m o r e d i c u l t . W e m a k e t h e a s s u m p t i o n t h a t u n i f o r m c r o s s i n g -
o v e r i s a r a n d o m p r o c e s s w h i c h c r e a t e s a b i n o m i a l t n e s s d i s t r i b u t i o n w i t h p r o b a b i l -
i t y p ( t ) p ( t ) i s t h e p r o b a b i l i t y t h a t t h e r e i s a 1 a t a l o c u s . T h e r e f o r e t h e s t a n d a r d
d e v i a t i o n i s g i v e n b y
p
( t ) =
q
n p ( t ) ( 1 ; p ( t ) ) ( 3 3 )
N o t i n g t h a t M ( t ) = n p ( t ) w e o b t a i n f r o m ( 2 6 ) a n d ( 3 2 ) t h e d i e r e n c e e q u a t i o n
p ( t + 1 ) ; p ( t ) =
I
p
n
q
p ( t ) ( 1 ; p ( t ) ) ( 3 4 )
T h e d i e r e n c e e q u a t i o n c a n b e a p p r o x i m a t e d b y a d i e r e n t i a l e q u a t i o n
d p ( t )
d t
=
I
p
n
q
p ( t ) ( 1 ; p ( t ) ) ( 3 5 )
T h e i n i t i a l c o n d i t i o n i s p ( 0 ) = p
0
. T h e s o l u t i o n o f t h e d i e r e n t i a l e q u a t i o n i s g i v e n
b y
p ( t ) = 0 5
1 + s i n (
I
p
n
t + a r c s i n ( 2 p
0
; 1 ) )
!
( 3 6 )
1 5
8/7/2019 breeder93
16/29
n I N F I T G E N F E
6 4 0 . 8 2 4 5 9 . 4 2 2 . 2 5 3 2 . 8
1 . 2 3 2 6 1 . 4 1 3 . 4 4 2 8 . 8
1 . 6 4 8 5 9 . 5 9 . 5 4 5 6 . 0
1 2 8 0 . 8 3 2 1 1 7 . 0 2 9 . 5 9 4 4 . 0
1 . 2 4 8 1 2 1 . 5 1 8 . 9 9 0 7 . 0
1 . 6 6 4 1 1 9 . 5 1 3 . 9 8 8 9 . 6
2 5 6 0 . 8 6 4 2 4 7 . 0 4 4 . 1 2 8 2 2 . 4
1 . 2 9 6 2 5 2 . 0 2 7 . 6 2 6 4 9 . 6
1 . 6 1 2 8 2 4 5 . 2 2 0 . 6 2 6 3 6 . 8
5 1 2 0 . 8 1 2 8 5 0 6 . 2 6 1 . 8 7 9 1 0 . 4
1 . 2 1 9 2 5 0 7 . 7 3 9 . 3 7 5 4 5 . 6
1 . 6 2 5 6 5 0 4 . 8 3 0 . 5 7 8 0 8 . 0
5 1 2 0 . 8 2 5 6 5 1 1 . 8 5 7 . 6 1 4 7 4 5 . 6
1 . 2 3 8 4 5 1 2 . 0 3 6 . 6 1 4 0 5 4 . 4
1 . 6 5 1 2 5 1 1 . 6 2 8 . 6 1 4 6 4 3 . 2
T a b l e 3 : A v e r a g e s o v e r 5 0 r u n s f o r O N E M A X
T h e c o n v e r g e n c e o f t h e t o t a l p o p u l a t i o n i s c h a r a c t e r i z e d b y p ( G E N ) = 1 . G E N
c a n b e e a s i l y c o m p u t e d f r o m t h e a b o v e e q u a t i o n I t i s g i v e n b y
G E N = (
2
; a r c s i n ( 2 p
0
; 1 ) )
p
n
I
( 3 7 )
W e h a v e n o w a r r i v e d a t a v e r y i n t e r e s t i n g r e s u l t . T h e n u m b e r o f g e n e r a t i o n s
n e e d e d u n t i l c o n v e r g e n c e i s p r o p o r t i o n a l t o
p
n a n d i n v e r s e l y p r o p o r t i o n a l t o 1 = I
B e c a u s e t h i s r e s u l t w a s o b t a i n e d u s i n g a n u m b e r o f a s s u m p t i o n s , w e a l s o i n -
v e s t i g a t e d t h e p r o b l e m w i t h e x t e n s i v e s i m u l a t i o n s . S o m e n u m e r i c a l r e s u l t s f o r t h e
b r e e d e r g e n e t i c a l g o r i t h m B G A w i t h u n i f o r m c r o s s i n g - o v e r a r e g i v e n i n t a b l e 3 . M u -
t a t i o n i s n o t u s e d .
W e w i l l t r y t o c a p t u r e t h e m a i n r e s u l t s o f t a b l e 3 i n t h r e e e m p i r i c a l l a w s .
E m p i r i c a l L a w 1 I f t h e s i z e o f t h e p o p u l a t i o n N i s l a r g e e n o u g h t h a t t h e p o p u l a -
t i o n w i l l c o n v e r g e t o t h e o p t i m u m a n d t h e i n i t i a l p o p u l a t i o n i s r a n d o m l y g e n e r a t e d
( p ( 0 ) = 0 . 5 ) , t h e n t h e n u m b e r o f g e n e r a t i o n s n e e d e d t o c o n v e r g e t o t h e o p t i m u m i s
g i v e n b y
G E N = k
p
n
I
0 8 I 1 6 k 2 ( 3 8 )
N o t e t h a t G E N i s o n l y s l i g h t l y l a r g e r t h a n t h e a n a l y t i c a l l y c o m p u t e d s o l u t i o n .
G E N i s i n d e p e n d e n t o f N f o r l a r g e N
4 7 1 3
. I t i s a c o m m o n b e l i e f b y b r e e d e r s
4 7 1 3
T h e m i n i m u m N f o r w h i c h t h e p o p u l a t i o n w i l l c o n v e r g e s e e m s t o b e p r o p o r t i o n a l t o l n ( n )
p
( n )
f ( I ) f o r I 0 5
1 6
8/7/2019 breeder93
17/29
I 0 . 2 0 . 3 5 0 . 5 0 . 8 1 . 0 1 . 2 1 . 7 2 . 1
M i n P o p 9 0 6 4 5 0 4 8 5 4 6 5 9 0 2 0 0
G E N 7 9 4 4 3 2 2 1 1 5 . 5 1 3 . 5 1 0 . 5 8 . 3
F E 7 1 1 0 2 8 1 6 1 6 0 0 1 0 0 8 8 3 7 8 7 7 9 4 5 1 6 6 0
T a b l e 4 : M i n i m a l p o p u l a t i o n s i z e M i n P o p , O N E M A X , n = 6 4
( F a l c o n e r , 8 1 ) a n d G A r e s e a r c h e r s , t h a t G E N d e p e n d s m a i n l y o n N . B u t o u r
s i m u l a t i o n s s h o w t h a t t h i s i s n o t t h e c a s e , a t l e a s t f o r t h e O N E M A X f u n c t i o n . G E N
o n l y d e p e n d s o n t h e s i z e o f t h e p r o b l e m n a n d t h e s e l e c t i o n i n t e n s i t y I . F u r t h e r m o r e ,
i n c r e a s i n g I b y a f a c t o r o f t w o h a l v e s t h e n u m b e r o f g e n e r a t i o n s r e q u i r e d . T h i s
r e s u l t s e e m s t o s u g g e s t t h a t a h i g h s e l e c t i o n i n t e n s i t y c o u l d b e t h e b e s t s e l e c t i o n
s c h e m e . B u t t h i s i s o f c o u r s e n o t t r u e . A h i g h s e l e c t i o n i n t e n s i t y l e a d s t o p r e m a t u r e
c o n v e r g e n c e a n d a b a d q u a l i t y o f s o l u t i o n .
I n t a b l e 4 w e i n v e s t i g a t e t h e m i n i m a l p o p u l a t i o n s i z e M i n P o p ( I ) f o r w h i c h t h e
p o p u l a t i o n w i l l c o n v e r g e w i t h g i v e n p r o b a b i l i t y t o t h e o p t i m u m . I t i s e a s i l y v e r i e d
t h a t M i n P o p h a s t o i n c r e a s e f o r v e r y l a r g e I . I n t h i s c a s e j u s t t h e b e s t i n d i v i d u a l
i s s e l e c t e d . T h e n u n i f o r m c r o s s i n g - o v e r w i l l o n l y d u p l i c a t e t h i s i n d i v i d u a l . T h e
p o p u l a t i o n c o n v e r g e s i n o n e g e n e r a t i o n . T h e r e f o r e t h e o p t i m a l s o l u t i o n h a s t o b e
c o n t a i n e d i n t h e i n i t i a l p o p u l a t i o n . F r o m s t a n d a r d p r o b a b i l i t y t h e o r y w e o b t a i n
M i n P o p O ( 2
n
)
T h e s a m e a r g u m e n t s h o w s t h a t M i n P o p i n c r e a s e s f o r v e r y s m a l l s e l e c t i o n i n -
t e n s i t i e s . C o n s e q u e n t l y t h e r e h a s t o b e a s e l e c t i o n i n t e n s i t y f o r w h i c h M i n P o p i s
m i n i m a l . I n t a b l e 4 M i n P o p i s d e n e d b y t h e c o n d i t i o n t h a t 6 0 % o f t h e r u n s s h o u l d
t e r m i n a t e w i t h t h e o p t i m a l s o l u t i o n . T h e s m a l l e s t M i n P o p i s o b t a i n e d f o r I = 0 8
T h e b e s t e c i e n c y i n f u n c t i o n e v a l u a t i o n s F E i s a t I = 1 . T h e e c i e n c y i n c r e a s e s
o n l y s l i g h t l y b e t w e e n I = 1 0 a n d I = 1 6 . T h e r e f o r e w e n o r m a l l y r u n t h e B G A
w i t h a s e l e c t i o n i n t e n s i t y o f I = 1 2 . N o t e t h a t t h e s e r e s u l t s h a v e b e e n d e r i v e d f o r
u n i f o r m c r o s s i n g - o v e r a n d t h e O N E M A X f u n c t i o n o n l y .
T h e n e x t e m p i r i c a l l a w c a n b e d e r i v e d f r o m t a b l e s 3 a n d 4 .
E m p i r i c a l L a w 2 T h e n u m b e r o f g e n e r a t i o n s u n t i l c o n v e r g e n c e i s i n v e r s e l y p r o -
p o r t i o n a l t o I , i f t h e s a m e c u m u l a t i v e g a i n R
G E N
i s r e q u i r e d
G E N / 1 = I 0 8 I 1 6 ( 3 9 )
T h e t h i r d e m p i r i c a l l a w i s a v e r y c r u d e e s t i m a t e o n l y .
E m p i r i c a l L a w 3 T h e c u m u l a t i v e g a i n ( i . e t h e t o t a l r e s p o n s e t o s e l e c t i o n ) i s a
m o n o t o n i c f u n c t i o n G o f N / I f o r 0 8 I 1 7
R
1
G ( N = I ) 0 8 I 1 7 ( 4 0 )
1 7
8/7/2019 breeder93
18/29
F r o m t h e t h i r d l a w w e o b t a i n a s a r u l e o f t h u m b
C o r o l l a r y 1 T h e m i n i m a l a m o u n t o f c o m p u t a t i o n i n f u n c t i o n e v a l u a t i o n s F E =
N G E N t o g e t t h e s a m e t o t a l r e s p o n s e i s i n d e p e n d e n t o f t h e s e l e c t i o n i n t e n s i t y .
P r o o f
N = I G
; 1
( R
1
)
I f w e a s s u m e G E N = k = I f o r s o m e k t h e r e s u l t f o l l o w s .
W e s u m m a r i z e t h e r e s u l t s . U n i f o r m c r o s s i n g - o v e r a n d t r u n c a t i o n s e l e c t i o n c a n b e
a n a l y z e d w i t h t h e m e t h o d s d e v e l o p e d i n q u a n t i t a t i v e g e n e t i c s . T h r e s h o l d s i n t h e
r a n g e 5 0 % T 1 0 % g i v e g o o d r e s u l t s i n t e r m s o f e c i e n c y .
B e f o r e w e i n v e s t i g a t e t r u n c a t i o n s e l e c t i o n a n d r e c o m b i n a t i o n i n t h e c o n t i n u o u s
d o m a i n , w e w i l l s h o w t h a t t h e a b o v e f r a m e w o r k c a n a l s o b e a p p l i e d t o p r o p o r t i o n a t e
s e l e c t i o n .
5 N a t u r a l ( p r o p o r t i o n a t e ) s e l e c t i o n
P r o p o r t i o n a t e s e l e c t i o n i s u s e d b y t h e s i m p l e g e n e t i c a l g o r i t h m ( G o l d b e r g , 1 9 8 9 ) .
L e t 0 p
i
1 b e t h e p r o p o r t i o n o f g e n o t y p e i i n a p o p u l a t i o n o f s i z e N , F
i
i t s
t n e s s . T h e n t h e a v e r a g e t n e s s s o f t h e p o p u l a t i o n i s d e n e d b y
M ( t ) =
N
X
i = 1
p
i
( t ) F
i
( 4 1 )
I n p r o p o r t i o n a t e s e l e c t i o n t h e p h e n o t y p e d i s t r i b u t i o n o f t h e s e l e c t e d p a r e n t s i s g i v e n
b y
p
i S
=
p
i
( t ) F
i
M ( t )
( 4 2 )
T h e o r e m 8 I n p r o p o r t i o n a t e s e l e c t i o n t h e s e l e c t i o n d i e r e n t i a l i s g i v e n b y
S ( t ) =
2
p
( t )
M ( t )
( 4 3 )
P r o o f
S ( t ) =
N
X
i = 1
p
i S
F
i
; M ( t )
=
N
X
i = 1
p
i
( t ) F
2
i
; p
i
( t ) M
2
( t )
M ( t )
=
1
M ( t )
n
X
i = 1
p
i
( t ) ( F
i
; M ( t ) )
2
1 8
8/7/2019 breeder93
19/29
W e c a n c o m p a r e t r u n c a t i o n s e l e c t i o n w i t h p r o p o r t i o n a t e s e l e c t i o n b y r e w r i t i n g
e q u a t i o n ( 4 3 )
S ( t ) =
p
( t )
M ( t )
p
( t ) ( 4 4 )
E q u a t i o n ( 4 4 ) s h o w s t h a t t h e s e l e c t i o n i n t e n s i t y i n p r o p o r t i o n a t e s e l e c t i o n d e c r e a s e s
w i t h t h e i n v e r s e o f t h e a v e r a g e t n e s s a n d p r o p o r t i o n a t e l y t o t h e s t a n d a r d d e v i a t i o n .
T h e c l o s e r t h e p o p u l a t i o n c o m e s t o t h e o p t i m u m , t h e l e s s s e v e r e i s t h e s e l e c t i o n !
P r o p o r t i o n a t e s e l e c t i o n i s a f r a i d o f r e a c h i n g t h e g o a l . T h i s r e s u l t e x p l a i n s w h y p r o -
p o r t i o n a t e s e l e c t i o n i s n o t a g o o d s t r a t e g y f o r o p t i m i z a t i o n p u r p o s e s ( D e J o n g , 1 9 9 2 ) .
M a n y a p p l i c a t i o n o r i e n t e d g e n e t i c a l g o r i t h m s u s e m o d i c a t i o n s o f t h e p r o p o r t i o n a t e
s e l e c t i o n s c h e m e . O u r a n a l y s i s h a s s h o w n t h a t t h e s e m o d i c a t i o n s a r e n e c e s s a r y ,
n o t t r i c k s t o s p e e d u p t h e a l g o r i t h m .
A r e c e n t o v e r v i e w a n d a n a l y s i s o f d i e r e n t s e l e c t i o n s c h e m e s c a n b e f o u n d i n
( G o l d b e r g & D e b , 1 9 9 1 ) . G o l d b e r g u s e s a s p e r f o r m a n c e m e a s u r e t h e t a k e o v e r t i m e .
T a k e o v e r i s d e n e d a s t h e n u m b e r o f g e n e r a t i o n s n e e d e d f o r c o n v e r g e n c e i f t h e
o p t i m u m i s a l r e a d y c o n t a i n e d i n t h e p o p u l a t i o n . W e s u g g e s t a n a l y s i s o f t h e d i e r e n t
s e l e c t i o n s c h e m e s a l o n g t h e l i n e s p r e s e n t e d i n t h i s s e c t i o n .
6 D i s c r e t e r e c o m b i n a t i o n
I n t h i s s e c t i o n w e w i l l s h o w t h a t t h e m a j o r r e s u l t s o f s e c t i o n 4 a r e a l s o a p p r o x i -
m a t e l y v a l i d f o r c o n t i n u o u s f u n c t i o n s w i t h a u n i m o d a l m a c r o s t r u c t u r e . W e t a k e a s
r e p r e s e n t a t i v e e x a m p l e s t h e u n i m o d a l f u n c t i o n
F
0
( x ) =
n
X
i = 1
x
i
( 4 5 )
a n d t h e m u l t i m o d a l R a s t r i g i n f u n c t i o n
F
6
( x ) = n A +
n
X
1
x
2
i
; A c o s ( 2 x
i
)
; 5 1 2 x
i
5 1 2 A = 1 0 0 ( 4 6 )
F
6
h a s a l a r g e n u m b e r o f l o c a l m i n i m a , b u t t h e y a r e u n i m o d a l l y d i s t r i b u t e d . O n
a l a r g e s c a l e t h e s t r u c t u r e o f F
6
i s l i k e a q u a d r a t i c f u n c t i o n . T h e b e s t m i n i m a a r e
c e n t e r e d a r o u n d 0 .
T h e s i m u l a t i o n s h a v e b e e n d o n e w i t h d i s c r e t e r e c o m b i n a t i o n a n d t r u n c a t i o n
s e l e c t i o n . D i s c r e t e r e c o m b i n a t i o n f o r c o n t i n u o u s f u n c t i o n s i s s i m i l a r t o u n i f o r m
c r o s s o v e r i n b i n a r y f u n c t i o n s . I n t h i s c a s e t h e B G A t r i e s t o s o l v e a d i s c r e t e p r o b l e m
w i t h N a l l e l e s a t e a c h l o c u s . I n t e r m e d i a t e r e c o m b i n a t i o n a s d e s c r i b e d i n s e c t i o n 2
i s m o r e p r o b a b i l i s t i c a l . I t c a n g e n e r a t e n e w a l l e l e s w h i c h a r e n o t i n t h e i n i t i a l
p o p u l a t i o n . I n t h i s c a s e t h e r e s u l t s o f t h e d i s c r e t e c a s e c a n n o t b e a p p l i e d .
1 9
8/7/2019 breeder93
20/29
N F I G E N S D F E D F
2 5 6 F
0
1 . 6 1 3 . 9 1 . 6 3 8 0 1 7 . 5 6
2 5 6 F
6
1 . 6 1 3 . 8 1 . 0 3 7 8 8 2 9 . 1 2
1 9 2 F
0
1 . 2 1 8 . 2 2 . 8 3 6 8 6 6 . 5 5
1 9 2 F
6
1 . 2 1 8 . 2 1 . 4 3 7 9 8 2 5 . 0 6
1 2 8 F
0
0 . 8 2 7 . 3 3 . 9 3 6 2 2 8 . 4 0
1 2 8 F
6
0 . 8 2 8 . 4 3 . 5 3 9 1 6 2 9 . 8 2
T a b l e 5 : B G A w i t h d i s c r e t e r e c o m b i n a t i o n , n = 2 0 , 2 0 r u n s
T a b l e 5 s h o w s t h e s i m u l a t i o n r e s u l t s f o r d i e r e n t s e l e c t i o n i n t e n s i t i e s I a n d p o p -
u l a t i o n s i z e s N D F i s t h e d i s t a n c e o f t h e b e s t v a l u e f o u n d t o t h e g l o b a l m i n i m u m
o f t h e f u n c t i o n . T h e n u m b e r o f v a r i a b l e s i s 2 0 .
G E N d e n o t e s t h e n u m b e r o f g e n e r a t i o n s u n t i l c o n v e r g e n c e , F E t h e a m o u n t o f
c o m p u t a t i o n i n f u n c t i o n e v a l u a t i o n s ( F E = N G E N ) . C o n v e r g e n c e m e a n s t h a t
a l l i n d i v i d u a l s h a v e t h e s a m e v a l u e . S D i s t h e s t a n d a r d d e v i a t i o n o f G E N . T h e
s i m u l a t i o n r e s u l t s a r e i n a c c o r d a n c e w i t h e m p i r i c a l l a w 2 . T h e q u a l i t y o f t h e s o l u t i o n
d e p e n d s o n N = I . T h e n u m b e r o f g e n e r a t i o n s n e e d e d u n t i l c o n v e r g e n c e i s i n v e r s e l y
p r o p o r t i o n a l t o I . T h e r e f o r e t h e a m o u n t o f c o m p u t a t i o n i s a l m o s t t h e s a m e i n a l l
c a s e s .
T h e d i e r e n c e b e t w e e n t h e r e s u l t s f o r F
0
a n d t h e m u l t i m o d a l f u n c t i o n F
6
i s
s u r p r i s i n g l y s m a l l . T h e n u m b e r o f g e n e r a t i o n s G E N u n t i l c o n v e r g e n c e i s t h e s a m e
f o r b o t h p r o b l e m s . F o r F
0
a b e t t e r q u a l i t y o f a p p r o x i m a t i o n i s o b t a i n e d . T h i s
r e s u l t s h o w s t h e a d v a n t a g e o f t r u n c a t i o n s e l e c t i o n , w h i c h d o e s n o t t a k e i n t o a c c o u n t
s m a l l e r d i e r e n c e s o f t h e t n e s s f u n c t i o n s .
T a b l e 6 s h o w s t h e d e p e n d e n c e o f t h e q u a l i t y o f t h e s o l u t i o n o n t h e s i z e o f t h e
p o p u l a t i o n . T h e s e l e c t i o n i n t e n s i t y i s x e d . T h e n u m b e r o f g e n e r a t i o n s G E N u n t i l
c o n v e r g e n c e i n c r e a s e s a p p r o x i m a t e l y l o g a r i t h m i c a l l y w i t h t h e s i z e o f t h e p o p u l a t i o n
N . A t r s t t h i s s e e m s t o c o n t r a d i c t e m p i r i c a l l a w 1 . B u t a c l o s e r l o o k s h o w s t h a t
t h e a s s u m p t i o n s o f t h e l a w a r e n o t f u l l l e d i n c o n t i n u o u s d o m a i n s . T h e s i z e o f
t h e p o p u l a t i o n , n e c e s s a r y t o r e a c h t h e o p t i m u m w i t h d i s c r e t e r e c o m b i n a t i o n o n l y ,
h a s t o b e i n n i t e . B u t G E N i n c r e a s e s m u c h s l o w e r t h a n N , t h e u s u a l p r e m i s e i n
q u a n t i t a t i v e g e n e t i c s ( F a l c o n e r , 1 9 8 1 ) .
I n t a b l e 7 s i m u l a t i o n r e s u l t s f o r d i e r e n t n u m b e r s o f v a r i a b l e s a r e g i v e n . T h e
r e s u l t s a r e i n a c c o r d a n c e t o e m p i r i c a l l a w 2 . B u t a l s o e m p i r i c a l l a w 1 i s a p p r o x i -
m a t e l y v a l i d . I n t h e c o l u m n Q U O T t h e q u o t i e n t G E N ( 2 n ) = G E N ( n ) i s c o m p u t e d .
E m p i r i c a l l a w 1 p r e d i c t s Q U O T t o b e
p
2 . T h e c o m p u t e d Q U O T i n t a b l e 7 i s l e s s
t h a n t h e p r e d i c t e d v a l u e . T h e r e a s o n f o r t h i s b e h a v i o r i s s i m i l a r t o t h a t b e f o r e . I f N
i s h e l d x e d , t h e n t h e q u a l i t y o f t h e s o l u t i o n o b t a i n e d g e t s w o r s e w i t h h i g h e r d i m e n -
s i o n s . T h i s m e a n s t h a t t h e p o p u l a t i o n w i l l c o n v e r g e f a s t e r t h a n a l a r g e r p o p u l a t i o n
w h i c h w o u l d g i v e t h e s a m e q u a l i t y .
T h e n e x t g u r e s s h o w t h e d y n a m i c b e h a v i o r o f t r u n c a t i o n s e l e c t i o n . I n g u r e 2
2 0
8/7/2019 breeder93
21/29
N G E N S D D F F E
3 2 9 . 7 2 . 2 1 2 7 . 0 3 4 2
1 2 8 1 5 . 8 2 . 9 4 2 . 9 2 1 5 0
2 5 6 1 9 . 9 3 . 5 2 0 . 6 5 3 5 0
5 1 2 2 3 . 4 2 . 5 1 0 . 1 1 2 4 9 2
1 0 2 4 2 5 . 6 2 . 3 5 . 4 2 7 2 3 8
T a b l e 6 : Q u a l i t y o f t h e s o l u t i o n f o r F
6
, I = 1 . 2 , n = 2 0
n N I G E N S D D F Q U O T
2 0 1 0 2 4 1 . 6 1 8 . 5 1 . 8 8 . 4
4 0 1 0 2 4 1 . 6 2 4 . 5 2 . 5 2 7 . 4 1 . 3 2
8 0 1 0 2 4 1 . 6 3 1 . 8 4 . 7 7 9 . 8 1 . 3 0
1 6 0 1 0 2 4 1 . 6 4 2 . 7 8 . 5 2 3 9 . 3 1 . 3 4
2 0 7 6 8 1 . 2 2 4 . 0 2 . 0 6 . 9
4 0 7 6 8 1 . 2 3 3 . 3 3 . 1 2 2 . 1 1 . 3 9
8 0 7 6 8 1 . 2 4 4 . 8 5 . 4 6 5 . 5 1 . 3 5
1 6 0 7 6 8 1 . 2 5 8 . 6 6 . 5 1 8 2 . 4 1 . 3 1
2 0 5 1 2 0 . 8 3 9 . 8 2 . 9 9 . 1
4 0 5 1 2 0 . 8 5 0 . 7 5 . 0 2 6 . 4 1 . 2 7
8 0 5 1 2 0 . 8 6 5 . 0 9 . 7 7 7 . 2 1 . 2 8
1 6 0 5 1 2 0 . 8 8 7 . 7 1 4 . 4 2 2 2 . 6 1 . 3 5
T a b l e 7 : Q u a l i t y o f t h e s o l u t i o n f o r F
6
f o r c o n s t a n t N / I
R ( t ) i s s h o w n f o r t h r e e s e l e c t i o n i n t e n s i t i e s I a n d t h r e e p o p u l a t i o n s i z e s N N i s
c h o s e n f r o m t a b l e 5 , s o t h a t a p p r o x i m a t e l y t h e s a m e q u a l i t y o f s o l u t i o n i s o b t a i n e d .
T h e R ( t ) c u r v e s b e h a v e a s e x p e c t e d . A s t r o n g s e l e c t i o n i n t e n s i t y I i n c o n n e c t i o n
w i t h a l a r g e p o p u l a t i o n g i v e s a m u c h h i g h e r R ( t ) a t t h e b e g i n n i n g . T h e n i t r a p i d l y
f a l l s t o z e r o .
I n g u r e 3 t h e p r o g r e s s o f t h e b e s t s o l u t i o n f o u n d i s s h o w n . W e s e e t h a t t h e t h r e e
d i e r e n t r u n s b e h a v e v e r y s i m i l a r l y . F o r t h e s a m e n u m b e r o f f u n c t i o n e v a l u a t i o n s
a l l t h r e e s i m u l a t i o n r u n s g i v e t h e s a m e b e s t t n e s s . T h i s i s a s t r o n g e r r e s u l t t h a n
t h a t o f t a b l e 5 , w h e r e o n l y t h e a m o u n t o f c o m p u t a t i o n a t c o n v e r g e n c e i s r e p o r t e d .
I n g u r e 4 t h e q u o t i e n t R ( t + 1 ) = S ( t ) i s s h o w n . W e s e e t h a t i t o s c i l l a t e s a r o u n d 1 .
T h e l a r g e s t p o p u l a t i o n o s c i l l a t e s t h e l e a s t . T h e r e g r e s s i o n c o e c i e n t b i s 1 f o r a l l
r u n s . T h i s r e s u l t c a n b e e x p l a i n e d i n a s i m i l a r w a y t o t h e d i s c r e t e c a s e i n s e c t i o n 4 .
F i g u r e 5 s h o w s t h e t n e s s d i s t r i b u t i o n o f t h e p o p u l a t i o n a t g e n e r a t i o n s 0 2 4 6
T h e t n e s s i s s y m m e t r i c a b o u t t h e a v e r a g e . I t r e s e m b l e s a t r u n c a t e d n o r m a l d i s t r i -
b u t i o n .
2 1
8/7/2019 breeder93
22/29
5 10 15 20 25
t
14
28
42
56
70
R(t)
"N=256 i=1.6"
"N=192 i=1.2"
"N=128 i=0.8"
F i g u r e 2 : R e s p o n s e t o s e l e c t i o n ( i n g e n e r a t i o n s . t )
500 1000 1500 2000 2500
FE
40
80
120
160
200
Fitness
"N=256 i=1.6"
"N=192 i=1.2"
"N=128 i=0.8"
F i g u r e 3 : F i t n e s s o f t h e b e s t i n d i v i d u a l
5 10 15 20 25
t
0.85
0.95
1.05
1.15
R(t+1)/S(t)
"N=256 i=1.6"
"N=192 i=1.2"
"N=128 i=0.8"
F i g u r e 4 : R ( t + 1 ) = S ( t )
7 M u t a t i o n a n d r e c o m b i n a t i o n
I n t h i s s e c t i o n w e w i l l c o m p a r e a B G A w i t h m u t a t i o n , w i t h r e c o m b i n a t i o n a n d
w i t h m u t a t i o n a n d r e c o m b i n a t i o n t o g e t h e r . T h e s e a r c h s t r a t e g i e s o f m u t a t i o n a n d
r e c o m b i n a t i o n a r e v e r y d i e r e n t . M u t a t i o n i s b a s e d o n c h a n c e . I t w o r k s i n s m a l l
p o p u l a t i o n s m o s t e c i e n t l y . F o r u n i m o d a l t n e s s f u n c t i o n s t h e o p t i m a l s i z e o f t h e
p o p u l a t i o n i s 1 . T h e p r o g r e s s f o r a s i n g l e m u t a t i o n s t e p i s a l m o s t u n p r e d i c t a b l e .
I t n e e d s p r o b a b i l i t y t h e o r y a n d m a n y t r i a l s t o p r e d i c t t h e b e h a v i o r o f t h i s s e a r c h
o p e r a t o r . T h i s a n a l y s i s w a s d o n e i n s e c t i o n 3 .
R e c o m b i n a t i o n i s b a s e d o n r e s t r i c t e d c h a n c e . T h e b i a s i s g i v e n b y t h e c u r r e n t
p o p u l a t i o n . D i s c r e t e r e c o m b i n a t i o n o n l y s h u e s t h e a l l e l e s c o n t a i n e d i n t h e p o p -
u l a t i o n . T h e a l l e l e s o f t h e o p t i m u m h a v e t o b e p r e s e n t i n t h e i n i t i a l p o p u l a t i o n .
O t h e r w i s e r e c o m b i n a t i o n i s n o t a b l e t o l o c a t e t h e o p t i m u m . T h e o u t c o m e o f r e c o m -
b i n a t i o n i s p r e d i c t a b l e b y t h e s e l e c t i o n e q u a t i o n i f t h e p o p u l a t i o n s i z e i s l a r g e .
T a b l e 8 c o m p a r e s t h e B G A w i t h d i s c r e t e r e c o m b i n a t i o n , i n t e r m e d i a t e r e c o m b i -
n a t i o n , w i t h m u t a t i o n a n d w i t h b o t h m u t a t i o n a n d r e c o m b i n a t i o n .
2 2
8/7/2019 breeder93
23/29
100 200 300 400 500Fit
0.005
0.01
0.015
0.02
0.025
Distr
Gen: 0
100 200 300 400 500Fit
0.005
0.01
0.015
0.02
0.025
Distr
Gen: 2
100 200 300 400 500Fit
0.005
0.01
0.015
0.02
0.025
Distr
Gen: 4
100 200 300 400 500Fit
0.005
0.01
0.015
0.02
0.025
Distr
Gen: 6
F i g u r e 5 : F i t n e s s d i s t r i b u t i o n o f F 6 , n = 2 0 , N = 1 0 2 4
T a b l e 8 c o n t a i n s t h e m o s t i m p o r t a n t r e s u l t o f t h i s p a p e r .
A B G A w i t h r e c o m b i n a t i o n a n d m u t a t i o n o u t p e r f o r m s a B G A w i t h a s i n g l e g e -
n e t i c o p e r a t o r . M u t a t i o n a l o n e i s m o r e e c i e n t t h a n r e c o m b i n a t i o n a l o n e . M u t a t i o n
a n d r e c o m b i n a t i o n t o g e t h e r h a v e a s y n e r g e t i c e e c t .
I n t e r m e d i a t e r e c o m b i n a t i o n b e h a v e s s i m i l a r l y t o d i s c r e t e r e c o m b i n a t i o n . I t i s a
g o o d s e a r c h s t r a t e g y a s l o n g a s t h e p o p u l a t i o n d o e s n o t g e t t o s i m i l a r .
W e w i l l n e x t s h o w t h a t i n p r i n c i p l e t h e s e l e c t i o n e q u a t i o n c a n a l s o b e u s e d f o r
a B G A w i t h m u t a t i o n a n d r e c o m b i n a t i o n . I n a l a r g e p o p u l a t i o n r e c o m b i n a t i o n w i l l
b e t h e d o m i n a t i n g f a c t o r u n t i l t h e i n d i v i d u a l s g e t s i m i l a r . T h e r e s p o n s e t o s e l e c t i o n
i s p r e d i c t a b l e . I n a s m a l l p o p u l a t i o n m u t a t i o n w i l l d o m i n a t e . T h e r e s p o n s e t o
s e l e c t i o n w i l l b e s o o n u n p r e d i c t a b l e . T h i s b e h a v i o r c a n b e o b s e r v e d i n g u r e 6 .
T h e r e s p o n s e t o s e l e c t i o n R c u r v e i s s m o o t h f o r t h e l a r g e p o p u l a t i o n . I t o s c i l l a t e s
f o r t h e s m a l l p o p u l a t i o n . T h e s a m e b e h a v i o r c a n b e o b s e r v e d f o r t h e r e g r e s s i o n
c o e e n t b i n g u r e 7 . F o r t h e l a r g e p o p u l a t i o n b i s a p p r o x i m a t e l y 1 u n t i l g e n e r a t i o n
7 . T h i s v a l u e w a s p r e d i c t e d f o r d i s c r e t e r e c o m b i n a t i o n . F r o m g e n e r a t i o n 2 0 o n t h e
c o e c i e n t e r r a t i c l y b e h a v e s f o r b o t h p o p u l a t i o n s .
2 3
8/7/2019 breeder93
24/29
8/7/2019 breeder93
25/29
R a s t r i g i n ' s F u n c t i o n F
6
S c h w e f e l ' s F u n c t i o n F
7
n N F E 4 9 n l n ( n ) n N F E 2 9 2 n l n ( n )
2 0 2 0 3 6 0 8 2 9 3 5 2 0 5 0 0 1 6 1 0 0 1 7 4 9 5
1 0 0 2 0 2 5 0 4 0 2 2 5 6 5 1 0 0 1 0 0 0 9 2 0 0 0 1 3 4 4 7 1
2 0 0 2 0 5 2 9 4 8 5 1 9 2 3 2 0 0 2 0 0 0 2 4 8 0 0 0 3 0 9 4 2 2
4 0 0 2 0 1 1 2 6 3 4 1 1 7 4 3 3 4 0 0 4 0 0 0 7 0 0 0 0 0 6 9 9 8 0 3
1 0 0 0 2 0 3 3 7 5 7 0 3 3 8 4 8 0
T a b l e 9 : T e r m i n a t i o n c r i t e r i o n = 1 0
; 1
f o r F
6
, = 1 0
; 4
f o r F
7
G r i e w a n g k ' s F u n c t i o n F
8
A c k l e y ' s F u n c t i o n F
9
n N F E 6 6 8 n l n ( n ) n N F E 7 9 n l n ( n )
2 0 5 0 0 6 6 0 0 0 4 0 0 2 3 3 0 2 0 1 9 4 2 0 4 7 3 3
1 0 0 5 0 0 3 6 1 7 2 2 3 0 7 6 2 5 1 0 0 2 0 5 3 8 6 0 3 6 3 8 0
2 0 0 5 0 0 7 4 8 3 0 0 7 0 7 8 5 5 2 0 0 2 0 1 0 7 8 0 0 8 3 7 1 3
4 0 0 5 0 0 1 6 3 0 0 0 0 1 6 0 0 9 2 0 4 0 0 2 0 2 2 0 8 2 0 1 8 9 3 3 0
1 0 0 0 2 0 5 4 8 3 0 6 5 4 5 7 1 3
T a b l e 1 0 : T e r m i n a t i o n c r i t e r i o n = 1 0
; 3
f o r F
8
, = 1 0
; 3
f o r F
9
b e e n s o l v e d w i t h a c o n s t a n t p o p u l a t i o n s i z e . T h e s e f u n c t i o n s h a v e a u n i m o d a l
d i s t r i b u t i o n o f t h e l o c a l m i n i m a . T h e B G A m u t a t i o n s c h e m e i s t h e r e f o r e a b l e t o
n d t h e m i n i m u m .
A d i e r e n t b e h a v i o r i s t o b e e x p e c t e d f o r S c h w e f e l ' s f u n c t i o n F
7
F
7
d o e s n o t
h a v e a u n i m o d a l m a c r o s t r u c t u r e . T h e b e s t m i n i m a a r e f a r a w a y f r o m e a c h o t h e r .
F u r t h e r m o r e , t h e g l o b a l m i n i m u m i s l o c a t e d a t t h e b o u n d a r y o f t h e s e a r c h d o m a i n
( M u h l e n b e i n , S c h o m i s c h & B o r n , 1 9 9 1 ) . F o r F
8
e x t e n d e d i n t e r m e d i a t e r e c o m b i n a -
t i o n w a s u s e d .
I n t h e t a b l e s 9 a n d 1 0 t h e t e r m i n a t i o n c r i t e r i o n t e r m i s f u l l l e d i f o n e o f t h e
o b j e c t i v e s F
B G A
; F
b e s t
F
b e s t
o r F
B G A
; F
b e s t
i f F
b e s t
= 0 i s a c h i e v e d .
T h e s e a r c h t i m e i n f u n c t i o n e v a l u a t i o n s s c a l e s a l m o s t e x a c t l y w i t h n l n ( n ) f o r
t h e f u n c t i o n s F
6
a n d F
8
. I t s c a l e s l i n e a r l y f o r f u n c t i o n F
9
i n t h e r a n g e n = 1 0 0 t i l l
n = 1 0 0 0 . O n l y f u n c t i o n F
7
g i v e s s l i g h t l y d i e r e n t r e s u l t s .
T h e s e r e s u l t s c a n b e p r e d i c t e d b y t h e B G A t h e o r y . A l l t h e t e s t f u n c t i o n s h a v e
a g l o b a l s t r u c t u r e w h i c h m a k e s t h e m e a s y t o o p t i m i z e . T h e r e s u l t s o f t h e B G A
a r e b e t t e r t h a n t h o s e o f t h e P G A . T h e f u n c t i o n e v a l u a t i o n s F E c a n n o t b e d i r e c t l y
c o m p a r e d b e c a u s e t h e t e r m i n a t i o n c r i t e r i o n w a s d i e r e n t f o r t h e P G A . B u t t h e P G A
d i d s c a l e l i k e n
p
n i n a m u c h s m a l l e r r a n g e o f n . T h u s t h e p e r f o r m a n c e o f t h e B G A
g e t s b e t t e r c o m p a r e d t o t h e P G A , t h e l a r g e r t h e p r o b l e m s i z e n i s . T h i s e x a m p l e
s h o w s t h e a d v a n t a g e o f i n v e s t i g a t i n g t h e s c a l i n g o f h e u r i s t i c s e a r c h m e t h o d s .
2 5
8/7/2019 breeder93
26/29
F
6
( x ) = n A +
n
P
1
;
x
2
i
; A c o s ( 2 x
i
)
; 5 1 2 x
i
5 1 2
F
7
( x ) =
n
P
1
; x
i
s i n
p
x
i
; 5 0 0 x
i
5 0 0
F
8
( x ) =
n
P
1
x
2
4 0 0 0
;
n
Q
1
c o s
x
p
i
+ 1 ; 6 0 0 x
i
6 0 0
F
9
( x ) = ; 2 0 e x p
; 0 2
q
1
n
P
n
i = 1
x
2
i
; e x p
1
n
P
n
i = 1
c o s ( 2 x
i
)
+ 2 0 + e ; 3 0 x
i
3 0
T a b l e 1 1 : T e s t f u n c t i o n s .
R e c e n t a p p l i c a t i o n s o f e v o l u t i o n a r y s t r a t e g i e s t o f u n c t i o n o p t i m i z a t i o n a r e r e -
p o r t e d i n ( B a c k & H o m e i s t e r , 1 9 9 1 ) ( E s h e l m a n & S c h a e r , 1 9 9 1 ) , ( S c h r a u d o l p h &
B e l e w , 1 9 9 2 ) ( V o i g t , S a n t i b a n e z - K o r e f & B o r n , 1 9 9 2 ) , ( B o r n , V o i g t & S a n t i b a n e z -
K o r e f , 1 9 9 2 ) . W e d o n o t m a k e e x p l i c i t c o m p a r i s o n s h e r e . I n s t e a d w e h o p e t h a t t h e
a u t h o r s i n v e s t i g a t e t h e s c a l i n g o f t h e i r m e t h o d s . T h i s w i l l m a k e c o m p a r i s o n s v e r y
s i m p l e .
9 C o n c l u s i o n
T h e B G A i s a r o b u s t g l o b a l o p t i m i z a t i o n m e t h o d b a s e d o n a s o l i d t h e o r y . S e l e c t i o n ,
r e c o m b i n a t i o n a n d m u t a t i o n a r e w e l l t u n e d a n d h a v e a s y n e r g e t i c e e c t . T h e o n l y
p a r a m e t e r t o b e i n p u t b y t h e u s e r i s t h e s i z e o f t h e p o p u l a t i o n .
T h e B G A i s i n s p i r e d b y a r t i c i a l s e l e c t i o n a s p e r f o r m e d b y h u m a n b r e e d e r s . B u t
m u t a t i o n a n d r e c o m b i n a t i o n a r e b a s e d o n m a t h e m a t i c a l s e a r c h t e c h n i q u e s . T h e
B G A m u t a t i o n s c h e m e i s a b l e t o o p t i m i z e m a n y m u l t i m o d a l f u n c t i o n s . T h e B G A
s o l v e d i n t h i s p a p e r s o m e o f t h e m o s t p o p u l a r t e s t f u n c t i o n s i n g l o b a l o p t i m i z a t i o n
i n O ( n l n ( n ) ) f u n c t i o n e v a l u a t i o n s , t h e s a m e n u m b e r a s f o r u n i m o d a l f u n c t i o n s .
T h i s r e s u l t d e m o n s t r a t e s t h a t t h e s e t e s t f u n c t i o n s a r e n o t a s d i c u l t t o o p t i m i z e
t h a n w a s f o r m e r l y b e l i e v e d .
T h e s t a n d a r d B G A i s n o m i r a c l e . I t i s n o t d i c u l t t o c o n s t r u c t c h a l l e n g i n g o p t i -
m i z a t i o n p r o b l e m s f o r i t . T h e s e p r o b l e m s h a v e d e e p a n d n a r r o w v a l l e y s o f u n k n o w n
d i r e c t i o n s . P r o g r e s s i s m a d e o n l y i n f o l l o w i n g t h e s e v a l l e y s . L i n e r e c o m b i n a t i o n i s
a g o o d s e a r c h o p e r a t o r f o r s u c h a p r o b l e m . B u t a r e s u c h p r o b l e m s t y p i c a l a p p l i c a -
t i o n s ? W e d i d n o t y e t e n c o u n t e r s u c h a p r o b l e m .
T h e B G A h a s b e e n s u c c e s s f u l l y a p p l i e d t o a n u m b e r o f r e a l w o r l d a p p l i c a t i o n s .
T h e l a r g e s t a p p l i c a t i o n s o f a r w a s t h e d e t e r m i n a t i o n o f d i s c r i m i n a n c e f u n c t i o n s o f
5 6 0 v a r i a b l e s f o r p a t t e r n r e c o g n i t i o n . T h e B G A s o l v e d t h i s p r o b l e m e a s i l y .
T h e B G A w i l l b e e x t e n d e d i n t w o d i r e c t i o n s . F i r s t , t h e v i r t u a l b r e e d e r w i l l
c o n t i n u o u s l y m o n i t o r i t s p o p u l a t i o n a n d t a k e a p p r o p r i a t e a c t i o n s . S e c o n d , m o r e
g e n e t i c o p e r a t o r s w i l l b e i m p l e m e n t e d . T h i s m e a n s t h a t o u r v i r t u a l b r e e d e r m a y
u s e \ b i o t e c h n o l o g y " t o i m p r o v e t h e p r o g r e s s o f i t s p o p u l a t i o n . T h e g e n e t i c o p e r a t o r s
w i l l b e t e s t e d i n p a r a l l e l i n d i e r e n t s u b p o p u l a t i o n s . T h e o p e r a t o r s w h i c h g i v e g o o d
2 6
8/7/2019 breeder93
27/29
r e s u l t
