F u t u r e G e n e r a t io n C o m p u t e r S y s t e m ... - nersc.gov · PDF file¥ N...

F u t u r e G e n e r a t i o n C o m p u t e r S y s t e m s 3 0 ( 2 0 1 4 ) 4 6 – 5 8

C o n t e n t s l i s t s a v a i l a b l e a t S c i e n c e D i r e c t

F u t u r e G e n e r a t i o n C o m p u t e r S y s t e m s

j o u r n a l h o m e p a g e : w w w . e l s e v i e r . c o m / l o c a t e / f g c s

E x a s c a l e d e s i g n s p a c e e x p l o r a t i o n a n d c o - d e s i g nS . S . D o s a n j h a , R . F . B a r r e t t b , � , D . W . D o e r f l e r b , S . D . H a m m o n d b , K . S . H e m m e r t b ,M . A . H e r o u x b , P . T . L i n b , K . T . P e d r e t t i b , A . F . R o d r i g u e s b , T . G . T r u c a n o b , J . P . L u i t j e n s c

a L a w r e n c e B e r k e l e y N a t i o n a l L a b o r a t o r y , 1 C y c l o t r o n R o a d , B e r k e l e y , C A , 9 4 7 2 0 , U S Ab C e n t e r f o r C o m p u t i n g R e s e a r c h , S a n d i a N a t i o n a l L a b o r a t o r i e s , A l b u q u e r q u e , N M , 8 7 1 8 5 , U S Ac N V I D I A C o r p o r a t i o n , 2 7 0 1 S a n T o m a s E x p r e s s w a y , S a n t a C l a r a , C A , 9 5 0 5 0 , U S A

h i g h l i g h t s

• A c o d e s i g n - b a s e d m e t h o d o l o g y i s d e s c r i b e d f o r e x p l o r i n g t h e e x a s c a l e d e s i g n s p a c e .• C o d e s i g n r e q u i r e s a m u l t i - f a c e t e d a p p r o a c h .• A r c h i t e c t u r e t e s t b e d s a r e b e i n g u s e d t o s t u d y p e r f o r m a n c e i s s u e s o f k e y a l g o r i t h m s .• N e t w o r k b a n d w i d t h d e g r a d a t i o n s t u d i e s h e l p d e f i n e r e q u i r e m e n t s f o r f u t u r e s y s t e m s .• T h e S t r u c t u r a l S i m u l a t i o n T o o l k i t i s d e s c r i b e d , w i t h s o m e e x a m p l e u s e c a s e s .

a r t i c l e i n f o

A r t i c l e h i s t o r y :R e c e i v e d 2 J u n e 2 0 1 2R e c e i v e d i n r e v i s e d f o r m2 1 F e b r u a r y 2 0 1 3A c c e p t e d 1 3 A p r i l 2 0 1 3A v a i l a b l e o n l i n e 2 M a y 2 0 1 3

K e y w o r d s :H i g h p e r f o r m a n c e c o m p u t i n gS c i e n t i f i c c o m p u t i n gC o - d e s i g nE x a s c a l e p r e p a r a t i o n

a b s t r a c t

T h e c o - d e s i g n o f a r c h i t e c t u r e s a n d a l g o r i t h m s h a s b e e n p o s t u l a t e d a s a s t r a t e g y f o r a c h i e v i n g E x a s c a l ec o m p u t i n g i n t h i s d e c a d e . E x a s c a l e d e s i g n s p a c e e x p l o r a t i o n i s p r o h i b i t i v e l y e x p e n s i v e , a t l e a s t p a r t i a l l yd u e t o t h e s i z e a n d c o m p l e x i t y o f s c i e n t i f i c a p p l i c a t i o n s o f i n t e r e s t . A p p l i c a t i o n c o d e s c a n c o n t a i n m i l l i o n so f l i n e s a n d i n v o l v e m a n y l i b r a r i e s . M i n i - a p p l i c a t i o n s , w h i c h a t t e m p t t o c a p t u r e s o m e k e y p e r f o r m a n c ei s s u e s , c a n p o t e n t i a l l y r e d u c e t h e o r d e r o f t h e e x p l o r a t i o n b y a f a c t o r o f a t h o u s a n d . H o w e v e r , w e n e e dt o c a r e f u l l y u n d e r s t a n d h o w r e p r e s e n t a t i v e m i n i - a p p l i c a t i o n s a r e o f t h e f u l l a p p l i c a t i o n c o d e . T h i s p a p e rd e s c r i b e s a m e t h o d o l o g y f o r t h i s c o m p a r i s o n a n d a p p l i e s i t t o a p a r t i c u l a r l y c h a l l e n g i n g m i n i - a p p l i c a t i o n .A m u l t i - f a c e t e d m e t h o d o l o g y f o r d e s i g n s p a c e e x p l o r a t i o n i s a l s o d e s c r i b e d t h a t i n c l u d e s m e a s u r e m e n t so n a d v a n c e d a r c h i t e c t u r e t e s t b e d s , e x p e r i m e n t s t h a t u s e s u p e r c o m p u t e r s a n d s y s t e m s o f t w a r e t o e m u l a t ef u t u r e h a r d w a r e , a n d h a r d w a r e / s o f t w a r e c o - s i m u l a t i o n t o o l s t o p r e d i c t t h e b e h a v i o r o f a p p l i c a t i o n s o nh a r d w a r e t h a t d o e s n o t y e t e x i s t .

P u b l i s h e d b y E l s e v i e r B . V .

1 . I n t r o d u c t i o n

T h e U n i t e d S t a t e s D e p a r t m e n t o f E n e r g y ’ s m i s s i o n n e e d s i ne n e r g y , n a t i o n a l s e c u r i t y a n d s c i e n c e a r e p r e d i c t e d t o r e q u i r e at h o u s a n d - f o l d i n c r e a s e i n s u p e r c o m p u t i n g p e r f o r m a n c e d u r i n g t h en e x t d e c a d e [ 1 ] . H o w e v e r , t h e t r a n s i t i o n t o E x a s c a l e s y s t e m s t h a ta r e o p e r a b l e w i t h i n a f f o r d a b l e p o w e r b u d g e t s w i l l n o t b e p o s s i -b l e b a s e d s o l e l y o n e x i s t i n g c o m p u t e r i n d u s t r y r o a d m a p s [ 2 ] . T h ec o n c l u s i o n i s t h e r e f o r e t h a t w e n o t o n l y n e e d t o s u p p o r t a n a c c e l -e r a t i o n o f i n d u s t r y r o a d m a p s t o d e l i v e r p o w e r e f f i c i e n t a r c h i t e c -t u r e s b u t t h a t w e a l s o n e e d t o a u g m e n t t h i s w i t h m o d i f i c a t i o n s , o ri n s o m e c a s e s r e w r i t i n g o f a p p l i c a t i o n s t o u t i l i z e n e w a p p r o a c h e st o h a r d w a r e d e s i g n a n d s i g n i f i c a n t l y i n c r e a s e d s c a l e [ 3 ] . T h e b e n -e f i t s o f d o i n g s o a r e p r o f o u n d a s t h e y i m p a c t t h e e n t i r e c o m p u t i n g

� C o r r e s p o n d i n g a u t h o r .E - m a i l a d d r e s s : r f b a r r e @ s a n d i a . g o v ( R . F . B a r r e t t ) .

i n d u s t r y , a d d r e s s i n g c r o s s - c u t t i n g i s s u e s s u c h a s e n e r g y e f f i c i e n c y ,c o n c u r r e n c y a n d p r o g r a m m a b i l i t y f o r u s e r s o f s i n g l e w o r k s t a t i o n s ,d a t a c e n t e r s a n d l a r g e s u p e r c o m p u t e r s . F o r t h e u s e r s o f E x a s c a l em a c h i n e s t h e r e w i l l b e a d d i t i o n a l c h a l l e n g e s i n c l u d i n g t h e s c a l a -b i l i t y a n d r e l i a b i l i t y t h a t a r e b r o u g h t a b o u t b y t h e e x t r e m e s i z e o fs u c h s y s t e m s .

G i v e n t h e c o m p l e x i t y o f c o n s t r u c t i n g s u c h l a r g e s y s t e m s a n dt h e p r o b l e m s a s s o c i a t e d w i t h m o d i f y i n g a p p l i c a t i o n s t o r u no n t h e m , a d i a l o g n e e d s t o b e e s t a b l i s h e d b e t w e e n c o m p u t e rc o m p a n i e s a n d a p p l i c a t i o n d e v e l o p e r s w h e r e f e e d b a c k i s a b l e t or a p i d l y a s s e s s a n d o p t i m i z e d e s i g n s a s t h e y a r e c r e a t e d . I n t h i sp r o c e s s w e e n v i s a g e a s s e s s m e n t b a s e d o n b a l a n c i n g p e r f o r m a n c eb e n e f i t v e r s u s c o s t i n t e r m s o f s o f t w a r e c o m p l e x i t y , p o r t a b i l i t y ,s i l i c o n a r e a , e t c . I n o r d e r f o r t r u s t t o e x i s t i n t h i s d i a l o g a n u m b e r o fa p p r o a c h e s m i g h t b e c o n s i d e r e d i n c l u d i n g e x e c u t i o n o n p r o t o t y p eo r e a r l y d e s i g n h a r d w a r e , t h e c o n s t r u c t i o n o f a p p l i c a t i o n m o d e l si n c l u d i n g s i m u l a t o r s o r a n a l y t i c p e r f o r m a n c e m o d e l s a n d a na t t e n t i o n t o c r e a t i n g s o l u t i o n s t h a t w o r k a c r o s s a b r o a d r a n g e o fa p p l i c a t i o n s a n d d o n o t b e n e f i t a s i n g l e p r o b l e m .

0 1 6 7 - 7 3 9 X / $ – s e e f r o n t m a t t e r . P u b l i s h e d b y E l s e v i e r B . V .h t t p : / / d x . d o i . o r g / 1 0 . 1 0 1 6 / j . f u t u r e . 2 0 1 3 . 0 4 . 0 1 8

S . S . D o s a n j h e t a l . / F u t u r e G e n e r a t i o n C o m p u t e r S y s t e m s 3 0 ( 2 0 1 4 ) 4 6 – 5 8 4 7

T h e s c a l e o f m o d e r n s c i e n t i f i c a p p l i c a t i o n s i s h o w e v e r a p o t e n -t i a l l i m i t e r f o r r a p i d p r o t o t y p e a s s e s s m e n t . A p p l i c a t i o n s a r e t y p -i c a l l y m i l l i o n s o f l i n e s o f s o u r c e a n d a r e w r i t t e n t o u s e c o m p l e xa l g o r i t h m s a n d d a t a s t r u c t u r e s . W h i l s t o u r e v e n t u a l g o a l i s t o r u na p p l i c a t i o n s o n s u c h l a r g e s y s t e m s t h e e f f o r t r e q u i r e d t o p o r t t h e mi s l i k e l y t o b e p r o h i b i t i v e i f m u l t i p l e p l a t f o r m s m u s t b e a s s e s s e d i ns h o r t t i m e f r a m e s . I t i s i n t h i s c o n t e x t t h a t t h e n o t i o n o f a m i n i -a p p l i c a t i o n h a s b e e n d e v e l o p e d — a m i n i - a p p i s a c o n d e n s e d i m p l e -m e n t a t i o n o f o n e o r m u l t i p l e k e y p e r f o r m a n c e i s s u e s t h a t a f f e c tp a r e n t c o d e s , w r i t t e n t o b e a m e n a b l e t o r e f a c t o r i n g o r c h a n g e b u tr e p r e s e n t a t i v e e n o u g h t o b e u s e f u l i n t h e s c i e n t i f i c p r o b l e m d o -m a i n .

O u r p r o p o s e d m e t h o d o l o g y f o r E x a s c a l e d e s i g n s p a c e e x p l o -r a t i o n , w h i c h w e d i s c u s s i n t h i s p a p e r , i n c l u d e s m e a s u r e m e n t o np r o t o t y p e h a r d w a r e , e x p e r i m e n t a t i o n i n t h e f o r m o f r e f a c t o r i n ga n d r e - i m p l e m e n t a t i o n u s i n g a v a r i e t y o f p r o g r a m m i n g m o d e l sa n d a l g o r i t h m s a n d p r e d i c t i o n u s i n g a r c h i t e c t u r a l s i m u l a t o r s . T ot h i s e n d , w e a r e i n v e s t i g a t i n g s e v e r a l a r c h i t e c t u r a l t e s t b e d s w h i c ha r e r e p r e s e n t a t i v e o f i n d u s t r y t r e n d s i n c l u d i n g I n t e l ’ s M a n y I n t e -g r a t e d C o r e ( M I C ) p r o c e s s o r s , G P U s f r o m N V I D I A , F u s i o n A P U s f r o mA M D a n d n o d e s f r o m C o n v e y a n d T i l e r a . S u c h s t u d i e s a r e p r o v i d -i n g u s e f u l f e e d b a c k t o c o m p u t e r a r c h i t e c t s , a p p l i c a t i o n d e v e l o p -e r s a n d a l g o r i t h m r e s e a r c h e r s . O u r e x p e r i m e n t a t i o n i s a l s o w i d e rt h a n j u s t h a r d w a r e , i n c l u d i n g e v a l u a t i o n o f e x e c u t i o n m o d e l s s u c ha s P a r a l l e X a n d l o w - l e v e l a c t i v i t i e s s u c h a s d i r e c t m e a s u r e m e n t o fe n e r g y u s e i n c o n t e x t s s u c h a s t h e v a r i a t i o n o f n e t w o r k i n j e c t i o nb a n d w i d t h .

T h e a b i l i t y t o p r e d i c t t h e p e r f o r m a n c e , a n d m o r e i m p o r t a n t l yt h e p e r f o r m a n c e l i m i t a t i o n s , o f h a r d w a r e w h i c h d o e s n o t c u r r e n t l ye x i s t o r i s s i g n i f i c a n t l y d i f f e r e n t f r o m c o n t e m p o r a r y s y s t e m s i sa k e y f a c e t o f d e s i g n e x p l o r a t i o n . S i n c e m a n y p r o p o s e d E x a s c a l ep o i n t d e s i g n s a r e c u r r e n t l y p r o p r i e t a r y o r e n c u m b e r e d w i t h i n -t e l l e c t u a l p r o p e r t y , m a n y o f o u r e a r l y e v a l u a t i o n s a r e b e i n g c o n -d u c t e d u s i n g t h e n o t i o n o f a n A b s t r a c t M a c h i n e M o d e l ( o r A M M )w h i c h d e f i n e s t h e k e y a r c h i t e c t u r a l b u i l d i n g b l o c k s b u t n o s p e c i f i cd e t a i l . W e t h e n a r e a b l e t o a u g m e n t A M M s w i t h d e t a i l s p r o v i d e d b yp e r f o r m a n c e m o d e l s , a r c h i t e c t u r a l s i m u l a t o r s a n d i n f o r m a t i o n o b -t a i n e d f r o m o u r m i n i - a p p l i c a t i o n s r u n n i n g o n t e s t - b e d p l a t f o r m st o i n f o r m u s o f p e r f o r m a n c e t r a d e o f f s a n d a v a i l a b l e d e s i g n d e c i -s i o n s .

I n t h i s w o r k w e p r o v i d e a d e t a i l e d o v e r v i e w o f o u r E x a s c a l em e t h o d o l o g y i n c l u d i n g d e s c r i p t i o n s o f c u r r e n t l y r u n n i n g p r o j e c t st o p r o d u c e r e l e v a n t m i n i - a p p l i c a t i o n s , a c c u r a t e a n d r e l e v a n ta r c h i t e c t u r a l s i m u l a t i o n t o o l s a n d o u r p r o t o t y p e t e s t b e d p r o g r a mw h i c h i s b e i n g u s e d t o d r i v e p r o g r a m m i n g m o d e l a s s e s s m e n t sa n d i m p r o v e m e n t s i n o u r s i m u l a t i o n a n d m o d e l i n g c a p a b i l i t i e s .I n a d d i t i o n w e d e s c r i b e a v a l i d a t i o n m e t h o d o l o g y w h i c h i s b e i n gd e v e l o p e d t o d e m o n s t r a t e t h e a p p l i c a b i l i t y o f m i n i - a p p l i c a t i o n s t ot h e i r p a r e n t c o d e s e n a b l i n g H P C v e n d o r s a n d r e s e a r c h e r s t o h a v ea h i g h d e g r e e o f c o n f i d e n c e i n r e s u l t s o b t a i n e d f r o m s t u d i e s u s i n gm i n i - a p p s .

2 . M i n i a p p l i c a t i o n s

F u l l - s c a l e c o m p u t a t i o n a l s c i e n c e a n d e n g i n e e r i n g ( C S E ) a p -p l i c a t i o n s a r e o f t e n l a r g e a n d c o m p l e x , d e p e n d u p o n n u m e r o u st h i r d - p a r t y l i b r a r i e s a n d r e q u i r e s u b s t a n t i a l s y s t e m s p r o g r a m m i n ge x p e r t i s e i n o r d e r t o c o m p i l e a n d e x e c u t e . B e c a u s e o f t h i s , w e a r ec o m p e l l e d t o u s e a p p l i c a t i o n p e r f o r m a n c e p r o x i e s f o r e a r l y - p h a s ed e s i g n s t u d i e s m e a n t t o t a r g e t a p a r t i c u l a r s u i t e o f a p p l i c a t i o n s .N u m e r o u s t y p e s o f p r o x i e s a r e u s e f u l f o r d e s i g n s t u d i e s , d e p e n d i n go n t h e s p e c i f i c c o n t e x t . F i g . 1 s u m m a r i z e s s o m e o f t h e k e y p r o x i e su s e d b y t h e s y s t e m s p e r f o r m a n c e c o m m u n i t y .

A p p l i c a t i o n p e r f o r m a n c e i s d e t e r m i n e d b y a c o m b i n a t i o n o fm a n y c h o i c e s : h a r d w a r e p l a t f o r m , r u n t i m e e n v i r o n m e n t , l a n -g u a g e s a n d c o m p i l e r s u s e d , a l g o r i t h m c h o i c e a n d i m p l e m e n t a t i o n ,

a n d m o r e . I n t h i s c o m p l i c a t e d e n v i r o n m e n t , w e f i n d t h a t t h e u s eo f m i n i - a p p l i c a t i o n s i s a n e x c e l l e n t a p p r o a c h f o r r a p i d l y e x p l o r -i n g t h e p a r a m e t e r s p a c e . F u r t h e r m o r e , u s e o f m i n i - a p p l i c a t i o n s e n -r i c h e s t h e i n t e r a c t i o n b e t w e e n a p p l i c a t i o n , l i b r a r y a n d c o m p u t e rs y s t e m d e v e l o p e r s b y p r o v i d i n g e x p l i c i t f u n c t i o n i n g s o f t w a r e a n dc o n c r e t e p e r f o r m a n c e r e s u l t s t h a t l e a d t o d e t a i l e d , f o c u s e d d i s c u s -s i o n s o f d e s i g n t r a d e - o f f s , a l g o r i t h m c h o i c e s a n d r u n t i m e p e r f o r -m a n c e i s s u e s .

U n l i k e a b e n c h m a r k , t h e r e s u l t o f w h i c h i s a m e t r i c t o b e r a n k e d ,t h e o u t p u t o f a m i n i a p p i s a r i c h e r s e t o f i n f o r m a t i o n , w h i c h m u s tb e i n t e r p r e t e d w i t h i n s o m e , o f t e n s u b j e c t i v e , c o n t e x t . W e d i s t i n -g u i s h t h i s f r o m a c o m p a c t - a p p l i c a t i o n w h o s e p u r p o s e i s t o r e p l i -c a t e a c o m p l e x d o m a i n - s p e c i f i c b e h a v i o r b e i n g u s e d i n a p a r e n ta p p l i c a t i o n . M i n i a p p s a r e d e s i g n e d s p e c i f i c a l l y t o c a p t u r e s o m ek e y p e r f o r m a n c e i s s u e i n t h e f u l l a p p l i c a t i o n b u t t o p r e s e n t i t i na s i m p l i f i e d s e t t i n g w h i c h i s a m e n a b l e t o r a p i d m o d i f i c a t i o n a n dt e s t i n g . N o t e t h a t t h i s i s a l s o d i s t i n c t f r o m a s k e l e t o n a p p l i c a t i o n ,w h i c h i s t y p i c a l l y d e s i g n e d t o f o c u s o n i n t e r - p r o c e s s c o m m u n i c a -t i o n o f t e n p r o d u c i n g a ‘ ‘ f a k e ’ ’ c o m p u t a t i o n . M i n i a p p s i n s t e a d c r e -a t e a m e a n i n g f u l c o n t e x t i n w h i c h t o e x p l o r e t h e k e y p e r f o r m a n c ei s s u e . W i t h i n m a n y o f t h e A S C p r o g r a m s , m i n i a p p s a r e d e v e l o p e da n d o w n e d b y a p p l i c a t i o n c o d e t e a m s ; a r e l i m i t e d t o O ( 1 K ) s o u r c el i n e s o f c o d e ( S L O C ) a n d a r e i n t e n d e d t o b e m o d i f i e d w i t h t h e o n l yc o n s t r a i n t b e i n g t h e c o n t i n u e d r e l e v a n c e t o p a r e n t a p p l i c a t i o n s .

2 . 1 . M a n t e v o

T h e M a n t e v o p r o j e c t [ 4 ] p r o v i d e s a s e t o f p r o x i e s , o r ‘ ‘ m i n i a p p s ’ ’ ,w h i c h e n a b l e r a p i d e x p l o r a t i o n o f k e y p e r f o r m a n c e i s s u e s t h a t i m -p a c t a b o a r d s e t o f s c i e n t i f i c a p p l i c a t i o n s o f i n t e r e s t t o t h e A S C a n db r o a d e r H P C c o m m u n i t y . M a n t e v o m i n i a p p s a r e t o o l s w i t h u s e st h r o u g h o u t t h e c o - d e s i g n s p a c e [ 5 ] . T h e y a r e i n t e n d e d t o b e f l u i d ,a n d a m e c h a n i s m t o e x p l o r e i s s u e s r e l a t i n g t o h a r d w a r e p e r f o r -m a n c e , p r o g r a m m a b i l i t y , p o r t i n g , e t c . A s p a r t o f t h e o n g o i n g w o r ki n d e v e l o p i n g m i n i a p p s u n d e r M a n t e v o , a c o m p r e h e n s i v e i n i t i a lv a l i d a t i o n e x e r c i s e [ 6 ] h a s r e c e n t l y b e e n c o n d u c t e d t o e n s u r e t h ef i r s t f u l l r e l e a s e o f c o d e s i s a b l e t o p r o v i d e s t r o n g b e h a v i o r a l c o r -r e l a t i o n t o p a r e n t p h y s i c s a n d e n g i n e e r i n g a p p l i c a t i o n c u r r e n t l y i nu s e .

T h e M a n t e v o P r o j e c t s t a r t e d i n 2 0 0 6 a s a n e f f o r t t o d e v e l o pt o o l s a n d e n v i r o n m e n t s f o r s t u d y i n g c o m p u t a t i o n a l s c i e n c e a n de n g i n e e r i n g a p p l i c a t i o n p e r f o r m a n c e . V e r y e a r l y o n i n t h e p r o j e c t ,m i n i a p p s e m e r g e d a s i m p o r t a n t t o o l s . T h e y p r o v i d e t h e r i g h tb a l a n c e o f c o m p l e x i t y – c a p t u r i n g t h e n u a n c e s o f p e r f o r m a n c ec o u p l i n g b e t w e e n d i s t i n c t c o m p u t a t i o n a l p h a s e s – a n d e a s e o f u s ea n d r e f a c t o r i n g t o b e a c c e s s i b l e a n d m e a n i n g f u l c o - d e s i g n t o o l s .

T h e i n i t i a l m i n i a p p H P C C G w a s d e s i g n e d t o s t u d y t h e p e r f o r -m a n c e c h a r a c t e r i s t i c s o f p r e c o n d i t i o n e d i t e r a t i v e m e t h o d s u s e di n T r i l i n o s [ 7 ] . S y s t e m d e v e l o p e r s w e r e l o o k i n g f o r a s m a l l r e p r e -s e n t a t i v e c o d e t o a n s w e r q u e s t i o n s a b o u t t h e d i r e c t i o n o f s o m ec o d i n g i m p l e m e n t a t i o n s t a r g e t i n g e m e r g i n g a n d e x p e c t e d f u -t u r e a r c h i t e c t u r e s , i n c l u d i n g m u l t i - c o r e , m a n y - c o r e , a n d G P U -a c c e l e r a t e d h i g h p e r f o r m a n c e c o m p u t e r s . H P C C G w a s f r e q u e n t l yu s e d f o r c o m p i l e r s t u d i e s , p r o c e s s o r c o m p a r i s o n a n d m o r e . F u r -t h e r m o r e , t h e d e p t h o f c o n v e r s a t i o n b e t w e e n a l g o r i t h m s a n d s y s -t e m s d e v e l o p e r s g r e w w i t h a s m a l l , c o n c r e t e t a r g e t a s t h e m e a n sf o r e x p l o r a t i o n . B a s e d o n t h i s e x p e r i e n c e w e s t a r t e d i d e n t i f y i n ga n d d e p l o y i n g m i n i a p p s a c r o s s o t h e r a p p l i c a t i o n a r e a s o f i n t e r e s t .

E a c h M a n t e v o m i n i a p p i s d e s i g n e d t o f o c u s a t t e n t i o n o n o n e o ra f e w k e y p e r f o r m a n c e c h a r a c t e r i s t i c s o f a n a p p l i c a t i o n o r c l a s s o fa p p l i c a t i o n s , e n a b l i n g a g i l e e x p l o r a t i o n o f a v a r i e t y o f i s s u e s t h a ti m p a c t p e r f o r m a n c e , r a n g i n g f r o m l o w - l e v e l h a r d w a r e c a p a b i l i t i e st o t h e a p p l i c a t i o n .

T h e c u r r e n t s e t o f m i n i a p p s i n t h e M a n t e v o p r o j e c t a r e l i s t e d i nT a b l e 1 . A l l o f t h e m i n i a p p s i n T a b l e 1 a r e a v a i l a b l e v i a t h e G N U

4 8 S . S . D o s a n j h e t a l . / F u t u r e G e n e r a t i o n C o m p u t e r S y s t e m s 3 0 ( 2 0 1 4 ) 4 6 – 5 8

F i g . 1 . S u m m a r y o f a p p l i c a t i o n p e r f o r m a n c e p r o x i e s .

T a b l e 1L i s t o f c u r r e n t M a n t e v o m i n i a p p e f f o r t s .

M i n i a p p D e s c r i p t i o n

H P C C G S p a r s e l i n e a r a l g e b r a ( K r y l o v ) s o l v e rm i n i F E U n s t r u c t u r e d i m p l i c i t F E M / F V Mp h D M e s h E x p l i c i t F E M , c o n t a c t d e t e c t i o nm i n i M D M o l e c u l a r d y n a m i c s f o r f o r c e c o m p u t a t i o n sm i n i X y c e C i r c u i t R C l a d d e rm i n i E x D y n a E x p l i c i t D y n a m i c s F i n i t e E l e m e n tm i n i I T C a I m p l i c i t T h e r m a l C o n d u c t i o n F i n i t e E l e m e n tm i n i G h o s t a F D M / F V Mm i n i A e r o b A e r o / f l u i d sm i n i D S M C b P a r t i c l e - b a s e d s i m u l a t i o n o f l o w - d e n s i t y f l u i d sa N e w .b U n d e r d e v e l o p m e n t .

L e s s e r G e n e r a l P u b l i c L i c e n s e ( L G P L ) [ 8 ] a n d a r e d o w n l o a d a b l ef r o m t h e M a n t e v o w e b s i t e . 1

2 . 2 . V a l i d a t i n g m i n i a p p s

V a l i d a t i o n i s t h e p r o c e s s o f d e t e r m i n i n g t h e d e g r e e t o w h i c h am o d e l i s a n a c c u r a t e r e p r e s e n t a t i o n o f t h e ‘ ‘ r e a l w o r l d ’ ’ f r o m t h ep e r s p e c t i v e o f t h e i n t e n d e d u s e s o f t h e m o d e l . 2 F o r o u r p u r p o s e s ,

1 h t t p : / / m a n t e v o . o r g .2 T h e s e t e r m s a r e a s d e f i n e d b y t h e A m e r i c a n S o c i e t y o f M e c h a n i c a l E n g i n e e r s

( A S M E , 2 0 0 6 ) a n d t h e A m e r i c a n I n s t i t u t e o f A e r o n a u t i c s a n d A s t r o n a u t i c s ( A I A A ,1 9 9 8 ) , a n d t h i s u s a g e h a s b a s i c a l l y b e e n a d o p t e d b y t h e U n i t e d S t a t e s D e p a r t m e n t so f E n e r g y ( D O E ) a n d D e f e n s e ( D o D ) . I E E E d e f i n i t i o n s ( I E E E , 1 9 9 1 ) a r e a l s o u s e f u l a n dr e l e v a n t i n t h i s c o n t e x t .

v a l i d a t i o n i s t h e p r o c e s s o f a s s e s s i n g t h e e v i d e n c e o f h o w c l o s e l yt h e m i n i a p p r e s e m b l e s t h e f u l l a p p l i c a t i o n i n t h e p e r f o r m a n c ed o m a i n o f i n t e r e s t . T h a t i s , w i t h i n t h e c o n t e x t o f t h e i n t e n t o f t h ec o m p a r i s o n s o f a m o d e l w i t h t h e ‘ ‘ r e a l w o r l d ’ ’ , w e m u s t v e r i f y t h a tt h e a p p l i c a t i o n s ( ‘ ‘ r e a l w o r l d ’ ’ ) a n d m i n i a p p s ( ‘ ‘ m o d e l ’ ’ ) c o m p a r ew e l l i n t h e p e r f o r m a n c e d i m e n s i o n s o f i n t e r e s t . A l l o f t h e w o r k( a n d p o s s i b l y a r t ) i n t h i s m e t h o d o l o g y w i l l b e d e f i n i n g a s e to f c o m p a r i s o n s t h a t a l l o w u s t o d r a w c o n c l u s i o n s o f t h i s k i n da b o u t t h e m i n i a p p s . W e m u s t a l s o u n d e r s t a n d h o w c l o s e t h e s ec o m p a r i s o n s s h o u l d b e f o r u s t o b e a b l e t o c o n c l u d e t h a t t h em i n i a p p s a r e s u i t a b l y a c c u r a t e m o d e l s o f r e a l c o d e p e r f o r m a n c e ,o r t h a t t h e y a r e n o t . T h e r e w i l l c l e a r l y b e s i g n i f i c a n t c o m p o n e n t s o fj u d g m e n t e m b e d d e d i n t h i s m e t h o d o l o g y g i v e n t h e d i f f i c u l t n a t u r eo f t h i s p r o b l e m .

O u r m e t h o d o l o g y , d e v e l o p e d i n t h e s p i r i t o f e x p e r i m e n t a l v a l -i d a t i o n a s d e s c r i b e d i n [ 9 – 1 2 ] , i s d e s i g n e d t o a n s w e r t h e q u e s -t i o n : ‘ ‘ U n d e r w h a t c o n d i t i o n s d o e s a m i n i a p p r e p r e s e n t a k e yp e r f o r m a n c e c h a r a c t e r i s t i c i n a f u l l a p p ? ’ ’ T h i s a p p r o a c h r e q u i r e se x t e n s i v e k n o w l e d g e o f , a n d e x p e r i e n c e d e v e l o p i n g , e x e c u t i n g ,p r o f i l i n g , m a i n t a i n i n g , a n d e x t e n d i n g m u l t i - s c a l e , m u l t i - p h y s i c ss c i e n t i f i c a n d e n g i n e e r i n g a p p l i c a t i o n s o f t w a r e , t a r g e t i n g h i g h e s tp e r f o r m a n c e c o m p u t i n g p l a t f o r m s . I t a l s o r e q u i r e s a s t r o n g u n d e r -s t a n d i n g o f t h e m i n i a p p s a n d t h e i r i n t e n d e d u s e : w h a t t h e y a r e i n -t e n d e d t o r e p r e s e n t a n d w h a t t h e y a r e n o t i n t e n d e d t o r e p r e s e n t .

T h e m e t h o d o l o g y i s a s f o l l o w s : F o r a s e t o f d i a g n o s t i c r u n t i m ep e r f o r m a n c e c h a r a c t e r i s t i c s o r e l e m e n t s , w h i c h w e l o o s e l y r e f e r t oa s t h e p e r f o r m a n c e d o m a i n ,{ D } = D 1 , D 2 , . . . , D m , ( 1 )l e t{ B } = B 1 , B 2 , . . . , B n , ( 2 )


( a ) E f f i c i e n c y . ( b ) M e t r i c .

F i g . 2 . E f f e c t s o f t h e n u m b e r o f c o r e s p e r n o d e o n t h e F E A a n d s o l v e r p h a s e s o f C h a r o n a n d m i n i F E .

b e a c o r r e s p o n d i n g s e t o f b a s e l i n e f u l l a p p l i c a t i o n o b s e r v a t i o n a lr e f e r e n t s , ( t h e ‘ ‘ v a l i d a t i o n d a t a ’ ’ ) a n d l e t

{ A } = A 1 , A 2 , . . . , A p , ( 3 )

b e a s e t o f c o r r e s p o n d i n g m i n i a p p m e a s u r e m e n t s , f o r p � n .W e t h e n c o n s i d e r t h e d i f f e r e n c e b e t w e e n t h e a p p l i c a t i o n r e f e r -

e n t s a n d t h e m i n i a p p m e a s u r e m e n t s i n t h e p e r f o r m a n c e d o m a i nd e f i n e d b y ( 1 ) a s s o m e k i n d o f m a t h e m a t i c a l n o r m , w h i c h w e w i l la l s o c a l l a v a l i d a t i o n m e t r i c :

X i = � B i ! A i � i , � i . ( 4 )

T h e n a s s e s s m e n t o f t h e v a l i d a t i o n m e t r i c i n f o r m a t i o n m i g h tt h e n b e p o s e d a s :

V i =

��

�

p a s s , f o r T 1i � X i � T 2

ic a u t i o n , f o r T 2

i � X i � T 3i

f a i l , f o r X i � T 1i o r X i � T 3

i

( 5 )

w h e r e V i i s a v a l i d i t y s t a t e m e n t a t t a c h e d t o p e r f o r m a n c e d o m a i nd i m e n s i o n i f o r s o m e t h r e s h o l d s T j

i , f o r j = 1 , . . . , 3 .W h i l e E q . ( 5 ) l o o k s l i k e a g e n e r a l l y u s e f u l a l g o r i t h m f o r a s s e s s -

m e n t , w e c a u t i o n t h e r e i s a g r e a t d e a l o f o v e r l o a d i n g g o i n g o n i nt h i s s i m p l e e x p r e s s i o n . F o r e x a m p l e , t h e c h o i c e o f t h r e s h o l d s c o u l dc l e a r l y b e e x t r e m e l y d i f f i c u l t . T h e w i l l i n g n e s s t o e v e n e v a l u a t e v a -l i d i t y b a s e d o n a r e l a t i v e l y d i r e c t t h r e s h o l d a s s e s s m e n t i s o p e n t od e b a t e , a n d d e v e l o p i n g t h e s e t V i , i = 1 , . . . , n l e a v e s o p e n t h ei s s u e o f h o w a l l o f t h i s i n f o r m a t i o n i s c o m b i n e d i n t o a s i n g l e a p -p r a i s a l o f t h e v a l i d i t y o f t h e m i n a p p . N o n e t h e l e s s , t h i s l o g i c i s ac l e a r i l l u s t r a t i o n o f t h e k i n d o f i d e a l t h i n k i n g t h a t s h o u l d u n d e r l i et h e v a l i d a t i o n a s s e s s m e n t o f m i n i a p p s .

T h i s f r a m e w o r k p r o v i d e s d i r e c t a d v a n t a g e s . F i r s t , t h e i n p u t i n -f o r m a t i o n D , B , a n d A a n d a r e o p e n t o c h a l l e n g e a n d r e f i n e m e n t , a r em u t a b l e a n d e x t e n s i b l e , a n d t h u s t h e r o l e i n t e r p r e t i v e j u d g m e n t i nt h e f i n a l r e s u l t s o f v a l i d i t y a s s e s s m e n t i s t r a n s p a r e n t w i t h i n t h ec o n t e x t o f u s e . F o r e x a m p l e , n e w d i a g n o s t i c s , n e w o r c o r r e c t e db a s e l i n e o b s e r v a t i o n s , a n d n e w o r c o r r e c t e d m e a s u r e m e n t s c o u l db e a d d e d t o t h e m o d e l i n t h e s e r v i c e o f b e t t e r a s s e s s m e n t . S e c o n d ,t h e w a y t h e r e s u l t s a r e c o m p u t e d c a n b e e a s i l y s u b j e c t e d t o p e e r -r e v i e w s c r u t i n y .

W e i l l u s t r a t e t h i s m e t h o d b y e x a m i n i n g t h e r e l a t i o n s h i p sb e t w e e n a n a p p l i c a t i o n n a m e d C h a r o n a n d t h e M a n t e v o m i n i a p pc a l l e d m i n i F E . C h a r o n [ 1 3 , 1 4 ] i s a n e l e c t r o n i c d e v i c e s i m u l a t i o na p p l i c a t i o n c o d e , s o l v i n g t h e d r i f t – d i f f u s i o n e q u a t i o n s t h a t r e l a t et h e e l e c t r i c p o t e n t i a l t o t h e e l e c t r o n a n d h o l e c o n c e n t r a t i o n s i nt h e s e d e v i c e s . O n e o f t h e d i s c r e t i z a t i o n a p p r o a c h e s e m p l o y e d i nC h a r o n i s a f i n i t e e l e m e n t m e t h o d ( F E M ) o n u n s t r u c t u r e d m e s h e s .E x e c u t i o n i s c h a r a c t e r i z e d b y a f i n i t e e l e m e n t a s s e m b l y s t e p ( F E A )f o l l o w e d b y t h e s o l u t i o n o f t h e n o n l i n e a r s y s t e m u s i n g a f u l l y -i m p l i c i t N e w t o n – K r y l o v ( N K ) s o l u t i o n a p p r o a c h . P e r f o r m a n c e o fN K i s d o m i n a t e d b y t h e K r y l o v s o l v e r , e i t h e r B i C G S T A B [ 1 5 ] o rG M R E S [ 1 6 ] . C h a r o n e m p l o y s t h e s o l v e r s i n T r i l i n o s [ 7 ] , i n c l u d i n gt h e K r y l o v s o l v e r s f r o m t h e T r i l i n o s A z t e c p a c k a g e [ 1 7 ] . M i n i F E i s

a n i m p l i c i t f i n i t e - e l e m e n t m i n i a p p w h i c h i n c l u d e s a F E A s t e p a sw e l l a s a s o l v e r p h a s e u s i n g t h e C o n j u g a t e G r a d i e n t m e t h o d [ 1 8 ] .

W e e x a m i n e p e r f o r m a n c e o n t h r e e d i s t i n c t a r c h i t e c t u r e s . C i e l o ,a C r a y X E 6 , c o n s i s t s o f d u a l - s o c k e t 8 - c o r e A M D O p t e r o n M a g n y -C o u r s p r o c e s s o r b a s e d n o d e s c o n n e c t e d b y a c u s t o m G e m i n i n e t -w o r k c o n f i g u r e d a s a t h r e e d i m e n s i o n a l t o r u s . C h a m a c o n s i s t s o fd u a l - s o c k e t 8 - c o r e I n t e l S a n d y B r i d g e p r o c e s s o r b a s e d n o d e s c o n -n e c t e d b y a Q l o g i c I n f i n i B a n d n e t w o r k c o n f i g u r e d a s a f a t t r e e .R e d S k y c o n s i s t s o f d u a l - s o c k e t q u a d c o r e I n t e l N e h a l e m p r o c e s -s o r b a s e d n o d e s c o n n e c t e d b y a M e l l a n o x I n f i n i B a n d n e t w o r k c o n -f i g u r e d a s a t h r e e d i m e n s i o n a l t o r u s . W e s u p p l e m e n t t h e s em a c h i n e s w i t h r e l a t e d a r c h i t e c t u r e s t h a t a l l o w f o r m o r e f l e x i b l ee x p e r i m e n t s .

W e b e g i n b y s p e c i f y i n g o n - n o d e m e m o r y b a n d w i d t h a s ad i a g n o s t i c . A t y p i c a l m e a n s f o r e x p l o r i n g t h i s i s s u e i s t o v a r y t h en u m b e r o f p r o c e s s o r c o r e s e m p l o y e d o n t h e n o d e a n d c o m p a r i n gt h e r e s u l t i n g p e r f o r m a n c e e f f i c i e n c y . F i g . 2 ( a ) i l l u s t r a t e s t h e r e s u l t so f t h i s e x p e r i m e n t a p p l i e d t o t h e s o l v e r p h a s e s o n a C r a y X E 6 n o d ec o n f i g u r e d u s i n g d u a l - s o c k e t 1 2 - c o r e A M D O p t e r o n M a g n y - C o u r sp r o c e s s o r s . A s h a s b e e n o b s e r v e d i n a v a r i e t y o f c a s e s [ 1 9 – 2 1 ] , t h ee f f i c i e n c y o f e a c h s o c k e t d e c r e a s e s a s t h e n u m b e r o f c o r e s p e r n o d ei n c r e a s e s . A p r o p o r t i o n a l c o m p a r i s o n ( F i g . 2 ( b ) ) r e v e a l s t h a t t h er e s p o n s e s b y C h a r o n a n d m i n i F E a r e w i t h i n a b o u t 1 3 % a t w o r s t ,s u g g e s t i n g t h a t t h e m i n i a p p i s p r e d i c t i v e o f t h e e f f e c t s o f m e m o r yb a n d w i d t h o n C h a r o n . H o w e v e r , i n a v a l i d a t i o n s t u d y , s t r o n g e re v i d e n c e i s n e e d e d t o m a k e t h i s c l a i m .

U s i n g a d u a l - s o c k e t q u a d c o r e I n t e l N e h a l e m 5 5 6 0 c l o c k e d a t2 . 8 G H z p r o c e s s o r s a n d a d u a l - s o c k e t 8 - c o r e A M D M a g n y - C o u r s6 1 3 6 c l o c k e d a t 2 . 4 G H z , e x p e r i m e n t s w e r e c o n f i g u r e d t o b e t t e rf o c u s o n m e m o r y b a n d w i d t h . T h e m a c h i n e s w e r e s e t u p t o p r o v i d em e m o r y s p e e d s o f 8 0 0 M H z , 1 0 6 6 M H z , a n d 1 3 3 3 M H z . R e s u l t s ,i l l u s t r a t e d i n F i g . 3 , s h o w t h a t t h e F E A p h a s e s f o r m i n i F E a n dC h a r o n a r e n o t i m p a c t e d b y t h e c h a n g e i n b a n d w i d t h , w h i l e t h e i rs o l v e r s a r e . A p r o p o r t i o n a l c o m p a r i s o n ( F i g . 3 ( c ) ) s h o w s m i n i F E i sw i t h i n 4 % o f a l l m e a s u r e s o f C h a r o n , l e a d i n g u s t o c l a i m t h a t m i n i F Ei s p r e d i c t i v e o f C h a r o n w i t h r e g a r d t o o n - n o d e m e m o r y b a n d w i d t h .

T h e n e x t d i a g n o s t i c c o n s i d e r e d c a c h e p e r f o r m a n c e , a g a i n w i t ht h e s e p a r a t i o n o f b e t w e e n t h e F E A a n d s o l v e r p h a s e s , a n d a g a i nu s i n g t h e N e h a l e m a n d M a g n y - C o u r s n o d e s , e a c h w i t h t h r e e l e v e l so f c a c h e ( L 3 i s s h a r e d a c r o s s c o r e s i n a s o c k e t f o r N e h a l e m , a n da c r o s s c o r e s i n a d i e f o r M a g n y - C o u r s ) . T h e h i t r a t e , d e f i n e d a s t h ep r o p o r t i o n o f t h e n u m b e r o f t i m e s t h e p r o c e s s o r f i n d s n e e d e d d a t ai n a c a c h e w i t h t h e t o t a l n u m b e r o f t i m e s i t l o o k s f o r d a t a i n t h a tc a c h e , p l a y s a s i g n i f i c a n t r o l e i n p r o c e s s o r p e r f o r m a n c e . R e s u l t sa r e s h o w n i n F i g . 4 . F o r t h e F E A p h a s e , C h a r o n a n d m i n i F E s h o ws t r o n g u s e o f l e v e l 1 c a c h e , w i t h a p r o p o r t i o n a l d i f f e r e n c e o f n om o r e t h a n 3 % . H o w e v e r , l e v e l 2 a n d 3 h i t r a t e s a r e s i g n i f i c a n t l yd i f f e r e n t , w i t h m i n i F E 3 a n d 6 t i m e s , r e s p e c t i v e l y , f r o m C h a r o n ,l e a d i n g u s t o c l a i m t h a t t h e c a c h e p e r f o r m a n c e o f F E A i n m i n i F E i sn o t p r e d i c t i v e o f t h a t f o r C h a r o n . F o r t h e s o l v e r p h a s e , w e b e l i e v et h a t c a c h e p e r f o r m a n c e i s p r e d i c t i v e . A l t h o u g h t h e t h r e s h o l d s f o ra c c e p t a n c e f o r l e v e l 2 a n d 3 a r e a r g u a b l y h i g h ( a p p r o x i m a t e l y 2 0 % ) ,t h e t r e n d s a r e c l e a r .


( a ) F E A , n o r m a l i z e d d a t a . ( b ) S o l v e r , n o r m a l i z e d d a t a .

( c ) M e t r i c .

F i g . 3 . E f f e c t s o f m e m o r y s p e e d s o n t h e F E A a n d s o l v e r p h a s e s o f C h a r o n a n d m i n i F E . P e r f o r m a n c e i s r e l a t i v e t o 1 3 3 3 M H z .

( a ) F E A h i t r a t e . ( b ) F E A m e t r i c .

( c ) S o l v e r h i t r a t e . ( d ) S o l v e r m e t r i c .

F i g . 4 . C a c h e b e h a v i o r o f t h e F E A a n d s o l v e r p h a s e s o f C h a r o n a n d m i n i F E .

M o s t i n t e r e s t i n g i s t h a t C h a r o n ’ s s u r p r i s i n g l y l o w l e v e l 2 h i t r a t es e e n o n t h e N e h a l e m i s a l s o s e e n w i t h m i n i F E . T h i s i s u n e x p e c t e db a s e d o n p a s t o b s e r v a t i o n s o n r e l a t e d a r c h i t e c t u r e s , b u t c a r em u s t b e t a k e n w i t h r e g a r d t o a t t r i b u t i o n . A d d i t i o n a l e x p e r i m e n t sa r e r e q u i r e d t o m a k e s t r o n g c a u s a l c l a i m s , s i n c e i t i s p o s s i b l et h a t m e a s u r e m e n t i n t r u s i o n i s t o b l a m e , o r p e r h a p s a h a r d w a r ec o n f i g u r a t i o n i s s u e .

N e x t w e e x a m i n e w e a k s c a l i n g c h a r a c t e r i s t i c s o f C h a r o n a n dm i n i F E t o l a r g e c o r e c o u n t s . D i a g n o s t i c s i n c l u d e t h e C h a r o n / A z t e c

B i C G S T A B s o l v e r w i t h t w o p r e c o n d i t i o n i n g s t r a t e g i e s , a n i n c o m -p l e t e f a c t o r i z a t i o n a l g o r i t h m w i t h n o f i l l ( I L U ( 0 ) ) a n d a m u l t i l e v e l( ‘ ‘ M L ’ ’ , e . g . m u l t i g r i d ) a l g o r i t h m [ 2 2 ] . R e s u l t s f o r e a c h a r e a n a l y z e di n c o m p a r i s o n t o m i n i F E ’ s u n p r e c o n d i t i o n e d C o n j u g a t e G r a d i e n ts o l v e r . T h e g e n e r a l i d e a i s t h a t K r y l o v s o l v e r s p e r f o r m c o m m o nc o m p u t a t i o n s ( e . g . a d d i t i o n a n d s c a l i n g o f v e c t o r s , i n n e r p r o d u c t s ,a n d s p a r s e m a t r i x – v e c t o r p r o d u c t s ) . F u r t h e r , a p p l i c a t i o n s t y p i c a l l yu s e a b r e a d t h o f p r e c o n d i t i o n e r s , s o o u r g o a l i s t o u n d e r s t a n dw h e r e s p e c i f i c i t y i s r e q u i r e d a n d w h e r e i t i s n o t n e c e s s a r y .


( a ) C h a m a . ( b ) C i e l o .

( c ) R e d s k y .

F i g . 5 . R e l a t i v e s c a l i n g o f s o l v e r s .

P e r f o r m a n c e i s i l l u s t r a t e d i n F i g . 5 . W e h a v e n o t y e t d e t e r m i n e da n e f f e c t i v e m e a n s f o r a n a l y t i c a l l y c o m p a r i n g s c a l i n g b e h a v i o r . I n -s t e a d w e c a n r e a s o n a b o u t t h e c u r v e s b y f i r s t n o t i n g t h a t p e r f o r -m a n c e i s d i f f e r e n t o n d i f f e r e n t a r c h i t e c t u r e s , w h i c h w e s p e c u l a t ei s a f u n c t i o n o f t h e d i f f e r e n c e p r e c o n d i t i o n i n g s t r a t e g i e s . A l t h o u g ht h e d i f f e r e n c e b e t w e e n m i n i F E a n d C h a r o n w i t h M L p r e c o n d i t i o n -i n g i s l a r g e , t h i s i s n o t r e a s o n e n o u g h t o r e j e c t t h e r e l a t i o n s h i p . I n -s t e a d , w e c l a i m t h a t m i n i F E i s n o t p r e d i c t i v e o f C h a r o n w i t h M Lb e c a u s e m i n i F E d o e s n o t i n c l u d e t h e s o r t s o f c o m p u t a t i o n s f o u n di n M L . F o r e x a m p l e , a n a n a l y s i s o f t h e i n t e r p r o c e s s m e s s a g e p a s s -i n g r e q u i r e m e n t s s h o w s t h a t M L s e n d s o v e r 4 0 % m o r e m e s s a g e sp e r c o r e t h a n t h e n o n - m u l t i l e v e l p r e c o n d i t i o n e r s .

T h e d i f f e r e n c e b e t w e e n C h a r o n w i t h I L U ( 0 ) p r e c o n d i t i o n i n ga n d m i n i F E i s l e s s c l e a r , w i t h r e a s o n i n g d r i v e n f r o m d i f f e r e n t p e r -s p e c t i v e s i n t h e c o - d e s i g n s p a c e . F o r e x a m p l e , f r o m t h e p e r s p e c t i v eo f s o m e h a r d w a r e a r c h i t e c t s , t h e s e t w o a p p r o a c h e s a r e n o t p r e -d i c t i v e . H o w e v e r , a n a l g o r i t h m d e v e l o p e r i n v e s t i g a t i n g n e w p r o -g r a m m i n g m o d e l s c o u l d v i e w m i n i F E p e r f o r m a n c e a s r e a s o n a b l yp r e d i c t i v e . T h e r e f o r e w e a s s i g n t h i s d i a g n o s t i c a c a u t i o n a s s e s s -m e n t .

I n s u m m a r y , e n s u r i n g t h a t a m i n i a p p c o m p l e t e l y f u l f i l l s i t s i n -t e n t i s a d i f f i c u l t a n d p r o b a b l y o n g o i n g t a s k . F u r t h e r , t h e r u n t i m eb e h a v i o r o f a c o m p l e x s c i e n t i f i c a p p l i c a t i o n i s t y p i c a l l y p r o b l e md e p e n d e n t , a n d t h e r e f o r e i t i s i m p o r t a n t t o u n d e r s t a n d t h e d i f -f e r e n t w a y s t h a t a c o d e c a n b e u s e d a n d t o h a v e a m e a n s f o rc o n f i g u r i n g t h e m i n i a p p t o m i m i c t h e i m p o r t a n t f e a t u r e s u n d e rc o n s i d e r a t i o n . T h u s o u r a p p r o a c h i s t o c o n t i n u e t o b u i l d u p ‘ ‘ a b o d yo f e v i d e n c e ’ ’ i n s u p p o r t o f t h e g o a l s o f a m i n i a p p , c o m b i n i n g f o r m a lv a l i d a t i o n t e c h n i q u e s w i t h o u r k n o w l e d g e a n d e x p e r i e n c e b a s e s .T h i s i n c l u d e s s t a t i s t i c a l a n a l y s i s o f m u l t i p l e r u n s , a d d i n g , f o r e x -a m p l e , e r r o r b a r s t o t h e g r a p h s a n d t h u s i n f o r m i n g o u r a n a l y s i s .

3 . A r c h i t e c t u r a l t e s t b e d s

A d v a n c e d a r c h i t e c t u r e t e s t b e d s p r o v i d e a m e a n s f o r e x p l o r i n gp e r f o r m a n c e i s s u e s t h a t a r e e x p e c t e d t o i m p a c t o u r a p p l i c a t i o n s o n

f u t u r e a r c h i t e c t u r e s . T h e s e h a v e p r o v e n t o b e u s e f u l t o o l s f o r e x a m -i n i n g m a n y o f t h e i s s u e s t h r o u g h o u t t h e d e s i g n s p a c e , f o c u s i n g o u re f f o r t s a n d e n a b l i n g r e a s o n i n g a b o u t s p e c i f i c c h a r a c t e r i s t i c s a n dc a p a b i l i t i e s a s t h e y r e l a t e t o o u r g o a l s .

I n t h i s s e c t i o n w e d e s c r i b e t h r e e s u c h s y s t e m s , a n d i l l u s t r a t eh o w o n e s u c h a r c h i t e c t u r e , i n c o n j u n c t i o n w i t h d i r e c t v e n d o ri n t e r a c t i o n , c a n b e u s e d t o p r e p a r e o u r a p p l i c a t i o n s f o r w h a t w eb e l i e v e w i l l b e s i g n i f i c a n t c h a n g e s .

3 . 1 . T e l l e r — A M D f u s i o n c l u s t e r

T e l l e r i s a 1 0 4 - n o d e c l u s t e r o f s i n g l e - s o c k e t A M D A 8 - 3 8 5 0 L l a n oF u s i o n A P U n o d e s . E a c h A P U - d i e c o m p r i s e s f o u r K - 1 0 - c l a s s A M Dx 8 6 - 6 4 c o r e s r u n n i n g a t 2 . 9 0 G H z . C o r e s h a v e p r i v a t e 6 4 k B L 1i n s t r u c t i o n a n d d a t a c a c h e s a n d a 1 M B l e v e l - 2 ( g i v i n g a 4 M BL 2 i n t o t a l ) . T h e G P U p o r t i o n o f t h e A P U i s a m o d i f i e d 4 0 0 - c o r eR a d e o n H D 6 5 5 0 D w h i c h r u n s a t 6 0 0 M H z . G P U c o r e s a r e c u r r e n t l y5 - w a y S I M D . I n o r d e r t o e n a b l e t h e s t u d y o f p e r f o r m a n c e a s a f u n c -t i o n o f m e m o r y f r e q u e n c y , 1 0 0 c l u s t e r n o d e s c o n t a i n 1 6 G B D D R 31 6 0 0 M H z m e m o r y a n d 4 n o d e s c o n t a i n 8 G B D D R 3 m e m o r y a t1 8 6 6 M H z . A l l n o d e s a r e e q u i p p e d w i t h a s i n g l e 2 5 6 G B M i c r o C 4 0 0S S D s t o r a g e d e v i c e e n a b l i n g u s t o s t u d y l o c a l c h e c k p o i n t i n g s t r a t e -g i e s . T h e m a c h i n e i n t e r c o n n e c t e m p l o y s Q L o g i c Q S F P Q D R I n f i n i -B a n d a r r a n g e d i n a 2 - l e v e l f a t - t r e e t o p o l o g y .

3 . 2 . A r t h u r — I n t e l M I C c l u s t e r

A r t h u r i s a 4 2 n o d e c l u s t e r o f I n t e l M I C ( M a n y I n t e g r a t e d C o r e )a c c e l e r a t o r c a r d s . N o d e s i n t h e c l u s t e r c o m p r i s e a d u a l - s o c k e th e x - c o r e W e s t m e r e - E P X e o n p r o c e s s o r s , c l o c k e d a t 3 . 4 7 G H z w i t h2 4 G B o f D D R 3 - 1 6 0 0 M H z m e m o r y , c o n n e c t e d v i a a P C I - E x p r e s sc o n n e c t i o n t o a K n i g h t s F e r r y c o - p r o c e s s o r ( g i v i n g 8 4 c a r d s / c o -p r o c e s s o r s i n t o t a l ) . E a c h K n i g h t s F e r r y p r o c e s s o r i s i t s e l f a3 0 - c o r e c h i p c l o c k e d a t 1 . 0 5 G H z a n d c o n n e c t e d t o 2 G B o f G D D R 5 -1 8 0 0 M H z m e m o r y . T h e m a c h i n e i n t e r c o n n e c t i s p r o v i d e d b yM e l l a n o x I n f i n i s c a l e I V Q D R I n f i n i b a n d v i a a f a t t r e e t o p o l o g y w i t hf i v e 3 6 - p o r t s w i t c h e s .


F i g . 6 . I n t e l M I C a r c h i t e c t u r e .

F i g . 7 . C r a y X K 6 n o d e .

E a c h p r o c e s s o r c o r e o n t h e K n i g h t s F e r r y d e v i c e i s a m o d i f i e dv a r i a n t o f I n t e l ’ s x 8 6 a r c h i t e c t u r e i n w h i c h c o m p u t a t i o n h a s b e e na u g m e n t e d w i t h a 1 6 - w i d e v e c t o r p r o c e s s i n g u n i t ( V P U ) a n d f o u r -w a y h a r d w a r e t h r e a d i n g ( s e e F i g . 6 ) . C o r e s h a v e a c c e s s t o a 3 2 K i l o -b y t e ( K B ) L 1 i n s t r u c t i o n c a c h e , 3 2 k B L 1 d a t a c a c h e , a n d a n i n c l u s i v e2 5 6 k B L 2 c a c h e . A c o h e r e n t r i n g n e t w o r k c o n n e c t s L 2 c a c h e s t o t h em e m o r y c o n t r o l l e r a n d p r o v i d e s h i g h b a n d w i d t h c o r e - t o - c o r e d a t at r a n s f e r s . T r a n s f e r s t o o a n d f r o m t h e h o s t o c c u r v i a D M A t r a n s f e r so v e r t h e a c c e l e r a t o r ’ s P C I - E x p r e s s c o n n e c t i o n .

3 . 3 . C u r i e — N V I D I A / c r a y c l u s t e r

T h e X K 6 i s t h e l a t e s t r e f i n e m e n t t o t h e X - f a m i l y o f m a c h i n e sd e v e l o p e d b y C r a y . I n t h i s n e w s e r i e s o n e p r o c e s s o r i s r e m o v e df r o m e a c h c o m p u t e n o d e a n d r e p l a c e d w i t h a n N V I D I A T e s l a - s e r i e sG P U u s i n g a P C I - E x p r e s s G e n - 2 b u s f o r c o n n e c t i v i t y ( s e e F i g . 7 ) .

A t t h e t i m e o f w r i t i n g t h e G P U u s e d f o r n o d e d e s i g n i s a nN V I D I A ‘ ‘ F e r m i ’ ’ - c l a s s G P U w i t h 6 G B y t e s o f G D D R 5 m e m o r y a n d1 6 s t r e a m i n g m u l t i p r o c e s s o r s ( S M ) , e a c h c o n t a i n i n g 3 2 t h r e a d p r o -c e s s i n g c o r e s , a r e p r o v i d e d o n t h e G P U c a r d , e n a b l i n g h i g h s p e e dt r a n s f e r s t o / f r o m t h e o n - c h i p c o m p u t e u n i t s . T h e C u r i e t e s t b e ds y s t e m c o n s i s t s o f 5 2 n o d e s , w i t h A M D O p t e r o n 2 . 1 G H z 1 6 - c o r eI n t e r l a g o s 6 2 7 2 p r o c e s s o r s a n d 3 2 G B o f s y s t e m m e m o r y . T h eI n t e r l a g o s i s a l s o o f i n t e r e s t i n o u r s t u d i e s s i n c e i t u t i l i z e s t h er e c e n t l y a n n o u n c e d B u l l d o z e r c o r e i n w h i c h a c o r e - p a i r e a c h h a v et w o i n t e g e r p r o c e s s i n g u n i t s ( o n e p e r c o r e ) b u t a u n i f i e d f l o a t i n g -p o i n t p i p e l i n e . T h i s d e s i g n i s i n t e n d e d t o r e d u c e p o w e r f o r s c i e n -t i f i c c o m p u t a t i o n s w h e r e m u l t i p l e i n t e g e r o p e r a t i o n s a r e e x e c u t e dt o o b t a i n a r r a y a d d r e s s e s b e f o r e a f l o a t i n g - p o i n t c a l c u l a t i o n c a n b ei s s u e d .

3 . 4 . U n d e r s t a n d i n g c o m p u t a t i o n o n a G P U

C o m p u t a t i o n o n a G P U c a n b e s i g n i f i c a n t l y d i f f e r e n t f r o m t h a to n a C P U . I n t h i s s e c t i o n w e f o c u s o n t h e F E A ( f i n i t e e l e m e n t a s s e m -b l y ) p h a s e o f m i n i F E . I m p l e m e n t e d u s i n g t h e C U D A p r o g r a m m i n gm o d e l a n d e x e c u t e d o n a n N V I D I A F e r m i G P U o f t h e s o r t f o u n d o n

C u r i e , t h i s w o r k i l l u s t r a t e s a k e y p e r f o r m a n c e i s s u e , s u g g e s t s a na l g o r i t h m i c m o d i f i c a t i o n , a n d p r e d i c t s h o w a n e x p e c t e d h a r d w a r em o d i f i c a t i o n w i l l i m p r o v e p e r f o r m a n c e o f t h i s c o m p u t a t i o n .

T h e F E A p h a s e i n v o l v e s c o m p u t i n g t h e e l e m e n t o p e r a t o r s f o re a c h e l e m e n t w h i c h a r e t h e n s u m m e d i n t o t h e m a t r i x . T h r e a d so p e r a t e o n s e p a r a t e e l e m e n t s w i t h t h e c o m p u t a t i o n o f t h e e l e m e n to p e r a t o r a n d t h e s u m m a t i o n i n t o t h e l i n e a r s y s t e m p e r f o r m e dw i t h i n a s i n g l e k e r n e l . A l t h o u g h t h e c o m p u t a t i o n o f t h e e l e m e n to p e r a t o r s i s e m b a r r a s s i n g l y p a r a l l e l , t h e s u m m i n g i n t o a l i n e a rs y s t e m r e q u i r e s s y n c h r o n i z a t i o n t o a v o i d d a t a r a c e c o n d i t i o n s . T h eu s e o f a s i n g l e k e r n e l i s p r e f e r r e d i n t h i s i n s t a n c e b e c a u s e i t a v o i d sh a v i n g t o s t o r e t h e s t a t e f o r t h e e l e m e n t o p e r a t o r a n d t h e n h a v i n gt o l a t e r r e - r e a d t h a t s t a t e d u r i n g s u m m i n g i n t o t h e l i n e a r s y s t e m .

I n o r d e r t o m i n i m i z e c o d e m o d i f i c a t i o n s , o n e t h r e a d o p e r a t e so n o n e e l e m e n t i n t h e c o n s t r u c t i o n o f t h e e l e m e n t o p e r a t o r .H o w e v e r , t h e c o d e w a s m o d i f i e d s o t h a t m a t r i x c o e f f i c i e n t s a r es t o r e d i n E L L s p a r s e m a t r i x f o r m a t r a t h e r t h a n c o m p r e s s e d -r o w ( C S R ) f o r m , s h o w n t o r e s u l t i n s t r o n g e r p e r f o r m a n c e i n t h es u b s e q u e n t s o l v e r p h a s e s [ 2 3 ] . A t o m i c a d d i t i o n o p e r a t i o n s p r e v e n tr a c e c o n d i t i o n s i n u p d a t i n g t h e g l o b a l m a t r i x . C o m p u t a t i o n o f t h ee l e m e n t o p e r a t o r i s f l o a t i n g - p o i n t i n t e n s i v e , i n c l u d i n g c o m p u t i n gt h e m a t r i x d e t e r m i n a n t a n d t h e J a c o b i a n . H o w e v e r , a n a l y s i s s h o w st h a t t h e p e r f o r m a n c e i s b a n d w i d t h b o u n d d u e t o r e g i s t e r s p i l l i n g .

T h e c a u s e o f t h i s r e g i s t e r s p i l l i n g w a s t r a c e d t o t h e e l e m e n to p e r a t o r w h i c h r e q u i r e s a l a r g e t h r e a d s t a t e , i n c l u d i n g 3 2 b y t e s f o rn o d e - I D s , 9 6 b y t e s f o r n o d e c o o r d i n a t e s , 5 1 2 b y t e s f o r t h e d i f f u s i o nm a t r i x , 6 4 b y t e s f o r t h e s o u r c e v e c t o r a s w e l l a s d a t a t o s t o r e t h eJ a c o b i a n a n d m a t r i x d e t e r m i n a n t . T h e F e r m i a r c h i t e c t u r e s u p p o r t su p t o 6 3 3 2 - b i t r e g i s t e r s p e r t h r e a d , l i m i t i n g t h e t o t a l r e g i s t e rs t o r a g e t o 2 5 2 b y t e s . T h u s a n y a d d i t i o n a l s t a t e w i l l b e s p i l l e d t o( a t l e a s t ) L 1 c a c h e a n d p o t e n t i a l l y f u r t h e r .

T h e L 1 c a c h e , u p t o 4 8 k B , i s s h a r e d b y 5 1 2 t h r e a d s , p r o v i d i n g( o n a v e r a g e ) 9 6 b y t e s t o e a c h t h r e a d . T h e L 2 c a c h e i s 7 6 8 k Bs h a r e d b y 8 1 9 2 t h r e a d s , a g a i n l e a v i n g o n l y 9 6 b y t e s o f s t o r a g e p e rt h r e a d . T h i s i s n o t s u f f i c i e n t t o s t o r e t h e o p e r a t o r s t a t e , s o r e g i s t e r sa r e s p i l l e d t o g l o b a l m e m o r y , c a u s i n g t h e c o m p u t a t i o n t o b e c o m eb a n d w i d t h b o u n d .

O n e m e t h o d t o i m p r o v e t h e p e r f o r m a n c e o f b a n d w i d t h b o u n dk e r n e l s i s t o i n c r e a s e t h e o c c u p a n c y . H o w e v e r , i n t h i s c a s e , t h e k e r -n e l ’ s o c c u p a n c y i s l i m i t e d b y r e g i s t e r u s a g e . S i n c e t h e r e g i s t e ru s a g e i s h i g h e r t h a n i s a v a i l a b l e i n h a r d w a r e i t i s n o t p o s s i b l e t o i n -c r e a s e t h i s o c c u p a n c y w i t h o u t f u r t h e r i n c r e a s i n g r e g i s t e r s p i l l i n g .

W e t u n e d t h e k e r n e l t o r e d u c e r e g i s t e r u s a g e , i n c l u d i n g a l g o -r i t h m i c c h a n g e s t h a t e x p l o i t i n g s y m m e t r y i n t h e d i f f u s i o n o p e r a t o ra n d r e o r d e r i n g c o m p u t a t i o n s s o t h a t d a t a i s l o a d e d i m m e d i a t e l yp r i o r t o b e i n g u s e d . W e h a v e a l s o a p p l i e d s e v e r a l t r a d i t i o n a l o p t i -m i z a t i o n t e c h n i q u e s i n c l u d i n g p o i n t e r r e s t r i c t i o n , i n l i n i n g o f f u n c -t i o n s , a n d u n r o l l i n g o f l o o p s . F i n a l l y , w e a l s o p o s i t i o n a p o r t i o n o ft h e s t a t e i n s h a r e d m e m o r y a n d e x p e r i m e n t e d w i t h L 1 c a c h e s i z e s .T h e b e s t p e r f o r m a n c e i s a c h i e v e d b y p l a c i n g t h e s o u r c e v e c t o r i n t os h a r e d m e m o r y a n d e n a b l i n g a l a r g e r L 1 c a c h e . W h i l s t t h e s e o p t i -m i z a t i o n s g r e a t l y r e d u c e r e g i s t e r s p i l l i n g , 5 1 2 b y t e s o f s t a t e i s s t i l ls p i l l e d p e r t h r e a d . T o e n s u r e f a i r c o m p a r i s o n , a l l o p t i m i z a t i o n s t h a tw e r e a p p l i c a b l e t o t h e o r i g i n a l C P U c o d e w e r e b a c k p o r t e d , a n d r e -s u l t e d i n i m p r o v e d C P U p e r f o r m a n c e .

T h e p e r f o r m a n c e o f t h e C U D A v e r s i o n o f m i n i F E w a s c o m p a r e dt o t h e M P I - p a r a l l e l v e r s i o n o f m i n i F E r u n n i n g o n a T e s l a M 2 0 9 0a n d a h e x - c o r e I n t e l X e o n 2 . 7 G H z E 5 - 2 6 8 0 , u s i n g v a r i o u s p r o b l e ms i z e s o f N 3 h e x a h e d r a l e l e m e n t s . T h e s p e e d u p f o r e a c h o f t h e t h r e ep h a s e s o f t h e a l g o r i t h m i s r e p o r t e d i n F i g . 8 .

T h e a s s e m b l y r e a l i z e s a f o u r t i m e s s p e e d u p a n d t h e s o l v ep h a s e i s t h r e e t i m e s f a s t e r . T h e g e n e r a t i o n o f t h e m a t r i x s t r u c t u r ee x h i b i t s a s l o w d o w n b e c a u s e i t i s c o m p u t e d o n t h e h o s t i n C S Rf o r m a t , t r a n s f e r r e d t o t h e d e v i c e , a n d t h e n c o n v e r t e d t o E L L f o r m a t .W h i l s t i t i s p o s s i b l e t o m o v e t h i s c o m p u t a t i o n t o t h e d e v i c e , t h i s i sa l o w p r i o r i t y b a s e d o n i t s c o n t r i b u t i o n t o t o t a l r u n t i m e .


F i g . 8 . S p e e d u p o f m i n i F E C U D A i m p l e m e n t a t i o n N V I D I A F e r m i M 2 0 9 0 v s . h e x - c o r e2 . 7 G H z E 5 - 2 6 8 0 .

F u t u r e g e n e r a t i o n s o f N V I D I A s y s t e m s a r e e x p e c t e d t o a d d r e s ss o m e o f t h e f i n d i n g s f r o m t h i s s t u d y , i n c l u d i n g a n i n c r e a s e dn u m b e r o f r e g i s t e r s p e r t h r e a d a n d i n c r e a s e s i n t h e s i z e o f L 1 a n dL 2 m e m o r i e s . I m p r o v e m e n t s i n t h e C U D A c o m p i l e r m a y a l s o l e a dt o a r e d u c t i o n i n t h e n u m b e r o f r e g i s t e r s p i l l s o r t h e i m p a c t t h a tr e g i s t e r s p i l l s w i l l h a v e o n e x e c u t i o n t i m e .

4 . E x p e r i m e n t a t i o n

W h i l e s m a l l t o m e d i u m s i z e d t e s t b e d s c a n b e u s e d t o g a i n m u c hn e e d e d e x p e r i e n c e w i t h n e w t e c h n o l o g i e s , m a n y i s s u e s w i l l o n l ym a n i f e s t t h e m s e l v e s a t r e l a t i v e l y l a r g e s c a l e s , m a k i n g i t n e c e s s a r yt o u s e f u l l s c a l e s y s t e m s , u s u a l l y r e s e r v e d f o r p r o d u c t i o n w o r k -l o a d s , a s f o r w a r d l o o k i n g ‘ ‘ t e s t b e d s ’ ’ . S h o r t p e r i o d s o f d e d i c a t e da c c e s s t o l a r g e s y s t e m s c a n p r o v i d e a w e a l t h o f u s e f u l d a t a . F o r e x -a m p l e , s u c h d e d i c a t e d t i m e c a n b e u s e d t o g a i n i n s i g h t i n t o a p p l i c a -t i o n b o t t l e n e c k s a n d t h e e f f e c t s o f s y s t e m s o f t w a r e o n a p p l i c a t i o np e r f o r m a n c e . O n e s t u d y [ 2 4 ] u s e d k e r n e l - l e v e l n o i s e i n j e c t t e c h -n i q u e s t o s t u d y t h e e f f e c t o f o p e r a t i n g s y s t e m ( O S ) n o i s e o n a p p l i -c a t i o n s . T h i s s t u d y w a s c a r r i e d o u t d u r i n g d e d i c a t e d s y s t e m t i m eu s i n g a c u s t o m m o d i f i e d k e r n e l t o i m p l e m e n t c o n t r o l l e d i n j e c t i o no f O S n o i s e . F u l l s c a l e a p p l i c a t i o n r u n s w e r e t h e n m a d e u s i n g t h em o d i f i e d k e r n e l a n d t h e e f f e c t s o f v a r i o u s n o i s e s i g n a t u r e s w e r es t u d i e d . S u c h s t u d i e s w o u l d h a v e b e e n i m p o s s i b l e w i t h o u t d e d i -c a t e d t i m e a n d t h e a b i l i t y t o m o d i f y t h e o p e r a t i n g s y s t e m u s e d o nt h e s u p e r c o m p u t e r .

I t i s a l s o d e s i r a b l e t o d o e m p i r i c a l e x p e r i m e n t a t i o n u s i n g c u r -r e n t s y s t e m s c o n f i g u r e d t o e m u l a t e t h e e x p e c t e d p e r f o r m a n c ec h a r a c t e r i s t i c s o f f u t u r e s y s t e m s . H a v i n g f l e x i b i l i t y i n s y s t e m c o n -f i g u r a t i o n e n a b l e s s p e c i f i c s t u d i e s , w h e r e t h e n u m b e r o f s y s t e mv a r i a t i o n s c a n b e m i n i m i z e d . T h i s a l l o w s t h e r e s e a r c h e r t o i s o l a t et h e e f f e c t s o f c h a n g i n g s p e c i f i c s y s t e m a t t r i b u t e s . T h e n e x t s e c t i o nb r i e f l y d e s c r i b e s h o w a C r a y X T 5 t e s t b e d s y s t e m w a s u s e d t o g a i ni n s i g h t i n t o t h e s e n s i t i v i t y o f s e v e r a l s c i e n t i f i c c o m p u t i n g a p p l i -c a t i o n s t o n e t w o r k i n j e c t i o n b a n d w i d t h . A m o r e d e t a i l e d d e s c r i p -t i o n i s p r o v i d e d e l s e w h e r e [ 2 5 ] . R e s u l t s f r o m e x p e r i m e n t s s u c h a st h e s e c a n b e u s e f u l f o r i n f o r m i n g a n a l y t i c m o d e l i n g e f f o r t s , v a l i -d a t i n g s i m u l a t i o n m o d e l s , a n d , u l t i m a t e l y , i n f l u e n c i n g t h e d e s i g no f f u t u r e s u p e r c o m p u t e r s y s t e m s a n d a p p l i c a t i o n s .

4 . 1 . B a n d w i d t h d e g r a d a t i o n s t u d i e s

A s a p r o o f - o f - c o n c e p t o f o u r a p p r o a c h , w e u s e d a s m a l l 1 6 0 -n o d e , 1 9 2 0 - c o r e C r a y X T 5 t e s t b e d s y s t e m t o e v a l u a t e a s e t o f p r o -d u c t i o n a p p l i c a t i o n s f r o m t h e D e p a r t m e n t o f E n e r g y ’ s A d v a n c e dS i m u l a t i o n a n d C o m p u t i n g ( A S C ) c o d e s u i t f o r t h e i r s e n s i t i v i t y t on e t w o r k i n j e c t i o n b a n d w i d t h . W o r k i n g w i t h C r a y , w e m o d i f i e d t h eX T 5 s y s t e m ’ s b o o t f i r m w a r e t o c o n f i g u r e e a c h c o m p u t e n o d e ’ s l i n kt o t h e n e t w o r k f o r r e d u c e d b a n d w i d t h . A l l o t h e r s y s t e m c h a r a c -t e r i s t i c s , s u c h a s c o m p u t e n o d e c o m p u t a t i o n a l p e r f o r m a n c e a n dm e m o r y b a n d w i d t h w e r e l e f t u n c h a n g e d .

T h e r e s u l t i n g e x p e r i m e n t a l p l a t f o r m w a s t h e n u s e d t o d i a l - i ns e v e r a l d i f f e r e n t n e t w o r k t o c o m p u t e s y s t e m b a l a n c e r a t i o s , a n de v a l u a t e t h e p e r f o r m a n c e o f t h e t e s t a p p l i c a t i o n s a t e a c h o p e r a t i n gp o i n t . T h e k e y b e n e f i t s o f t h i s a p p r o a c h a r e t h a t i t i s m u c h f a s t e rt h a n s o f t w a r e - b a s e d s i m u l a t i o n a n d t h a t f u l l - s c a l e a p p l i c a t i o nt e s t i n g c a n b e p e r f o r m e d , r a t h e r t h a n t h e s h o r t a p p l i c a t i o n t r a c e su s e d i n m o s t s i m u l a t i o n s t u d i e s . T h e k e y d i s a d v a n t a g e o f o u ra p p r o a c h i s t h a t i t i s o b v i o u s l y l i m i t e d i n h o w f a r t h e e m u l a t e df u t u r e s y s t e m c a n d i v e r g e f r o m t h e u n d e r l y i n g p h y s i c a l s y s t e m .

F i g . 9 p r e s e n t s r e s u l t s f o r f o u r a p p l i c a t i o n s : C T H , S A G E , x N O B E L ,a n d C h a r o n . E a c h a p p l i c a t i o n w a s e v a l u a t e d w i t h o u r e x p e r i m e n t a lp l a t f o r m c o n f i g u r e d f o r f u l l ( 3 . 2 G B / s ) , h a l f ( 1 . 6 G B / s ) , q u a r t e r( 8 0 0 M B / s ) , a n d e i g h t h ( 4 0 0 M B / s ) n e t w o r k i n j e c t i o n b a n d w i d t h s .T h e r e s u l t s a r e p r e s e n t e d a s p e r f o r m a n c e r e l a t i v e t o f u l l i n j e c t i o nb a n d w i d t h , a n d a r e t h e r e f o r e u n i t - l e s s . F o r e x a m p l e , a v a l u e o f1 . 5 i n d i c a t e s t h a t t h e p e r f o r m a n c e m e a s u r e d w i t h t h e d e g r a d e di n j e c t i o n b a n d w i d t h c o n f i g u r a t i o n w a s 1 . 5 t i m e s s l o w e r t h a n w i t hn o d e g r a d a t i o n .

T h e r e s u l t s s h o w t h a t e a c h a p p l i c a t i o n i s a f f e c t e d b y t h e r e d u c -t i o n i n n e t w o r k b a n d w i d t h d i f f e r e n t l y . C h a r o n , w h i c h i s a s e m i -c o n d u c t o r d e v i c e s i m u l a t i o n c o d e , i s k n o w n t o b e s e n s i t i v e t oc o m m u n i c a t i o n l a t e n c y a n d s e n d s m a n y s m a l l m e s s a g e s . T h e e x -p e r i m e n t a l r e s u l t s c o n f i r m t h i s , s h o w i n g C h a r o n t o b e e s s e n t i a l l yu n i m p a c t e d b y n e t w o r k i n j e c t i o n b a n d w i d t h . I t w o u l d t h e r e f o r e b ep o s s i b l e t o s a v e c o n s i d e r a b l e n e t w o r k p o w e r f o r t h i s a p p l i c a t i o n ,s i n c e n e t w o r k p o w e r u s a g e i s p r o p o r t i o n a l t o b a n d w i d t h .

O n t h e o t h e r h a n d , C T H a n d S A G E a r e m o r e s t r o n g l y i m p a c t e db e c a u s e t h e y s e n d r e l a t i v e l y l a r g e m e s s a g e s t h a t m u s t c o m p l e t eb e f o r e m o v i n g o n t o t h e n e x t t i m e s t e p . F o r e x a m p l e , t h e e x p e r i -m e n t a l r e s u l t s s h o w o v e r a f a c t o r o f t w o s l o w d o w n f o r C T H w h e nt h e s y s t e m i s c o n f i g u r e d f o r o n e - e i g h t h n e t w o r k i n j e c t i o n b a n d -w i d t h . T h i s w o u l d l i k e l y n o t b e a g o o d p o w e r - p e r f o r m a n c e t r a d e -o f f , s i n c e i t w o u l d r e p r e s e n t a 3 0 % p o w e r s a v i n g f o r a 1 0 0 % i n c r e a s ei n r u n t i m e , a s s u m i n g a s y s t e m w i t h a n e q u a l p o w e r s p l i t b e t w e e nC P U , m e m o r y , a n d n e t w o r k . T h e m o s t e n e r g y e f f i c i e n t c o n f i g u r a -t i o n w o u l d i n f a c t b e t h e o n e w i t h f u l l b a n d w i d t h . T h e x N O B E L r e -s u l t s s h o w a s i m i l a r f a l l o f f p a s t 3 8 4 c o r e s , l i k e l y d u e t o t h e l o s s o ft h e a b i l i t y t o o v e r l a p c o m p u t a t i o n a n d c o m m u n i c a t i o n .

O u r o n g o i n g w o r k i n v o l v e s e x t e n d i n g o u r p r o o f - o f - c o n c e p ts t u d y t o a m u c h l a r g e r m a c h i n e , s u c h a s t h e 1 4 3 K c o r e C i e l os y s t e m . E v e n t h e s m a l l - s c a l e r e s u l t s p r e s e n t e d h e r e a r e e n -l i g h t e n i n g , a n d p r o v i d e m o t i v a t i o n f o r s o m e f o r m o f n e t w o r kp o w e r - p e r f o r m a n c e c o n f i g u r a b i l i t y i n f u t u r e s y s t e m s . T h e p l a n n e dl a r g e r - s c a l e e x p e r i m e n t s w i l l p r o v i d e f u r t h e r e v i d e n c e a n d , w eh o p e , p r o v i d e u s e f u l i n p u t f o r t h e c o - d e s i g n p r o c e s s l e a d i n g u p t oe x a s c a l e s y s t e m s .

5 . P r e d i c t i o n

I t h a s b e e n s a i d t h a t i t i s d i f f i c u l t t o m a k e p r e d i c t i o n s , e s p e -c i a l l y a b o u t t h e f u t u r e . T h i s i s p a r t i c u l a r l y t r u e i n H i g h P e r f o r m a n c eC o m p u t e r a r c h i t e c t u r e , w h e r e e v e n m a k i n g ‘ ‘ p r e d i c t i o n s ’ ’ a b o u tt h e p r e s e n t i s a n o t o r i o u s l y d i f f i c u l t p r o b l e m . M a n y o f t h e g r e a ta d v a n c e m e n t s i n a r c h i t e c t u r e , w h i c h h a v e i m p r o v e d a v e r a g e p e r -f o r m a n c e , h a v e c o m e a t t h e c o s t o f i n c r e a s i n g s y s t e m c o m p l e x i t ya n d d e c r e a s i n g t r a n s p a r e n c y . B r a n c h p r e d i c t o r s , m e m o r y p r e f e t c h -e r s , c a c h e s , a d a p t i v e r o u t i n g , e v e n p a r a l l e l c o m p u t i n g i t s e l f h a v e a l lm a d e i t m o r e d i f f i c u l t t o u n d e r s t a n d , r e a s o n a b o u t , a n d p r e d i c t t h ep e r f o r m a n c e o f m o d e r n c o m p u t e r s .

F o r H P C s y s t e m s , t h e p r e d i c t i o n p r o b l e m i s c o m p l i c a t e d b y an u m b e r o f f a c t o r s .• S c a l e : T h e s i z e o f H P C s y s t e m s h a s b e e n s t e a d i l y g r o w i n g . T h e

n u m b e r o f p r o c e s s o r c o r e s , n o d e s , a n d t h r e a d s i n a l a r g e H P Cs y s t e m h a s b e e n i n c r e a s i n g m u c h f a s t e r t h a n M o o r e ’ s L a w . B e -c a u s e d e t a i l e d s i m u l a t i o n i s m u c h s l o w e r t h a n a c t u a l h a r d -w a r e , t h e a b i l i t y t o s i m u l a t e l a r g e s y s t e m s h a s a l w a y s l a g g e d


( a ) C T H . ( b ) S A G E .

( c ) x N O B E L . ( d ) C h a r o n .

F i g . 9 . A p p l i c a t i o n r e s u l t s .

a c t u a l s y s t e m d e p l o y m e n t s . S i m u l a t o r s a n d m o d e l s m u s t a b -s t r a c t a w a y m a n y d e t a i l s o f m a c h i n e p e r f o r m a n c e t o p r o v i d et i m e l y p r e d i c t i o n s .

• A u d i e n c e : T r a d i t i o n a l l y , s y s t e m p e r f o r m a n c e p r e d i c t i o n w a s t h ed o m a i n o f s y s t e m a r c h i t e c t s . H o w e v e r , w i t h c o - d e s i g n a p p l i -c a t i o n s a n d a l g o r i t h m s , w r i t e r s a l s o n e e d a c c e s s t o p r e d i c t i o n sa b o u t f u t u r e s y s t e m s a n d n e e d t o s t a r t r e a s o n i n g a b o u t h o w t op r o g r a m t h e m . A d d i t i o n a l l y , p r o c u r e m e n t a g e n c i e s n e e d p r e -d i c t i v e c a p a b i l i t i e s t o m a k e d e c i s i o n s o n f u t u r e m a c h i n e p u r -c h a s e s a n d t e c h n o l o g y i n v e s t m e n t s . L a n g u a g e , r u n t i m e , a n d O Sd e v e l o p e r s a l s o n e e d t o u n d e r s t a n d h o w f u t u r e m a c h i n e s w i l lp e r f o r m a n d b e p r o g r a m m e d . S i m u l a t o r s a n d m o d e l s m u s t b ea c c e s s i b l e t o a n u m b e r o f a u d i e n c e s .

• C o m p l e x i t y : T h e s e t o f H P C a p p l i c a t i o n s i s g e t t i n g m o r e c o m -p l e x . T r a d i t i o n a l p h y s i c s a p p l i c a t i o n s h a v e m o v e d f r o m 1 D t o2 D t o 3 D a n d a r e n o w b e c o m i n g c o u p l e d m u l t i - p h y s i c s a p p l i -c a t i o n s w i t h g r e a t e r a d a p t i v i t y , l o a d b a l a n c i n g , a n d v i s u a l i z a -t i o n / a n a l y s i s r e q u i r e m e n t s . A d d i t i o n a l l y , n e w a p p l i c a t i o n a r e a ss u c h a s i n f o r m a t i c s a r e e m e r g i n g i n t h e H P C s p a c e . T h e s e n e wa p p l i c a t i o n a r e a s m a y n o t m a p w e l l t o e x i s t i n g p r o g r a m m i n gm o d e l s a n d p r a c t i c e s . S i m u l a t o r s a n d m o d e l s m u s t b e f l e x i b l ee n o u g h t o m o d e l e m e r g i n g a p p l i c a t i o n s .

• O b j e c t i v e f u n c t i o n s : I n a d d i t i o n t o p e r f o r m a n c e , s y s t e m s m u s t b eo p t i m i z e d w i t h a g r o w i n g n u m b e r o f n e w o b j e c t i v e f u n c t i o n s .S e v e r a l s t u d i e s h a v e e s t i m a t e d t h a t a n e x a s c a l e - c l a s s s u p e r -c o m p u t e r w i l l r e q u i r e 1 0 0 s o f M e g a w a t t s o f p o w e r u n l e s s t h es y s t e m i s r e o r g a n i z e d i n a n u m b e r o f w a y s [ 2 6 , 2 7 ] . A s t h e s e s y s -t e m s i n c r e a s e i n s i z e , t h e s h e e r n u m b e r o f c o m p o n e n t s t h r e a t -e n s o v e r a l l s y s t e m r e l i a b i l i t y . N e w p a c k a g i n g t e c h n i q u e s s u c ha s 3 D s t a c k i n g o r S i l i c o n c a r r i e r s , m a y h a v e a n i m p a c t o n s y s -t e m t e m p e r a t u r e . A c c u r a t e t e m p e r a t u r e m o d e l i n g i s r e q u i r e df o r a c c u r a t e p o w e r a n d e n e r g y m o d e l i n g d u e t o i t s e f f e c t o n

l e a k a g e c u r r e n t . T e m p e r a t u r e a l s o i m p a c t s r e l i a b i l i t y b y l e a d -i n g t o e l e c t r o m i g r a t i o n a n d d i e l e c t r i c b r e a k d o w n f a i l u r e s . S o m ef a i l u r e m o d e s , s u c h a s m e c h a n i c a l f a i l u r e s , a r e d e p e n d e n t i nt e m p e r a t u r e h i s t o r y a n d t h e n u m b e r o f t h e r m a l c y c l e s [ 2 8 ] . T h em o s t c r i t i c a l o b j e c t i v e f u n c t i o n m a y a l s o b e t h e m o s t d i f f i c u l t t om e a s u r e : C o s t . I n a d d i t i o n t o t e c h n i c a l f a c t o r s ( c h i p a r e a , y i e l dr a t e s , p i n c o u n t s ) , m a r k e t f o r c e s c a n p l a y a m a j o r r o l e a s c a nt r a n s i e n t d i s a s t e r s ( e . g . t h e 2 0 1 1 m o n s o o n f l o o d s i n T h a i l a n dc a u s e d g l o b a l h a r d d i s k p r i c e s t o i n c r e a s e b y 2 0 % – 4 0 % ) . S i m u l a -t o r s a n d m o d e l s m u s t a d d r e s s a g r o w i n g n u m b e r o f e v a l u a t i o nc r i t e r i a f o r H P C s y s t e m s .

• P r o p r i e t a r y d a t a : C o m m e r c i a l h a r d w a r e v e n d o r s o f t e n k e e p s e -c r e t c r i t i c a l i m p l e m e n t a t i o n c h o i c e s w h i c h h a v e a m a j o r i m p a c to n p e r f o r m a n c e . T h i s l a c k o f i n f o r m a t i o n h a s a s e v e r e i m p a c t o nt h e a c c u r a c y o f s i m u l a t i o n s a n d m a k e s i t d i f f i c u l t t o m o d e l e x -i s t i n g s y s t e m s .

T o m i t i g a t e t h e s e h u r d l e s , a d e s i g n s p a c e e x p l o r a t i o n n e e d s t ou s e m u l t i p l e m o d e l s o f t h e s y s t e m a n d m u l t i p l e p r e d i c t i o n t e c h -n i q u e s . T h e s e t e c h n i q u e s r a n g e f r o m ‘ ‘ B a c k o f t h e E n v e l o p e ’ ’ e s -t i m a t e s a n d ‘ ‘ s p r e a d s h e e t m o d e l s ’ ’ t o s i m u l a t i o n a n d h a r d w a r ep r o t o t y p i n g . T h e s e e f f o r t s r e q u i r e c l o s e c o l l a b o r a t i o n a n d c o n s u l -t a t i o n w i t h s e m i c o n d u c t o r f a b r i c a t i o n a n d p a c k a g i n g g r o u p s t oa l l o w u n d e r s t a n d i n g o f e m e r g i n g t e c h n o l o g i e s s u c h a s 3 D d i es t a c k i n g , s i l i c o n p h o t o n i c s , a n d s u b t h r e s h o l d c i r c u i t s .

F o r e a c h o f t h e s e p r e d i c t i o n t e c h n i q u e s , a d e s i g n t e a m r e q u i r e sd i f f e r e n t r e p r e s e n t a t i o n s o f b o t h t h e a p p l i c a t i o n p r o b l e m a n d t h eh a r d w a r e a s w e l l a s d i f f e r e n t s e t s o f t o o l s . T o m e e t t h e s e n e e d s ,w e c a n u s e t e c h n i q u e s s u c h a s m i n i - a p p l i c a t i o n s ( e . g . M a n t e v o ,S e c t i o n 2 . 1 ) , A b s t r a c t M a c h i n e M o d e l s ( A M M s ) ( S e c t i o n 5 . 1 ) , a n dS i m u l a t i o n f r a m e w o r k s , s u c h a s t h e S t r u c t u r a l S i m u l a t i o n T o o l k i t( S S T ) ( S e c t i o n 5 . 2 ) .


F i g . 1 0 . A p p l i c a t i o n p e r f o r m a n c e w i t h d i f f e r e n t m e m o r y s y s t e m s .

5 . 1 . A b s t r a c t m a c h i n e m o d e l s

A n A b s t r a c t M a c h i n e M o d e l ( A M M ) i s a s i m p l i f i e d d e s c r i p t i o no f a c o m p u t e r s y s t e m t h a t a l l o w s r e a s o n i n g a b o u t t h a t s y s t e m .

S u c h a m o d e l m a y t a k e m a n y f o r m s . I t m a y b e s t a n d a r d i z e d a n dm a c h i n e p a r s a b l e o r m a y b e a n i n f o r m a l d e s c r i p t i o n f o r u s e r s o f as y s t e m . T h e r e m a y b e m u l t i p l e m o d e l s f o r a m a c h i n e a t m u l t i p l er e s o l u t i o n s a n d m u l t i p l e l e v e l s o f a b s t r a c t i o n . T h e s e m o d e l s m a yh a v e d e t a i l s o n t h e l a t e n c i e s a n d b a n d w i d t h s o f d i f f e r e n t s y s t e mc o m p o n e n t s o r o t h e r c h a r a c t e r i s t i c s s u c h a s t h e p o w e r a n d e n e r g yc o s t o f d i f f e r e n t o p e r a t i o n s o r r e l i a b i l i t y p r o p e r t i e s l i k e f a i l u r em o d e s a n d f r e q u e n c i e s o r s o f t e r r o r r a t e s .

S o m e e x i s t i n g e x a m p l e s o f A b s t r a c t M a c h i n e m o d e l s :

• C o m p i l e r m a c h i n e m o d e l s : G C C a n d o t h e r m u l t i - p l a t f o r m c o m -p i l e r s w i l l o f t e n i n c l u d e a m a c h i n e m o d e l t h a t d e s c r i b e s t h ep r o c e s s o r c o r e , i n c l u d i n g i n t e r n a l l a t e n c i e s a n d i n s t r u c t i o n s u p -p o r t .

• T o o l m o d e l s : T h e i n p u t f i l e s t o c o m m o n l y u s e d s i m u l a t o r s o r d e -s i g n t o o l s s u c h a s S i m p l e s c a l a r o r M c P A T r e p r e s e n t a t y p e o fm a c h i n e m o d e l . T h e s e m o d e l s a r e o f t e n v e r y s p e c i f i c a n d a r eu s e d a s t h e i n p u t t o t o o l s l i k e p e r f o r m a n c e a n a l y z e r s , a d a p t i v er u n t i m e s , c o m p i l e r s , a n d s i m u l a t o r s .

• A n a l y t i c a l m o d e l s : A b s t r a c t m a t h e m a t i c a l m o d e l s s u c h a s t h eP R A M a l g o r i t h m i c c o m p l e x i t y o r L o g P n e t w o r k p e r f o r m a n c em o d e l p r o v i d e v e r y s i m p l e , b u t p o t e n t i a l l y u s e f u l t o o l s t o r e a -s o n a b o u t a n d e s t i m a t e p e r f o r m a n c e . E d u c a t i o n a l o r t h e o r e t i c a lm o d e l s l i k e t h e v o n N e u m a n n a r c h i t e c t u r e , K n u t h M I X , o r P a t -t e r s o n D L X a l s o f a l l i n t h i s c a t e g o r y . U s u a l l y t h e s y s t e m i s c h a r -a c t e r i z e d b y a s m a l l n u m b e r o f p a r a m e t e r s , a l l o w i n g s i m p l e a n de a s y a n a l y s i s .

• D e t a i l e d : I S A a n d P r i n c i p l e s o f O p e r a t i o n m a n u a l s c a n p r o v i d ev e r y d e t a i l e d d e s c r i p t i o n s o f e x a c t l y h o w a m a c h i n e w o r k s a n di t s c a p a b i l i t i e s .

M a n y o f t h e s e m o d e l s a r e f o c u s e d o n o n l y o n e p a r t o f t h e s y s t e m( e . g . a c o m p i l e r m a c h i n e m o d e l o n l y a d d r e s s e s t h e p r o c e s s o r ) , a n dm a y n e g l e c t o t h e r p a r t s o f t h e s y s t e m ( m e m o r y , n e t w o r k , I O ) .

L i k e a n y m o d e l , i t i s d i f f i c u l t t o p r o d u c e a c o m p l e t e A M M b e f o r ey o u s t a r t r e a s o n i n g a b o u t t h e s y s t e m . I n s t e a d , i t i s c r e a t e d a n dr e f i n e d t h r o u g h o u t t h e d e s i g n p r o c e s s . T h e a b i l i t y t o e v o l v e am a c h i n e m o d e l i s c r i t i c a l , e s p e c i a l l y w h e n p e r f o r m i n g d e s i g n s p a c ee x p l o r a t i o n f o r f u t u r e m a c h i n e s b e c a u s e t h e c o - d e s i g n p r o c e s si s f i l l e d w i t h m o v i n g t a r g e t s l i k e t h e a p p l i c a t i o n s , a r c h i t e c t u r e s ,f a b r i c a t i o n p r o c e s s e s , e t c .

5 . 2 . S t r u c t u r a l s i m u l a t i o n t o o l k i t

F u t u r e E x a s c a l e S y s t e m s m u s t i n c o r p o r a t e s u b s t a n t i a l a d v a n c e si n e x e c u t i o n m o d e l , s y s t e m a r c h i t e c t u r e , p r o c e s s o r a r c h i t e c t u r e ,i n t e r c o n n e c t , m e m o r y , I / O a n d s y s t e m s o f t w a r e . C o h e r e n t e x p l o -r a t i o n o f t h i s d e s i g n s p a c e w i l l r e q u i r e a c o m m o n s i m u l a t i o n p l a t -f o r m t o e n a b l e t h e m u l t i d i m e n s i o n a l h a r d w a r e / s o f t w a r e c o - d e s i g n

r e q u i r e d b y a p r o j e c t o f t h i s s c o p e . T o m e e t t h e s e r e q u i r e m e n t s , an u m b e r o f i n s t i t u t i o n s h a v e b e e n d e v e l o p i n g t h e S t r u c t u r a l S i m -u l a t i o n T o o l k i t ( S S T [ 2 9 , 3 0 ] ) a s a c o m m o n p l a t f o r m f o r c o - d e s i g n .T h e S S T p r o v i d e s a s c a l a b l e p a r a l l e l a r c h i t e c t u r a l s i m u l a t o r f o r s i m -u l a t i n g t h e h u g e n u m b e r s o f a r c h i t e c t u r a l c o m p o n e n t s i n a n e x a s -c a l e s y s t e m . T h e S S T c o n t a i n s i n t e r f a c e s t o a v a r i e t y o f t e c h n o l o g ym o d e l s f o r e s t i m a t i n g p o w e r a n d o t h e r s y s t e m c h a r a c t e r i s t i c s . I ti s c o n s t r u c t e d i n a m o d u l a r f a s h i o n a n d c o n t a i n s a m i x o f a b s t r a c ta n d d e t a i l e d m o d e l s f o r p r o c e s s o r s , m e m o r y s y s t e m s , a n d i n t e r -c o n n e c t i o n n e t w o r k s [ 3 1 – 3 5 ] .

M a n y o t h e r a r c h i t e c t u r a l s i m u l a t o r s , s u c h a s M 5 [ 3 6 ] , N S - 3[ 3 7 ] , a n d A - S I M [ 3 8 ] , a r e i n w i d e s p r e a d u s e f o r d e s i g n i n g s y s t e mc o m p o n e n t s . I n a d d i t i o n , t h e r e i s a l o n g h i s t o r y o f p a c k a g e s t om o d e l p o w e r d i s s i p a t i o n [ 3 9 , 4 0 ] . T h e n o v e l a p p r o a c h o f S S T i st o i n c l u d e s e v e r a l i n d i v i d u a l c o m p o n e n t m o d e l s i n a p a r a l l e l ,s c a l a b l e , a n d o p e n - s o u r c e f r a m e w o r k .

5 . 2 . 1 . E x a m p l e d e s i g n s p a c e e x p l o r a t i o nS i m u l a t o r s l i k e t h e S S T , w h e n c o m b i n e d w i t h m i n i a p p s , a l l o w

f a s t a n d e f f i c i e n t d e s i g n s p a c e e x p l o r a t i o n . T h i s p r o c e s s c a n b e u s e dt o m a k e d e c i s i o n s s u c h a s w h i c h m e m o r y t e c h n o l o g y a n d p r o c e s -s o r c o r e i s b e s t s u i t e d t o a g i v e n p r o b l e m . O n e s u c h e x p e r i m e n tl o o k e d a t t h e i m p a c t o f d i f f e r e n t m e m o r y t e c h n o l o g i e s ( D D R 2 ,D D R 3 , a n d G D D R 5 ) , a n d p r o c e s s o r c o r e i s s u e w i d t h s ( 1 , 2 , 4 , 8w i d e i s s u e ) o n t h e p o w e r , p e r f o r m a n c e , a n d c o s t o f t h e H P C C G a n dL u l e s h [ 4 1 ] m i n i a p p s .

F o r t h i s e x p l o r a t i o n , t h e S S T s i m u l a t o r w a s u s e d w i t h t h e G e M 5 /x 8 6 p r o c e s s o r m o d e l a n d D R A M S i m 2 m e m o r y m o d e l . P o w e r e s t i -m a t e s w e r e d o n e w i t h D R A M S i m 2 ’ s i n t e r n a l m o d e l s a n d M c P A Tf o r t h e p r o c e s s o r . C o s t e s t i m a t e s w e r e d o n e u s i n g t h e I C K n o w l -e d g e [ 4 2 ] c h i p c o s t e s t i m a t i o n p r o g r a m a n d m e m o r y c o s t s f r o mt h e D R A M S p o t P r i c e I n d e x ( w w w . d r a m e x c h a n g e . c o m ) .

T h e m e m o r y s y s t e m o p t i o n s c o m p a r e d D D R 2 ( c h e a p , l o wp o w e r , b u t a n t i q u a t e d p e r f o r m a n c e ) , D D R 3 ( h i g h e r p e r f o r m a n c e ,r e a s o n a b l e p o w e r ) , a n d G D D R 5 ( e x p e n s i v e , h i g h p o w e r , v e r y h i g hb a n d w i d t h ) .

B a s e d s o l e l y o n p e r f o r m a n c e ( F i g . 1 0 ) , G D D R 5 p r o v i d e s a m u c hb e t t e r s o l u t i o n . A c r o s s a r a n g e o f p r o c e s s o r c o r e w i d t h s , G D D R 5w a s 2 6 % – 4 7 % f a s t e r t h a n D D R 3 ( o n L u l e s h ) a n d 3 2 % – 4 1 % f a s t e rt h a n D D R 3 ( o n H P C C G ) . E x a m i n e d o n l y f r o m t h i s p e r s p e c t i v e ,G D D R 5 w o u l d b e t h e c l e a r w i n n e r .

H o w e v e r , t h o u g h G D D R p r o v i d e s b e t t e r r a w p e r f o r m a n c e ,D D R 3 g e n e r a l l y h a s b e t t e r p e r f o r m a n c e p e r W a t t . O n b o t h m i n i -a p p s D D R 3 ’ s p e r f o r m a n c e p e r W a t t i s r o u g h l y e q u a l t o G D D R 5 f o rw i d e p r o c e s s o r c o r e s a n d u p t o 1 0 7 % h i g h e r f o r n a r r o w p r o c e s s o r s( F i g . 1 1 ) .

P e r f o r m a n c e p e r D o l l a r w a s a l s o m o r e v a r i e d . F o r L u l e s h , D D R 3w a s b e t t e r t h e n G D D R 5 f o r n a r r o w c o r e s ( 1 – 2 w i d e ) , r o u g h l y t h es a m e a t 4 - w i d e a n d w o r s e f o r 8 - w i d e . F o r H P C C G , D D R 3 w a s b e t t e rf o r 1 – 4 w i d e c o r e s , b u t l o s t o u t f o r 8 - w i d e ( s e e F i g . 1 2 ) .

S i m i l a r e f f e c t s c a n b e s e e n w i t h p r o c e s s o r i s s u e w i d t h . W i d e rp r o c e s s o r c o r e s c a n i s s u e m o r e i n s t r u c t i o n s / c y c l e a n d a l w a y s p e r -f o r m b e t t e r t h a n n a r r o w c o r e s . H o w e v e r , w i d e c o r e s c o n s u m e


F i g . 1 1 . P o w e r a n d c o s t w i t h d i f f e r e n t m e m o r y s y s t e m s .

F i g . 1 2 . C o s t a n d p o w e r e f f i c i e n c y f o r d i f f e r e n t p r o c e s s o r i s s u e w i d t h s .

m o r e a r e a a n d p o w e r . O f t e n t h e i n c r e a s e i n p e r f o r m a n c e i s l i n e a r o rs u b - l i n e a r , w h i l e t h e i n c r e a s e i n c o s t a n d a r e a i s s u p e r - l i n e a r . T h i si s b e c a u s e m a n y p r o c e s s o r s t r u c t u r e s s c a l e s u p e r - l i n e a r l y w i t h t h ep r o c e s s o r ’ s i s s u e w i d t h . F o r e x a m p l e , r e g i s t e r f i l e e n e r g y p e r a c c e s sa n d a r e a s c a l e s a t r o u g h l y O ( w 1 . 8 ) [ 4 3 ] . C h i p c o s t i s d i r e c t l y r e l a t e dt o a r e a b e c a u s e a s c h i p a r e a i n c r e a s e s t h e n u m b e r o f c h i p s t h a t c a nf i t o n a w a f e r d e c r e a s e s . A l s o , b e c a u s e o f t h e d i s t r i b u t i o n o f d e f e c t so n a w a f e r , l a r g e r c h i p s t e n d t o h a v e m u c h l o w e r m a n u f a c t u r i n gy i e l d s .

I n o u r s i m u l a t i o n s , w i d e r p r o c e s s o r s w e r e i n d e e d f a s t e r . O nL u l e s h , a n 8 - w i d e p r o c e s s o r w a s 7 8 % f a s t e r t h a n a s i n g l e - i s s u e c o r e .H o w e v e r , i t a l s o u s e d 1 2 3 % m o r e p o w e r . I n g e n e r a l , f o r b o t h a p p s ,1 – 2 w i d e c o r e s w e r e t h e m o s t p o w e r e f f i c i e n t a n d 2 – 4 w i d e c o r e sw e r e t h e m o s t c o s t e f f i c i e n t .

S o , w h i l e w i d e r c o r e s r e q u i r e a s h o r t e r t i m e t o r e a c h a s o l u t i o n ,t h e y t e n d t o r e q u i r e m u c h m o r e e n e r g y t o r e a c h a s o l u t i o n .

5 . 2 . 2 . R o l e o f s i m u l a t i o n i n c o - d e s i g nT h e s e s i m p l e d e s i g n s p a c e e x p l o r a t i o n s s h o w t h a t t h e f a s t e s t

m e m o r y t e c h n o l o g y i s n o t a l w a y s t h e b e s t ( D D R b e a t s G D D R ) d u et o p o w e r a n d c o s t c o n c e r n s . A d d i t i o n a l l y , i t i s h a r d t o d e c l a r e as i n g l e ‘ ‘ b e s t ’ ’ p r o c e s s o r b e c a u s e o f t h e c o m p l e x t r a d e o f f s b e t w e e nc o s t , p e r f o r m a n c e , a n d p o w e r .

S i m u l a t i o n s c a n p r o v i d e a b e t t e r u n d e r s t a n d i n g o f w h i c hc o n f i g u r a t i o n s a r e b e s t f o r a g i v e n a p p l i c a t i o n a n d c a n b e u s e d a s ab a s i s f o r a p p l i c a t i o n o p t i m i z a t i o n a n d v e n d o r g u i d a n c e .

6 . C o n c l u s i o n s

A m e t h o d o l o g y f o r c o m p a r i n g a m i n i - a p p l i c a t i o n a n d a f u l la p p l i c a t i o n c o d e w a s p o s t u l a t e d . I t w a s u s e d t o s t u d y d i f f e r e n c e sb e t w e e n a f i n i t e - e l e m e n t m i n i a p p a n d a d e v i c e p h y s i c s c o d e . T h em i n i a p p d i d r e m a r k a b l y w e l l o n s e n s i t i v i t y t o m e m o r y b a n d w i d t h ;t h e r e w a s g r e a t e r v a r i a t i o n b e t w e e n t h e a p p l i c a t i o n c o d e a n d t h em i n i - a p p l i c a t i o n o n c a c h e b e h a v i o r .

A v a r i e t y o f a d v a n c e d a r c h i t e c t u r e t e s t b e d s a r e b e i n g u s e dt o s t u d y p e r f o r m a n c e i s s u e s o f k e y a l g o r i t h m s . T h e s e s t u d i e s

a r e h e l p i n g g u i d e a l g o r i t h m s r e s e a r c h a n d a r e p r o v i d i n g u s e f u lf e e d b a c k t o c o m p u t e r a r c h i t e c t s . E x c e l l e n t p e r f o r m a n c e w a so b t a i n e d f o r a v e r y c h a l l e n g i n g f i n i t e - e l e m e n t m i n i - a p p l i c a t i o n o na N v i d i a G P U . R e g i s t e r s p i l l i n g w a s i d e n t i f i e d a s a k e y i s s u e t h a tm u s t , i n t h e f u t u r e , b e o v e r c o m e t h r o u g h a r c h i t e c t u r e a n d s y s t e ms o f t w a r e e n h a n c e m e n t s , a s w e l l a s t h r o u g h a l g o r i t h m s r e s e a r c h .

N e t w o r k b a n d w i d t h d e g r a d a t i o n s t u d i e s o n s u p e r c o m p u t e r sa r e h e l p i n g d e f i n e n e t w o r k r e q u i r e m e n t s f o r f u t u r e s y s t e m s . T h e s es t u d i e s a r e a l s o h e l p i n g i d e n t i f y m e t h o d s f o r i m p r o v i n g a p p l i c a t i o np e r f o r m a n c e .

A n d f i n a l l y , v a l i d a t e d h a r d w a r e / s o f t w a r e c o - s i m u l a t i o n t o o l sa r e n e e d e d t o e n a b l e c o - d e s i g n . O n e s u c h m u l t i - f i d e l i t y s o f t w a r et o o l , t h e S t r u c t u r a l S i m u l a t i o n T o o l k i t , w a s d e s c r i b e d i n t h i s p a p e r .I n i t i a l v a l i d a t i o n r e s u l t s a r e e n c o u r a g i n g . S e v e r a l a r c h i t e c t u r es t u d i e s u s i n g S S T w e r e a l s o d i s c u s s e d .

A c k n o w l e d g m e n t s

S u p p o r t f o r t h i s w o r k w a s p r o v i d e d t h r o u g h t h e A d v a n c e d S i m -u l a t i o n a n d C o m p u t i n g ( A S C ) p r o g r a m f u n d e d b y U S D e p a r t m e n to f E n e r g y ’ s N a t i o n a l N u c l e a r S e c u r i t y A g e n c y , a n d t h r o u g h t h e S c i -e n t i f i c D i s c o v e r y t h r o u g h A d v a n c e d C o m p u t i n g ( S c i D A C ) p r o g r a mf u n d e d b y t h e U S D e p a r t m e n t o f E n e r g y ’ s O f f i c e o f A d v a n c e d S c i -e n t i f i c C o m p u t i n g R e s e a r c h .

S a n d i a N a t i o n a l L a b o r a t o r i e s i s a m u l t i - p r o g r a m l a b o r a t o r ym a n a g e d a n d o p e r a t e d b y S a n d i a C o r p o r a t i o n , a w h o l l y o w n e ds u b s i d i a r y o f L o c k h e e d M a r t i n C o r p o r a t i o n , f o r t h e U S D e p a r t m e n to f E n e r g y ’ s N a t i o n a l N u c l e a r S e c u r i t y A d m i n i s t r a t i o n u n d e r c o n -t r a c t D E - A C 0 4 - 9 4 A L 8 5 0 0 0 .

R e f e r e n c e s

[ 1 ] R . S t e v e n s , A . W h i t e , S . D o s a n j h , e t a l . , S c i e n t i f i c g r a n d c h a l l e n g e s : a r c h i t e c -t u r e s a n d t e c h n o l o g y f o r e x t r e m e - s c a l e c o m p u t i n g r e p o r t , T e c h n i c a l R e p o r t ,2 0 1 1 .

[ 2 ] I T R S I n t e r n a t i o n a l R o a d m a p C o m m i t t e e , I n t e r n a t i o n a l T e c h n o l o g y R o a d m a pf o r S e m i c o n d u c t o r s , 2 0 1 1 .


[ 3 ] J . A n g , e t a l . , E x a s c a l e c o m p u t i n g a n d t h e r o l e o f c o - d e s i g n , i n : H i g h P e r f o r -m a n c e C o m p u t i n g : F r o m G r i d s a n d C l o u d s t o E x a s c a l e , I O S P r e s s I n c . , 2 0 1 1 ,p p . 4 3 – 6 4 .

[ 4 ] M . H e r o u x , D . D o e r f l e r , P . C r o z i e r , J . W i l l e n b r i n g , H . E d w a r d s , A . W i l l i a m s , M .R a j a n , E . K e i t e r , H . T h o r n q u i s t , R . N u m r i c h , I m p r o v i n g p e r f o r m a n c e v i a m i n i -a p p l i c a t i o n s , T e c h n i c a l R e p o r t S A N D 2 0 0 9 - 5 5 7 4 , S a n d i a N a t i o n a l L a b o r a t o r i e s ,2 0 0 9 .

[ 5 ] A . G e i s t , S . D o s a n j h , I E S P e x a s c a l e c h a l l e n g e : c o - d e s i g n o f a r c h i t e c t u r e s a n d a l -g o r i t h m s , I n t e r n a t i o n a l J o u r n a l o f H i g h P e r f o r m a n c e C o m p u t i n g A p p l i c a t i o n s2 3 ( 2 0 0 9 ) 4 0 1 – 4 0 2 .

[ 6 ] R . B a r r e t t , P . C r o z i e r , S . H a m m o n d , M . H e r o u x , P . L i n , T . T r u c a n o , C . V a u g h a n ,A s s e s s i n g t h e v a l i d i t y o f t h e r o l e o f m i n i - a p p l i c a t i o n s i n p r e d i c t i n g k e y p e r -f o r m a n c e c h a r a c t e r i s t i c s o f s c i e n t i f i c a n d e n g i n e e r i n g a p p l i c a t i o n s , T e c h n i c a lR e p o r t S A N D 2 0 1 2 - 4 6 6 7 , S a n d i a N a t i o n a l L a b o r a t o r i e s , 2 0 1 2 ( i n p r e p a r a t i o n ) .

[ 7 ] M . A . H e r o u x , R . B a r t l e t t , V . H o w l e , R . H o e k s t r a , J . H u , T . K o l d a , R . L e h o u c q ,K . L o n g , R . P a w l o w s k i , E . P h i p p s , A . S a l i n g e r , H . T h o r n q u i s t , R . T u m i n a r o , J .W i l l e n b r i n g , A . W i l l i a m s , K . S t a n l e y , A n o v e r v i e w o f t h e T r i l i n o s p r o j e c t , A C MT r a n s a c t i o n s o n M a t h e m a t i c a l S o f t w a r e 3 1 ( 2 0 0 5 ) 3 9 7 – 4 2 3 .

[ 8 ] G N U L e s s e r G e n e r a l P u b l i c L i c e n s e — G N U P r o j e c t , 2 0 0 9 . h t t p : / / w w w . g n u . o r g /l i c e n s e s / l g p l . h t m l .

[ 9 ] W . L . O b e r k a m p f , T . G . T r u c a n o , V e r i f i c a t i o n a n d v a l i d a t i o n i n c o m p u t a t i o n a lf l u i d d y n a m i c s , P r o g r e s s i n A e r o s p a c e S c i e n c e s 3 8 ( 2 0 0 2 ) .

[ 1 0 ] W . L . O b e r k a m p f , C . J . R o y , V e r i f i c a t i o n a n d V a l i d a t i o n i n S c i e n t i f i c C o m p u t i n g ,C a m b r i d g e U n i v e r s i t y P r e s s , 2 0 1 0 .

[ 1 1 ] M . P i l c h , T . T r u c a n o , J . M o y a , G . F r o e h l i c h , A . H o d g e s , D . P e e r c y , G u i d e l i n e s f o rS a n d i a A S C I v e r i f i c a t i o n a n d v a l i d a t i o n p l a n s — c o n t e n t a n d f o r m a t : v e r s i o n2 . 0 , T e c h n i c a l R e p o r t S A N D 2 0 0 0 - 3 1 0 1 , S a n d i a N a t i o n a l L a b o r a t o r i e s , 2 0 0 0 .

[ 1 2 ] T . G . T r u c a n o , M . P i l c h , W . O b e r k a m p f , G e n e r a l c o n c e p t s f o r e x p e r i m e n t a lv a l i d a t i o n o f A S C I c o d e a p p l i c a t i o n s , T e c h n i c a l R e p o r t S A N D 2 0 0 2 - 0 3 4 1 ,S a n d i a N a t i o n a l L a b o r a t o r i e s , 2 0 0 2 .

[ 1 3 ] G . L . H e n n i g a n , R . J . H o e k s t r a , J . P . C a s t r o , D . A . F i x e l , J . N . S h a d i d , S i m u l a t i o n o fn e u t r o n r a d i a t i o n d a m a g e i n s i l i c o n s e m i c o n d u c t o r d e v i c e s , T e c h n i c a l R e p o r tS A N D 2 0 0 7 - 7 1 5 7 , S a n d i a N a t i o n a l L a b o r a t o r i e s , 2 0 0 7 .

[ 1 4 ] P . T . L i n , J . N . S h a d i d , M . S a l a , R . S . T u m i n a r o , G . L . H e n n i g a n , R . J . H o e k s t r a ,P e r f o r m a n c e o f a p a r a l l e l a l g e b r a i c m u l t i l e v e l p r e c o n d i t i o n e r f o r s t a b i l i z e df i n i t e e l e m e n t s e m i c o n d u c t o r d e v i c e m o d e l i n g , J o u r n a l o f C o m p u t a t i o n a lP h y s i c s 2 2 8 ( 2 0 0 9 ) 6 2 5 0 – 6 2 6 7 .

[ 1 5 ] H . v a n d e r V o r s t , B i - C G S T A B : a f a s t a n d s m o o t h l y c o n v e r g i n g v a r i a n t o f B i - C Gf o r t h e s o l u t i o n o f n o n s y m m e t r i c l i n e a r s y s t e m s , S I A M J o u r n a l o n S c i e n t i f i ca n d S t a t i s t i c a l C o m p u t i n g 1 3 ( 1 9 9 2 ) 6 3 1 – 6 4 4 .

[ 1 6 ] Y . S a a d , M . H . S c h u l t z , G M R E S : a g e n e r a l i z e d m i n i m a l r e s i d u a l a l g o r i t h mf o r s o l v i n g n o n s y m m e t r i c l i n e a r s y s t e m s , S I A M J o u r n a l o n S c i e n t i f i c a n dS t a t i s t i c a l C o m p u t i n g 7 ( 1 9 8 6 ) 8 5 6 – 8 6 9 .

[ 1 7 ] R . S . T u m i n a r o , M . H e r o u x , S . A . H u t c h i n s o n , J . N . S h a d i d , O f f i c i a l A z t e c u s e r ’ sg u i d e - v e r s i o n 2 . 1 , T e c h n i c a l R e p o r t S A N D 9 9 - 8 8 0 1 J , S a n d i a N a t i o n a l L a b o r a -t o r i e s , A l b u q u e r q u e N M , 8 7 1 8 5 , 1 9 9 9 .

[ 1 8 ] M . H e s t e n e s , E . S t i e f e l , M e t h o d s o f c o n j u g a t e g r a d i e n t s f o r s o l v i n g l i n e a r s y s -t e m s , J o u r n a l o f R e s e a r c h . N a t i o n a l B u r e a u o f S t a n d a r d s 4 9 ( 1 9 5 2 ) 4 0 9 – 4 3 6 .

[ 1 9 ] J . D o n g a r r a , D . G a n n o n , G . F o x , K . K e n n e d y , T h e i m p a c t o f m u l t i c o r e o nc o m p u t a t i o n a l s c i e n c e s o f t w a r e , C T W a t c h Q u a r t e r l y 3 ( 2 0 0 7 ) .

[ 2 0 ] P . T . L i n , J . N . S h a d i d , T o w a r d s l a r g e - s c a l e m u l t i - s o c k e t , m u l t i c o r e p a r a l l e ls i m u l a t i o n s : p e r f o r m a n c e o f a n M P I - o n l y s e m i c o n d u c t o r d e v i c e s i m u l a t o r ,J o u r n a l o f C o m p u t a t i o n a l P h y s i c s 2 2 9 ( 2 0 1 0 ) 6 8 0 4 – 6 8 1 8 .

[ 2 1 ] S . A l a m , R . B a r r e t t , J . K u e h n , P . R o t h , J . V e t t e r , C h a r a c t e r i z a t i o n o f s c i e n t i f i cw o r k l o a d s o n s y s t e m s w i t h m u l t i - c o r e p r o c e s s o r s , i n : I E E E I n t e r n a t i o n a lS y m p o s i u m o n W o r k l o a d C h a r a c t e r i z a t i o n .

[ 2 2 ] M . G e e , C . S i e f e r t , J . H u , R . T u m i n a r o , M . S a l a , M L 5 . 0 s m o o t h e d a g g r e g a t i o nu s e r ’ s g u i d e , T e c h n i c a l R e p o r t S A N D 2 0 0 6 - 2 6 4 9 , S a n d i a N a t i o n a l L a b o r a t o r i e s ,2 0 0 6 .

[ 2 3 ] N . B e l l , M . G a r l a n d , I m p l e m e n t i n g s p a r s e m a t r i x – v e c t o r m u l t i p l i c a t i o n o nt h r o u g h p u t - o r i e n t e d p r o c e s s o r s , i n : S C ’ 0 9 : P r o c e e d i n g s o f t h e C o n f e r e n c e o nH i g h P e r f o r m a n c e C o m p u t i n g N e t w o r k i n g , S t o r a g e a n d A n a l y s i s , A C M , N e wY o r k , N Y , U S A , 2 0 0 9 , p p . 1 – 1 1 .

[ 2 4 ] K . B . F e r r e i r a , P . B r i d g e s , R . B r i g h t w e l l , C h a r a c t e r i z i n g a p p l i c a t i o n s e n s i t i v i t yt o O S i n t e r f e r e n c e u s i n g k e r n e l - l e v e l n o i s e i n j e c t i o n , i n : S C ’ 0 8 : P r o c e e d i n g so f t h e 2 0 0 8 A C M / I E E E c o n f e r e n c e o n S u p e r c o m p u t i n g , I E E E P r e s s , P i s c a t a w a y ,N J , U S A , 2 0 0 8 , p p . 1 – 1 2 .

[ 2 5 ] K . P e d r e t t i , R . B r i g h t w e l l , D . D o e r f l e r , K . S . H e m m e r t , J . L a r o s , T h e i m p a c to f i n j e c t i o n b a n d w i d t h p e r f o r m a n c e o n a p p l i c a t i o n s c a l a b i l i t y , i n : R e c e n tA d v a n c e s i n t h e M e s s a g e P a s s i n g I n t e r f a c e , i n : L e c t u r e N o t e s i n C o m p u t e rS c i e n c e , v o l . 6 9 6 0 , 2 0 1 1 , p p . 2 3 7 – 2 4 6 .

[ 2 6 ] P . M . K o g g e , e t a l . , E x a s c a l e c o m p u t i n g s t u d y : t e c h n o l o g y c h a l l e n g e s i na c h i e v i n g e x a s c a l e s y s t e m s , T e c h n i c a l R e p o r t , U n i v e r s i t y o f N o t r e D a m e C S ED e p a r t m e n t T e c h n i c a l R e p o r t , T R - 2 0 0 8 - 1 3 , S e p t e m b e r 2 8 , 2 0 0 8 .

[ 2 7 ] K . B e r g m a n , G . H e n d r y , P . H a r g r o v e , J . S h a l f , B . J a c o b , K . H e m m e r t , A . R o d r i g u e s ,D . R e s n i c k , L e t t h e r e b e l i g h t ! : t h e f u t u r e o f m e m o r y s y s t e m s i s p h o t o n i c s a n d3 D s t a c k i n g , i n : P r o c e e d i n g s o f t h e 2 0 1 1 A C M S I G P L A N W o r k s h o p o n M e m o r yS y s t e m s P e r f o r m a n c e a n d C o r r e c t n e s s , M S P C ’ 1 1 , A C M , N e w Y o r k , N Y , U S A ,2 0 1 1 , p p . 4 3 – 4 8 .

[ 2 8 ] M . P e c h t , R . R a d o j c i c , G . R a o , G u i d e b o o k f o r M a n a g i n g S i l i c o n C h i p R e l i a b i l i t y ,C R C p r e s s , 1 9 9 9 .

[ 2 9 ] A . F . R o d r i g u e s , R . C . M u r p h y , P . K o g g e , K . D . U n d e r w o o d , T h e s t r u c t u r a l s i m u l a -t i o n t o o l k i t : e x p l o r i n g n o v e l a r c h i t e c t u r e s , i n : S C ’ 0 6 : P r o c e e d i n g s o f t h e 2 0 0 6A C M / I E E E c o n f e r e n c e o n S u p e r c o m p u t i n g , A C M , N e w Y o r k , N Y , U S A , 2 0 0 6 ,p . 1 5 7 .

[ 3 0 ] A . R o d r i g u e s , e t a l . , T h e s t r u c t u r a l s i m u l a t i o n t o o l k i t , S I G M E T R I C S P e r f o r m a n c eE v a l u a t i o n R e v i e w 3 8 ( 2 0 1 1 ) .

[ 3 1 ] N . B . L a k s h m i n a r a y a n a , H . K i m , E f f e c t o f i n s t r u c t i o n f e t c h a n d m e m o r ys c h e d u l i n g o n G P U p e r f o r m a n c e , i n : W o r k s h o p o n L a n g u a g e , C o m p i l e r , a n dA r c h i t e c t u r e S u p p o r t f o r G P G P U , i n c o n j u n c t i o n w i t h H P C A / P P o P P , 2 0 1 0 .

[ 3 2 ] D . W a n g , e t a l . , D R A M s i m : a m e m o r y - s y s t e m s i m u l a t o r , S I G A R C H C o m p u t e rA r c h i t e c t u r e N e w s 3 3 ( 2 0 0 5 ) 1 0 0 – 1 0 7 .

[ 3 3 ] D . B u r g e r , T . A u s t i n , T h e S i m p l e S c a l a r T o o l S e t , V e r s i o n 2 . 0 , S i m p l e S c a l a r L L C ,2 0 0 0 .

[ 3 4 ] R . S r i n i v a s a n , J . C o o k , O . L u b e c k , U l t r a - f a s t C P U p e r f o r m a n c e p r e d i c t i o n :e x t e n d i n g t h e M o n t e C a r l o a p p r o a c h , i n : P r o c e e d i n g s o f t h e I E E E I n t e r n a t i o n a lS y m p o s i u m o n C o m p u t e r A r c h i t e c t u r e a n d H i g h P e r f o r m a n c e C o m p u t i n g( S B A C - P A D ) .

[ 3 5 ] G . H . L o h , S . S u b r a m a n i a m , Y . X i e , Z e s t o : a c y c l e - l e v e l s i m u l a t o r f o r h i g h l yd e t a i l e d m i c r o a r c h i t e c t u r e e x p l o r a t i o n , i n : P r o c . o f t h e I n t . S y m p . o n P e r f o r -m a n c e A n a l y s i s o f S y s t e m s a n d S o f t w a r e .

[ 3 6 ] N . L . B i n k e r t , R . G . D r e s l i n s k i , L . R . H s u , K . T . L i m , A . G . S a i d i , S . K . R e i n h a r d t , T h eM 5 s i m u l a t o r : m o d e l i n g n e t w o r k e d s y s t e m s , I E E E M i c r o 2 6 ( 2 0 0 6 ) 5 2 – 6 0 .

[ 3 7 ] T . H e n d e r s o n , T . R . H e n d e r s o n , S . R o y , N S - 3 p r o j e c t g o a l s , 2 0 0 6 .[ 3 8 ] D . N e l l a n s , V . K . K a d a r u , E . B r u n v , A s i m — a n a s y n c h r o n o u s a r c h i t e c t u r a l l e v e l

s i m u l a t o r , 2 0 0 4 .[ 3 9 ] D . B r o o k s , V . T i w a r i , M . M a r t o n o s i , W a t t c h : a f r a m e w o r k f o r a r c h i t e c t u r a l -

l e v e l p o w e r a n a l y s i s a n d o p t i m i z a t i o n s , i n : P r o c e e d i n g s o f t h e 2 7 t h A n n u a lI n t e r n a t i o n a l S y m p o s i u m o n C o m p u t e r A r c h i t e c t u r e , p p . 8 3 – 9 4 .

[ 4 0 ] D . T . S . T h o z i y o o r , D . T a r j a n , S . T h o z i y o o r , C a c t i 4 . 0 , T e c h n i c a l R e p o r t , H P L a b s ,2 0 0 6 .

[ 4 1 ] L a w r e n c e L i v e r m o r e n a t i o n a l l a b o r a t o r y , H y d r o d y n a m i c s c h a l l e n g e p r o b l e mL a w r e n c e L i v e r m o r e n a t i o n a l l a b o r a t o r y , T e c h n i c a l R e p o r t L L N L - T R - 4 9 0 2 5 4 ,L a w r e n c e L i v e r m o r e N a t i o n a l L a b o r a t o r y , 2 0 1 0 .

[ 4 2 ] I C K n o w l e d g e L L C , I c c o s t m o d e l 0 9 0 9 b , S o f t w a r e , 2 0 0 9 .[ 4 3 ] V . Z y u b a n , I n h e r e n t l y l o w e r - p o w e r h i g h - p e r f o r m a n c e s u p e r s c a l a r a r c h i t e c -

t u r e s , P h . D . T h e s i s , U n i v e r s i t y o f N o t r e D a m e , 2 0 0 0 .

S . S . D o s a n j h i s D i r e c t o r o f t h e N a t i o n a l E n e r g y R e s e a r c hS c i e n t i f i c C o m p u t i n g ( N E R S C ) C e n t e r a t L a w r e n c e B e r k e l e yN a t i o n a l L a b o r a t o r y . N E R S C ’ s m i s s i o n i s t o a c c e l e r a t es c i e n t i f i c d i s c o v e r y a t t h e U S D e p a r t m e n t o f E n e r g y ’ sO f f i c e o f S c i e n c e t h r o u g h h i g h p e r f o r m a n c e c o m p u t i n ga n d e x t r e m e d a t a a n a l y s i s . N E R S C d e p l o y s l e a d i n g - e d g ec o m p u t a t i o n a l a n d d a t a r e s o u r c e s f o r o v e r 4 5 0 0 u s e r s f r o ma b r o a d r a n g e o f d i s c i p l i n e s . N E R S C w i l l b e p a r t n e r i n g w i t hc o m p u t e r c o m p a n i e s t o d e v e l o p a n d d e p l o y p r e - e x a s c a l ea n d e x a s c a l e s y s t e m s d u r i n g t h e n e x t d e c a d e . P r e v i o u s l y ,D r . D o s a n j h h e a d e d e x t r e m e - s c a l e c o m p u t i n g a t S a n d i a

N a t i o n a l L a b o r a t o r i e s . H e w a s c o - d i r e c t o r o f t h e L o s A l a m o s / S a n d i a A l l i a n c e f o rC o m p u t i n g a t t h e E x t r e m e - S c a l e f r o m 2 0 0 8 – 2 0 1 2 . H e a l s o s e r v e d o n t h e U SD e p a r t m e n t o f E n e r g y ’ s E x a s c a l e I n i t i a t i v e S t e e r i n g C o m m i t t e e f o r s e v e r a l y e a r s .D r . D o s a n j h h a d a k e y r o l e i n e s t a b l i s h i n g c o - d e s i g n a s a m e t h o d o l o g y f o r r e a c h i n ge x a s c a l e c o m p u t i n g . H e h a s n u m e r o u s p u b l i c a t i o n s o n e x a s c a l e c o m p u t i n g , c o -d e s i g n , c o m p u t e r a r c h i t e c t u r e s , m a s s i v e l y p a r a l l e l c o m p u t i n g a n d c o m p u t a t i o n a ls c i e n c e . H e e a r n e d h i s b a c h e l o r ’ s d e g r e e i n E n g i n e e r i n g P h y s i c s i n 1 9 8 2 , h i s m a s t e r ’ sd e g r e e ( 1 9 8 4 ) a n d P h . D . ( 1 9 8 6 ) i n M e c h a n i c a l E n g i n e e r i n g , a l l f r o m t h e U n i v e r s i t yo f C a l i f o r n i a , B e r k e l e y .

R . F . B a r r e t t i s a P r i n c i p a l M e m b e r o f t h e T e c h n i c a l S t a f fi n t h e E x t r e m e - s c a l e c o m p u t i n g g r o u p a t S a n d i a N a t i o n a lL a b o r a t o r i e s . A s a M e m b e r o f t h e S c a l a b l e A r c h i t e c t u r e sd e p a r t m e n t i n t h e C e n t e r f o r C o m p u t i n g R e s e a r c h , h el e a d s t h e A p p l i c a t i o n P e r f o r m a n c e M o d e l i n g a n d A n a l y s i sT e a m ( P M A T ) , w h o s e g o a l s a r e t o u n d e r s t a n d a n d c h a r a c -t e r i z e a p p l i c a t i o n p e r f o r m a n c e o n k e y H P C p l a t f o r m s t h a ta r e c u r r e n t l y d e p l o y e d , a n d t o p r e d i c t p e r f o r m a n c e o n f u -t u r e p l a t f o r m s u s i n g m a t h e m a t i c a l m o d e l i n g m e t h o d s a n dt e c h n i q u e s a n d a n e m p i r i c a l k n o w l e d g e b a s e .

D . W . D o e r f l e r i s a D i s t i n g u i s h e d M e m b e r o f T e c h n i c a lS t a f f a t S a n d i a N a t i o n a l L a b o r a t o r i e s . D o u g i s t h e A C E SC i e l o A r c h i t e c t a n d h i s r e s e a r c h i n t e r e s t s i n c l u d e h i g h -p e r f o r m a n c e c o m p u t e r a r c h i t e c t u r e s a n d p e r f o r m a n c ea n a l y s i s .


S . D . H a m m o n d i s a M e m b e r o f t h e S c a l a b l e C o m p u t e rA r c h i t e c t u r e s g r o u p a t S a n d i a N a t i o n a l L a b o r a t o r i e s . H i sr e s e a r c h f o c u s e s o n t h e o p t i m i z a t i o n a n d p o r t i n g o fa p p l i c a t i o n s f o r a d v a n c e d c o m p u t e r a r c h i t e c t u r e s . H e i sa l s o a M e m b e r o f t h e p e r f o r m a n c e a n a l y s i s a n d c o m p u t e rs c i e n c e t e a m s f o r t h e M a t e r i a l s a n d C o m b u s t i o n O f f i c e o fS c i e n c e E x a s c a l e C o - D e s i g n c e n t e r s .

K . S . H e m m e r t i s a P r i n c i p a l M e m b e r o f t h e T e c h n i c a l S t a f fi n t h e E x t r e m e - s c a l e c o m p u t i n g g r o u p a t S a n d i a N a t i o n a lL a b o r a t o r i e s .

M . A . H e r o u x i s a D i s t i n g u i s h e d M e m b e r o f t h e T e c h n i -c a l S t a f f a t S a n d i a N a t i o n a l L a b o r a t o r i e s , w o r k i n g o n n e wa l g o r i t h m d e v e l o p m e n t , a n d r o b u s t p a r a l l e l i m p l e m e n t a -t i o n o f s o l v e r c o m p o n e n t s f o r p r o b l e m s o f i n t e r e s t t o S a n -d i a a n d t h e b r o a d e r s c i e n t i f i c a n d e n g i n e e r i n g c o m m u n i t y .H e l e a d s d e v e l o p m e n t o f t h e T r i l i n o s P r o j e c t , a n e f f o r t t op r o v i d e s t a t e o f t h e a r t s o l u t i o n m e t h o d s i n a s t a t e o f t h ea r t s o f t w a r e f r a m e w o r k . T r i l i n o s i s a 2 0 0 4 R & D 1 0 0 a w a r d -w i n n i n g p r o d u c t , f r e e l y a v a i l a b l e a s O p e n S o u r c e a n d a c -t i v e l y d e v e l o p e d b y d o z e n s o f r e s e a r c h e r s . I n a d d i t i o n t oT r i l i n o s , D r . H e r o u x w o r k s o n t h e d e v e l o p m e n t o f s c a l a b l e

p a r a l l e l s c i e n t i f i c a n d e n g i n e e r i n g a p p l i c a t i o n s a n d m a i n t a i n s h i s i n t e r e s t i n t h e i n -t e r a c t i o n o f s c i e n t i f i c / e n g i n e e r i n g a p p l i c a t i o n s a n d h i g h p e r f o r m a n c e c o m p u t e r a r -c h i t e c t u r e s . H e l e a d s t h e M a n t e v o P r o j e c t , w h i c h i s f o c u s e d o n t h e d e v e l o p m e n to f O p e n S o u r c e , p o r t a b l e m i n i - a p p l i c a t i o n s a n d m i n i - d r i v e r s f o r s c i e n t i f i c a n d e n g i -n e e r i n g a p p l i c a t i o n s . D r . H e r o u x i s a t e l e c o m m u t e r f o r S a n d i a , m a i n t a i n i n g a n o f f i c ea t h o m e i n r u r a l c e n t r a l M i n n e s o t a a n d a t S t . J o h n ’ s U n i v e r s i t y w h e r e h e i s S c i e n t i s ti n R e s i d e n c e i n t h e C o m p u t e r S c i e n c e D e p a r t m e n t . H e i s a M e m b e r o f t h e S o c i e t yf o r I n d u s t r i a l a n d A p p l i e d M a t h e m a t i c s ( S I A M ) a n d p a s t c h a i r o f t h e S I A M A c t i v -i t y G r o u p o n S u p e r c o m p u t i n g . H e i s a D i s t i n g u i s h e d M e m b e r o f t h e A s s o c i a t i o n f o rC o m p u t i n g M a c h i n e r y ( A C M ) . H e i s t h e E d i t o r - i n - C h i e f f o r t h e A C M T r a n s a c t i o n so n M a t h e m a t i c a l S o f t w a r e , S u b j e c t A r e a E d i t o r f o r t h e J o u r n a l o n P a r a l l e l a n d D i s -t r i b u t e d C o m p u t i n g a n d A s s o c i a t e E d i t o r f o r t h e S I A M J o u r n a l o n S c i e n t i f i c C o m -p u t i n g .

P . T . L i n r e c e i v e d h i s P h . D . i n M e c h a n i c a l a n d A e r o s p a c eE n g i n e e r i n g f r o m P r i n c e t o n U n i v e r s i t y . H e i s c u r r e n t l ya P r i n c i p a l M e m b e r o f t h e T e c h n i c a l S t a f f a t S a n d i aN a t i o n a l L a b o r a t o r i e s . H i s r e s e a r c h i n t e r e s t s i n c l u d eh i g h p e r f o r m a n c e c o m p u t i n g , s c a l a b l e l i n e a r s o l v e r s ,p r e c o n d i t i o n e r s , m u l t i g r i d m e t h o d s , a n d a l g o r i t h m s f o rm u l t i c o r e p r o c e s s o r s .

K . T . P e d r e t t i i s a s e n i o r P r i n c i p a l M e m b e r o f t h e T e c h n i c a lS t a f f a t S a n d i a N a t i o n a l L a b o r a t o r i e s . H i s r e s e a r c h f o c u s e so n o p e r a t i n g s y s t e m s f o r m a s s i v e l y p a r a l l e l s u p e r c o m -p u t e r s , t e c h n i q u e s f o r i m p r o v i n g r e s i l i e n c e t o h a r d w a r ef a u l t s , h i g h - p e r f o r m a n c e n e t w o r k i n g , a n d s o f t w a r e -d i r e c t e d p o w e r m a n a g e m e n t s t r a t e g i e s . P e d r e t t i h a s a B . S .a n d a n M . S . i n E l e c t r i c a l a n d C o m p u t e r E n g i n e e r i n g f r o mt h e U n i v e r s i t y o f I o w a .

A . F . R o d r i g u e s i s a P r i n c i p a l M e m b e r o f t h e T e c h n i c a l S t a f fi n t h e E x t r e m e - s c a l e c o m p u t i n g g r o u p a t S a n d i a N a t i o n a lL a b o r a t o r i e s .

T . G . T r u c a n o i s c u r r e n t l y a S e n i o r S c i e n t i s t i n t h e t e c h n i -c a l s t a f f a t S a n d i a N a t i o n a l L a b o r a t o r i e s i n t h e O p t i m i z a -t i o n a n d U n c e r t a i n t y E s t i m a t i o n D e p a r t m e n t . H e r e c e i v e dh i s P h . D . i n M a t h e m a t i c a l P h y s i c s f r o m t h e U n i v e r s i t y o fN e w M e x i c o i n 1 9 8 0 . H e b e g a n w o r k a t S a n d i a i n A u -g u s t o f t h a t y e a r . F o r t h e f i r s t 1 5 y e a r s o f h i s c a r e e r a tS a n d i a , h i s f o c u s e d o n r e s e a r c h , d e v e l o p m e n t , a n d a p p l i -c a t i o n s o f c o m p u t a t i o n a l s h o c k w a v e p h y s i c s . O v e r t h i sp e r i o d o f t i m e T r u c a n o w o r k e d o n p r o b l e m s o f s h o c k h y -d r o d y n a m i c s , e q u a t i o n o f s t a t e a n d c o n s t i t u t i v e m o d e l -i n g , h y p e r v e l o c i t y i m p a c t p h e n o m e n a , n u c l e a r w e a p o n s

e f f e c t s , a n d r a d i a t i o n - h y d r o d y n a m i c s i n h i g h e n e r g y d e n s i t y p h y s i c s a p p l i c a t i o n s .B e g i n n i n g i n 1 9 9 5 , h i s w o r k b e g a n t o f o c u s o n i s s u e s o f c o m p u t a t i o n a l s c i e n c e v e r -i f i c a t i o n a n d v a l i d a t i o n ( V & V ) , a s w e l l a s t h e a p p l i c a t i o n o f u n c e r t a i n t y q u a n t i f i c a -t i o n . C u r r e n t l y , h e w o r k s o n t e c h n i c a l a n d p r o g r a m m a t i c c h a l l e n g e s f o r t h e N N S AA d v a n c e d S i m u l a t i o n a n d C o m p u t i n g ( A S C ) V & V P r o g r a m , a s w e l l a s r e s e a r c h i nt h e a p p l i c a t i o n o f u n c e r t a i n t y q u a n t i f i c a t i o n i n c o m p u t a t i o n a l p r e d i c t i o n a n d t h ea c c o m p a n y i n g d e c i s i o n e n v i r o n m e n t . F o r t h e p a s t f i v e y e a r s , T r u c a n o h a s a l s o b e e nw o r k i n g o n t h e r o l e o f V & V a n d u n c e r t a i n t y q u a n t i f i c a t i o n i n t h e a p p l i c a t i o n o f c o m -p l e x s o c i a l m o d e l s t o n a t i o n a l s e c u r i t y p r o b l e m s .

J . P . L u i t j e n s r e c e i v e d a P h . D . i n S c i e n t i f i c C o m p u t i n g f r o mt h e U n i v e r s i t y o f U t a h i n 2 0 1 1 . H e i s n o w a M e m b e r o ft h e d e v e l o p e r t e c h n o l o g i e s t e a m a t N V I D I A C o r p o r a t i o nw h e r e h e f o c u s e s o n p a r a l l e l a l g o r i t h m d e v e l o p m e n t a n do p t i m i z a t i o n .

Date post:	26-Mar-2018
Category:	Documents
Upload:	doantu
View:	243 times
Download:	5 times

F u t u r e G e n e r a t io n C o m p u t e r S y s t e m ... - nersc.gov · PDF file¥ N...

Documents