8/2/2019 TR97-14

1/26

MITSUBISHI ELECTRIC RESEARCH LABORATORIES

http://www.merl.com

Design Galleries: A General Approach to

Setting Parameters for Computer Graphics

and Animation

J. Marks, B. Andalman, P.A. Beardsley, W. Freeman, S. Gibson, J. Hodgins, T. Kang, B.

Mirtich, H. Pfister, W. Ruml, K. Ryall, J. Seims, S. Shieber

TR97-14 October 1997

Abstract

Image rendering maps scene parameters to output pixel values; animation maps motion-control

parameters to trajectory values. Because these mapping functions are usually multidimensional,

nonlinear, and discontinuous, finding input parameters that yield desirable output values is often

a painful process of manual tweaking. Interactive evolution and inverse design are two general

methodologies for computer-assisted parameter setting in which the computer plays a promi-

nent role. In this paper we present another such methodology. Design Gallery (DG) interfaces

present the user with the broadest selection, automatically generated and organized, of percep-

tually different graphics or animations that can be produced by varying a given input-parametervector. The principal technical challenges posed by the DG approach are *dispersion*, find-

ing a set of input-parameter vectors that optimally disperses the resulting output-value vectors,

and *arrangement*, organizing the resulting graphics for easy and intuitive browsing by the

user. We describe the use of DG interfaces for several parameter-setting problems: light se-

lection and placement for image rendering, both standard and image-based; opacity and color

transfer-function specification for volume rendering; and motion control for particle-system and

articulated-figure animation.

SIGGRAPH 97 Conf. Proc., Aug. 1997, pp. 389-400

This work may not be copied or reproduced in whole or in part for any commercial purpose. Permission to copy in whole or in part

without payment of fee is granted for nonprofit educational and research purposes provided that all such whole or partial copies include

the following: a notice that such copying is by permission of Mitsubishi Electric Research Laboratories, Inc.; an acknowledgment of

the authors and individual contributions to the work; and all applicable portions of the copyright notice. Copying, reproduction, or

republishing for any other purpose shall require a license with payment of fee to Mitsubishi Electric Research Laboratories, Inc. All

rights reserved.

Copyright cMitsubishi Electric Research Laboratories, Inc., 1997

201 Broadway, Cambridge, Massachusetts 02139

8/2/2019 TR97-14

2/26

MERLCoverPageSide2

8/2/2019 TR97-14

3/26

1

M E R L A M I T S U B I S H I E L E C T R I C R E S E A R C H L A B O R A T O R Y

h t t p : w w w . m e r l . c o m

D e s i g n G a l l e r i e s : A G e n e r a l A p p r o a c h

t o S e t t i n g P a r a m e t e r s f o r C o m p u t e r

G r a p h i c s a n d A n i m a t i o n

J . M a r k s

M E R L

B . A n d a l m a n

H a r v a r d U n i v .

P . A . B e a r d s l e y

M E R L

W . F r e e m a n

M E R L

S . G i b s o n

M E R L

J . H o d g i n s

G e o r g i a T e c h .

T . K a n g

C M U

B . M i r t i c h

M E R L

H . P s t e r

M E R L

W . R u m l

H a r v a r d U n i v .

K . R y a l l

H a r v a r d U n i v .

J . S e i m s

U n i v . o f W a s h i n g t o n

S . S h i e b e r

H a r v a r d U n i v .

T R - 9 7 - 1 4 O c t o b e r 1 9 9 7

A b s t r a c t

I m a g e r e n d e r i n g m a p s s c e n e p a r a m e t e r s t o o u t p u t p i x e l v a l u e s ; a n i m a t i o n

m a p s m o t i o n - c o n t r o l p a r a m e t e r s t o t r a j e c t o r y v a l u e s . B e c a u s e t h e s e m a p p i n g

f u n c t i o n s a r e u s u a l l y m u l t i d i m e n s i o n a l , n o n l i n e a r , a n d d i s c o n t i n u o u s , n d i n g

i n p u t p a r a m e t e r s t h a t y i e l d d e s i r a b l e o u t p u t v a l u e s i s o f t e n a p a i n f u l p r o c e s s

o f m a n u a l t w e a k i n g . I n t e r a c t i v e e v o l u t i o n a n d i n v e r s e d e s i g n a r e t w o g e n e r a l

m e t h o d o l o g i e s f o r c o m p u t e r - a s s i s t e d p a r a m e t e r s e t t i n g i n w h i c h t h e c o m p u t e r

p l a y s a p r o m i n e n t r o l e . I n t h i s p a p e r w e p r e s e n t a n o t h e r s u c h m e t h o d o l o g y .

D e s i g n G a l l e r y

T M

D G i n t e r f a c e s p r e s e n t t h e u s e r w i t h t h e b r o a d e s t s e l e c t i o n ,

a u t o m a t i c a l l y g e n e r a t e d a n d o r g a n i z e d , o f p e r c e p t u a l l y d i e r e n t g r a p h i c s o r

a n i m a t i o n s t h a t c a n b e p r o d u c e d b y v a r y i n g a g i v e n i n p u t - p a r a m e t e r v e c t o r .

T h e p r i n c i p a l t e c h n i c a l c h a l l e n g e s p o s e d b y t h e D G a p p r o a c h a r e d i s p e r s i o n ,

n d i n g a s e t o f i n p u t - p a r a m e t e r v e c t o r s t h a t o p t i m a l l y d i s p e r s e s t h e r e s u l t i n g

o u t p u t - v a l u e v e c t o r s , a n d a r r a n g e m e n t , o r g a n i z i n g t h e r e s u l t i n g g r a p h i c s f o r

e a s y a n d i n t u i t i v e b r o w s i n g b y t h e u s e r . W e d e s c r i b e t h e u s e o f D G i n t e r f a c e s

f o r s e v e r a l p a r a m e t e r - s e t t i n g p r o b l e m s : l i g h t s e l e c t i o n a n d p l a c e m e n t f o r i m a g e

r e n d e r i n g , b o t h s t a n d a r d a n d i m a g e - b a s e d ; o p a c i t y a n d c o l o r t r a n s f e r - f u n c t i o n

s p e c i c a t i o n f o r v o l u m e r e n d e r i n g ; a n d m o t i o n c o n t r o l f o r p a r t i c l e - s y s t e m a n d

a r t i c u l a t e d - g u r e a n i m a t i o n .

K e y w o r d s : A n i m a t i o n , c o m p u t e r - a i d e d d e s i g n , i m a g e r e n d e r i n g , l i g h t i n g , m o -

t i o n s y n t h e s i s , p a r t i c l e s y s t e m s , p h y s i c a l m o d e l i n g , v i s u a l i z a t i o n , v o l u m e r e n -

d e r i n g .

M E R L - T R - 9 7 - 1 4 O c t o b e r 1 9 9 7

8/2/2019 TR97-14

4/26

T h i s w o r k m a y n o t b e c o p i e d o r r e p r o d u c e d i n w h o l e o r i n p a r t f o r a n y c o m m e r c i a l p u r p o s e . P e r m i s s i o n t o

c o p y i n w h o l e o r i n p a r t w i t h o u t p a y m e n t o f f e e i s g r a n t e d f o r n o n p r o t e d u c a t i o n a l a n d r e s e a r c h p u r p o s e s

p r o v i d e d t h a t a l l s u c h w h o l e o r p a r t i a l c o p i e s i n c l u d e t h e f o l l o w i n g : a n o t i c e t h a t s u c h c o p y i n g i s b y p e r -

m i s s i o n o f M i t s u b i s h i E l e c t r i c I n f o r m a t i o n T e c h n o l o g y C e n t e r A m e r i c a ; a n a c k n o w l e d g m e n t o f t h e a u t h o r s

a n d i n d i v i d u a l c o n t r i b u t i o n s t o t h e w o r k ; a n d a l l a p p l i c a b l e p o r t i o n s o f t h e c o p y r i g h t n o t i c e . C o p y i n g ,

r e p r o d u c t i o n , o r r e p u b l i s h i n g f o r a n y o t h e r p u r p o s e s h a l l r e q u i r e a l i c e n s e w i t h p a y m e n t o f f e e t o M i t s u b i s h i

E l e c t r i c I n f o r m a t i o n T e c h n o l o g y C e n t e r A m e r i c a . A l l r i g h t s r e s e r v e d .

C o p y r i g h t

c

M i t s u b i s h i E l e c t r i c I n f o r m a t i o n T e c h n o l o g y C e n t e r A m e r i c a , 1 9 9 7

2 0 1 B r o a d w a y , C a m b r i d g e , M a s s a c h u s e t t s 0 2 1 3 9

8/2/2019 TR97-14

5/26

8/2/2019 TR97-14

6/26

1

1 I n t r o d u c t i o n

P a r a m e t e r t w e a k i n g i s o n e o f t h e v e x a t i o n s o f c o m p u t e r g r a p h i c s . F i n d i n g i n p u t p a r a m -

e t e r s t h a t y i e l d a d e s i r a b l e o u t p u t i s d i c u l t a n d t e d i o u s f o r m a n y r e n d e r i n g , m o d e l i n g ,

a n d m o t i o n - c o n t r o l p r o c e s s e s . T h e n o t i o n o f h a v i n g t h e c o m p u t e r a s s i s t a c t i v e l y i n s e t t i n g

p a r a m e t e r s i s t h e r e f o r e a p p e a l i n g . O n e s u c h c o m p u t e r - a s s i s t e d m e t h o d o l o g y i s i n t e r a c t i v e

e v o l u t i o n 1 1 , 2 1 , 2 3 : t h e c o m p u t e r e x p l o r e s t h e s p a c e o f p o s s i b l e p a r a m e t e r s e t t i n g s , a n d

t h e u s e r a c t s a s a n o b j e c t i v e - f u n c t i o n o r a c l e , i n t e r a c t i v e l y s e l e c t i n g c o m p u t e r - s u g g e s t e d a l -

t e r n a t i v e s f o r f u r t h e r e x p l o r a t i o n . A m o r e a u t o m a t i c m e t h o d o l o g y i s i n v e r s e d e s i g n , e . g . ,

1 0 , 1 2 , 1 4 , 1 9 , 2 2 , 2 5 , 2 7 : t h e c o m p u t e r s e a r c h e s f o r p a r a m e t e r s e t t i n g s t h a t o p t i m i z e a

u s e r - s u p p l i e d , m a t h e m a t i c a l l y s t a t e d o b j e c t i v e f u n c t i o n .

U n f o r t u n a t e l y , t h e r e a r e m a n y i n t e r e s t i n g a n d i m p o r t a n t g r a p h i c s p r o c e s s e s f o r w h i c h

i n t e r a c t i v e e v o l u t i o n a n d i n v e r s e d e s i g n a r e n o t v e r y u s e f u l . T h e s e p r o c e s s e s s h a r e t w o

c o m m o n c h a r a c t e r i s t i c s :

H i g h c o m p u t a t i o n a l c o s t : i f t h e p r o c e s s c a n n o t b e c o m p u t e d i n n e a r r e a l t i m e , i n t e r -

a c t i v e e v o l u t i o n b e c o m e s u n u s a b l e .

U n q u a n t i a b l e o u t p u t q u a l i t i e s : e v e n t h o u g h d e s i r a b l e g r a p h i c s m a y b e r e a d i l y i d e n -

t i e d b y i n s p e c t i o n , i t m a y n o t b e p o s s i b l e t o q u a n t i f y a p r i o r i t h e q u a l i t i e s t h a t m a k e

t h e m d e s i r a b l e . T h i s l a c k o f a s u i t a b l e o b j e c t i v e f u n c t i o n r u l e s o u t t h e u s e o f i n v e r s e

d e s i g n .

I n t h i s p a p e r w e p r e s e n t a t h i r d m e t h o d o l o g y f o r c o m p u t e r - a s s i s t e d p a r a m e t e r s e t t i n g

t h a t i s e s p e c i a l l y a p p l i c a b l e t o g r a p h i c s p r o c e s s e s t h a t e x h i b i t o n e o r b o t h o f t h e s e c h a r -

a c t e r i s t i c s . D e s i g n G a l l e r y D G i n t e r f a c e s p r e s e n t t h e u s e r w i t h t h e b r o a d e s t s e l e c t i o n ,

a u t o m a t i c a l l y g e n e r a t e d a n d o r g a n i z e d , o f p e r c e p t u a l l y d i e r e n t g r a p h i c s o r a n i m a t i o n s t h a t

c a n b e p r o d u c e d b y v a r y i n g a g i v e n i n p u t - p a r a m e t e r v e c t o r . B e c a u s e t h e s e l e c t i o n i s g e n e r -

a t e d a u t o m a t i c a l l y , i t c a n b e d o n e a s a p r e p r o c e s s s o t h a t a n y h i g h c o m p u t a t i o n a l c o s t s a r e

h i d d e n f r o m t h e u s e r . F u r t h e r m o r e , t h e D G a p p r o a c h r e q u i r e s o n l y a m e a s u r e o f s i m i l a r i t y

b e t w e e n g r a p h i c s , w h i c h c a n o f t e n b e q u a n t i e d e v e n w h e n o p t i m a l i t y c a n n o t .

A D G s y s t e m i n c l u d e s s e v e r a l k e y e l e m e n t s . T h e i n p u t v e c t o r i s a l i s t o f p a r a m e t e r s t h a t

c o n t r o l t h e g e n e r a t i o n o f t h e o u t p u t g r a p h i c v i a a m a p p i n g p r o c e s s . T h e o u t p u t v e c t o r i s

a l i s t o f v a l u e s t h a t s u m m a r i z e s t h e s u b j e c t i v e l y r e l e v a n t q u a l i t i e s o f t h e o u t p u t g r a p h i c .

T h e d i s t a n c e m e t r i c o n t h e s p a c e o f o u t p u t v e c t o r s a p p r o x i m a t e s t h e p e r c e p t u a l s i m i l a r i t y

o f t h e c o r r e s p o n d i n g o u t p u t g r a p h i c s . T h e d i s p e r s i o n m e t h o d i s u s e d t o n d a s e t o f i n p u t

v e c t o r s t h a t m a p t o a w e l l - d i s t r i b u t e d s e t o f o u t p u t v e c t o r s , a n d h e n c e o u t p u t g r a p h i c s . T h e

d i s p e r s e d g r a p h i c s a r e p r e s e n t e d t o t h e u s e r t h r o u g h a p e r c e p t u a l l y r e a s o n a b l e a r r a n g e m e n t

m e t h o d t h a t m a k e s u s e o f t h e d i s t a n c e m e t r i c . T h e s e s i x e l e m e n t s | i n p u t v e c t o r , m a p p i n g ,

o u t p u t v e c t o r , d i s t a n c e m e t r i c , d i s p e r s i o n , a n d a r r a n g e m e n t | c h a r a c t e r i z e a D G s y s t e m .

T h e c r e a t o r o f a D G s y s t e m c h o o s e s t h e i n p u t v e c t o r , o u t p u t v e c t o r , a n d t h e d i s t a n c e m e t r i c

f o r a s p e c i c m a p p i n g p r o c e s s . F o r p a r t i c u l a r i n s t a n c e s o f t h e p r o c e s s , t h e c o m p u t e r p e r f o r m s

t h e d i s p e r s i o n , t h e m a p p i n g o f i n p u t v e c t o r s t o o u t p u t v e c t o r s , a n d t h e a r r a n g e m e n t o f n a l

g r a p h i c s i n a g a l l e r y . T h e e n d u s e r n e e d o n l y r e c o g n i z e a n d s e l e c t a p p e a l i n g g r a p h i c s f r o m

t h e g a l l e r y .

M E R L - T R - 9 7 - 1 4 O c t o b e r 1 9 9 7

8/2/2019 TR97-14

7/26

2

W e e x p l a i n a n d i l l u s t r a t e t h e u s e o f D G s f o r s e v e r a l c o m m o n p a r a m e t e r - s e t t i n g p r o b -

l e m s : l i g h t s e l e c t i o n a n d p l a c e m e n t f o r i m a g e r e n d e r i n g , b o t h s t a n d a r d a n d i m a g e - b a s e d ;

o p a c i t y a n d c o l o r t r a n s f e r - f u n c t i o n s p e c i c a t i o n f o r v o l u m e r e n d e r i n g ; a n d m o t i o n c o n t r o l f o r

p a r t i c l e - s y s t e m a n d a r t i c u l a t e d - g u r e a n i m a t i o n . D u r i n g t h e d i s c u s s i o n , w e d e s c r i b e t h e i n -

p u t a n d o u t p u t v e c t o r s f o r e a c h m a p p i n g p r o c e s s , a n d p r e s e n t v a r i o u s m e t h o d s f o r d i s p e r s i o n

a n d a r r a n g e m e n t t h a t w e h a v e u s e d i n b u i l d i n g D G s y s t e m s .

2 L i g h t S e l e c t i o n a n d P l a c e m e n t

S e t t i n g l i g h t i n g p a r a m e t e r s i s a n e s s e n t i a l p r e c u r s o r t o i m a g e r e n d e r i n g . P r e v i o u s a t t e m p t s

a t c o m p u t e r - a s s i s t e d l i g h t i n g s p e c i c a t i o n h a v e u s e d i n v e r s e d e s i g n . F o r e x a m p l e , t h e u s e r

c a n s p e c i f y t h e l o c a t i o n o f h i g h l i g h t s a n d s h a d o w s i n t h e i m a g e 1 5 , p i x e l i n t e n s i t i e s 1 9 , o r

s u b j e c t i v e i m p r e s s i o n s o f i l l u m i n a t i o n 1 0 ; t h e c o m p u t e r t h e n a t t e m p t s t o d e t e r m i n e l i g h t i n g

p a r a m e t e r s t h a t b e s t m e e t t h e g i v e n o b j e c t i v e s , u s i n g g e o m e t r i c 1 5 o r o p t i m i z a t i o n 1 0 , 1 9

t e c h n i q u e s . U n f o r t u n a t e l y , t h e f o r m u l a t i o n o f l i g h t i n g s p e c i c a t i o n a s a n i n v e r s e p r o b l e m

h a s s o m e s i g n i c a n t d r a w b a c k s . H i g h - q u a l i t y i m a g e r e n d e r i n g e . g . , r a y t r a c i n g o r r a d i o s i t y

i s c o s t l y ; t o m a k e t h e c o m p u t e r ' s s e a r c h t a s k t r a c t a b l e , t h e u s e r m a y h a v e t o x t h e l i g h t

p o s i t i o n s 1 0 , 1 9 , t h e r e b y g r o s s l y l i m i t i n g t h e i l l u m i n a t i o n s t h a t c a n b e c o n s i d e r e d . A m o r e

i n t r i n s i c d i c u l t y i s t h a t o f r e q u i r i n g t h e u s e r t o q u a n t i f y a p r i o r i t h e d e s i r e d i l l u m i n a t i v e

c h a r a c t e r i s t i c s o f t h e r e s u l t i n g i m a g e . T h i s r e q u i r e m e n t m a y b e s a t i s a b l e i n a n a r c h i t e c t u r a l

c o n t e x t 1 0 , b u t s e e m s v e r y c h a l l e n g i n g i n a m o r e g e n e r a l c i n e m a t o g r a p h i c c o n t e x t 8 . T h e

m o s t d i c u l t l i g h t i n g p a r a m e t e r s t o s e t a r e t h o s e r e l a t i n g t o l i g h t t y p e a n d p l a c e m e n t , s o

t h e y h a v e b e e n t h e f o c u s o f o u r e o r t s .

2 . 1 I n p u t a n d O u t p u t V e c t o r s

F o r t h e l i g h t s e l e c t i o n a n d p l a c e m e n t p r o b l e m , w e b e g i n w i t h a s c e n e m o d e l c o m p r i s i n g

s u r f a c e s a n d v i e w i n g p a r a m e t e r s . T h e g o a l i s t o e x p l o r e d i e r e n t w a y s o f l i g h t i n g t h e s c e n e ,

s o t h e i n p u t v e c t o r i n c l u d e s a l i g h t p o s i t i o n , a l i g h t t y p e , a n d a l i g h t d i r e c t i o n i f n e e d e d . T h e

l i g h t p o s i t i o n i s l o c a t e d s o m e w h e r e o n o n e o f t h e s u r f a c e s d i s t i n g u i s h e d a s a l i g h t h o o k s u r f a c e

b y t h e u s e r . T h e l i g h t t y p e c o m e s f r o m a u s e r - d e n e d g r o u p , a n d d e s c r i b e s a t t r i b u t e s o f t h e

l i g h t : i t s b a s i c c l a s s e . g . , p o i n t , a r e a , o r s p o t l i g h t ; w h e t h e r o r n o t i t c a s t s s h a d o w s ; i t s f a l l o

b e h a v i o r e . g . , n o n e , l i n e a r , o r q u a d r a t i c ; a n d c l a s s - s p e c i c p a r a m e t e r s e . g . , t h e b e a m a n g l e

o f a s p o t l i g h t . D i r e c t i o n a l l i g h t s a r e a i m e d a t r a n d o m l y c h o s e n p o i n t s o n d e s i g n a t e d l i g h t

t a r g e t s u r f a c e s .

T h e o u t p u t v e c t o r s h o u l d b e a c o n c i s e , e c i e n t l y c o m p u t e d s e t o f v a l u e s t h a t s u m m a -

r i z e s t h e p e r c e p t u a l q u a l i t i e s o f t h e n a l i m a g e . T h u s , o u t p u t v e c t o r s a r e b a s e d o n p i x e l

l u m i n a n c e s f r o m s e v e r a l l o w - r e s o l u t i o n t h u m b n a i l i m a g e s 3 2 2 5 p i x e l s a n d s m a l l e r . T h e

l u m i n a n c e s a t r e s o l u t i o n a r e w e i g h t e d b y a f a c t o r f . T h e d i s t a n c e m e t r i c o n t h e o u t p u t

v e c t o r i s t h e s t a n d a r d L

1

M a n h a t t a n d i s t a n c e . A s a r e s u l t , t h e d i s t a n c e b e t w e e n o u t p u t

v e c t o r s c o r r e s p o n d i n g t o i m a g e s q a n d r i s

X

2 f 1

1

1 6

1

1 6

2

; : : : g

X

x y

f Y

q

x ; y , Y

r

x ; y 1

M E R L - T R - 9 7 - 1 4 O c t o b e r 1 9 9 7

8/2/2019 TR97-14

8/26

3

w h e r e Y

q

x ; y i s t h e l u m i n a n c e o f t h e p i x e l a t l o c a t i o n x ; y i n i m a g e q a t r e s o l u t i o n

1

2 . 2 D i s p e r s i o n

T h e d i s p e r s i o n p h a s e s e l e c t s a n a p p r o p r i a t e s u b s e t o f i n p u t v e c t o r s f r o m a r a n d o m s a m p l e

o v e r t h e i n p u t s p a c e . S p e c i c a l l y , T l i g h t s a r e g e n e r a t e d a t e a c h o f H p o s i t i o n s d i s t r i b u t e d

u n i f o r m l y o v e r t h e l i g h t h o o k s u r f a c e s . T h i s p r o c e d u r e y i e l d s a s e t L o f H T i n p u t v e c t o r s .

T y p i c a l v a l u e s a r e H = 5 0 0 a n d T = 8 , i n w h i c h c a s e L = 4 0 0 0 .

2

F o r e a c h i n p u t v e c t o r i n

L , t h u m b n a i l i m a g e s a r e g e n e r a t e d , a n d t h e c o r r e s p o n d i n g o u t p u t v e c t o r i s d e t e r m i n e d a s

d e s c r i b e d a b o v e . T h e d i s p e r s i o n a l g o r i t h m o u t l i n e d i n F i g u r e 1 t h e n n d s a s e t I L w i t h

g o o d s p r e a d a m o n g o u t p u t v e c t o r s . T h e r s t s t e p i s t h e e l i m i n a t i o n o f l i g h t s t h a t d i m l y

i l l u m i n a t e t h e v i s i b l e p a r t o f t h e s c e n e , b e c a u s e t h e y a r e o b s c u r e d o r p o i n t a w a y f r o m t h e

s c e n e g e o m e t r y ; t h e s e l i g h t s a r e u n l i k e l y t o b e o f i n t e r e s t t o t h e u s e r a n d c a n c o n f o u n d t h e

r e s t o f t h e d i s p e r s i o n p r o c e s s . T h u m b n a i l i m a g e s w h o s e a v e r a g e l u m i n a n c e i s l e s s t h a n a

c u t o f a c t o r c a r e e l i m i n a t e d f r o m t h e s e t L . T y p i c a l u s e f u l v a l u e s o f c a r e i n t h e r a n g e

1 5 o f t h e m a x i m u m l u m i n a n c e v a l u e . T h e s u b s e t I i s a s s e m b l e d b y r e p e a t e d l y a d d i n g

t o I t h e l i g h t i n L w h o s e o u t p u t v e c t o r i s m o s t d i e r e n t f r o m i t s c l o s e s t m a t c h i n t h e n a s c e n t

I . T h e s i z e o f I i s d e t e r m i n e d b y t h e i n t e r f a c e , a s d e s c r i b e d b e l o w ; I = 5 8 4 f o r t h e e x a m p l e s

w e d i s c u s s i n t h e p a p e r .

2 . 3 A r r a n g e m e n t

W e w o u l d l i k e t h e s e t o f l i g h t s I t o b e l a r g e , s o t h a t t h e u s e r w i l l h a v e m a n y c o m p l e m e n t a r y

l i g h t s f r o m w h i c h t o c h o o s e . H o w e v e r , t h e g r e a t e r t h e s i z e o f I , t h e m o r e d i c u l t i t w i l l b e f o r

t h e u s e r t o b r o w s e t h e l i g h t s e e c t i v e l y . W e a c c o m m o d a t e t h e s e c o n t r a d i c t o r y r e q u i r e m e n t s

b y a r r a n g i n g t h e s e t I i n a f u l l y b a l a n c e d h i e r a r c h y i n w h i c h l i g h t s t h a t p r o d u c e s i m i l a r

i l l u m i n a t i o n e e c t s a r e g r o u p e d t o g e t h e r . W e a c c o m p l i s h t h i s g o a l o f t h e a r r a n g e m e n t p h a s e

b y g r a p h p a r t i t i o n i n g . A c o m p l e t e g r a p h i s f o r m e d i n w h i c h t h e v e r t i c e s c o r r e s p o n d t o

t h e l i g h t s i n I , a n d e d g e c o s t s a r e g i v e n b y t h e i n v e r s e o f t h e d i s t a n c e m e t r i c u s e d i n t h e

d i s p e r s i o n p h a s e . A n o p t i m a l w - w a y p a r t i t i o n o f t h i s g r a p h w o u l d c o m p r i s e w d i s j o i n t v e r t e x

s u b s e t s o f e q u a l c a r d i n a l i t y s u c h t h a t t h e c o s t o f t h e c u t s e t , t h e t o t a l c o s t o f a l l e d g e s t h a t

c o n n e c t v e r t i c e s i n d i e r e n t s u b s e t s , i s m i n i m i z e d . O p t i m a l g r a p h p a r t i t i o n i n g i s N P - h a r d

4 , b u t m a n y g o o d h e u r i s t i c s h a v e b e e n d e v e l o p e d f o r t h i s p r o b l e m 1 . O u r p a r t i t i o n i n g

c o d e i s b a s e d o n a n a l g o r i t h m a n d s o f t w a r e d e v e l o p e d b y K a r y p i s a n d K u m a r 9 . O n c e

t h e i n i t i a l w - w a y p a r t i t i o n i s f o r m e d , r e p r e s e n t a t i v e l i g h t s f o r e a c h p a r t i t i o n a r e s e l e c t e d ,

a n d i n s t a l l e d i n t h e h i e r a r c h y . T h e p a r t i t i o n e d s u b s e t s , m i n u s t h e i r r e p r e s e n t a t i v e v e r t i c e s ,

1

S i n c e w e s t a r t w i t h a l o w - r e s o l u t i o n t h u m b n a i l , t h e l t e r e d i m a g e s o f e v e n l o w e r r e s o l u t i o n c a l l e d f o r i n t h e

e x p r e s s i o n w i l l b e t r u l y t i n y . N e v e r t h e l e s s , t h e y d o c o n t a i n u s e f u l i n f o r m a t i o n : t w o b a r e l y n o n o v e r l a p p i n g

n a r r o w - b e a m s p o t l i g h t s w i l l g e n e r a t e a h i g h a n d s o m e w h a t m i s l e a d i n g d i e r e n c e s c o r e a t t h e h i g h e s t

r e s o l u t i o n , b u t s m a l l e r , m o r e a p p r o p r i a t e d i e r e n c e s c o r e s a t l o w e r r e s o l u t i o n s b e c a u s e t h e b e a m s w i l l o v e r l a p

i n t h e l o w e r - r e s o l u t i o n i m a g e s . T h e e e c t o f t h e w e i g h t i n g f u n c t i o n f i s s u b t l e , b u t w e h a v e f o u n d i t

p r e f e r a b l e t o w e i g h t h i g h e r - r e s o l u t i o n i m a g e s s l i g h t l y m o r e t h a n l o w e r - r e s o l u t i o n o n e s .

2

W e p i c k e d t h e s e n u m b e r s t o a l l o w o v e r n i g h t b a t c h p r o c e s s i n g o f t h e e n t i r e D G p r o c e s s f o r o n e s c e n e o n

a s i n g l e M I P S R 1 0 0 0 0 p r o c e s s o r .

M E R L - T R - 9 7 - 1 4 O c t o b e r 1 9 9 7

8/2/2019 TR97-14

9/26

4

a r e t h e n p r o c e s s e d r e c u r s i v e l y u n t i l a h i e r a r c h y w i t h b r a n c h i n g f a c t o r w a n d h e i g h t h i s

c o m p l e t e d .

T h e v a l u e s f o r w a n d h a r e d i c t a t e d b y t h e u s e r i n t e r f a c e , w h o s e s t r u c t u r e i s d e p i c t e d i n

F i g u r e 2 , a n d a c t u a l e x a m p l e s o f w h i c h a r e s h o w n i n F i g u r e s 9 1 1 . F o r e a c h l i g h t i n t h e n a l

s e t I , m e d i u m - s i z e 1 2 8 1 0 0 p i x e l s a n d f u l l - s i z e 5 1 2 4 0 0 p i x e l s i m a g e s a r e g e n e r a t e d

f o r u s e i n t h e i n t e r f a c e . T h e u s e r i s p r e s e n t e d w i t h a r o w o f e i g h t i m a g e s t h a t s e r v e a s t h e

r s t l e v e l o f t h e l i g h t h i e r a r c h y . C l i c k i n g o n o n e o f t h e s e i m a g e s c a u s e s i t s e i g h t c h i l d r e n

i n t h e h i e r a r c h y t o b e p r e s e n t e d i n t h e n e x t r o w o f i m a g e s . T h e t h i r d a n d n a l l e v e l i n

t h e h i e r a r c h y i s a c c e s s e d b y c l i c k i n g o n a n i m a g e f r o m t h e s e c o n d r o w . T h u s w = 8 a n d

h = 3 . I n t u r n , t h e s e p a r a m e t e r s d e t e r m i n e t h e c a r d i n a l i t y o f I : I =

P

h

j = 1

w

j

= 5 8 4 . T h i s

p a r t i c u l a r i n t e r f a c e p r o v i d e s a d d i t i o n a l a p p l i c a t i o n - s p e c i c f u n c t i o n a l i t y t h a t e x p l o i t s t h e

a d d i t i v e n a t u r e o f l i g h t 6 . I m a g e s c a n b e d r a g g e d t o t h e p a l e t t e , w h e r e l i g h t i n t e n s i t y a n d

t e m p e r a t u r e c a n b e v a r i e d i n t e r a c t i v e l y . M u l t i p l e i m a g e s a r e c o m p o s i t e d t o f o r m a f u l l - s i z e

i m a g e i n t h e l o w e r l e f t .

2 . 4 R e s u l t s

T h e D G i n F i g u r e 9 c o n t a i n s a s c e n e i n s p i r e d b y a n e x a m p l e f r o m 8 . T h e o o r , c e i l i n g , a n d

a l l f o u r w a l l s o n l y t h e r e a r o n e i s v i s i b l e w e r e d e s i g n a t e d l i g h t - h o o k s u r f a c e s . T h e s u r f a c e s

c o m p r i s i n g t h e g u r e s w e r e d e s i g n a t e d l i g h t - t a r g e t s u r f a c e s , a s w a s t h e b a c k w a l l . T h e 5 8 4

l i g h t s i n t h e g a l l e r y w e r e s e l e c t e d f r o m 5 , 0 0 0 r a n d o m l y g e n e r a t e d l i g h t s i n t h e d i s p e r s i o n

p h a s e . T h e c o s t o f c o m p u t i n g t h i s a n d t h e o t h e r l i g h t - s e l e c t i o n - a n d - p l a c e m e n t D G s s h o w n

h e r e w a s d o m i n a t e d b y t h e c o s t o f r a y t r a c i n g t h e 5 8 4 f u l l - s i z e i m a g e s u s e d i n t h e d i s p l a y ,

w h i c h t o o k a p p r o x i m a t e l y v e h o u r s o n a M I P S R 1 0 0 0 0 p r o c e s s o r .

F i g u r e 1 0 c o n t a i n s a s c e n e w i t h r i c h e r g e o m e t r y . T h e c e i l i n g , a n d t h e a r e a a r o u n d t h e

b a s e o f t h e s t a t u e w e r e d e s i g n a t e d l i g h t - h o o k s u r f a c e s . T h e s u r f a c e s o f t h e t w o h e a d s , t h e

d o o r s , t h e t r e e , a n d t h e s t a t u e w e r e d e s i g n a t e d l i g h t - t a r g e t s u r f a c e s . T h e g a l l e r y l i g h t s w e r e

s e l e c t e d f r o m 3 , 0 0 0 r a n d o m l y g e n e r a t e d l i g h t s i n t h e d i s p e r s i o n p h a s e .

F i n a l l y , F i g u r e 1 1 s h o w s a D G f o r s y n t h e t i c l i g h t i n g o f a p h o t o g r a p h i n s e t a t l o w e r

r i g h t . A p o i n t - a n d l i n e - b a s e d 3 D m o d e l i s e x t r a c t e d f r o m a t r i p l e t o f s c e n e i m a g e s , e a c h

t a k e n f r o m a d i e r e n t v i e w p o i n t . T h i s r e c o n s t r u c t i o n p r o c e s s i s c o m p l e t e l y a u t o m a t i c , a s

d e s c r i b e d i n 2 . P o i n t s a n d l i n e s a r e t h e n a g g r e g a t e d s e m i - a u t o m a t i c a l l y i n t o p l a n e s . A n

i l l u m i n a t i o n o f t h e n a l r e c o v e r e d m o d e l i s u s e d t o m o d u l a t e i n t e n s i t y i n o n e o f t h e o r i g i n a l

p h o t o g r a p h s .

3 O p a c i t y a n d C o l o r T r a n s f e r F u n c t i o n s f o r V o l u m e

R e n d e r i n g

C h o o s i n g t h e o p a c i t y a n d c o l o r t r a n s f e r f u n c t i o n s f o r v o l u m e r e n d e r i n g i s a n o t h e r t e d i o u s

a n d d i c u l t m a n u a l t a s k a m e n a b l e t o a D G a p p r o a c h .

3

W e d e v e l o p e d D G i n t e r f a c e s f o r t w o

d a t a s e t s : t h e s i m u l a t e d e l e c t r o n d e n s i t y o f a p r o t e i n , a n d a C T s c a n o f a h u m a n p e l v i s .

3

T h e a p p l i c a t i o n o f b o t h i n t e r a c t i v e e v o l u t i o n a n d i n v e r s e d e s i g n t o t h i s p r o b l e m i s t h e s u b j e c t o f 7 .

M E R L - T R - 9 7 - 1 4 O c t o b e r 1 9 9 7

8/2/2019 TR97-14

10/26

5

3 . 1 I n p u t a n d O u t p u t V e c t o r s

T h e p r o t e i n d a t a s e t c o n t a i n s v a l u e s i n t h e i n t e r v a l 0 ; 2 5 5 . T h e o p a c i t y t r a n s f e r f u n c t i o n

o v e r t h i s d o m a i n i s p a r a m e t e r i z e d b y a p o l y l i n e w i t h e i g h t c o n t r o l p o i n t s , f o r a t o t a l o f 1 6

v a l u e s . T h e p o l y l i n e i s l o w - p a s s l t e r e d b e f o r e i t i s u s e d . T h e c o l o r t r a n s f e r f u n c t i o n i s

p a r a m e t e r i z e d b y v e v a l u e s t h a t s e g m e n t t h e d a t a i n t o s i x s u b r a n g e s , w h i c h a r e a r b i t r a r i l y

a s s i g n e d t h e c o l o r s r e d , y e l l o w , g r e e n , c y a n , b l u e , a n d m a g e n t a . T h u s c o l o r i s b e i n g u s e d

o n l y t o i d e n t i f y s u b r a n g e s o f t h e d a t a , a n d n o t t o c o n v e y a n y q u a n t i t a t i v e r e l a t i o n s a m o n g

t h e d a t a . F i g u r e 3 i l l u s t r a t e s a s a m p l e o p a c i t y a n d c o l o r t r a n s f e r f u n c t i o n . T h e c o m p l e t e

i n p u t v e c t o r c o m p r i s e s 2 3 p a r a m e t e r s .

F o r t h e s c e n e - l i g h t i n g D G , t h e o u t p u t v e c t o r c o n t a i n s a p p r o x i m a t e l y 8 5 0 w e i g h t e d p i x e l

l u m i n a n c e s . T h i s k i n d o f r e s o l u t i o n i s n e c e s s a r y b e c a u s e l i g h t s c a n c a u s e c o m p l e t e l y l o c a l

i l l u m i n a t i o n e e c t s i n a s y n t h e t i c a l l y r e n d e r e d i m a g e , e e c t s t h a t s h o u l d b e r e p r e s e n t a b l e i n

t h e o u t p u t v e c t o r . I n c o m p a r i s o n , c h a n g e s t o t r a n s f e r f u n c t i o n s w i l l g e n e r a l l y a e c t m a n y

p i x e l s t h r o u g h o u t a v o l u m e - r e n d e r e d i m a g e . W e c a n t a k e a d v a n t a g e o f t h i s h o m o g e n e i t y

b y i n c l u d i n g o n l y a h a n d f u l o f p i x e l s i n t h e o u t p u t v e c t o r . C u r r e n t l y w e u s e e i g h t p i x e l s ,

s e l e c t e d m a n u a l l y f o r e a c h d a t a s e t . R e p r e s e n t i n g a l l o f t h e i r Y U V v a l u e s r e q u i r e s 2 4 v a l u e s

i n t h e o u t p u t v e c t o r , a n d s t a n d a r d E u c l i d e a n d i s t a n c e i s u s e d a s t h e o u t p u t - s p a c e m e t r i c .

D i s p e r s i o n o n t h e b a s i s o f e i g h t p i x e l s f r o m d i e r e n t p a r t s o f t h e i m a g e p r o d u c e s e x c e l l e n t

d i s p e r s i o n o f c o m p l e t e i m a g e s a t a m u c h r e d u c e d c o m p u t a t i o n a l c o s t .

3 . 2 D i s p e r s i o n

T h e d i s p e r s i o n h e u r i s t i c i n F i g u r e 1 w o r k s b y d i s t i l l i n g a s e t o f r a n d o m l y g e n e r a t e d i n p u t

v e c t o r s d o w n t o a w e l l - d i s p e r s e d s u b s e t . A l t h o u g h s i m p l e , t h i s m e t h o d h a s t h e d r a w b a c k o f

n o t u t i l i z i n g w h a t i s l e a r n e d v i a r a n d o m s a m p l i n g a b o u t t h e m a p p i n g f r o m i n p u t t o o u t p u t

v e c t o r s . I n c o n t r a s t , t h e d i s p e r s i o n h e u r i s t i c i n F i g u r e 4 u s e s a n e v o l u t i o n a r y s t r a t e g y t h a t

a d a p t s i t s s a m p l i n g o v e r t i m e i n r e s p o n s e t o w h a t i t i m p l i c i t l y l e a r n s , a n d c o n s e q u e n t l y

p e r f o r m s m u c h b e t t e r . I t s t a r t s w i t h a n i n i t i a l s e t o f r a n d o m i n p u t v e c t o r s . T h e s e v e c t o r s

a r e t h e n p e r t u r b e d r a n d o m l y . P e r t u r b e d v e c t o r s a r e s u b s t i t u t e d f o r e x i s t i n g v e c t o r s i n t h e s e t

i f t h e s u b s t i t u t i o n i m p r o v e s d i s p e r s i o n . T h e k e y n o t i o n o f d i s p e r s i o n u s e d i s n e a r e s t - n e i g h b o r

d i s t a n c e i n t h e s p a c e o f o u t p u t v e c t o r s .

3 . 3 A r r a n g e m e n t

T h e a r r a n g e m e n t m e t h o d b a s e d o n g r a p h p a r t i t i o n i n g t h a t i s p r e s e n t e d i n x 2 . 3 r e s u l t s i n a

s i m p l e a n d e a s y - t o - u s e i n t e r f a c e . U n f o r t u n a t e l y , s o m e t i m e s t h e p a r t i t i o n c o n t a i n s a n o m a -

l i e s , e . g . , d i s s i m i l a r l i g h t s p l a c e d i n t h e s a m e s u b s e t o f t h e p a r t i t i o n . T h i s p r o b l e m i s d u e

t o l i m i t a t i o n s o f t h e p a r t i t i o n i n g m e t h o d n o h e u r i s t i c p a r t i t i o n i n g s t r a t e g y g u a r a n t e e s a n

o p t i m a l p a r t i t i o n , a n d t o t h e s t r u c t u r e o f t h e s e t o f o u t p u t v e c t o r s , w h i c h m a y n o t m a p

w e l l t o a n y r e g u l a r h i e r a r c h i c a l p a r t i t i o n .

F o r t h e v o l u m e - r e n d e r i n g a p p l i c a t i o n , w e u s e d a n a l t e r n a t i v e a r r a n g e m e n t m e t h o d t h a t

e s c h e w s a p a r t i t i o n - b a s e d o r h i e r a r c h i c a l f r a m e w o r k a n d i n s t e a d i l l u s t r a t e s t h e s t r u c t u r e o f

t h e s e t o f o u t p u t v e c t o r s g r a p h i c a l l y i n a 2 D l a y o u t . A n i n t e r f a c e f o r t h i s a r r a n g e m e n t m e t h o d

M E R L - T R - 9 7 - 1 4 O c t o b e r 1 9 9 7

8/2/2019 TR97-14

11/26

6

i s s h o w n i n F i g u r e 5 . A t h u m b n a i l , w h i c h i n t h i s c a s e i s a s m a l l , l o w - r e s o l u t i o n v o l u m e -

r e n d e r e d i m a g e , i s g e n e r a t e d f o r e a c h n a l o u t p u t v e c t o r . T h e t h u m b n a i l s a r e a r r a n g e d i n

t h e c e n t e r d i s p l a y p a n e l , i n a m a n n e r t h a t c o r r e l a t e s t h e d i s t a n c e b e t w e e n t h u m b n a i l s w i t h

t h e d i s t a n c e b e t w e e n t h e a s s o c i a t e d o u t p u t v e c t o r s . T h e t h u m b n a i l d i s p l a y p a n e l c a n b e

p a n n e d a n d z o o m e d . S e l e c t i n g a t h u m b n a i l b r i n g s u p a f u l l - s i z e i m a g e , w h i c h c a n t h e n b e

m o v e d t o t h e s u r r o u n d i n g i m a g e g a l l e r y . M o u s i n g o n a n i m a g e i n t h e g a l l e r y h i g h l i g h t s i t s

a s s o c i a t e d t h u m b n a i l , a n d v i c e v e r s a .

T h u m b n a i l l a y o u t i s a c c o m p l i s h e d u s i n g a m u l t i d i m e n s i o n a l s c a l i n g M D S 3 m e t h o d

d u e t o T o r g e r s o n 2 4 .

4

G i v e n a m a t r i x o f d i s t a n c e s b e t w e e n p o i n t s , M D S p r o c e d u r e s c o m -

p u t e a n e m b e d d i n g o f t h e p o i n t s i n a l o w - d i m e n s i o n a l E u c l i d e a n s p a c e 2 D i n o u r c a s e

s u c h t h a t t h e i n t e r p o i n t d i s t a n c e s i n t h e e m b e d d i n g c l o s e l y m a t c h t h o s e i n t h e g i v e n m a -

t r i x . T o r g e r s o n ' s c l a s s i c a l s c a l i n g " m e t h o d , a l t h o u g h s i m p l e r a n d l e s s g e n e r a l t h a n i t e r a t i v e

m e t h o d s , i s f a s t a n d r o b u s t . W h e n t h e i n t e r p o i n t d i s t a n c e s c o m e f r o m a n e m b e d d i n g o f t h e

p o i n t s i n a h i g h - d i m e n s i o n a l E u c l i d e a n s p a c e w h i c h i s t r u e f o r t h e a p p l i c a t i o n s w e d i s c u s s

h e r e , a l t h o u g h i t n e e d n o t b e t r u e i n g e n e r a l , c l a s s i c a l s c a l i n g i s e q u i v a l e n t t o a n e c i e n t

t e c h n i q u e f o r c o m p u t i n g a p r i n c i p a l - c o m p o n e n t a n a l y s i s o f t h e p o i n t s 5 , 1 3 .

T h e l a y o u t s c o m p u t e d b y c l a s s i c a l s c a l i n g a r e n o t w i t h o u t a n o m a l i e s | a s w e a r e u s i n g

i t , t h i s M D S m e t h o d i s a p r o j e c t i o n f r o m a h i g h - d i m e n s i o n a l s p a c e o n t o a 2 D s p a c e , w h i c h

c a n n o t b e d o n e w i t h o u t l o s s o f i n f o r m a t i o n | b u t t h e y d o r e e c t t h e u n d e r l y i n g s t r u c t u r e

o f t h e o u t p u t v e c t o r s w e l l e n o u g h t o a l l o w e e c t i v e b r o w s i n g . O n e i m p o r t a n t p r a c t i c a l

d e t a i l : s i n c e f u l l - s i z e v e r s i o n s o f a l l t h e i m a g e s r e t u r n e d b y t h e d i s p e r s i o n p r o c e d u r e m u s t b e

r e n d e r e d a n y w a y , i t i s c o n v e n i e n t a n d b e t t e r t o c o m p u t e d i s t a n c e s f r o m t h e s e f u l l - s i z e i m a g e s

i n t h e a r r a n g e m e n t p h a s e , i n s t e a d o f f r o m t h e e i g h t p i x e l s u s e d i n t h e d i s p e r s i o n p h a s e .

3 . 4 R e s u l t s

F i g u r e 1 2 i l l u s t r a t e s t h e D G f o r t h e v o l u m e r e n d e r i n g o f t h e p r o t e i n d a t a s e t . T h e d i s p e r s i o n

p r o c e d u r e r e t u r n e d 2 5 6 d i s p e r s e d i n p u t a n d o u t p u t v e c t o r s . A s e l e c t i o n o f i m a g e s i s s h o w n

i n t h e s u r r o u n d i n g i m a g e g a l l e r i e s . T h e l i n e s t h a t c o n n e c t i m a g e s w i t h t h e i r t h u m b n a i l s g i v e

s o m e i n d i c a t i o n o f h o w i m a g e s c o n g r e g a t e i n t h e t h u m b n a i l d i s p l a y . D u r i n g i n t e r a c t i v e u s e

t h e a s s o c i a t i o n b e t w e e n t h u m b n a i l s a n d i m a g e s i s d o n e p r e f e r a b l y b y d y n a m i c h i g h l i g h t i n g ,

a s d e s c r i b e d a b o v e . F i g u r e 3 s h o w s t h e r e s u l t o f c l i c k i n g o n o n e o f t h e i m a g e s i n t h e i m a g e

g a l l e r y : t h e c o r r e s p o n d i n g o p a c i t y a n d c o l o r t r a n s f e r f u n c t i o n s a r e d e p i c t e d i n a p o p - u p

w i n d o w , a l l o w i n g t h e u s e r t o s e e h o w i m a g e a n d d a t a r e l a t e .

T h e p e r f o r m a n c e o f t h e d i s p e r s i o n h e u r i s t i c f r o m t h i s e x p e r i m e n t i s d o c u m e n t e d i n F i g -

u r e 6 ; t h i s d a t a i s r e p r e s e n t a t i v e o f a l l t h e D G e x p e r i m e n t s t h a t u s e t h e e v o l u t i o n a r y d i s p e r -

s i o n h e u r i s t i c . T h e c u r v e s s h o w h o w t w o v a l u e s , t h e m i n i m u m a n d a v e r a g e n e a r e s t - n e i g h b o r

d i s t a n c e s i n t h e s e t o f o u t p u t v e c t o r s , i n c r e a s e o v e r t i m e . I m p r o v e m e n t i s r a p i d a t r s t :

t h e m i n i m u m a n d a v e r a g e n e a r e s t - n e i g h b o r h o o d d i s t a n c e s i n t h e i n i t i a l r a n d o m s e t a r e 1 8 4

a n d 7 , 7 8 9 , r e s p e c t i v e l y . H o w e v e r , t h e r a t e o f i m p r o v e m e n t d r o p s q u i c k l y . A l t h o u g h w e u s e d

a t r i a l c o u n t o f t = 2 ; 0 0 0 ; 0 0 0 s e e F i g u r e 4 , i t i s c l e a r t h a t r e l a t i v e l y l i t t l e i m p r o v e m e n t

o c c u r r e d a f t e r t = 5 0 0 ; 0 0 0 . T o r e a c h t h i s p o i n t r e q u i r e s 8 5 0 0 ; 0 0 0 = 4 ; 0 0 0 ; 0 0 0 r a y c a s t

4

T h e u s e o f m o r e s o p h i s t i c a t e d M D S t e c h n i q u e s f o r a r r a n g i n g a d a t a b a s e o f i m a g e s i s b e i n g i n v e s t i g a t e d

b y R u b n e r e t a l . 1 8 .

M E R L - T R - 9 7 - 1 4 O c t o b e r 1 9 9 7

8/2/2019 TR97-14

12/26

7

o p e r a t i o n s a n d t a k e s l e s s t h a n 4 0 m i n u t e s o n a s i n g l e M I P S R 1 0 0 0 0 p r o c e s s o r . T h i s d u r a t i o n

i s r o u g h l y o n e - s i x t h o f t h a t n e e d e d t o r e n d e r t h e 2 5 6 f u l l - s i z e i m a g e s 3 0 0 3 0 0 p i x e l s f o r

t h e D G .

A s e c o n d v o l u m e - r e n d e r i n g e x p e r i m e n t w a s p e r f o r m e d u s i n g a c o m p u t e d t o m o g r a p h y

C T d a t a s e t f o r a h u m a n p e l v i s . T h e s e d a t a v a l u e s a r e p r e s e g m e n t e d i n t o f o u r d i s j o i n t s u b -

r a n g e s , o n e e a c h f o r a i r , f a t , m u s c l e , a n d b o n e . T h e i n p u t v e c t o r s p e c i e s t h e y - c o o r d i n a t e s o f

1 2 o p a c i t y c o n t r o l p o i n t s ; t h e x - c o o r d i n a t e s a r e h e l d x e d . T h e i n p u t v e c t o r d o e s n o t s p e c i f y

a c o l o r t r a n s f e r f u n c t i o n , s i n c e s t a n d a r d c o l o r s a r e u s e d f o r t h e d i e r e n t t i s s u e t y p e s . T h e

o u t p u t v e c t o r , d i s t a n c e m e t r i c , d i s p e r s i o n , a n d a r r a n g e m e n t w e r e i d e n t i c a l t o t h e p r o t e i n -

r e n d e r i n g e x p e r i m e n t . F i g u r e 1 3 i l l u s t r a t e s t h e D G f o r t h e v o l u m e r e n d e r i n g o f t h e p e l v i s

d a t a s e t .

4 A n i m a t i o n A p p l i c a t i o n s

M o t i o n c o n t r o l i n a n i m a t i o n i n v o l v e s e x t e n s i v e p a r a m e t e r t u n i n g b e c a u s e t h e m a p p i n g f r o m

i n p u t p a r a m e t e r s t o g r a p h i c a l o u t p u t i s n o n i n t u i t i v e , u n p r e d i c t a b l e , a n d c o s t l y t o c o m p u t e .

5

F o r t h e s e r e a s o n s , m o t i o n c o n t r o l i s v e r y a m e n a b l e t o a D G a p p r o a c h . B u i l d i n g a D G

i n t e r f a c e f o r a n i m a t i o n i s s i m i l a r t o b u i l d i n g o n e f o r s t i l l i m a g e s w e r e u s e t h e d i s p e r s i o n a n d

a r r a n g e m e n t c o d e f r o m x 3 v i r t u a l l y w i t h o u t c h a n g e ; t h e m a j o r d i e r e n c e s a r e i n c o m p u t i n g

t h e o u t p u t - v e c t o r c o m p o n e n t s . W e n o w d i s c u s s t h r e e D G s y s t e m s f o r a n i m a t i o n t a s k s ,

f o c u s i n g o n t h i s l a t t e r i s s u e .

4 . 1 2 D D o u b l e P e n d u l u m

T h e 2 D d o u b l e p e n d u l u m i s a s i m p l e d y n a m i c s y s t e m w i t h r i c h b e h a v i o r t h a t m a k e s i t a n

i d e a l t e s t c a s e f o r p a r a m e t e r - s e t t i n g m e t h o d o l o g i e s .

6

A d o u b l e p e n d u l u m c o n s i s t s o f a n

a t t a c h m e n t p o i n t h , t w o b o b s o f m a s s e s m

1

a n d m

2

, a n d t w o m a s s l e s s r o d s o f l e n g t h s r

1

a n d r

2

, c o n n e c t e d a s s h o w n i n F i g u r e 7 . O u r p e n d u l u m a l s o i n c l u d e s m o t o r s a t t h e j o i n t s a t

h a n d m

1

t h a t c a n a p p l y s i n u s o i d a l t i m e - v a r y i n g t o r q u e s . T h e i n p u t v e c t o r c o m p r i s e s t h e

r o d l e n g t h s , t h e b o b m a s s e s , t h e i n i t i a l a n g u l a r p o s i t i o n s a n d v e l o c i t i e s o f t h e r o d s , a n d t h e

a m p l i t u d e , f r e q u e n c y , a n d p h a s e o f b o t h s i n u s o i d a l t o r q u e s , f o r a t o t a l o f 1 4 p a r a m e t e r s .

C h o o s i n g a s u i t a b l e o u t p u t v e c t o r p r o v e d t o b e t h e m o s t d i c u l t p a r t o f t h e D G p r o c e s s

f o r t h e d o u b l e p e n d u l u m , a s w e l l a s f o r t h e o t h e r m o t i o n - c o n t r o l a p p l i c a t i o n s ; s e v e r a l r o u n d s

o f e x p e r i m e n t a t i o n w e r e n e e d e d s e e x 5 f o r m o r e d e t a i l s . T h e o u t p u t v e c t o r m u s t c a p t u r e

t h e b e h a v i o r o f t h e s y s t e m o v e r t i m e . F o r t h e d o u b l e p e n d u l u m , t h e o u t p u t v e c t o r h a s 1 2

p a r a m e t e r s : t h e d i e r e n c e s i n r o d l e n g t h s a n d b o b m a s s e s , t h e a v e r a g e C a r t e s i a n c o o r d i n a t e s

o f e a c h b o b , a n d l o g a r i t h m s o f t h e a v e r a g e a n g u l a r v e l o c i t y , t h e n u m b e r o f v e l o c i t y r e v e r s a l s ,

a n d t h e n u m b e r o f r e v o l u t i o n s f o r e a c h r o d . E u c l i d e a n d i s t a n c e i s u s e d a s t h e d i s t a n c e m e t r i c

o n t h i s o u t p u t s p a c e .

5

B o t h i n t e r a c t i v e e v o l u t i o n 2 6 a n d i n v e r s e d e s i g n 1 2 , 1 4 , 2 2 , 2 5 , 2 7 h a v e b e e n a p p l i e d p r e v i o u s l y t o

m o t i o n c o n t r o l .

6

E v e n w i t h o u t t h e a p p l i c a t i o n o f e x t e r n a l t o r q u e s a t i t s j o i n t s , t h e 2 D d o u b l e p e n d u l u m e x h i b i t s c h a o t i c

b e h a v i o r 2 0 .

M E R L - T R - 9 7 - 1 4 O c t o b e r 1 9 9 7

8/2/2019 TR97-14

13/26

8

T h e m a p p i n g f r o m i n p u t v e c t o r t o o u t p u t v e c t o r i s a c c o m p l i s h e d b y d y n a m i c a l l y s i m u l a t -

i n g 2 0 s e c o n d s o f t h e p e n d u l u m ' s m o t i o n , a n d u s i n g t h e a l g o r i t h m i n F i g u r e 4 f o r d i s p e r s i o n .

A r r a n g e m e n t i s a c c o m p l i s h e d u s i n g t h e M D S l a y o u t m e t h o d o f x 3 . 3 . T h e d i s p l a y e d t h u m b -

n a i l s a r e s t a t i c i m a g e s o f t h e n a l s t a t e o f t h e p e n d u l u m , a l o n g w i t h a t r a i l o f t h e l o w e r

b o b o v e r t h e n a l f e w s e c o n d s . W e f o u n d t h a t t h e s e i m a g e s g i v e e n o u g h c l u e s a b o u t t h e f u l l

a n i m a t i o n t o e n a b l e e e c t i v e b r o w s i n g . T h u m b n a i l s c a n b e d r a g g e d i n t o g a l l e r y s l o t s , a l l o f

w h i c h c a n b e a n i m a t e d s i m u l t a n e o u s l y b y c l i c k i n g o n a n y o c c u p i e d s l o t .

F i g u r e 1 4 s h o w s t h e D G f o r t h e d o u b l e p e n d u l u m . A s b e f o r e , t h e o v e r l a i d l i n e s s h o w

w h e r e a n i m a t i o n s i n t h e g a l l e r y a r e l o c a t e d i n t h e t h u m b n a i l d i s p l a y . T h e p l a t e a u i n n e a r e s t -

n e i g h b o r d i s t a n c e i s r e a c h e d a f t e r 1 7 0 ; 0 0 0 d i s p e r s i o n i t e r a t i o n s , w h i c h t a k e 6 . 5 h o u r s o n a

s i n g l e M I P S R 1 0 0 0 0 p r o c e s s o r .

4 . 2 3 D H o p p e r D o g

T h e p r e v i o u s D G i s u s e f u l i n n d i n g a n d u n d e r s t a n d i n g t h e f u l l r a n g e o f m o t i o n s p o s s i b l e

f o r t h e p e n d u l u m u n d e r a g i v e n c o n t r o l r e g i m e . H o w e v e r , c o m p l e t e g e n e r a l i t y i s n o t a l w a y s

a u s e f u l g o a l : t h e a n i m a t o r m a y h a v e s o m e p r e c o n c e i v e d i d e a o f a m o t i o n t h a t n e e d s s u b t l e

r e n e m e n t t o a d d n u a n c e a n d d e t a i l . T h e 3 D h o p p e r d o g , s h o w n i n F i g u r e 7 , i s a n a r t i c u l a t e d

l i n k a g e w i t h r i g i d l i n k s c o n n e c t e d b y r o t a r y j o i n t s . I t h a s a h e a d , e a r s , a n d t a i l , a n d m o v e s

b y h o p p i n g o n i t s s i n g l e l e g . I t h a s 2 4 d e g r e e s o f f r e e d o m D O F . T h e h o p p e r d o g i s a c t u a t e d

b y a c o n t r o l s y s t e m t h a t t r i e s t o m a i n t a i n a d e s i r e d f o r w a r d v e l o c i t y a n d h o p p i n g h e i g h t , a s

w e l l a s d e s i r e d p o s i t i o n s f o r j o i n t s i n s o m e o f t h e a p p e n d a g e s . T h e e q u a t i o n s o f m o t i o n f o r

t h e s y s t e m a r e g e n e r a t e d u s i n g a c o m m e r c i a l l y a v a i l a b l e p a c k a g e 1 7 ; d y n a m i c s i m u l a t i o n i s

u s e d t o p r o d u c e t h e a n i m a t i o n s .

W e s t a r t e d w i t h a b a s i c h o p p i n g m o t i o n , a n d t h e n u s e d a D G a p p r o a c h t o e x p l o r e s e v e n

i n p u t q u a n t i t i e s i n o r d e r t o a c h i e v e s t y l i s t i c , p h y s i c a l l y a t t a i n a b l e g a i t s . T h e s e v e n q u a n t i t i e s

a r e : t h e f o r w a r d v e l o c i t y , t h e h o p p i n g h e i g h t , a n d t h e p o s i t i o n s o f 2 - D O F e a r j o i n t s , a 2 - D O F

t a i l j o i n t , a n d a 1 - D O F n e c k j o i n t . F o r e a c h o f t h e s e s e v e n , a t i m e - v a r y i n g s i n u s o i d s p e c i e s

t h e d e s i r e d t r a j e c t o r y , w i t h t h e m i n i m u m v a l u e , m a x i m u m v a l u e , a n d f r e q u e n c y s p e c i e d i n

t h e i n p u t v e c t o r , w h i c h t h e r e f o r e c o n t a i n s 2 1 v a l u e s .

I n t h i s p a r t i c u l a r c a s e , t h e e l e m e n t s o f t h e o u t p u t v e c t o r c o r r e s p o n d c l o s e l y t o t h o s e o f

t h e i n p u t v e c t o r . T h e 1 4 - e l e m e n t o u t p u t v e c t o r c o n t a i n s t h e a v e r a g e s a n d v a r i a n c e s o f t h e

s a m e s e v e n q u a n t i t i e s , a n d i s o b t a i n e d b y d y n a m i c a l l y s i m u l a t i n g 3 0 s e c o n d s o f t h e h o p p e r

d o g ' s m o t i o n . O u t p u t v e c t o r s f r o m s i m u l a t i o n s i n w h i c h t h e h o p p e r d o g f a l l s a r e d i s c a r d e d

a u t o m a t i c a l l y . A s f o r t h e p r e v i o u s t w o a p p l i c a t i o n s , t h e o u t p u t - s p a c e d i s t a n c e m e t r i c i s

E u c l i d e a n , a n d t h e a r r a n g e m e n t m e t h o d a n d i n t e r f a c e f r o m x 3 . 3 a r e u s e d . T h e h o p p e r - d o g

D G i s i l l u s t r a t e d i n t h e v i d e o p r o c e e d i n g s .

4 . 3 P a r t i c l e S y s t e m s

P a r t i c l e s y s t e m s a r e u s e f u l f o r m o d e l i n g a v a r i e t y o f p h e n o m e n a s u c h a s r e , c l o u d s , w a t e r ,

a n d e x p l o s i o n s 1 6 . A u s e f u l p a r t i c l e - s y s t e m e d i t o r m i g h t h a v e 4 0 o r m o r e p a r a m e t e r s

t h a t t h e a n i m a t o r c a n s e t , s o a c h i e v i n g d e s i r e d e e c t s c a n b e t e d i o u s . A s i n t h e p r e v i o u s

s u b s e c t i o n , w e u s e a D G i n t e r f a c e t o r e n e a n a n i m a t o r ' s r o u g h a p p r o x i m a t i o n t o a d e s i r e d

M E R L - T R - 9 7 - 1 4 O c t o b e r 1 9 9 7

8/2/2019 TR97-14

14/26

9

a n i m a t i o n .

T h e s u b j e c t f o r o u r e x p e r i m e n t i s a h y p o t h e t i c a l b e a m w e a p o n f o r N A S A s p a c e s h u t -

t l e s . A r s t d r a f t w a s p r o d u c e d b y h a n d u s i n g a r e g u l a r p a r t i c l e - s y s t e m e d i t o r ; a s t i l l f r o m

m i d w a y t h r o u g h t h e a n i m a t i o n i s s h o w n i n F i g u r e 8 . T h e i n p u t v e c t o r c o n t a i n s t h e s u b s e t

o f p a r t i c l e - s y s t e m c o n t r o l s t h a t t h e a n i m a t o r w i s h e s t o h a v e t w e a k e d . I n t h i s e x a m p l e t h e

c o n t r o l s g o v e r n : t h e m e a n a n d v a r i a n c e o f p a r t i c l e v e l o c i t i e s , p a r t i c l e a c c e l e r a t i o n , r a t e o f

p a r t i c l e p r o d u c t i o n , p a r t i c l e l i f e t i m e , r e s i l i e n c e a n d f r i c t i o n c o e c i e n t o f c o l l i s i o n s u r f a c e s ,

a n d p e r t u r b a t i o n v e c t o r s f o r s u r f a c e n o r m a l s . A m o n g t h e p a r a m e t e r s t h a t a r e h e l d x e d a r e

t h e o r i g i n , a v e r a g e d i r e c t i o n , a n d c o l o r o f t h e b e a m .

F o r e c i e n c y r e a s o n s , D G o u t p u t v e c t o r s a r e b a s e d o n s u b s a m p l e d v e r s i o n s o f t h e n a l

g r a p h i c w h e r e p o s s i b l e , t h e r e b y r e d u c i n g c o m p u t a t i o n a l c o s t s a n d a l l o w i n g m o r e o f t h e s p a c e

t o b e e x p l o r e d . F o r e x a m p l e , s t a t i c i m a g e s c a n b e r e n d e r e d a t l o w r e s o l u t i o n x 2 a n d x 3

T h e s u b s a m p l i n g s t r a t e g y f o r t h e p a r t i c l e a n i m a t i o n i s t o s i m u l a t e o n l y e v e r y 5 0 0 t h p a r t i c l e

g e n e r a t e d d u r i n g t h e d i s p e r s i o n p h a s e , a n d t o e x a m i n e t h e s t a t e o f t h e p a r t i c l e s y s t e m a t j u s t

t w o d i s t i n c t p o i n t s i n t i m e : o n c e m i d w a y t h r o u g h t h e s i m u l a t i o n , a n d o n c e a t t h e e n d . T h e

o u t p u t v e c t o r c o m p r i s e s m e a s u r e s o f t h e n u m b e r o f p a r t i c l e s , t h e i r a v e r a g e d i s t a n c e f r o m t h e

o r i g i n a n d t h e i n d i v i d u a l v a r i a t i o n i n t h i s d i s t a n c e , t h e i r s p r e a d f r o m t h e a v e r a g e b e a m , t h e

a v e r a g e v e l o c i t y o f t h e e n t i r e s y s t e m , a n d t h e i n d i v i d u a l v a r i a t i o n f r o m t h i s a v e r a g e w e t a k e

l o g s o f a l l o f t h e s e q u a n t i t i e s e x c e p t f o r t h e b e a m s p r e a d . T h e s e s i x m e a s u r e s a r e i n c l u d e d f o r

e a c h o f t h e t w o d i s t i n g u i s h e d t i m e s , r e s u l t i n g i n 1 2 o u t p u t p a r a m e t e r s . E u c l i d e a n d i s t a n c e

i s t h e m e t r i c o n t h e o u t p u t s p a c e .

F i g u r e 1 5 s h o w s t h e D G o f v a r i a t i o n s o n t h e a n i m a t o r ' s o r i g i n a l s k e t c h f r o m F i g u r e 8 . T h e

d i s p e r s i o n a n d a r r a n g e m e n t m e t h o d s f r o m x 3 a r e u s e d t o g e n e r a t e t h e D G . E a c h t h u m b n a i l

i s t h e m i d w a y s t i l l f r o m t h e c o r r e s p o n d i n g a n i m a t i o n . T h e u s e r c a n o p t i o n a l l y s e l e c t t h u m b -

n a i l s f r o m d i e r e n t s t a g e s i n t h e a n i m a t i o n . A s w i t h t h e d o u b l e - p e n d u l u m D G , t h u m b n a i l s

c a n b e d r a g g e d t o g a l l e r y s l o t s a n d a n i m a t e d t h e r e i n . A l s o a s b e f o r e , l i n e s c o n n e c t a n i m a -

t i o n s t i l l s w i t h t h e i r a s s o c i a t e d t h u m b n a i l s . T h e d i s p e r s i o n h e u r i s t i c r a n f o r t = 1 0 0 ; 0 0 0

i t e r a t i o n s , a t w h i c h p o i n t i t a p p e a r e d t o r e a c h a p l a t e a u . T h i s n u m b e r o f t r i a l s t o o k a p p r o x -

i m a t e l y s i x h o u r s o n a M I P S R 1 0 0 0 0 p r o c e s s o r . G e n e r a t i n g t h e 2 5 6 a n i m a t i o n s i n t h e D G

w i t h t h e i r f u l l c o m p l e m e n t o f p a r t i c l e s t o o k a l i t t l e u n d e r v e h o u r s o n t h e s a m e p r o c e s s o r .

5 D i s c u s s i o n

T a b l e 1 s u m m a r i z e s t h e D G s d e s c r i b e d i n t h i s p a p e r , i n t e r m s o f t h e s i x b a s i c e l e m e n t s o f

a D G s y s t e m . S o m e o f t h e v a r i a t i o n i n t h i s t a b l e i s a p p l i c a t i o n s p e c i c , w h i l e t h e r e m a i n d e r

s t e m s f r o m o u r i n v e s t i g a t i o n o f a l t e r n a t i v e d i s p e r s i o n a n d a r r a n g e m e n t m e t h o d s . A l l o f t h e

g a l l e r i e s d e s c r i b e d i n t h e p a p e r p r o d u c e a u s e f u l v a r i e t y o f o u t p u t g r a p h i c s .

U s i n g a D G f o r a p a r t i c u l a r i n s t a n c e o f a d e s i g n p r o b l e m i s f a i r l y s t r a i g h t f o r w a r d f o r

t h e e n d u s e r . A s i d e f r o m b r o w s i n g t h e n a l D G , t h e u s e r ' s o n l y o t h e r t a s k m a y b e t o

l o o s e l y f o c u s t h e d i s p e r s i o n p r o c e s s b y , f o r e x a m p l e , s e l e c t i n g s u i t a b l e l i g h t - h o o k a n d l i g h t -

t a r g e t s u r f a c e s x 2 , o r b y s p e c i f y i n g a r e l e v a n t s u b s e t o f p a r t i c l e - c o n t r o l p a r a m e t e r s x 4 . 3 .

H o w e v e r , c r e a t i n g a D G s y s t e m f o r a n e n t i r e c l a s s o f d e s i g n p r o b l e m s i s m o r e d i c u l t . T h e

D G - s y s t e m c r e a t o r i s r e s p o n s i b l e f o r c h o o s i n g t h e s t r u c t u r e o f t h e i n p u t a n d o u t p u t v e c t o r s ,

a n d t h e d i s t a n c e m e t r i c o n t h e o u t p u t s p a c e . T h u s , t h e c r e a t o r n e e d s a b e t t e r u n d e r s t a n d i n g

M E R L - T R - 9 7 - 1 4 O c t o b e r 1 9 9 7

8/2/2019 TR97-14

15/26

1 0

A p p l i c a t i o n

L i g h t

s e l e c t i o n &

p l a c e m e n t

V o l u m e

r e n d e r i n g

D o u b l e

p e n d u l u m

P a r t i c l e

s y s t e m

H o p p e r d o g

I n p u t V e c t o r

L i g h t t y p e ,

l o c a t i o n , a n d

d i r e c t i o n

C o n t r o l

p o i n t s f o r

o p a c i t y c o l o r

t r a n s f e r

f u n c t i o n s

P e n d u l u m

d i m e n s i o n s ,

i n i t i a l

c o n d i t i o n s ,

m o t o r

t o r q u e s

A n i m a t o r -

s p e c i e d

s u b s e t o f

p a r t i c l e

c o n t r o l

p a r a m e t e r s

D e s i r e d

t r a j e c t o r y

s i n u s o i d s

O u t p u t

V e c t o r

L u m i n a n c e s

o f t h u m b n a i l

p i x e l s

Y U V v a l u e s

f o r e i g h t

p i x e l s

T r a j e c t o r y s t a t i s t i c s

m a i n l y l o g s o f t i m e a v e r a g e s a n d

v a r i a n c e s

D i s t a n c e

M e t r i c

M a n h a t t a n

E u c l i d e a n

M a p p i n g R a y t r a c i n g

V o l u m e

r e n d e r i n g

2 D d y n a m i c

s i m u l a t i o n

3 D p a r t i c l e

s i m u l a t i o n

3 D d y n a m i c

s i m u l a t i o n

D i s p e r s i o n

S e l e c t i o n

f r o m

r a n d o m

s a m p l e

o v e r

n e i g h b o r h o o d

E v o l u t i o n f r o m

f u l l r a n d o m s a m p l e

E v o l u t i o n f r o m r a n d o m

s a m p l e o v e r n e i g h b o r h o o d

A r r a n g e m e n t

G r a p h

p a r t i t i o n i n g

M u l t i d i m e n s i o n a l s c a l i n g

T a b l e 1 : S u m m a r y o f D e s i g n G a l l e r y e x p e r i m e n t s .

o f t h e d e s i g n p r o b l e m t h a n t h e e n d u s e r . O f t h e c r e a t o r ' s t a s k s , t h e s i m p l e s t i s c h o o s i n g t h e

d i s t a n c e m e t r i c : v e r y s t a n d a r d m e t r i c s s u c e d f o r a l l a p p l i c a t i o n s w e t r i e d . C h o o s i n g t h e

i n p u t v e c t o r i s a l s o s t r a i g h t f o r w a r d . E v e n w h e n t h e r e a r e m a n y p o s s i b l e w a y s t o p a r a m e t e r i z e

t h e i n p u t , o u r e x p e r i e n c e i s t h a t c h o o s i n g a n a c c e p t a b l e p a r a m e t e r i z a t i o n i s n o t h a r d .

T h e m o s t d i c u l t t a s k o f t h e D G - s y s t e m c r e a t o r i s d e v i s i n g a n o u t p u t v e c t o r . T h e r s t

t w o D G s i n T a b l e 1 w o r k o n s t a t i c i m a g e s . I n t h e s e e x a m p l e s , t h e p e r c e p t u a l s i m i l a r i t y

b e t w e e n i m a g e s c o r r e l a t e s w e l l w i t h s u b s a m p l e d i m a g e o r p i x e l d i e r e n c e s , h e n c e t h e o u t p u t

v e c t o r s c o m p r i s e s u b s a m p l e d i m a g e a n d p i x e l v a l u e s . A n a d d e d a d v a n t a g e i s t h a t t h e r a n g e s

o f a l l c o m p o n e n t s o f t h e o u t p u t v e c t o r a r e b o u n d e d a n d k n o w n . F i n d i n g m e a s u r e s t h a t

c a p t u r e t h e p e r c e p t u a l q u a l i t i e s o f a c o m p l e t e a n i m a t i o n i s h a r d e r . T h e D G s y s t e m s f o r

a n i m a t i o n t a s k s r e q u i r e d s e v e r a l e x p e r i m e n t s t o g e t a s u i t a b l e o u t p u t v e c t o r , a l t h o u g h t h e

p r o c e s s b e c a m e e a s i e r f o r e a c h s u c c e s s i v e s y s t e m . A m o n g t h e l e s s o n s l e a r n e d i n d e v e l o p i n g

o u t p u t v e c t o r s f o r m o t i o n - c o n t r o l p r o b l e m s , t h e t w o m o s t i m p o r t a n t p r e c e p t s a r e , w i t h

h i n d s i g h t , f a i r l y o b v i o u s :

T a k e t h e l o g o f q u a n t i t i e s t h a t h a v e a l a r g e d y n a m i c r a n g e . F o r m a n y s u c h q u a n t i t i e s ,

e . g . , v e l o c i t y , h u m a n a b i l i t y t o r e s o l v e c h a n g e s i n m a g n i t u d e d i m i n i s h e s a s t h e m a g n i -

M E R L - T R - 9 7 - 1 4 O c t o b e r 1 9 9 7

8/2/2019 TR97-14

16/26

1 1

t u d e i n c r e a s e s . T o u n i f o r m l y s a m p l e t h e p e r c e p t u a l s p a c e , o n e m u s t t h e r e f o r e s a m p l e

t h e l o w e r e n d o f t h e d y n a m i c r a n g e m o r e t h o r o u g h l y .

T h e r e l a t i v e w e i g h t s o f t h e o u t p u t - v e c t o r p a r a m e t e r s m a t t e r . I n g e n e r a l , t h e o u t p u t -

v e c t o r p a r a m e t e r s s h o u l d b e s c a l e d s o t h a t t h e y e a c h h a v e a p p r o x i m a t e l y t h e s a m e

d y n a m i c r a n g e , o t h e r w i s e o n l y t h e p a r a m e t e r s w i t h t h e l a r g e s t r a n g e s w i l l b e d i s p e r s e d

e e c t i v e l y .

W h a t i n e v i t a b l y h a p p e n e d w i t h a p o o r l y c h o s e n o u t p u t v e c t o r w a s t h a t t h e d i s p e r s i o n a l g o -

r i t h m f o u n d a m a l i c i o u s w a y t o g e t u n f o r t u n a t e a n d u n e x p e c t e d s p r e a d i n o n e o f t h e v e c t o r

c o o r d i n a t e s , u s u a l l y t h r o u g h a d e g e n e r a t e s e t o f i n p u t p a r a m e t e r s , e . g . , p e n d u l u m s w i t h

e x t r e m e l y s h o r t l i n k s a n d v e r y h i g h r p m ' s , a n d p a r t i c l e s y s t e m s w i t h o n l y a f e w p a r t i c l e s ,

b u t v e r y h i g h v a r i a n c e i n v e l o c i t y .

I n o u r e x p e r i m e n t s , w e i n v e s t i g a t e d t w o d i s p e r s i o n m e t h o d s a n d t w o a r r a n g e m e n t m e t h -

o d s . T h e d i s p e r s i o n m e t h o d o f F i g u r e 4 i s m o r e c o m p l e x , b u t p e r f o r m s b e t t e r . H o w e v e r ,

a n a d v a n t a g e o f t h e s i m p l e r m e t h o d i n F i g u r e 1 i s t h a t i t m a y b e e a s i e r t o p a r a l l e l i z e . T w o

a r r a n g e m e n t m e t h o d s w e r e a l s o t r i e d , o n e b a s e d o n g r a p h p a r t i t i o n i n g a n d t h e o t h e r o n

M D S . B o t h a l l o w e d t h e u s e r t o n a v i g a t e t h r o u g h t h e o u t p u t g r a p h i c s e e c t i v e l y , a n d b o t h

h a d t h e i r f a n s a m o n g o u r g r o u p o f i n f o r m a l t e s t e r s . L a y o u t a n d o r g a n i z a t i o n a l a n o m a l i e s

w e r e o c c a s i o n a l l y e v i d e n t i n b o t h i n t e r f a c e s , b u t t h e y d i d n o t h i n d e r t h e u s e r ' s a b i l i t y t o

p e r u s e t h e o u t p u t g r a p h i c s .

6 C o n c l u s i o n

D e s i g n G a l l e r y i n t e r f a c e s a r e a u s e f u l t o o l f o r m a n y a p p l i c a t i o n s i n c o m p u t e r g r a p h i c s t h a t

r e q u i r e t u n i n g p a r a m e t e r s t o a c h i e v e d e s i r e d e e c t s . T h e b a s i c D G s t r a t e g y i s t o e x t r a c t f r o m

t h e s e t o f a l l p o s s i b l e g r a p h i c s a s u b s e t w i t h o p t i m a l c o v e r a g e . A v a r i e t y o f d i s p e r s i o n a n d

a r r a n g e m e n t m e t h o d s c a n b e u s e d t o c o n s t r u c t g a l l e r i e s . T h e c o n s t r u c t i o n p h a s e i s t y p i c a l l y

c o m p u t a t i o n a l l y i n t e n s i v e a n d o c c u r s o - l i n e , f o r e x a m p l e , d u r i n g a n o v e r n i g h t r u n . A f t e r

t h e g a l l e r y i s b u i l t , t h e u s e r i s a b l e t o q u i c k l y a n d e a s i l y b r o w s e t h r o u g h t h e s p a c e o f o u t p u t

g r a p h i c s .

I n v e r s e d e s i g n i s o n e t e c h n i q u e f o r s e t t i n g p a r a m e t e r s , b u t i t i s o n l y f e a s i b l e w h e n t h e

u s e r c a n a r t i c u l a t e o r q u a n t i f y w h a t i s d e s i r e d . D G s r e p l a c e t h i s r e q u i r e m e n t w i t h t h e m u c h

w e a k e r o n e o f q u a n t i f y i n g s i m i l a r i t y b e t w e e n g r a p h i c s . U n l i k e i n t e r a c t i v e e v o l u t i o n , D G s

a r e f e a s i b l e e v e n w h e n t h e g r a p h i c s - g e n e r a t i n g p r o c e s s h a s h i g h c o m p u t a t i o n a l c o s t . F i n a l l y ,

D G s a r e u s e f u l e v e n w h e n t h e u s e r h a s a b s o l u t e l y n o i d e a w h a t i s d e s i r e d , b u t w a n t s t o k n o w

w h a t t h e p o s s i b i l i t i e s a r e . T h i s i s o f t e n t h e r s t s t e p i n t h e c r e a t i v e d e s i g n p r o c e s s .

7 A c k n o w l e d g m e n t s

T h e p r o t e i n d a t a s e t u s e d i n x 3 w a s m a d e a v a i l a b l e b y t h e S c r i p p s C l i n i c , L a J o l l a , C a l i f o r n i a .

V o l u m e r e n d e r i n g w a s p e r f o r m e d u s i n g t h e V o l V i s s y s t e m f r o m S U N Y S t o n y B r o o k , a s

m o d i e d b y T . H e . D . A l l i s o n , R . K a p l a n , a . s h e l a t , Y . S i e g a l , a n d R . S u r d u l e s c u p r o v i d e d

h e l p f u l c o m m e n t s a n d c o d e . T h e u n i v e r s i t y p a r t i c i p a n t s w e r e s u p p o r t e d i n p a r t b y g r a n t s

M E R L - T R - 9 7 - 1 4 O c t o b e r 1 9 9 7

8/2/2019 TR97-14

17/26

1 2

f r o m M E R L a n d f r o m t h e N S F G r a n t s N o . I R I - 9 3 5 0 1 9 2 a n d N o . I R I - 9 4 5 7 6 2 1 , a n d b y a

P a c k a r d F e l l o w s h i p .

R e f e r e n c e s

1 C . J . A l p e r t a n d A . B . K a h n g . R e c e n t d i r e c t i o n s i n n e t l i s t p a r t i t i o n i n g : a s u r v e y .

I n t e g r a t i o n : T h e V L S I J o u r n a l , 1 9 : 1 8 1 , 1 9 9 5 .

2 P . A . B e a r d s l e y , A . P . Z i s s e r m a n , a n d D . W . M u r r a y . S e q u e n t i a l u p d a t i n g o f p r o j e c t i v e

a n d a n e s t r u c t u r e f r o m m o t i o n . I n t e r n a t i o n a l J o u r n a l o f C o m p u t e r V i s i o n , 1 9 9 7 . I n

p r e s s .

3 I . B o r g a n d P . G r o e n e n . M o d e r n M u l t i d i m e n s i o n a l S c a l i n g : T h e o r y a n d A p p l i c a t i o n s

S p r i n g e r , 1 9 9 7 .

4 M . R . G a r e y , D . S . J o h n s o n , a n d L . S t o c k m e y e r . S o m e s i m p l i e d N P - c o m p l e t e g r a p h

p r o b l e m s . T h e o r e t i c a l C o m p u t e r S c i e n c e , 1 3 : 2 3 7 2 6 7 , 1 9 7 6 .

5 J . C . G o w e r . S o m e d i s t a n c e p r o p e r t i e s o f l a t e n t r o o t a n d v e c t o r m e t h o d s u s e d i n

m u l t i v a r i a t e a n a l y s i s . B i o m e t r i k a , 5 3 : 3 2 5 3 3 8 , 1 9 6 6 .

6 P . H a e b e r l i . S y n t h e t i c l i g h t i n g f o r p h o t o g r a p h y . U R L h t t p : w w w . s g i . c o m g r a c a -

s y n t h i n d e x . h t m l , J a n . 1 9 9 2 .

7 T . H e , L . H o n g , A . K a u f m a n , a n d H . P s t e r . G e n e r a t i o n o f t r a n s f e r f u n c t i o n s w i t h

s t o c h a s t i c s e a r c h t e c h n i q u e s . I n P r o c . o f V i s u a l i z a t i o n 9 6 , p a g e s 2 2 7 2 3 4 , S a n F r a n c i s c o ,

C a l i f o r n i a , O c t . 1 9 9 6 .

8 J . K a h r s , S . C a l a h a n , D . C a r s o n , a n d S . P o s t e r . P i x e l c i n e m a t o g r a p h y : a l i g h t i n g

a p p r o a c h f o r c o m p u t e r g r a p h i c s . N o t e s f o r C o u r s e 3 0 , S I G G R A P H 9 6 , N e w O r l e a n s ,

L o u i s i a n a , A u g . 1 9 9 6 .

9 G . K a r y p i s a n d V . K u m a r . M u l t i l e v e l k - w a y p a r t i t i o n i n g s c h e m e f o r i r r e g u l a r g r a p h s .

T e c h n i c a l r e p o r t , D e p t . o f C o m p u t e r S c i e n c e , U n i v . o f M i n n e s o t a , 1 9 9 5 . S e e a l s o U R L

h t t p : w w w . c s . u m n . e d u ~ k a r y p i s m e t i s m e t i s . h t m l .

1 0 J . K . K a w a i , J . S . P a i n t e r , a n d M . F . C o h e n . R a d i o p t i m i z a t i o n g o a l - b a s e d r e n d e r i n g .

I n S I G G R A P H 9 3 C o n f . P r o c . , p a g e s 1 4 7 1 5 4 , A n a h e i m , C a l i f o r n i a , A u g . 1 9 9 3 .

1 1 S . K o c h h a r . A p r o t o t y p e s y s t e m f o r d e s i g n a u t o m a t i o n v i a t h e b r o w s i n g p a r a d i g m . I n

P r o c . o f G r a p h i c s I n t e r f a c e 9 0 , p a g e s 1 5 6 1 6 6 , H a l i f a x , N o v a S c o t i a , M a y 1 9 9 0 .

1 2 Z . L i u , S . J . G o r t l e r , a n d M . F . C o h e n . H i e r a r c h i c a l s p a c e t i m e c o n t r o l . I n S I G G R A P H

9 4 C o n f . P r o c . , p a g e s 3 5 4 2 , O r l a n d o , F l o r i d a , J u l y 1 9 9 4 .

1 3 H . M u r a k a m i a n d B . V . K . V . K u m a r . E c i e n t c a l c u l a t i o n o f p r i m a r y i m a g e s f r o m a s e t

o f i m a g e s . I E E E T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , P A M I - 4 5 : 5 1 1

5 1 5 , S e p t . 1 9 8 2 .

M E R L - T R - 9 7 - 1 4 O c t o b e r 1 9 9 7

8/2/2019 TR97-14

18/26

1 3

1 4 J . T . N g o a n d J . M a r k s . S p a c e t i m e c o n s t r a i n t s r e v i s i t e d . I n S I G G R A P H 9 3 C o n f .

P r o c . , p a g e s 3 4 3 3 5 0 , A n a h e i m , C a l i f o r n i a , A u g . 1 9 9 3 .

1 5 P . P o u l i n a n d A . F o u r n i e r . L i g h t s f r o m h i g h l i g h t s a n d s h a d o w s . I n P r o c . o f t h e 1 9 9 2

S y m p o s i u m o n I n t e r a c t i v e G r a p h i c s , p a g e s 3 1 3 8 , B o s t o n , M a s s a c h u s e t t s , M a r . 1 9 9 2 .

I n C o m p u t e r G r a p h i c s 2 5 2 , 1 9 9 2 .

1 6 W . T . R e e v e s . P a r t i c l e s y s t e m s a t e c h n i q u e f o r m o d e l i n g a c l a s s o f f u z z y o b j e c t s .

A C M T r a n s . o n G r a p h i c s , 2 : 9 1 1 0 8 , A p r . 1 9 8 3 .

1 7 D . E . R o s e n t h a l a n d M . A . S h e r m a n . H i g h p e r f o r m a n c e m u l t i b o d y s i m u l a t i o n s v i a

s y m b o l i c e q u a t i o n m a n i p u l a t i o n a n d K a n e ' s m e t h o d . J o u r n a l o f A s t r o n a u t i c a l S c i e n c e s ,

3 4 3 : 2 2 3 2 3 9 , 1 9 8 6 .

1 8 Y . R u b n e r , L . J . G u i b a s , a n d C . T o m a s i . T h e e a r t h m o v e r ' s d i s t a n c e , m u l t i - d i m e n s i o n a l

s c a l i n g , a n d c o l o r - b a s e d i m a g e r e t r i e v a l . I n P r o c . o f t h e D A R P A I m a g e U n d e r s t a n d i n g

W o r k s h o p , N e w O r l e a n s , M a y 1 9 9 7 .

1 9 C . S c h o e n e m a n , J . D o r s e y , B . S m i t s , J . A r v o , a n d D . G r e e n b e r g . P a i n t i n g w i t h l i g h t .

I n S I G G R A P H 9 3 C o n f . P r o c . , p a g e s 1 4 3 1 4 6 , A n a h e i m , C a l i f o r n i a , A u g . 1 9 9 3 .

2 0 T . S h i n b r o t , C . G r e b o g i , J . W i s d o m , a n d J . A . Y o r k e . C h a o s i n a d o u b l e p e n d u l u m .

A m e r i c a n J o u r n a l o f P h y s i c s , 6 0 6 : 4 9 1 4 9 9 , 1 9 9 2 .

2 1 K . S i m s . A r t i c i a l e v o l u t i o n f o r c o m p u t e r g r a p h i c s . I n C o m p u t e r G r a p h i c s S I G G R A P H

9 1 C o n f . P r o c . , v o l u m e 2 5 , p a g e s 3 1 9 3 2 8 , L a s V e g a s , N e v a d a , J u l y 1 9 9 1 .

2 2 K . S i m s . E v o l v i n g v i r t u a l c r e a t u r e s . I n S I G G R A P H 9 4 C o n f . P r o c . , p a g e s 1 5 2 2 ,

O r l a n d o , F l o r i d a , J u l y 1 9 9 4 .

2 3 S . T o d d a n d W . L a t h a m . E v o l u t i o n a r y A r t a n d C o m p u t e r s . A c a d e m i c P r e s s , L o n d o n ,

1 9 9 2 .

2 4 W . S . T o r g e r s o n . T h e o r y a n d M e t h o d s o f S c a l i n g . W i l e y , N e w Y o r k , 1 9 5 8 . S e e e s p e c i a l l y

p a g e s 2 5 4 2 5 9 .

2 5 M . v a n d e P a n n e a n d E . F i u m e . S e n s o r - a c t u a t o r n e t w o r k s . I n S I G G R A P H 9 3 C o n f .

P r o c . , p a g e s 3 3 5 3 4 2 , A n a h e i m , C a l i f o r n i a , A u g . 1 9 9 3 .

2 6 J . V e n t r e l l a . D i s n e y m e e t s D a r w i n t h e e v o l u t i o n o f f u n n y a n i m a t e d g u r e s . I n P r o c .

o f C o m p u t e r A n i m a t i o n 9 5 , p a g e s 3 5 4 3 , A p r . 1 9 9 5 .

2 7 A . W i t k i n a n d M . K a s s . S p a c e t i m e c o n s t r a i n t s . I n C o m p u t e r G r a p h i c s S I G G R A P H

8 8 C o n f . P r o c . , v o l u m e 2 2 , p a g e s 1 5 9 1 6 8 , A t l a n t a , G e o r g i a , A u g . 1 9 8 8 .

M E R L - T R - 9 7 - 1 4 O c t o b e r 1 9 9 7

8/2/2019 TR97-14

19/26

1 4

I n p u t :

L , a s e t o f l i g h t s a n d c o r r e s p o n d i n g t h u m b n a i l i m a g e s .

n L , t h e s i z e o f t h e s e l e c t e d s u b s e t .

c , a n a v e r a g e - l u m i n a n c e c u t o f a c t o r .

O u t p u t :

I L , a s e t o f n d i s p e r s e d l i g h t s a n d t h e i r i m a g e s .

P r o c e d u r e :

S E L E C T I O N D I S P E R S E L ; n ; c f

L L n n d d i m s c ; L ;

I ; ;

f o r i 1 t o n d o f

p s c o r e , 1 ;

f o r e a c h q 2 L d o f

q s c o r e 1 ;

f o r e a c h r 2 I d o

i f i m a g e d i q ; r q s c o r e t h e n

q s c o r e i m a g e d i q ; r ;

i f q s c o r e p s c o r e t h e n f

p s c o r e q s c o r e ;

p q ;

g

g

I I f p g ;

L L n f p g ;

g

g

N o t e s :

n d e n o t e s s e t d i e r e n c e .

n d d i m s c ; L r e t u r n s t h o s e l i g h t s i n L w i t h a v e r a g e l u m i n a n c e l e s s t h a n

c

i m a g e d i q ; r r e t u r n s t h e v a l u e c o m p u t e d b y E q u a t i o n 1 .

F i g u r e 1 : A s e l e c t i o n - b a s e d d i s p e r s i o n h e u r i s t i c .

M E R L - T R - 9 7 - 1 4 O c t o b e r 1 9 9 7

8/2/2019 TR97-14

20/26

1 5

Clear

Lighting Hierarchy / level one

ExitList

Lighting Hierarchy / level two

Lighting Hierarchy / level three

FullSize Image

(compositefrom palette)

Palette

(selectionsfrom hierarchy)

F i g u r e 2 : U s e r - i n t e r f a c e m a p .

F i g u r e 3 : P o p - u p d i s p l a y d e p i c t i n g t r a n s f e r f u n c t i o n s .

M E R L - T R - 9 7 - 1 4 O c t o b e r 1 9 9 7

8/2/2019 TR97-14

21/26

1 6

I n p u t :

A r a n d o m s e t o f i n p u t v e c t o r s , I , a n d t h e i r c o r r e s p o n d i n g o u t p u t v e c t o r s ,

O I = O = n

A t r i a l c o u n t , t

O u t p u t :

M o d i e d s e t s o f i n p u t a n d o u t p u t v e c t o r s , I a n d O

P r o c e d u r e :

E V O L U T I O N D I S P E R S E I ; O ; t f

f o r i 1 t o t d o f

j r a n d i n t 1 ; n ;

u p e r t u r b I j ; i ;

m a p u ; v ;

k w o r s t i n d e x O ;

i f i s b e t t e r v ; O k ; O t h e n f

I k u ;

O k v ;

g

e l s e i f i s b e t t e r v ; O j ; O t h e n f

I j u ;

O j v ;

g

g

g

N o t e s :

r a n d i n t 1 ; n r e t u r n s a r a n d o m i n t e g e r i n t h e r a n g e 1 ; n

p e r t u r b I j ; i r e t u r n s a c o p y o f I j i n w h i c h a l l t h e e l e m e n t s h a v e b e e n

p e r t u r b e d . T h e m a g n i t u d e o f t h e p e r t u r b a t i o n s i s i n v e r s e l y p r o p o r t i o n a l

t o i

m a p u ; v m a p s i n p u t v e c t o r u t o o u t p u t v e c t o r v u s i n g a n a p p l i c a t i o n -

s p e c i c m a p p i n g p r o c e s s .

w o r s t i n d e x O r e t u r n s t h e i n d e x o f t h e o u t p u t v e c t o r i n O w i t h m i n i m u m

n e a r e s t - n e i g h b o r d i s t a n c e . T i e s a r e b r o k e n u s i n g t h e a v e r a g e d i s t a n c e t o

a l l o t h e r v e c t o r s i n O

i s b e t t e r v ; O k ; O r e t u r n s t r u e i f t h e n e a r e s t n e i g h b o r t o v i n O n f O k g

i s f u r t h e r a w a y t h a n t h e n e a r e s t n e i g h b o r t o O k i n O . T i e s a r e b r o k e n

u s i n g a v e r a g e d i s t a n c e t o a l l o t h e r v e c t o r s i n t h e r e l e v a n t s e t .

F i g u r e 4 : A n e v o l u t i o n a r y d i s p e r s i o n h e u r i s t i c .

M E R L - T R - 9 7 - 1 4 O c t o b e r 1 9 9 7

8/2/2019 TR97-14

22/26

1 7

ThumbnailDisplay Panel

Image / Animation Gallery

F i g u r e 5 : A m o r e e x i b l e u s e r i n t e r f a c e .

0

10000

20000

30000

40000

50000

60000

0 500000 1e+06 1.5e+06 2e+06

Nearest-neighbor(n-n)distancevalues

Iteration

Avg. n-n dist.Min. n-n dist.

F i g u r e 6 : N e a r e s t - n e i g h b o r d i s t a n c e s o v e r t i m e .

r1

r2

h

m1

m2

F i g u r e 7 : A r t i c u l a t e d l i n k a g e s .

M E R L - T R - 9 7 - 1 4 O c t o b e r 1 9 9 7

8/2/2019 TR97-14

23/26

1 8

F i g u r e 8 : A s t i l l f r o m a p a r t i c l e - s y s t e m a n i m a t i o n .

F i g u r e 9 : A D G f o r l i g h t s e l e c t i o n a n d p l a c e m e n t .

M E R L - T R - 9 7 - 1 4 O c t o b e r 1 9 9 7

8/2/2019 TR97-14

24/26

1 9

F i g u r e 1 0 : A n o t h e r D G f o r l i g h t s e l e c t i o n a n d p l a c e m e n t .

F i g u r e 1 1 : L i g h t s e l e c t i o n a n d p l a c e m e n t f o r s y n t h e t i c l i g h t i n g o f a p h o t o g r a p h .

M E R L - T R - 9 7 - 1 4 O c t o b e r 1 9 9 7

8/2/2019 TR97-14

25/26

2 0

F i g u r e 1 2 : A D G w i t h d i e r e n t o p a c i t y a n d c o l o r t r a n s f e r f u n c t i o n s .

F i g u r e 1 3 : A D G w i t h d i e r e n t o p a c i t y t r a n s f e r f u n c t i o n s .

M E R L - T R - 9 7 - 1 4 O c t o b e r 1 9 9 7

8/2/2019 TR97-14

26/26

2 1

F i g u r e 1 4 : A D G f o r a n a c t u a t e d 2 D d o u b l e p e n d u l u m .

F i g u r e 1 5 : A D G f o r a p a r t i c l e s y s t e m .