8/22/2019 10.1.1.56.5329

1/6

a p p e a r s i n I n t . W o r k s h o p o n F a c e a n d G e s t u r e R e c o g n i t i o n , Z u r i c h , 1 9 9 5 .

T o w a r d s 3 - D m o d e l - b a s e d t r a c k i n g a n d r e c o g n i t i o n

o f h u m a n m o v e m e n t : a m u l t i - v i e w a p p r o a c h

D . M . G a v r i l a a n d L . S . D a v i s

C o m p u t e r V i s i o n L a b o r a t o r y , C f A R ,

U n i v e r s i t y o f M a r y l a n d

C o l l e g e P a r k , M D 2 0 7 4 2 , U . S . A .

f g a v r i l a , l s d g @ u m i a c s . u m d . e d u

h t t p : / / w w w . u m i a c s . u m d . e d u / u s e r s / f g a v r i l a , l s d g

A b s t r a c t

I n t h i s p a p e r w e d e s c r i b e o u r w o r k o n 3 - D m o d e l -

b a s e d t r a c k i n g a n d r e c o g n i t i o n o f h u m a n m o v e m e n t

f r o m r e a l i m a g e s . O u r s y s t e m h a s t w o m a j o r c o m -

p o n e n t s . T h e r s t c o m p o n e n t t a k e s r e a l i m a g e s e -

q u e n c e s a c q u i r e d f r o m m u l t i p l e v i e w s a n d r e c o v e r s

t h e 3 - D b o d y p o s e a t e a c h t i m e i n s t a n t . T h e p o s e -

r e c o v e r y p r o b l e m i s f o r m u l a t e d a s a s e a r c h p r o b l e m

a n d e n t a i l s n d i n g t h e p o s e p a r a m e t e r s o f a g r a p h i c a l

h u m a n m o d e l f o r w h i c h i t s s y n t h e s i z e d a p p e a r a n c e i s

m o s t s i m i l a r t o t h e a c t u a l a p p e a r a n c e o f t h e r e a l h u -

m a n i n t h e m u l t i - v i e w i m a g e s . C u r r e n t l y , w e u s e a

b e s t - r s t s e a r c h t e c h n i q u e a n d c h a m f e r m a t c h i n g a s a

f a s t s i m i l a r i t y m e a s u r e b e t w e e n s y n t h e s i z e d a n d r e a l

e d g e i m a g e s .

T h e s e c o n d c o m p o n e n t o f o u r s y s t e m d e a l s w i t h

t h e r e p r e s e n t a t i o n a n d r e c o g n i t i o n o f h u m a n m o v e -

m e n t p a t t e r n s . T h e r e c o g n i t i o n o f h u m a n m o v e m e n t

p a t t e r n s i s c o n s i d e r e d a s a c l a s s i c a t i o n p r o b l e m i n -

v o l v i n g t h e m a t c h i n g o f a t e s t s e q u e n c e w i t h s e v e r a l

r e f e r e n c e s e q u e n c e s r e p r e s e n t i n g p r o t o t y p i c a l a c t i v i -

t i e s . A v a r i a t i o n o f d y n a m i c t i m e - w a r p i n g i s u s e d t o

m a t c h m o v e m e n t p a t t e r n s u s i n g 3 - D j o i n t a n g l e s a s

f e a t u r e s .

W e i l l u s t r a t e o u r a p p r o a c h o n r e a l d a t a a c q u i r e d

s i m u l t a n e o u s l y f r o m t h r e e v i e w s a n d d a t a d e r i v e d

f r o m s t e r e o M o v i n g L i g h t D i s p l a y s w i t h d i e r e n t

t y p e s o f h a n d - g e s t u r e s .

1 I n t r o d u c t i o n

T h e a b i l i t y t o r e c o g n i z e h u m a n s a n d t h e i r a c t i v i t i e s

b y v i s i o n i s a k e y f e a t u r e i n t h e p u r s u i t t o d e s i g n a

m a c h i n e c a p a b l e o f i n t e r a c t i n g i n t e l l i g e n t l y a n d e f -

f o r t l e s s l y w i t h a h u m a n - i n h a b i t e d e n v i r o n m e n t . B e -

s i d e s t h i s l o n g - t e r m g o a l , t h e r e a r e m a n y a p p l i c a t i o n s

p o s s i b l e i n t h e m o r e n e a r - t e r m , s u c h a s i n v i r t u a l r e -

a l i t y , " s m a r t " s u r v e i l l a n c e s y s t e m s , m o t i o n a n a l y s i s

i n s p o r t s , c h o r e o g r a p h y o f d a n c e a n d b a l l e t , s i g n l a n -

g u a g e t r a n s l a t i o n a n d g e s t u r e d r i v e n u s e r i n t e r f a c e s .

I n m a n y o f t h e s e a p p l i c a t i o n s a n o n - i n t r u s i v e s e n s o r y

m e t h o d b a s e d o n v i s i o n i s p r e f e r a b l e o v e r a ( i n s o m e

c a s e s n o t e v e n f e a s i b l e ) m e t h o d r e l y i n g o n d i e r e n t

t y p e s o f s e n s o r s a t t a c h e d t o t h e b o d y o f a h u m a n

s u b j e c t .

O u r a p p r o a c h t o l o o k i n g a t h u m a n s a n d r e c o g n i z -

i n g t h e i r a c t i v i t i e s h a s t w o m a j o r c o m p o n e n t s :

1 . b o d y p o s e r e c o v e r y a n d t r a c k i n g

2 . r e c o g n i t i o n o f m o v e m e n t p a t t e r n s

S e v e r a l c o n s i d e r a t i o n s h a v e t o b e m a d e r e g a r d i n g

b o d y p o s e d e t e r m i n a t i o n a n d t r a c k i n g , w h i c h a f -

f e c t w h a t f e a t u r e s c a n b e u s e d f o r m o v e m e n t m a t c h -

i n g : t h e t y p e o f m o d e l s u s e d ( s t i c k g u r e s , v o l -

u m e t r i c m o d e l s , n o n e ) , t h e d i m e n s i o n a l i t y o f t h e

s p a c e i n w h i c h t r a c k i n g t a k e s p l a c e ( 2 - D o r 3 - D ) ,

t h e n u m b e r o f s e n s o r s u s e d ( s i n g l e , s t e r e o , m u l t i p l e ) ,

s e n s o r - m o d a l i t y ( v i s i b l e l i g h t , i n f r a - r e d , r a n g e ) , s e n -

s o r p l a c e m e n t ( c e n t r a l i z e d v s . d i s t r i b u t e d ) a n d s e n -

s o r m o b i l i t y ( s t a t i o n a r y v s . m o v i n g ) . W e c o n s i d e r

t h e c a s e w h e r e w e h a v e m u l t i p l e s t a t i o n a r y c a m e r a s ,

p r e v i o u s l y c a l i b r a t e d , a n d w e o b s e r v e a h u m a n p e r -

f o r m i n g s o m e a c t i o n f r o m m u l t i p l e v i e w p o i n t s . T h e

a i m o f o u r r s t c o m p o n e n t i s t o r e c o n s t r u c t f r o m t h e

s e q u e n c e o f m u l t i - v i e w f r a m e s t h e ( a p p r o x i m a t e ) 3 -

D b o d y p o s e o f t h e h u m a n a t e a c h t i m e i n s t a n t ; t h i s

s e r v e s a s i n p u t t o t h e m o v e m e n t r e c o g n i t i o n c o m p o -

n e n t . W e d i s c u s s i n S e c t i o n 2 t h e d e s i r a b i l i t y o f a

3 - D v s . a 2 - D a p p r o a c h . I n S e c t i o n 3 a n d 4 w e d e -

s c r i b e t h e a b o v e c o m p o n e n t s a n d h o w t h e y r e l a t e t o

o t h e r w o r k . S e c t i o n 5 p r e s e n t s s o m e e x p e r i m e n t a l

r e s u l t s . F i n a l l y , S e c t i o n 6 c o n t a i n s c o n c l u s i o n s a n d

s u g g e s t i o n s f o r f u t u r e w o r k . W e w i l l b e b r i e f i n o u r

d e s c r i p t i o n b e c a u s e o f s p a c e l i m i t a t i o n s . A m o r e d e -

t a i l e d v e r s i o n o f t h i s p a p e r i s a v a i l a b l e f r o m o u r h o m e

p a g e s .

2 2 - D v s . 3 - D

O n e m a y q u e s t i o n w h e t h e r i t i s d e s i r a b l e o r f e a s i -

b l e t o t r y t o r e c o v e r t h e 3 - D b o d y p o s e f r o m 2 - D

i m a g e s e q u e n c e s f o r t h e p u r p o s e o f r e c o g n i z i n g h u -

m a n m o v e m e n t . A n a l t e r n a t i v e a p p r o a c h i s t o w o r k

d i r e c t l y w i t h 2 - D f e a t u r e s d e r i v e d f r o m t h e i m a g e s .

M o d e l - f r e e 2 - D f e a t u r e s a r e u s u a l l y o b t a i n e d b y a p -

p l y i n g a m o t i o n - d e t e c t i o n a l g o r i t h m t o t h e i m a g e ( a s -

s u m i n g a s t a t i o n a r y c a m e r a ) a n d o b t a i n i n g t h e o u t -

l i n e o f a m o v i n g o b j e c t , p r e s u m a b l y h u m a n . F r e -

q u e n t l y , a K N s p a t i a l g r i d i s s u p e r i m p o s e d o n t h e

m o t i o n r e g i o n , a f t e r a p o s s i b l e n o r m a l i z a t i o n o f i t s

e x t e n t . I n e a c h o f t h e K N t i l e s a s i m p l e f e a t u r e i s

c o m p u t e d , a n d t h e s e a r e c o m b i n e d t o f o r m a K N

f e a t u r e v e c t o r t o d e s c r i b e t h e s t a t e o f m o v e m e n t a t

t i m e t . T h i s i s t h e a p p r o a c h t a k e n b y 2 0 ] 2 6 ] a n d

6 ] . A n o t h e r p o s s i b i l i t y i s t o u s e 2 - D m o d e l - b a s e d

f e a t u r e s , w h e r e t h e a s s u m p t i o n i s t h a t a s r e s u l t o f 2 -

D s e g m e n t a t i o n a n d t r a c k i n g a s e q u e n c e o f 2 - D s t i c k

g u r e p o s e s i s a v a i l a b l e . F o r e x a m p l e , G o d d a r d 8 ]

u s e s t h e 2 - D a n g u l a r v e l o c i t i e s a n d o r i e n t a t i o n s o f t h e

l i n k s a s f e a t u r e s . G u o e t a l . 9 ] u s e a c o m b i n a t i o n

o f l i n k o r i e n t a t i o n s a n d j o i n t p o s i t i o n s o f t h e s t i c k

g u r e .

R e c o g n i t i o n s y s t e m s u s i n g 2 - D m o d e l - f r e e f e a t u r e s

h a v e b e e n a b l e t o c l a i m e a r l y s u c c e s s e s i n m a t c h i n g

h u m a n m o v e m e n t p a t t e r n s . I n d e e d , f o r c o n s t r a i n e d

t y p e s o f h u m a n m o v e m e n t ( s u c h a s w a l k i n g p a r a l -

l e l t o t h e i m a g e p l a n e i n v o l v i n g p e r i o d i c m o t i o n ) ,

m a n y o f t h e s e f e a t u r e s h a v e b e e n s u c c e s s f u l l y u s e d

f o r c l a s s i c a t i o n , a s i n 2 0 ] . B u t w e n d i t u n l i k e l y

t h a t r e l i a b l e r e c o g n i t i o n o f m o r e u n c o n s t r a i n e d a n d

8/22/2019 10.1.1.56.5329

2/6

c o m p l e x h u m a n m o v e m e n t ( e . g . h u m a n s w a n d e r i n g

a r o u n d , p e r f o r m i n g d i e r e n t g e s t u r e s w h i l e w a l k i n g

a n d t u r n i n g ) c a n b e a c h i e v e d u s i n g t h e s e f e a t u r e s

e x c l u s i v e l y . W i t h r e s p e c t t o u s i n g 2 - D m o d e l - b a s e d

f e a t u r e s , w e n o t e t h a t f e w s y s t e m s a c t u a l l y d e r i v e

t h e f e a t u r e s t h e y u s e f o r m o v e m e n t m a t c h i n g . S e l f -

o c c l u s i o n m a k e s t h e 2 - D t r a c k i n g p r o b l e m h a r d f o r

a r b i t r a r y m o v e m e n t s a n d t h u s e x i s t i n g s y s t e m s a s -

s u m e s o m e a - p r i o r i k n o w l e d g e o f t h e t y p e o f m o v e -

m e n t a n d / o r t h e v i e w p o i n t u n d e r w h i c h i t i s o b s e r v e d

1 ] 1 7 ] . 2 - D T r a c k i n g u n d e r m o r e g e n e r a l c o n d i t i o n s

i s a t t e m p t e d b y 1 3 ] a n d 1 4 ] .

3 - D m o t i o n r e c o v e r y f r o m 2 - D i m a g e s i s o f t e n a n

i l l - p o s e d p r o b l e m . I n t h e c a s e o f 3 - D p o s e t r a c k i n g ,

h o w e v e r , w e c a n t a k e a d v a n t a g e o f t h e l a r g e a v a i l a b l e

a - p r i o r i k n o w l e d g e a b o u t t h e h u m a n b o d y c o n c e r n -

i n g i t s k i n e m a t i c a n d s h a p e p r o p e r t i e s t o m a k e t h e

p r o b l e m t r a c t a b l e . T r a c k i n g a l s o i s w e l l s u p p o r t e d

b y t h e u s e o f a 3 - D h u m a n m o d e l w h i c h c a n p r e d i c t

e v e n t s s u c h a s ( s e l f ) o c c l u s i o n a n d ( s e l f ) c o l l i s i o n .

O n c e 3 - D t r a c k i n g i s s u c c e s s f u l l y c o m p l e t e d , w e h a v e

t h e b e n e t o f b e i n g a b l e t o d e r i v e v i e w - p o i n t i n d e -

p e n d e n t f e a t u r e s f o r m o v e m e n t m a t c h i n g w h i c h a r e

d i r e c t l y l i n k e d t o t h e b o d y p o s e : 3 - D j o i n t a n g l e s d e -

n e d w i t h r e s p e c t t o a h u m a n - c e n t e r e d 1 5 ] c o o r d i -

n a t e s y s t e m . C o m p a r e d w i t h 3 - D j o i n t c o o r d i n a t e s ,

t h e y a r e l e s s s e n s i t i v e t o v a r i a t i o n s i n h u m a n s i z e .

F i n a l l y , i t s h o u l d b e m e n t i o n e d t h a t b e s i d e s p r o v i d -

i n g m e a n i n g f u l f e a t u r e s f o r m o v e m e n t m a t c h i n g , 3 - D

b o d y p o s e r e c o v e r y f r o m i m a g e s i s a l s o o f i n d e p e n -

d e n t i n t e r e s t f o r a p p l i c a t i o n s s u c h a s v i r t u a l r e a l i t y .

3 3 - D B o d y m o d e l i n g , p o s e

r e c o v e r y a n d t r a c k i n g

3 - D g r a p h i c a l m o d e l s f o r t h e h u m a n b o d y o f t e n c o n -

s i s t o f t w o c o m p o n e n t s : a c o l l e c t i o n o f s e g m e n t s a n d

o i n t a n g l e s ( t h e " s t i c k g u r e " ) w h i c h r e p r e s e n t t h e

h u m a n s k e l e t a l s t r u c t u r e , a n d a c o l l e c t i o n o f v o l u -

m e t r i c p r i m i t i v e s w h i c h " e s h o u t " t h e s e g m e n t s .

T h e r e i s a t r a d e - o b e t w e e n t h e a c c u r a c y o f r e p -

r e s e n t a t i o n a n d t h e n u m b e r o f p a r a m e t e r s u s e d i n

t h e m o d e l . F o r o u r c u r r e n t p u r p o s e s o f t r a c k i n g 3 - D

u p p e r - b o d y m o t i o n , w e u s e a 1 7 - D O F m o d e l ( 3 D O F

f o r t h e p o s i t i o n i n g o f t h e r o o t o f t h e a r t i c u l a t e d s t r u c -

t u r e , 3 D O F f o r t h e t o r s o , 3 D O F f o r t h e h e a d , a n d 4

D O F f o r e a c h a r m ) , w i t h o u t m o d e l i n g t h e h a n d p a l m

a n d u s i n g a r i g i d t o r s o a p p r o x i m a t i o n . S e e 2 ] f o r

m o r e s o p h i s t i c a t e d m o d e l l i n g . R e g a r d i n g s h a p e , w e

f e l t t h a t s i m p l e c y l i n d r i c a l p r i m i t i v e s ( w h e t h e r w i t h

e l l i p t i c X Y - c r o s s - s e c t i o n s o r n o t ) 1 0 ] 7 ] 2 3 ] w o u l d

n o t r e p r e s e n t b o d y p a r t s s u c h a s t h e h e a d a n d t o r s o

a c c u r a t e l y e n o u g h , t h e r e f o r e w e e m p l o y t h e c l a s s o f

t a p e r e d s u p e r - q u a d r i c s 2 7 ] , t h e l a t t e r i n c l u d i n g s u c h

d i v e r s e s h a p e s a s c y l i n d e r s , s p h e r e s , e l l i p s o i d s a n d

h y p e r - r e c t a n g l e s . F o r o u r p u r p o s e s , w e c h o s e n o t t o

c o n s i d e r d e f o r m a t i o n s t o t h e s h a p e p r i m i t i v e s w h i c h

w o u l d a d d c o n s i d e r a b l e c o m p l e x i t y t o o u r m o d e l . S e e

F i g u r e 5 f o r a h u m a n m o d e l b u i l t f r o m t a p e r e d s u p e r -

q u a d r i c s , t h i s p a r t i c u l a r m o d e l w a s u s e d i n t h e e x -

p e r i m e n t s o f S u b s e c t i o n 5 . 1 .

O n e a p p r o a c h t o p o s e r e c o v e r y i s t o d e r i v e p o i n t

m a t c h e s b e t w e e n a 3 - D g u r e a n d i t s 2 - D p r o j e c t i o n

t o s o l v e f o r t h e f o r m e r , u s i n g s e v e r a l i m a g e s p e r h a p s .

T h e a d v a n t a g e o f t h i s i s t h a t r i g o r o u s m a t h e m a t i c a l

a n a l y s i s c a n b e a p p l i e d t o s o l v e f o r t h e 3 - D p o s e ; t h e

p r o b l e m c a n b e f o r m u l a t e d a s a n i n v e r s e k i n e m a t i c s

p r o b l e m 2 2 ] o r a c o n s t r a i n e d o p t i m i z a t i o n p r o b l e m

2 9 ] . O n t h e d o w n s i d e , t h i s a p p r o a c h r e q u i r e s f e a t u r e

p o i n t s ( u s u a l l y t h e j o i n t s ) t o b e a c c u r a t e l y l o c a t e d

f r o m t h e i m a g e s w h i c h i s q u i t e d i c u l t . M o r e o v e r ,

t h e a p p r o a c h s e e m s v e r y s e n s i t i v e t o o c c l u s i o n .

W e t h e r e f o r e p u r s u e d a n a l t e r n a t i v e a p p r o a c h t o

p o s e - r e c o v e r y , b a s e d o n a g e n e r a t e - a n d - t e s t s t r a t e g y .

H e r e t h e p o s e - r e c o v e r y p r o b l e m i s f o r m u l a t e d a s a

s e a r c h p r o b l e m a n d e n t a i l s n d i n g t h e p o s e p a r a m e -

t e r s o f a g r a p h i c a l h u m a n m o d e l f o r w h i c h i t s s y n t h e -

s i z e d a p p e a r a n c e i s m o s t s i m i l a r t o t h e a c t u a l a p p e a r -

a n c e o f t h e r e a l h u m a n i n t h e o n e ( o r m o r e ) v i e w s .

T h e s i m i l a r i t y m e a s u r e b e t w e e n s y n t h e s i z e d a p p e a r -

a n c e a n d a c t u a l a p p e a r a n c e c a n n o w b e b a s e d o n

w h o l e c o n t o u r s a n d / o r r e g i o n s i n s t e a d o f p o i n t s o n l y .

S o f a r , e x i s t i n g s y s t e m s w h i c h w o r k o n r e a l i m a g e s

f o l l o w i n g t h i s s t r a t e g y h a v e t h e i r l i m i t a t i o n s : P e r a l e s

a n d T o r r e s 1 9 ] d e s c r i b e a s y s t e m w h i c h i n v o l v e s i n -

p u t f r o m a h u m a n o p e r a t o r . H o g g 1 0 ] a n d R o h r 2 3 ]

d e a l w i t h t h e r e s t r i c t e d m o v e m e n t o f w a l k i n g p a r a l -

l e l t o i m a g e p l a n e , f o r w h i c h t h e s e a r c h s p a c e i s e s -

s e n t i a l l y o n e - d i m e n s i o n a l . D o w n t o n a n d D r o u e t 7 ]

a t t e m p t t o t r a c k u n c o n s t r a i n e d u p p e r - b o d y m o t i o n

b u t m u s t c o n c l u d e t h a t t h e t r a c k i n g g e t s l o s t d u e t o

p r o p a g a t i o n o f e r r o r s .

W e a i m t o i m p r o v e t h e p r e v i o u s a p p r o a c h e s a l o n g

t h e f o l l o w i n g l i n e s . F i r s t , b y u s i n g a m u l t i - v i e w

a p p r o a c h w e a c h i e v e t i g h t e r 3 - D p o s e r e c o v e r y a n d

t r a c k i n g o f t h e h u m a n b o d y t h a n f r o m o n e v i e w o n l y ;

b o d y p o s e s a n d m o v e m e n t s w h i c h a r e a m b i g u o u s

f r o m o n l y o n e v i e w c a n b e d i s a m b i g u a t e d f r o m a n -

o t h e r v i e w . A l s o , s e a r c h t e c h n i q u e s r e p l a c e e x h a u s -

t i v e s e a r c h i n t h e e x p o n e n t i a l p o s e p a r a m e t e r s p a c e

( a s i n 1 8 ] ) . W e c u r r e n t l y u s e b e s t - r s t s e a r c h ; w e d o

s o s i n c e a r e a s o n a b l e i n i t i a l s t a t e c a n b e p r o v i d e d b y

a p r e d i c t i o n c o m p o n e n t . W e a l r e a d y m e n t i o n e d t h e

u s e a n d a d v a n t a g e o f m o r e a c c u r a t e h u m a n m o d e l s .

F i n a l l y , t h e s i m i l a r i t y m e a s u r e b e t w e e n m o d e l v i e w

a n d a c t u a l s c e n e i s b a s e d o n a r b i t r a r y e d g e c o n t o u r s

r a t h e r t h a n s t r a i g h t l i n e s , u s i n g c h a m f e r m a t c h i n g

3 ] . C h a m f e r m a t c h i n g i s a r o b u s t m e a s u r e o f s i m i -

l a r i t y b e t w e e n t w o p o i n t s e t s b a s e d o n t h e s u m o f t h e

d i s t a n c e s b e t w e e n e a c h p o i n t i n t h e o n e s e t a n d i t s

n e a r e s t p o i n t i n t h e o t h e r . I t c a n b e e c i e n t l y o b -

t a i n e d b y t a k i n g o n e o f t h e t w o s e t s a s r e f e r e n c e a n d

c o m p u t i n g a n a r r a y o f n u m b e r s ( " c h a m f e r i m a g e " )

r e p r e s e n t i n g t h e d i s t a n c e f r o m e a c h l o c a t i o n t o t h e

n e a r e s t p o i n t o f t h e r e f e r e n c e s e t . S e e F i g u r e 6 .

4 R e c o g n i t i o n o f M o v e m e n t -

D T W

W e u s e t h e w o r d " r e c o g n i t i o n " t o d e n o t e a p r o c e s s

o f c l a s s i c a t i o n ( l a b e l i n g ) : g i v e n K c l a s s e s o f k n o w n

m o v e m e n t p a t t e r n s , d e t e r m i n e t o w h i c h c l a s s a n u n -

k n o w n p a t t e r n b e l o n g s , i f a n y . A t t h i s p o i n t , a m o v e -

m e n t p a t t e r n i s r e p r e s e n t e d b y a s e q u e n c e o f f e a t u r e

v e c t o r s . O f i n t e r e s t a r e m a t c h i n g m e t h o d s w h i c h a r e

a b l e t o d e a l w i t h s m a l l d a t a a n d t i m e s c a l e v a r i a t i o n s

w i t h i n c l a s s e s o f m o v e m e n t p a t t e r n s . S e v e r a l m e t h -

o d s h a v e b e e n d e s i g n e d ( s e e a l s o o v e r v i e w i n 5 ] ) :

R a n g a r a j a n e t a l . 2 1 ] u s e s c a l e - s p a c e , G o d d a r d 8 ]

u s e s s c e n a r i o s a n d C a m p b e l l 4 ] u s e s a p h a s e - s p a c e

8/22/2019 10.1.1.56.5329

3/6

r e p r e s e n t a t i o n . B e s i d e s t h e s e m e t h o d s , g e n e r a l p a t -

t e r n m a t c h i n g t e c h n i q u e s , a b l e t o d e a l w i t h t i m e -

s e q u e n t i a l d a t a , h a v e b e e n a p p l i e d t o m a t c h m o v e -

m e n t p a t t e r n s : D y n a m i c T i m e W a r p i n g ( D T W ) 6 ]

2 6 ] , H i d d e n M a r k o v M o d e l s ( H M M ) 2 8 ] a n d N e u r a l

N e t w o r k s ( N N ) 9 ] 2 4 ] .

W e h a v e c h o s e n D y n a m i c T i m e W a r p i n g 1 6 ] a s a

g e n e r a l t o o l t o m a t c h m o v e m e n t p a t t e r n s ; a l t h o u g h

n o t p a r t i c u l a r l y a n e w m e t h o d , i t i s c o n c e p t u a l l y s i m -

p l e a n d e e c t i v e , a s w e w i l l s e e , a l l o w i n g s u c i e n t

e x i b i l i t y i n t i m e - a l i g n m e n t b e t w e e n t e s t a n d r e f e r -

e n c e p a t t e r n t o a l l o w c o r r e c t c l a s s i c a t i o n . W e p r e -

f e r n o t t o d i s c a r d t h e t i m e c o m p o n e n t a s i n 4 ] o f t h e

d a t a s i n c e i t c a n h e l p a v o i d f a l s e p o s i t i v e m a t c h e s

b e t w e e n t e s t a n d r e f e r e n c e p a t t e r n s . L e t u s d e n o t e

t h e t e s t p a t t e r n a s T ( n ) n = 1 2 ; : : N , w h e r e T ( n ) i s

a n a p p l i c a t i o n - d e p e n d e n t k - d i m e n s i o n a l f e a t u r e v e c -

t o r . L e t R ( m ) m = 1 2 ; : : M b e a r e f e r e n c e p a t -

t e r n . D T W u s u a l l y a s s u m e s t h a t t h e e n d p o i n t s o f

t h e t w o p a t t e r n s h a v e b e e n a c c u r a t e l y l o c a t e d ( i . e .

s e g m e n t e d ) . I f ( i j ) d e n o t e s a m a t c h b e t w e e n t h e i -

t h f e a t u r e v e c t o r o f t h e r e f e r e n c e p a t t e r n a n d t h e j - t h

f e a t u r e v e c t o r o f t h e t e s t p a t t e r n , t h e n t h e p r o b l e m

c a n b e f o r m u l a t e d a s n d i n g t h e o p t i m a l p a t h f r o m

p o i n t ( 1 1 ) t o ( n m ) o n a n i t e g r i d . T h e o p t i m a l

p a t h c a n b e f o u n d e c i e n t l y b y d y n a m i c p r o g r a m -

m i n g i n O ( N M ) t i m e . S p e e d - u p c a n b e a c h i e v e d

b y a m u l t i - r e s o l u t i o n a p p r o a c h .

I n o u r c a s e , w e c a n n o t a s s u m e t h a t t e s t p a t t e r n s

h a v e b e e n a c u r a t e l y s e g m e n t e d . T h e r e f o r e , w e u s e

t h e D T W m e t h o d a t e a c h t i m e i n s t a n t t o f a t e s t

s e q u e n c e , c h o o s i n g a s u c i e n t l y l a r g e x e d t i m e -

i n t e r v a l N t o s e a r c h f o r t h e r e f e r e n c e p a t t e r n . T h e

t e s t p a t t e r n t h u s c o n s i s t s o f t h e f e a t u r e s d e r i v e d f r o m

t i m e t ? N + 1 t o t . T h i s i s t h e s a m e t e c h n i q u e a s t h e

C o n t i n u o u s D y n a m i c P r o g r a m m i n g ( C D P ) m e t h o d

u s e d r e c e n t l y b y 2 6 ] , w i t h s o m e d i e r e n c e i n t h e c o -

e c i e n t s o f t h e r e c u r s i v e d i s t a n c e c o m p u t a t i o n s .

I n p r a c t i c e w e m a y h a v e a s e t o f P ( s e g m e n t e d )

t r a i n i n g p a t t e r n s o f t h e s a m e c l a s s . A " K - m e a n s " -

l i k e c l u s t e r i n g a p p r o a c h c a n b e u s e d t o d i v i d e t h i s

s e t i n K < P g r o u p s f r o m w h i c h K r e f e r e n c e p a t -

t e r n s c a n b e c h o s e n . T h i s r e q u i r e s t h e d e n i t i o n o f

a " m e a n " s e q u e n c e . A n a l t e r n a t i v e c l u s t e r i n g a p -

p r o a c h i s t o m i n i m i z e t h e s u m o f d i s t a n c e s b e t w e e n

a l l p a i r s o f m e m b e r s w i t h i n a c l u s t e r u s i n g D T W .

F u r t h e r m o r e , w e i g h i n g o f t h e k d i m e n s i o n s i n t h e d i s -

t a n c e f u n c t i o n d ( i j ) c a n b e b a s e d o n t h e v a r i a n c e o f

f e a t u r e v a l u e s o f t h e d i e r e n t p a t t e r n s o f a g r o u p ,

w h e n t i m e - w a r p e d t o t h e r e f e r e n c e p a t t e r n ( i n s t e a d

o f t h e " l o n g e s t " o n e a s i n 6 ] ) .

F o r t h e d e t a i l s , p l e a s e c o n s u l t t h e T R v e r s i o n o f

t h i s p a p e r , a v a i l a b l e f r o m o u r h o m e p a g e s .

5 E x p e r i m e n t s

5 . 1 B o d y p o s e r e c o v e r y a n d t r a c k i n g

T h e i m a g e d a t a i s o b t a i n e d f r o m t h r e e s y n c h r o n i z e d

c a m e r a s f a c i n g t h e h u m a n s u b j e c t . F o r h i g h o v e r -

l a p b e t w e e n t h e v i e w s , w e c h o s e a n o n - o r t h o g o n a l

c o n g u r a t i o n f o r t h e c a m e r a s . T h e c a m e r a s w e r e

c a l i b r a t e d u s i n g a n o n - l i n e a r l e a s t s q u a r e m e t h o d

d e v e l o p e d b y S z e l i s k i a n d K a n g 2 5 ] , k i n d l y m a d e

a v a i l a b l e t o u s . O u r p o s e r e c o v e r y a n d t r a c k i n g s y s -

t e m i s i m p l e m e n t e d u n d e r A . V . S . ( A d v a n c e d V i s u -

a l i z a t i o n S y s t e m ) . F o l l o w i n g i t s d a t a o w n e t w o r k

m o d e l , t h e s y s t e m c o n s i s t s o f i n d e p e n d e n t r u n n i n g

m o d u l e s , r e c e i v i n g a n d p a s s i n g d a t a t h r o u g h t h e i r

i n t e r - c o n n e c t i o n s .

C u r r e n t l y , w e m a k e t h e a s s u m p t i o n t h a t t h e h u -

m a n s u b j e c t s w e a r t i g h t - t t i n g c l o t h e s . A l s o , t h e

e d g e - d e t e c t i o n i s s o m e w h a t s i m p l i e d b y t h e h a v -

i n g t h e s u b j e c t s w e a r c o n t r a s t i n g s l e e v e s . F i g u r e s

7 a n d 8 s h o w i n i t i a l s t a t e a n d b e s t s t a t e f o u n d b y

b e s t - r s t s e a r c h a f t e r 2 0 0 i t e r a t i o n s f o r t w o t i m e -

i n s t a n t s o f a g e s t u r e s e q u e n c e . T h e s e a r c h s p a c e h e r e

i s 9 - d i m e n s i o n a l : r s t d i m e n s i o n r e p r e s e n t s t o r s o

t w i s t , d i m e n s i o n 2 - 5 ( 6 - 9 ) r e p r e s e n t t h e e l e v a t i o n -

, a b d u c t i o n - , t w i s t - a n d e x t e n s i o n - a n g l e o f t h e l e f t

( r i g h t ) a r m ; t h e o t h e r p a r a m e t e r s a r e a s s u m e d c o n -

s t a n t a n d s e t m a n u a l l y . T h e s e a r c h - s p a c e i s b o u n d e d

i n e a c h d i m e n s i o n b y + - 2 2 . 5 d e g r e e s a r o u n d t h e i n i -

t i a l p a r a m e t e r v a l u e s , t h e d i s c r e t i z a t i o n i s 7 . 5 d e g r e e s

f o r t h e t o r s o t w i s t , a r m e l e v a t i o n a n d a b d u c t i o n , a n d

1 1 . 2 5 d e g r e e s f o r t h e a r m t w i s t a n d e x t e n s i o n . T h i s

r e s u l t s i n a s e a r c h s p a c e o f s i z e 7 7

2

7

2

5

2

5

2

1 1 1 0

7

. F r o m F i g u r e s 7 a n d 8 i t c a n b e s e e n t h a t

t h e s e a r c h p r o c e s s c a n n d i t s w a y f r o m a n i n a c c u -

r a t e s t a t e t o a s t a t e r e p r e n t i n g a w e l l - m a t c h i n g b o d y

p o s e ( t h e i n i t i a l a n d b e s t s t a t e s d i e r b y - 1 5 7 . 5 1 5

- 1 1 . 2 5 0 1 5 1 5 - 1 1 . 2 5 0 ] a n d - 7 . 5 7 . 5 1 5 0 - 1 1 . 2 5 7 . 5

1 5 - 2 2 . 5 0 ] ) .

5 . 2 M o v e m e n t r e c o g n i t i o n

W e d e r i v e d t h e d a t a f o r m o v e m e n t r e c o g n i t i o n f r o m

M o v i n g L i g h t D i s p l a y s ( M L D ) . I n M L D e x p e r i m e n t s

v a r i o u s b r i g h t m a r k e r s a r e a t t a c h e d t o t h e j o i n t s o f

a m o v i n g ( a r t i c u l a t e d ) g u r e , a n d t h e l i g h t i n g c o n -

d i t i o n s a r e d e s i g n e d s u c h t h a t o n l y t h e m a r k e r s a r e

v i s i b l e a g a i n s t a b l a c k b a c k g r o u n d . I n o u r c a s e w e

u s e d b l a c k l i g h t t o i l l u m i n a t e a s e t o f 2 3 u o r e s c e n t

m a r k e r s a t t a c h e d t o t h e h u m a n b o d y : 2 a t t h e e y e s ,

1 a t t h e m o u t h , 4 o n t h e t o r s o ( s h o u l d e r s a n d h i p s ) , 4

a t e a c h h a n d ( 2 m a r k e r s f o r e a c h w r i s t a n d e l b o w t o

a l l e v i a t e s e l f - o c c l u s i o n ) , a n d 4 a t e a c h f o o t ( 2 m a r k e r s

f o r e a c h k n e e a n d a n k l e ) . J o h a n s s o n 1 2 ] u s e d M L D ' s

i n h i s n o w c l a s s i c e x p e r i m e n t s o n h u m a n p e r c e p t i o n

t o s h o w t h a t h u m a n o b s e r v e r s c a n a l m o s t i n s t a n t l y

r e c o g n i z e b i o l o g i c a l m o t i o n p a t t e r n s e v e n w h e n p r e -

s e n t e d w i t h o n l y a f e w o f t h e s e m o v i n g d a t a p o i n t s .

W e u s e M L D s o l e l y a s a m a t t e r o f c o n v e n i e n c e t o

q u i c k l y o b t a i n o u r 3 - D m o v e m e n t d a t a w i t h o u t r e -

s o r t i n g t o s i m u l a t e d d a t a . T h e r e i s n o i m p l i c a t i o n

t h a t t h e m a r k e r p o i n t t r a c k i n g a n d c o r r e s p o n d a n c e

t e c h n i q u e s a p p l i e d h e r e c a n b e u s e d f o r r e a l i m a g e s

a s w e l l . T h e f o l l o w i n g s t e p s a r e i n v o l v e d i n o b t a i n -

i n g o u r d a t a : 1 ) a c q u i s i t i o n o f m o v i n g l i g h t d i s p l a y

s t e r e o - d a t a 2 ) s e g m e n t a t i o n a n d 3 - D t r a c k i n g o f t h e

m a r k e r p o i n t s a n d 3 ) d e t e r m i n a t i o n o f v a r i o u s 3 - D

o i n t a n g l e s f r o m X Y Z t r a c k i n g d a t a

W e u s e d t h e T R C B i S i g h t h e a d i n p a r a l l e l - a x i s a r -

r a n g e m e n t w i t h e p i - p o l a r l i n e s h o r i z o n t a l l y a l i g n e d

( F i g u r e 1 ) t o r e c o r d o u r d a t a . O n c e t h e c a m e r a s a r e

p r o p e r l y c a l i b r a t e d , m a t c h i n g t h e p o i n t s i n t h e l e f t

a n d r i g h t i m a g e g i v e s t h e c o o r d i n a t e s o f t h e p o i n t

i n 3 D u s i n g s t a n d a r d s t e r e o e q u a t i o n s . W e h a v e d e -

v e l o p e d s o f t w a r e t o d o t h e d e t e c t i o n a n d t r a c k i n g

o f m a r k e r s s e m i - a u t o m a t i c a l l y i n 3 - D , c o m p a r a b l e t o

1 1 ] . F i n a l l y , t h e e x t r a c t e d t r a j e c t o r i e s n e e d t o b e

l a b e l e d b y t h e i r j o i n t n a m e ; t h i s i s d o n e m a n u a l l y .

8/22/2019 10.1.1.56.5329

4/6

F i g u r e 1 : P o l y p h e m o s : t h e m o v a b l e T R C B i S i g h t

h e a d

-150-100

-500

50100

150

-100

-50

0

50

100

0

200

400

600

F i g u r e 2 : X Y Z d a t a s n a p s h o t

S e e F i g u r e 2 f o r a X Y Z d a t a s n a p s h o t .

W e a s s u m e t h e t o r s o i s r i g i d a n d p l a c e o n e o f o u r

r e f e r e n c e p l a n e s P 1 t h r o u g h t h e t w o s h o u l d e r a n d

h i p p o i n t s . F o r e a c h a r m , a h u m a n - c e n t e r e d c o o r -

d i n a t e s y s t e m i s p l a c e d a t t h e s h o u l d e r s u c h t h a t

t h e X - a x i s i s a l o n g t h e s h o u l d e r - s h o u l d e r l i n e , p o i n t -

i n g a w a y f r o m t h e b o d y , t h e Y - a x i s i s p e r p e n d i c u l a r

t o t h e X - a x i s i n p l a n e P 1 , p o i n t i n g " u p " , a n d t h e

Z - a x i s i s p e r p e n d i c u l a r t o P 1 , p o i n t i n g i n t h e d i r e c -

t i o n t h e h u m a n i s f a c i n g . A n o t h e r r e f e r e n c e p l a n e

P 2 i s p l a c e d t h r o u g h t h e t w o h i p j o i n t s a n d t h e i r

v e r t i c a l p r o j e c t i o n s . F o r e a c h l e g , a h u m a n - c e n t e r e d

c o o r d i n a t e s y s t e m i s p l a c e d a t t h e h i p , w i t h a x i s -

o r i e n t a t i o n s d e n e d s i m i l a r l y t o t h o s e a t t h e s h o u l -

d e r . T h e s t a t e o f t h e 3 - D O F s h o u l d e r ( h i p ) j o i n t i s

d e n o t e d b y t h r e e E u l e r a n g l e s e l e v a t i o n , a b d u c t i o n

a n d t w i s t . T o g e t h e r w i t h t h e e x t e n s i o n a n g l e o f

t h e e l b o w ( k n e e ) , t h i s s p e c i e s t h e w h o l e a r m ( l e g ) .

P r o b l e m s w i t h s i n g u l a r i t i e s c a n b e d e a l t w i t h b y i n -

t r o d u c i n g w e i g h i n g f a c t o r s o r r o t a t i n g t h e c o o r d i n a t e

s y s t e m ( s e e a l s o d i s c u s s i o n i n 4 ] ) .

W e i l l u s t r a t e t h e D T W m a t c h i n g m e t h o d u s i n g

t h r e e m o v e m e n t t e m p l a t e s T 0 T 1 T 2 d e n o t i n g

" w a v i n g h e l l o " , " w a v i n g - t o - c o m e " a n d " t w i s t i n g " .

S e e F i g u r e 3 . F o r s i m p l i c i t y , w e d e n e t h e a b o v e

t h r e e a c t i v i t i e s t o b e i n d e p e n d e n t o f e l b o w p o s i t i o n -

i n g a n d t a k e o n l y t h e t w i s t a n d t h e e x t e n s i o n a n g l e s

i n t o c o n s i d e r a t i o n f o r m a t c h i n g . F i g u r e 4 a s h o w s

a l l t h e f o u r j o i n t a n g l e s o f a n e x a m p l e s e q u e n c e t o

b e m a t c h e d , i t c o n t a i n s e x a m p l e s o f t h e " w a v i n g -

h e l l o " a c t i v i t y . A n i n s p e c t i o n o f F i g u r e 4 a s h o w s

t h a t t h e r e a r e i n d e e d v a r i a t i o n s i n f e a t u r e v a l u e s a n d

t i m e s c a l e o f i n s t a n c e s b e l o n g i n g t o t h e s a m e a c t i v -

i t y . F o r e x a m p l e , t h e l e n g t h o f t e m p l a t e T 0 i s 6 5

f r a m e s , w h i l e o t h e r i n s t a n c e s o f w a v i n g a p p e a r w i t h

l e n g t h 8 5 , 7 0 , 5 6 i n F i g u r e 4 a . A l l a r e w e l l w i t h i n

t h e b o u n d s o n t h e w a r p - f a c t o r ( 0 . 5 - 2 ) . F i g u r e 4 b

s h o w t h e d i s t a n c e m e a s u r e s c o m p u t e d b y D T W , f o r

t h e t h r e e m o v e m e n t t e m p l a t e s . F r o m t h e g u r e w e

s e e t h a t e a c h o c c u r e n c e o f a " w a v i n g - h e l l o " a c t i v -

i t y i s w e l l d e t e c t e d b y t h e c o r r e s p o n d i n g t e m p l a t e .

N o t e t h a t t h e m i n i m u m o f m a t c h i n g d i s t a n c e i s a l -

w a y s r e a c h e d w h e n t h e e n t i r e p a t t e r n h a s b e e n " s e e n "

i n t h e t e s t s e q u e n c e . B u t e v e n w h e n t h e p a t t e r n h a s

b e e n s e e n o n l y p a r t i a l l y , t h e m a t c h i n g d i s t a n c e d e -

c r e a s e s r a p i d l y t o a l o w v a l u e , a l l o w i n g r e c o g n i t i o n .

6 C o n c l u s i o n a n d F u t u r e W o r k

W e h a v e o u t l i n e d o u r a p p r o a c h t o v i s i o n - b a s e d h u -

m a n m o v e m e n t a n a l y s i s . T h e i n p u t i s a s e q u e n c e o f

m u l t i - v i e w r e a l i m a g e s a n d t h e o u t p u t i s t h e r e s u l t o f

3 - D p o s e - r e c o v e r y a n d m o v e m e n t c l a s s i c a t i o n . W e

a r e l o o k i n g t o e x t e n d o u r s y s t e m t o d e r i v e t h e p r o -

p o r t i o n s o f t h e h u m a n m o d e l a u t o m a t i c a l l y f r o m t h e

i m a g e s , t o i n c o r p o r a t e b i o - m e c h a n i c a l c o n s t r a i n t s i n

t h e m o d e l , a n d t o n d w a y s t o c o n s t r a i n t h e p o s e

p a r a m e t e r s p a c e . F i n a l l y , w e p l a n t o c o m p i l e a l a r g e

d a t a s e t o f " e v e r y d a y " a c t i v i t i e s t o d e m o n s t r a t e t h e

s c a l a b i l i t y o f o u r m o v e m e n t m a t c h i n g a p p r o a c h .

1 80 1 90 2 00 2 10 2 20 2 30 2 400

20

40

60

80

100

120

140

160

180

6 0 7 0 8 0 9 0 10 0 1 10 1 200

20

40

60

80

100

120

140

160

180

5 1 0 1 5 2 0 2 5 3 0 3 5 4 0 4 5 5 00

20

40

60

80

100

120

140

160

180

F i g u r e 3 : M o v e m e n t p a t t e r n s T 0 ( " w a v i n g h e l l o " ) ,

T 1 ( " w a v i n g t o c o m e " ) a n d T 2 ( " t w i s t i n g " ) : t w i s t

( o ) a n d e x t e n s i o n ( + ) o f a r m v s . f r a m e - n u m b e r

0 50 100 150 200 2500

20

40

60

80

100

120

140

160

180

( a )

0 50 100 150 200 2500

0.02

0.04

0.06

0.08

0.1

0.12

0.14

0.16

0.18

0.2

( b )

F i g u r e 4 : H E L L O - 2 : ( a ) e l e v a t i o n ( x ) , a b d u c t i o n ( . ) ,

t w i s t ( o ) , a n d e x t e n s i o n ( + ) o f a r m ( b ) D T W m a t c h -

i n g w i t h T 0 ( s o l i d ) , T 1 ( d a s h e d ) a n d T 2 ( d a s h d o t ) ,

v s . f r a m e - n u m b e r

8/22/2019 10.1.1.56.5329

5/6

F i g u r e 5 : H u m a n m o d e l

F i g u r e 6 : S c e n e e d g e a n d c h a m f e r i m a g e

F i g u r e 7 : B e s t - r s t s e a r c h t h r o u g h p o s e - p a r a m e t e r s p a c e a t t i m e t = 0 : t o p r o w s h o w s i n i t i a l s t a t e a n d b o t t o m

r o w s h o w s b e s t s t a t e a f t e r 2 0 0 i t e r a t i o n s ( c a m e r a s L E F T , R I G H T a n d T O P , r e s p . )

F i g u r e 8 : B e s t - r s t s e a r c h t h r o u g h p o s e - p a r a m e t e r s p a c e a t t i m e t = 2 0 : t o p r o w s h o w s i n i t i a l s t a t e a n d

b o t t o m r o w s h o w s b e s t s t a t e a f t e r 2 0 0 i t e r a t i o n s , ( c a m e r a s L E F T , R I G H T a n d T O P , r e s p . )

8/22/2019 10.1.1.56.5329

6/6

7 A c k n o w l e d g e m e n t s

T h e r s t a u t h o r w o u l d l i k e t o t h a n k E l l e n K o o p m a n s

f o r h e r s u p p o r t d u r i n g t h e M L D e x p e r i m e n t s a n d P . J .

N a r a y a n a n a n d P e t e R a n d e r f o r t h e i r s u p p o r t i n a c -

q u i r i n g t h e m u l t i - v i e w i m a g e s a t C M U ' s 3 - D S t u d i o .

R e f e r e n c e s

1 ] K . A k i t a , \ I m a g e S e q u e n c e A n a l y s i s o f R e a l

W o r l d H u m a n M o t i o n , " P a t t e r n R e c o g n i t i o n ,

v o l . 1 7 , p p . 7 3 - 8 3 , 1 9 8 4 .

2 ] N . I . B a d l e r , C . B . P h i l l i p s , a n d B . L . W e b b e r ,

\ S i m u l a t i n g H u m a n s , " O x f o r d U n i v e r s i t y P r e s s

O x f o r d , 1 9 9 3 .

3 ] H . G . B a r r o w e t a l . , \ P a r a m e t r i c C o r r e s p o n -

d e n c e a n d C h a m f e r M a t c h i n g : t w o n e w t e c h -

n i q u e s f o r i m a g e m a t c h i n g , " P r o c . I J C A I , v o l . 2 ,

p p . 6 5 9 - 6 6 3 , 1 9 7 7 .

4 ] L . W . C a m p b e l l , R e c o g n i z i n g C l a s s i c a l B a l l e t

S t e p s U s i n g P h a s e S p a c e C o n s t r a i n t s , M . S . T h e -

s i s , M . I . T . , 1 9 9 4 .

5 ] C . C e d r a s a n d M . S h a h , \ M o t i o n - B a s e d R e c o g -

n i t i o n , A S u r v e y , " T e c h n i c a l R e p o r t C S - T R - 9 3 -

? , U n i v . o f C e n t r a l F l o r i d a , 1 9 9 3 .

6 ] T . D a r r e l l a n d A . P e n t l a n d , \ S p a c e - T i m e G e s -

t u r e s , " L o o k i n g a t p e o p l e , 1 3 t h I n t e r n a t i o n a l

J o i n t C o n f e r e n c e o n A I , C h a m b e r y , 1 9 9 3 .

7 ] A . C . D o w n t o n a n d H . D r o u e t , \ M o d e l - B a s e d

I m a g e A n a l y s i s f o r U n c o n s t r a i n e d U p p e r - B o d y

M o t i o n , " P r o c e e d i n g s I n t e r n a t i o n a l C o n f e r e n c e

o n I m a g e P r o c e s s i n g a n d i t s A p p l i c a t i o n s , p p

2 7 4 - 2 7 7 , I E E , 1 9 9 2 .

8 ] N . G o d d a r d , \ I n c r e m e n t a l M o d e l - B a s e d D i s -

c r i m i n a t i o n o f A r t i c u l a t e d M o v e m e n t D i r e c t

f r o m M o t i o n F e a t u r e s , " I E E E W o r k s h o p o n

M o t i o n o f N o n - R i g i d a n d A r t i c u l a t e d O b j e c t s ,

A u s t i n , 1 9 9 4 .

9 ] Y . G u o , G . X u a n d S . T s u j i , \ U n d e r s t a n d i n g

H u m a n M o t i o n P a t t e r n s , " I C P R , 1 9 9 4 .

1 0 ] D . H o g g , \ M o d e l b a s e d v i s i o n : A p r o g r a m t o

s e e a w a l k i n g p e r s o n , " I m a g e V i s i o n C o m p u t . ,

v o l . 1 , n r . 1 , p p . 5 - 2 0 , 1 9 8 3 .

1 1 ] M . J e n k i n , \ T r a c k i n g t h r e e d i m e n s i o n a l m o v -

i n g l i g h t d i s p l a y s , " N . I . B a d l e r a n d J . K . T s o t s o s

e d i t o r s , M o t i o n , R e p r e s e n t a t i o n a n d P e r c e p t i o n ,

E l s e v i e r S c i e n c e P u b l i s h i n g , 1 9 8 6 .

1 2 ] G . J o h a n s s o n , \ V i s u a l p e r c e p t i o n o f b i o l o g i c a l

m o t i o n a n d a m o d e l f o r i t s a n a l y s i s , " P e r c e p t i o n

a n d P s y c h o p h y s i c s , v o l . 1 4 , n o . 2 , 1 9 7 3 .

1 3 ] M . K . L e u n g a n d Y . H . Y a n g , \ A M o d e l B a s e d

A p p r o a c h t o L a b e l i n g H u m a n B o d y O u t l i n e s , "

I E E E W o r k s h o p o n M o t i o n o f N o n - R i g i d a n d

A r t i c u l a t e d O b j e c t s , A u s t i n , 1 9 9 4 .

1 4 ] W . L o n g a n d Y . H . Y a n g , \ L o g - t r a c k e r , a n

a t t r i b u t e - b a s e d a p p r o a c h t o t r a c k i n g h u m a n

b o d y m o t i o n , " I n t e r n a t i o n a l J o u r n a l o f P a t t e r n

R e c o g n i t i o n a n d A r t i c i a l I n t e l l i g e n c e , v o l . 5 ,

n o . 3 , p p . 4 3 9 - 4 5 8 , 1 9 9 1 .

1 5 ] D . M a r r a n d H . K . N i s h i h a r a , \ R e p r e s e n t a t i o n

a n d R e c o g n i t i o n o f t h e S p a t i a l O r g a n i z a t i o n o f

T h r e e D i m e n s i o n a l S h a p e s , " P r o c . R . S o c . L o n -

d o n B , v o l . 2 0 0 , p p . 2 6 9 - 2 9 4 , 1 9 7 8 .

1 6 ] C . M y e r s , L . R . R a b i n i e r a n d A . E . R o s e n -

b e r g , \ P e r f o r m a n c e T r a d e o s i n D y n a m i c T i m e

W a r p i n g A l g o r i t h m s f o r I s o l a t e d W o r d R e c o g n i -

t i o n , " I E E E T r a n s . A S S P , v o l . 2 8 , n o . 6 , 1 9 8 0 .

1 7 ] S . A . N i y o g i a n d E . H . A d e l s o n , \ A n a l y z i n g

a n d R e c o g n i z i n g W a l k i n g g u r e s i n X Y T , "

P r o c . I E E E C o n f . C o m p u t e r V i s i o n a n d P a t t e r n

R e c o g n i t i o n , p p . 4 6 9 - 4 7 4 , 1 9 9 4 .

1 8 ] J . O h y a a n d F . K i s h i n o , \ H u m a n P o s t u r e E s -

t i m a t i o n f r o m M u l t i p l e I m a g e s U s i n g G e n e t i c

A l g o r i t h m , " P r o c . I C P R , 1 9 9 4 .

1 9 ] F . J . P e r a l e s a n d J . T o r r e s , \ A S y s t e m f o r H u -

m a n M o t i o n M a t c h i n g b e t w e e n S y n t h e t i c a n d

R e a l I m a g e s B a s e d o n a B i o m e c h a n i c G r a p h i -

c a l M o d e l , " I E E E W o r k s h o p o n M o t i o n o f N o n -

R i g i d a n d A r t i c u l a t e d O b j e c t s , A u s t i n , 1 9 9 4 .

2 0 ] R . P o l a n a a n d R . N e l s o n , \ L o w L e v e l R e c o g -

n i t i o n o f H u m a n M o t i o n , " I E E E W o r k s h o p o n

M o t i o n o f N o n - R i g i d a n d A r t i c u l a t e d O b j e c t s ,

A u s t i n , 1 9 9 4 .

2 1 ] K . R a n g a r a j a n , W . A l l e n , a n d M . S h a h ,

\ M a t c h i n g M o t i o n T r a j e c t o r i e s u s i n g S c a l e

S p a c e , " P a t t e r n R e c o g n i t i o n , v o l . 2 6 , n r . 4 ,

p p . 5 9 5 - 6 0 9 , 1 9 9 3 .

2 2 ] J . R e h g a n d T . K a n a d e , \ D i g i t E y e s , V i s i o n -

B a s e d H u m a n H a n d T r a c k i n g , " T e c h n i c a l R e -

p o r t C M U - C S - 9 3 - 2 2 0 , C M U , 1 9 9 3 .

2 3 ] K . R o h r , \ T o w a r d s M o d e l - B a s e d R e c o g n i t i o n

o f H u m a n M o v e m e n t s i n I m a g e S e q u e n c e s , "

C V G I P , I m a g e U n d e r s t a n d i n g , V o l . 5 9 , N o . 1 ,

p p . 9 4 - 1 1 5 , 1 9 9 4 .

2 4 ] M . R o s e n b l u m , Y . Y a c o o b a n d L . S . D a v i s , \ H u -

m a n E m o t i o n R e c o g n i t i o n f r o m M o t i o n U s i n g

a R a d i a l B a s i s F u n c t i o n N e t w o r k A r c h i t e c t u r e , "

I E E E W o r k s h o p o n M o t i o n o f N o n - R i g i d a n d

A r t i c u l a t e d O b j e c t s , A u s t i n , 1 9 9 4 .

2 5 ] R . S z e l i s k i a n d S . B . K a n g , \ R e c o v e r i n g 3 D

S h a p e a n d M o t i o n f r o m I m a g e S t r e a m s U s i n g

N o n l i n e a r L e a s t S q u a r e s , " J . V i s . C o m m . I m .

R e p r . , v o l . 5 , n o . 1 , p p . 1 0 - 2 8 , 1 9 9 4 .

2 6 ] K . T a k a h a s h i e t a l . , \ R e c o g n i t i o n o f D e x -

t r o u s M a n i p u l a t i o n s f r o m T i m e - V a r y i n g I m -

a g e s , " I E E E W o r k s h o p o n M o t i o n o f N o n - R i g i d

a n d A r t i c u l a t e d O b j e c t s , A u s t i n , 1 9 9 4 .

2 7 ] D . T e r z o p o u l o s a n d D . M e t a x a s , \ D y n a m i c

3 D M o d e l s w i t h L o c a l a n d G l o b a l D e f o r m a -

t i o n s : D e f o r m a b l e S u p e r q u a d r i c s , " I E E E T r a n s .

P A M I , v o l . 1 3 , n o . 7 , p p . 7 0 3 - 7 1 4 , 1 9 9 1 .

2 8 ] J . Y a m a t o , J . O h y a a n d K . I s h i i , \ R e c o g n i z i n g

H u m a n A c t i o n i n T i m e - S e q u e n t i a l I m a g e s u s i n g

H i d d e n M a r k o v M o d e l , " P r o c . P r o c . C o n f . o n

C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n , p p

3 7 9 - 3 8 5 , 1 9 9 2 .

2 9 ] J . Z h a o , M o v i n g P o s t u r e R e c o n s t r u c t i o n f r o m

P e r s p e c t i v e P r o j e c t i o n s o f J o i n t e d F i g u r e M o -

t i o n , P h . D . T h e s i s , U n i v e r s i t y o f P e n n s y l v a n i a ,

1 9 9 3 .