of 6
8/22/2019 Incremental Recognition of Pedestrians f 92217
1/6
I n c r e m e n t a l R e c o g n i t i o n o f P e d e s t r i a n s f r o m I m a g e S e q u e n c e s
K . R o h r
A r b e i t s b e r e i c h K o g n i t i v e S y s t e m e
F B I n f o r m a t i k , U n i v e r s i t a t H a m b u r g
B o d e n s t e d t s t r . 1 6 , 2 0 0 0 H a m b u r g 5 0 , F R G
A b s t r a c t
T h e o v e r a l l m o v e m e n t o f a r t i c u l a t e d b o d i e s ( s u c h a s
t h e h u m a n b o d y ) i s e n a b l e d b y t h e c o o r d i n a t e d m o v e -
m e n t o f i t s r i g i d b o d y p a r t s . T h e b o d y p a r t s a r e c o n -
n e c t e d b y j o i n t s a n d , i n g e n e r a l , m o v e d i e r e n t l y . F o r
i n t e r p r e t i n g t h e s e m o v e m e n t s a s t h e m o v e m e n t o f o n e
s i n g l e b o d y , i t s e e m s t o b e n e c e s s a r y t o i n c o r p o r a t e
k n o w l e d g e i n t h e a n a l y s i s p r o c e s s . T h e r e f o r e , i n o r -
d e r t o r e c o g n i z e p e d e s t r i a n s f r o m m o n o c u l a r i m a g e s e -
q u e n c e s , w e i n t r o d u c e a m o d e l - b a s e d a p p r o a c h . W e
r e p r e s e n t t h e h u m a n b o d y b y a v o l u m e m o d e l a n d u s e
m e d i c a l m o t i o n d a t a f o r s i m u l a t i n g t h e m o v e m e n t o f
w a l k i n g . T h i s k n o w l e d g e i s e x p l o i t e d t o d e t e r m i n e t h e
3 D - p o s i t i o n a s w e l l a s t h e p o s t u r e o f a n o b s e r v e d p e r -
s o n . B y a p p l y i n g a K a l m a n l t e r w e i n c r e m e n t a l l y
e s t i m a t e t h e m o d e l p a r a m e t e r s i n c o n s e c u t i v e i m a g e s .
O u r a p p r o a c h h a s b e e n t e s t e d o n r e a l i m a g e d a t a .
1 I n t r o d u c t i o n
T h e a u t o m a t i c i n t e r p r e t a t i o n o f h u m a n m o v e -
m e n t s f r o m i m a g e s w h i c h i s o n e o f t h e m o s t c h a l -
l e n g i n g p r o b l e m s i n t h e e l d o f c o m p u t e r v i s i o n
h a s r e c e n t l y o b t a i n e d a n i n c r e a s e d a t t e n t i o n ( e . g .
P e n t l a n d & H o r o w i t z [ 1 8 ] , Y a m a m o t o & K o s h i k a w a
[ 3 0 ] , C h e n & L e e [ 5 ] , K u r a k a k e & N e v a t i a [ 1 1 ]
Q u i a n & H u a n g [ 1 9 ] ) . A c e n t r a l p r o b l e m i n r e c o g n i z -
i n g s u c h m o v e m e n t s i s d u e t o t h e f a c t t h a t t h e h u m a n
b o d y c o n s i s t s o f b o d y p a r t s l i n k e d t o e a c h o t h e r a t
o i n t s t o e n a b l e d i e r e n t m o v e m e n t s o f t h e p a r t s a n d
t h e r e f o r e , i n g e n e r a l , h a s t o b e t r e a t e d a s a n o n - r i g i d
b o d y . I n a d d i t i o n , f o r g e n e r a l c a m e r a p o s i t i o n s a l w a y s
s o m e o f t h e b o d y p a r t s a r e o c c l u d e d . A l t h o u g h o c c l u -
s i o n c a n g i v e i m p o r t a n t c u e s i n a r e c o g n i t i o n t a s k ,
t h e a u t o m a t i c i n t e r p r e t a t i o n g e t s m o r e d i c u l t . A n -
o t h e r p r o b l e m t h a t h a s t o b e d e a l t w i t h i s t h e c l o t h i n g
w h i c h c a n h a v e a l a r g e i n u e n c e o n t h e a p p e a r e n c e o f a
p e r s o n ( w i d e o r t i g h t t r o u s e r s , d i e r e n t j a c k e t s , e t c . ) .
C l o t h i n g c a n a l s o c a u s e c o m p l e x i l l u m i n a t i o n p h e n o m -
e n a t h a t , i n a d d i t i o n , c h a n g e d u r i n g m o v e m e n t ( c o m -
p a r e w i t h e o r t s i n t h e e l d o f c o m p u t e r g r a p h i c s t o
s i m u l a t e s u c h p h e n o m e n a , e . g . W e i l [ 2 8 ] )
B e c a u s e o f t h e s e d i c u l t i e s m o s t o f t h e p r e v i o u s
a p p r o a c h e s a s s u m e t h e j o i n t s o f t h e h u m a n b o d y t o
b e m a r k e d ( e . g . R a s h i d [ 2 0 ] , W e b b & A g g a r w a l [ 2 7 ]
G o d d a r d [ 7 ] , C h e n & L e e [ 5 ] , Q u i a n & H u a n g [ 1 9 ] )
o r i n v e s t i g a t e s y n t h e t i c i m a g e s ( e . g . O ' R o u r k e & B a d l e r
[ 1 7 ] , T s u j i e t a l . [ 2 5 ] ) . A m o n g t h o s e a p p r o a c h e s
w h i c h e v a l u a t e r e a l - w o r l d s c e n e s , A k i t a [ 1 ] , L e -
u n g & Y a n g [ 1 2 ] a n d P e n t l a n d & H o r o w i t z [ 1 8 ] e s s e n -
t i a l l y a n a l y z e g y m n a s t i c m o v e m e n t s b u t n o t l o c o m o -
t i o n w h i c h i n g e n e r a l s i m p l i e s t h e i n t e r p r e t a t i o n b e -
c a u s e t h e e e c t o f s e l f - o c c l u s i o n i s d i m i n i s h e d . O t h e r
a p p r o a c h e s r e s t r i c t t h e i r a n a l y s i s o f l o c o m o t i o n s t o t h e
p a r t o f t h e l e g s ( T s u k i y a m a & S h i r a i [ 2 6 ] ) o r t o t h e
p a r t o f t h e a r m s ( Y a m a m o t o & K o s h i k a w a [ 3 0 ] )
I n t h i s c o n t r i b u t i o n w e i n t r o d u c e a m o d e l - b a s e d
a p p r o a c h f o r r e c o g n i z i n g p e d e s t r i a n s f r o m m o n o c u l a r
i m a g e s e q u e n c e s . W e e x p l i c i t l y r e p r e s e n t t h e h u m a n
b o d y a n d t h e m o v e m e n t o f w a l k i n g a n d u s e t h i s k n o w l -
e d g e t o d e r i v e 3 D - p o s i t i o n s a n d p o s t u r e s f r o m i m a g e s .
W i t h i n t h e w i d e s p e c t r u m o f p o t e n t i a l a p p l i c a t i o n s i t
i s h o p e d t h a t i n v e s t i g a t i o n s i n t h i s d i r e c t i o n c a n e s p e -
c i a l l y b e h e l p f u l i n s t r e e t - t r a c f o r e a r l y r e c o g n i t i o n
o f s i t u a t i o n s w h i c h m i g h t l e a d t o a c c i d e n t s o r i n t h e
m e d i c a l a r e a f o r d i a g n o s i n g d i s t o r t e d m o v e m e n t p a t -
t e r n s .
T h e p i o n e e r i n g w o r k f o r r e c o g n i z i n g w a l k i n g p e r -
s o n s i n r e a l - w o r l d i m a g e s h a s b e e n d o n e b y H o g g
[ 9 ] [ 1 0 ] . H e u s e s t h e m o d e l o f a h u m a n b o d y o f
M a r r & N i s h i h a r a [ 1 4 ] i n o r d e r t o e s t i m a t e p o s t u r e s
o f w a l k i n g p e r s o n s f r o m i m a g e s . T h e d a t a f o r t h e m o -
t i o n m o d e l h a s b e e n a c q u i r e d i n t e r a c t i v e l y f r o m o n e
p r o t o t y p e i m a g e s e q u e n c e . O u r a p p r o a c h a l s o u t i l i z e s
t h e m o d e l o f M a r r & N i s h i h a r a . H o w e v e r , f o r t h e m o -
t i o n m o d e l w e u s e d a t a f r o m m e d i c a l m o t i o n s t u d i e s
r e p r e s e n t i n g a n a v e r a g e o v e r a r e l a t i v e l y l a r g e n u m -
b e r o f t e s t p e r s o n s . H o g g c o m p a r e s t h e c o n t o u r s o f
8/22/2019 Incremental Recognition of Pedestrians f 92217
2/6
F i g u r e : M o d e l o f t h e
h u m a n b o d y
F i g u r e 2 : M o t i o n c u r v e o f
t h e k n e e - j o i n t
t h e m o d e l w i t h g r e y - v a l u e e d g e p o i n t s w h e r e h i d d e n
m o d e l c o n t o u r s h a v e n o t b e e n r e m o v e d . W e i n s t e a d
c o m p a r e m o d e l c o n t o u r s w i t h e d g e l i n e s a n d r e m o v e
h i d d e n m o d e l c o n t o u r s . I n c o n t r a s t t o H o g g o u r a p -
p r o a c h d e t e r m i n e s t h e i n i t i a l p o s t u r e a u t o m a t i c a l l y
a n d f o r e s t i m a t i n g t h e m o d e l p a r a m e t e r s f o r a s i n -
g l e i m a g e e a r l i e r e s t i m a t e s a r e t a k e n i n t o a c c o u n t b y
u s i n g a K a l m a n l t e r .
2 M o d e l l i n g t h e h u m a n b o d y
W e u s e a v o l u m e m o d e l w h i c h i s i n a c c o r -
d a n c e t o t h e s u g g e s t i o n s f o r a s t a t i c 3 D - m o d e l o f
M a r r & N i s h i h a r a [ 1 4 ] . T h e h u m a n b o d y i s r e p -
r e s e n t e d b y 4 c y l i n d e r s w i t h e l l i p t i c c r o s s - s e c t i o n s .
C y l i n d e r s a r e a g o o d c o m p r o m i s e b e t w e e n t h e n u m -
b e r o f p a r a m e t e r s a n d t h e q u a l i t y o f r e p r e s e n t a t i o n o f
t h e h u m a n b o d y . T h e c o o r d i n a t e s y s t e m s f o r t h e b o d y
p a r t s a r e a l i g n e d w i t h t h e n a t u r a l a x e s a n d t h e o r i g i n
o f t h e c o o r d i n a t e s y s t e m o f t h e w h o l e b o d y i s c h o s e n
t o b e a t t h e c e n t e r o f t h e t o r s o . T r a n s f o r m a t i o n s b e -
t w e e n d i e r e n t c o o r d i n a t e s y s t e m s a r e d e s c r i b e d b y
h o m o g e n e o u s c o o r d i n a t e s . S i n c e p e d e s t r i a n s \ i n g e n -
e r a l " a r e d r e s s e d , a n d s i n c e c l o t h i n g c a n s t r o n g l y i n -
u e n c e t h e a p p e a r e n c e o f a p e r s o n , t h e u s e f u l n e s s o f
e x i s t i n g c a t a l o g u e s c o n t a i n i n g b o d y - m e a s u r e m e n t s o f
u n c l o t h e d p e r s o n s i s l i m i t e d . T h e r e f o r e , w e u s e s i z e s
o f t h e h u m a n b o d y p a r t s o b t a i n e d b y d i r e c t m e a s u r e -
m e n t s o f a n o r m a l p e r s o n w i t h a v e r a g e c l o t h i n g . A
v i s u a l i z a t i o n o f o u r m o d e l i s d i s p l a y e d i n F i g . .
3 M o d e l l i n g t h e m o v e m e n t o f w a l k i n g
T h e r e a r e t w o b a s i c m e t h o d s f o r d e s c r i b i n g b o d i e s
i n m o t i o n : k i n e m a t i c a n d d y n a m i c a p p r o a c h e s . A
k i n e m a t i c d e s c r i p t i o n e x p l i c i t l y s p e c i e s t h e g e o m e t r y
o f o b j e c t s , i . e . p o s i t i o n , o r i e n t a t i o n a n d d e f o r m a t i o n
w i t h o u t t a k i n g i n t o a c c o u n t t h e c a u s e o f t h e m o v e -
m e n t ( e . g . Z e l t z e r [ 3 1 ] ) D y n a m i c m e t h o d s t a k e i n t o
a c c o u n t f o r c e s a n d t o r q u e s a n d h a v e t h e p o t e n t i a l t o
p r o d u c e r e a l i s t i c m o t i o n s ( e . g . W i l h e l m s [ 2 9 ] , B r u d -
e r l i n & C a l v e r t [ 4 ] ) . H o w e v e r , t h e s e a p p r o a c h e s a r e
c o m p u t a t i o n a l l y e x p e n s i v e a n d s p e c i f y i n g f o r c e s a n d
t o r q u e s c a n b e d i c u l t . I n a d d i t i o n , t h e r e s u l t i n g
m o v e m e n t s a r e n o t a l w a y s s a t i s f y i n g a n d s o m e t i m e s
t h e y a r e i m p r o v e d b y k i n e m a t i c a d j u s t m e n t .
S i n c e i n o u r a p p r o a c h f o r r e c o g n i z i n g p e d e s t r i a n s
w e w a n t t o u s e t h e m o d e l f o r a n a l y z i n g r e a l - w o r l d i m -
a g e s , t h e a g r e e m e n t w i t h a c t u a l m o v e m e n t s i s i m p o r -
t a n t . O n t h e o t h e r h a n d , t h e n u m b e r o f m o d e l p a r a m -
e t e r s s h o u l d b e k e p t s m a l l i n o r d e r t o f a c i l i t a t e t h e i r
e s t i m a t i o n f r o m i m a g e d a t a . T h e r e f o r e , w e d e c i d e d t o
a p p l y a k i n e m a t i c a p p r o a c h . F o r m o d e l l i n g t h e m o v e -
m e n t o f w a l k i n g w e u s e d a t a f r o m h u m a n m o t i o n s t u d -
i e s . F o r m e d i c a l p u r p o s e s i n M u r r a y e t a l . [ 1 6 ] ( s e e
a l s o [ 1 5 ] ) t h e m o v e m e n t o f s i x t y n o r m a l m e n r a n g -
i n g i n a g e f r o m t w e n t y t o s i x t y - v e y e a r s h a v e b e e n
a n a l y z e d t o o b t a i n t h e b a s i c e l e m e n t s o f w a l k i n g . A s -
t o n i s h i n g l y , t h e m o v e m e n t p a t t e r n s o f t h e b o d y p a r t s
a r e v e r y s i m i l a r f o r t h e d i e r e n t p e r s o n s ( a l t h o u g h i t
i s o f t e n p o s s i b l e t o r e c o g n i z e p e r s o n s b y t h e i r g a i t ) .
W e u s e f o r o u r m o d e l t h e a v e r a g e d a t a o f t h i s i n v e s t i -
g a t i o n ( s e e a l s o R o h r [ 2 1 ] ) . A n i c e p r o p e r t y i s t h a t
o n l y o n e p a r a m e t e r i s n e e d e d t o d e t e r m i n e t h e r e l a t i v e
p o s i t i o n s o f a l l b o d y p a r t s . F o r e a c h o f t h e j o i n t s a t
t h e s h o u l d e r , e l l b o w , h i p a n d k n e e w e h a v e t a k e n t h e
v a l u e s f o r t h e a n g l e p o s i t i o n s y
a t c e r t a i n p o i n t s o f
t i m e t
= 0 ; : : ; N 0 a n d h a v e i n t e r p o l a t e d t h e m
b y p e r i o d i c c u b i c s p l i n e s B ( t ) ( S c h w a r z [ 2 4 ] ) . E a c h
i n t e r v a l [ t
t
+
] i s d e s c r i b e d b y
( )
B
( t ) = b
( t 0 t
)
3
+ b
2
( t 0 t
)
2
+ b
3
( t 0 t
) + b
4
F o r p e r i o d i c s p l i n e s t h e r e i s t
N
= t
0
+ T ( w i t h T b e i n g
t h e p e r i o d e ) . A t t h e b o u n d a r i e s t h e f u n c t i o n v a l u e s ,
t h e r s t a n d t h e s e c o n d d e r i v a t i v e s a g r e e , i . e . y
0
=
y
N
y
0
= y
N
a n d y
0
= y
N
. I n t h e r e s u l t i n g s y s t e m
o f N l i n e a r e q u a t i o n s w i t h t h e N u n k n o w n s ~y =
( y
0
; : : ; y
N
)
H ~y +
~
d =
~
0 ( 2 )
t h e m a t r i x H i s s y m m e t r i c , d i a g o n a l d o m i n a n t
a n d p o s i t i v e d e n i t e . ( 2 ) i s s o l v e d b y C h o l e s k y -
D e c o m p o s i t i o n . W i t h ~y w e c a n c o m p u t e b
b
2
b
3
b
4
a n d t h e r e f o r e B
( t ) f o r e a c h i n t e r v a l . I n o u r
c a s e w e t o o k N = 0 f u n c t i o n v a l u e s a t e q u i d i s t a n t
p o i n t s o f t i m e . S i n c e w e s t a n d a r d i z e d t h e w a l k i n g c y -
c l e t o T = , t h e i n t e r v a l b e t w e e n t w o c o n s e c u t i v e
p o i n t s o f t i m e i s h
= t
+
0 t
= 0
A s a n e x a m p l e , t h e m o t i o n c u r v e o f t h e k n e e - j o i n t
o b t a i n e d i n t h i s w a y i s d i s p l a y e d i n F i g . 2 . A n a l o -
g o u s l y , w e m o d e l l e d t h e v e r t i c a l d i s p l a c e m e n t o f t h e
8/22/2019 Incremental Recognition of Pedestrians f 92217
3/6
F i g u r e 3 : M o v e m e n t s t a t e s o f w a l k i n g
w h o l e b o d y . T h e p a r a m e t e r p o s e d e n o t e s t h e r e l a t i v e
p o s i t i o n s o f a l l b o d y p a r t s . S i n c e w a l k i n g i s a s y m -
m e t r i c m o v e m e n t , t h e m o t i o n c u r v e s o f t h e j o i n t s a r e
o n l y n e e d e d f o r o n e s i d e o f t h e h u m a n b o d y . M o v e -
m e n t s t a t e s f o r h a l f o f t h e w a l k i n g c y c l e a r e s h o w n
i n F i g . 3 . D e p i c t e d a r e t h e c o n t o u r s o f t h e c y l i n d e r s
u n d e r c e n t r a l p r o j e c t i o n . H i d d e n c o n t o u r s h a v e b e e n
r e m o v e d . F a s t r e p r o d u c t i o n o f t h e s e m o t i o n s t a t e s o n
a s c r e e n r e v e a l s t h a t o u r m o t i o n m o d e l a p p e a r s t o b e
f a i r l y r e a l i s t i c .
4 C o m p a r i n g m o d e l c o n t o u r s w i t h
g r e y - v a l u e e d g e l i n e s
F o r r e c o g n i z i n g p e d e s t r i a n s w e m a t c h m o d e l c o n -
t o u r s w i t h g r e y - v a l u e e d g e l i n e s ( s e e a l s o R o h r & N a g e l
[ 2 2 ] ) . I n o r d e r t o r e d u c e t h e s e a r c h s p a c e w e a p p l y
a c h a n g e d e t e c t i o n a l g o r i t h m a n d s u b s e q u e n t b i n a r y
i m a g e o p e r a t i o n s a s s u m i n g t h e i m a g e s t o b e r e c o r d e d
w i t h a s t a t i c c a m e r a . H a v i n g c a l i b r a t e d t h e s c e n e ,
a c o a r s e e s t i m a t e f o r t h e 3 D - p o s i t i o n o f t h e o b s e r v e d
p e d e s t r i a n i s o b t a i n e d b y e x p l o i t i n g t h e c e n t r a l p o i n t s
o f t h e b o t t o m a n d t h e t o p e d g e o f t h e r e c t a n g l e e n -
c l o s i n g t h e d e t e c t e d o b j e c t c a n d i d a t e a n d b y m a k i n g
a n a s s u m p t i o n a b o u t t h e a b s o l u t e h e i g h t o f p e r s o n s
( s e e R o h r [ 2 3 ] f o r d e t a i l s ) .
F o r e s t i m a t i n g t h e 3 D - p o s i t i o n m o r e p r e c i s e l y a n d
i n a d d i t i o n f o r d e t e r m i n i n g t h e p o s t u r e o f t h e p e d e s -
t r i a n w e c o m p a r e m o d e l c o n t o u r s w i t h g r e y - v a l u e
e d g e s . S i n c e t h e m o d e l c o n t o u r s c o n s i s t o f ( s t r a i g h t )
l i n e s w e d e c i d e d t o c o m p a r e t h e m w i t h g r e y - v a l u e e d g e
l i n e s ( F i g . 4 ) . I n c o m p a r i s o n t o e d g e p o i n t s t h e n u m -
b e r o f i m a g e f e a t u r e s i s s m a l l e r a n d t h e i n u e n c e o f
n o i s e i s r e d u c e d . I n a c e r t a i n m o t i o n s t a t e f o r e a c h
v i s i b l e m o d e l c o n t o u r w e c o m p u t e a w i n d o w , c u t t h e
g r e y - v a l u e e d g e l i n e s t o t h e p o r t i o n i n s i d e t h e w i n d o w
a n d c o m p u t e t h e g e o m e t r i c q u a n t i t i e s l
i
d
i
a n d 1 '
i
a s i l l u s t r a t e d i n F i g . 5 . T h e l a r g e r l
i
a n d t h e s m a l l e r
l
M i
0 l
i
d
i
a n d 1 '
i
t h e m o r e s i m i l a r a r e t h e t w o e d g e s .
W e u s e t h e f o l l o w i n g m e a s u r e o f s i m i l a r i t y :
s
i
= l
i
e
2
~
k
T
i
6
i
~
k
i
( 3 )
F i g u r e 4 : E n c l o s i n g
r e c t a n g l e a n d g r e y -
v a l u e e d g e l i n e s
ri
ri
ri
i
lidi
Grey-value Edge
Model Edge lMi
F i g u r e 5 : C o m p a r i s o n b e -
t w e e n g r e y - v a l u e e d g e l i n e
a n d m o d e l c o n t o u r
w h e r e
6
i
=
0
@
2
i
0 0
0
2
d i
0
0 0
2
1 '
1
A
~
k
i
=
0
@
l
M i
0 l
i
d
i
1 '
i
1
A
T h e p a r a m e t e r s
i
a n d
d i
a r e d e t e r m i n e d i n d e -
p e n d e n c e o f t h e l e n g t h o f t h e m o d e l c o n t o u r :
i
=
c l
M i
a n d
d i
= c
d
r
i
= c
d
c
r
l
M i
, w h e r e c c
d
a n d c
r
a r e c o n s t a n t f o r a l l m o d e l c o n t o u r s .
1 '
i s c o n s t a n t ,
t o o . T h e r e f o r e , t h e e x p o n e n t i n ( 3 ) i s i n d e p e n d e n t
o f s c a l i n g t h e m o d e l . S i n c e w e w a n t g r e y - v a l u e e d g e s
w i t h l a r g e r v a l u e s l
i
t o h a v e a l a r g e r i n u e n c e o n t h e
o v e r a l l s i m i l a r i t y w e w e i g h t t h e e x p o n e n t i a l f u n c t i o n
b y t h i s v a l u e . A l t e r n a t i v e l y , o n e c o u l d w e i g h t b y l
M i
M a n y a p p r o a c h e s f o r l i n e m a t c h i n g c o m p a r e t h e
c e n t r a l p o i n t s o r t h e s t a r t i n g a n d e n d p o i n t s o f t h e
m o d e l c o n t o u r w i t h t h e e d g e l i n e s u p p o s i n g t h a t t h e
t w o e d g e s a r e s i m i l a r i n l e n g t h ( e . g . L o w e [ 1 3 ] , B e v -
e r i d g e e t a l . [ 2 ] ) . I n o u r a p p l i c a t i o n t h e g r e y - v a l u e
e d g e s o f t h e l o w e r a n d u p p e r p a r t o f t h e a r m s a n d
t h e l e g s o f t e n a r e c o n n e c t e d t o o n e s i n g l e g r e y - v a l u e
e d g e . T h e n a c o m p a r i s o n b e t w e e n c e n t r a l p o i n t s o r
s t a r t i n g a n d e n d p o i n t s w o u l d l e a d t o l a r g e d i s c r e p a n -
c i e s . T h e r e f o r e , w e r s t c u t t h e g r e y - v a l u e e d g e s a n d
t h e n u s e t h e q u a n t i t i e s o f s i m i l a r i t y a s a b o v e . T h e u s e
o f t h e e x p o n e n t i a l f u n c t i o n i n ( 3 ) h a s t h e a d v a n t a g e
t h a t t h e r e s u l t i n g e x p r e s s i o n i s w e l l d e n e d f o r a l l v a l -
u e s a n d d e c r e a s e s f a s t t o z e r o f o r l e s s s i m i l a r e d g e s .
T h e o v e r a l l m e a s u r e o f s i m i l a r i t y i n d e p e n d e n c e o f t h e
m o d e l p a r a m e t e r s ~p i s t h e s u m o f t h e v a l u e s s
i
f o r a l l
v i s i b l e m o d e l e d g e s n o r m a l i z e d b y t h e s u m o f t h e i r
l e n g t h s l
M i
s ( ~p ) =
n
X
i =
s
i
,
n
X
i =
l
M i
0 ! m a x ( 4 )
W e s e a r c h t h o s e p a r a m e t e r s ~p w h i c h m a x i m i z e s ( ~p )
I n o r d e r t o g e t a m o r e s t a b l e r e c o g n i t i o n r e s u l t w e r e -
8/22/2019 Incremental Recognition of Pedestrians f 92217
4/6
m o v e h i d d e n m o d e l c o n t o u r s . H o w e v e r , o n e d i s a d v a n -
t a g e i s t h a t n o a n a l y t i c a l r e l a t i o n b e t w e e n ~p a n d s ( ~p )
c a n b e d e t e r m i n e d . T h e r e f o r e , f o r m a x i m i z i n g s ( ~p ) w e
u s e a g r i d s e a r c h m e t h o d w i t h e q u a l l y s p a c e d p o i n t s
a n d t a k e t h e s t a t e o f m o t i o n w i t h h i g h e s t s i m i l a r i t y
m e a s u r e . S i n c e t h e c o m p u t a t i o n a l e x p e n s e i n c r e a s e s
e x p o n e n t i a l l y w i t h t h e n u m b e r o f p a r a m e t e r s , i n f u r -
t h e r w o r k p o s s i b i l i t i e s s h o u l d b e i n v e s t i g a t e d t o r e d u c e
t h e c o m p u t a t i o n t i m e , e . g . b y u s i n g a s m a l l e r n u m b e r
o f s p a c e p o i n t s , b y c h o o s i n g a v a r i a b l e d e n s i t y o f s p a c e
p o i n t s o r b y u s i n g s o m e o t h e r o p t i m i z a t i o n p r o c e d u r e .
5 I n c r e m e n t a l e s t i m a t i o n
S t a r t i n g v a l u e s f o r t h e m o d e l p a r a m e t e r s a r e d e t e r -
m i n e d b y a n a l y z i n g a c e r t a i n n u m b e r o f i m a g e s w h i c h
s h o w a b o u t t h e h a l f o f a w a l k i n g c y c l e ( c a . 0 - 5 i m -
a g e s ) . F o r e a c h i m a g e i n d e p e n d e n t l y w e a p p l y t h e
c h a n g e d e t e c t i o n a l g o r i t h m a n d t h e p r o c e d u r e f o r e s -
t i m a t i n g t h e 3 D - p o s i t i o n a n d m a t c h g r e y - v a l u e e d g e s
t o m o d e l c o n t o u r s ( s e e S e c t i o n 4 ) . T h e s e a r c h s p a c e
f o r t h e p o s t u r e o f t h e p e d e s t r i a n i s t h e w h o l e w a l k i n g
c y c l e w h e r e a s a f t e r i n i t i a l i z a t i o n ( b e c a u s e o f t h e n o w
a v a i l a b l e k n o w l e d g e ) t h e s e a r c h s p a c e c a n b e r e d u c e d .
S t a r t i n g v a l u e s a r e o b t a i n e d b y l i n e a r r e g r e s s i o n o v e r
t h e e s t i m a t e s f o r t h e s i n g l e i m a g e s e v a l u a t e d i n t h e
i n i t i a l i z a t i o n p h a s e .
A f t e r i n i t i a l i z a t i o n w e a p p l y t h e r e c u r s i v e e q u a -
t i o n s o f t h e K a l m a n l t e r ( e . g . G e l b [ 8 ] ) . I n t h e
e l d o f c o m p u t e r v i s i o n , K a l m a n l t e r a p p r o a c h e s
h a v e b e e n i n t r o d u c e d b y B r o i d a & C h e l l a p p a [ 3 ] a n d
D e r i c h e & F a u g e r a s [ 6 ] . B r o i d a & C h e l l a p p a i n c r e -
m e n t a l l y e s t i m a t e t h e m o d e l p a r a m e t e r s o f r i g i d
o b j e c t s f r o m m e a s u r e d i m a g e p o i n t s w h e r e a s D e -
r i c h e & F a u g e r a s t r a c k g r e y - v a l u e l i n e s i n t h e i m a g e
p l a n e . O u r a i m i s t o r e c o g n i z e n o n - r i g i d m o v e m e n t s .
S i n c e t h e b o d y p a r t s o f p e d e s t r i a n s o f t e n a r e o c c l u d e d
b y o n e a n o t h e r ( s e l f - o c c l u s i o n ) t r a c k i n g o f i m a g e l i n e s
i n g e n e r a l w o u l d l e a d t o s e v e r e p r o b l e m s .
I n t h e f o l l o w i n g w e a s s u m e t h e p e d e s t r i a n t o m o v e
w i t h c o n s t a n t v e l o c i t y . B y i n t e r p r e t i n g t h e p a r a m e t e r
v a l u e s f o r t h e b e s t t i n a s i n g l e i m a g e a s m e a s u r e -
m e n t s f o r t h e c o r r e s p o n d i n g p o i n t o f t i m e , t h e s y s t e m
d e s r i p t i o n a n d t h e m e a s u r e m e n t m o d e l o f t h e K a l m a n
l t e r c a n b e e x p r e s s e d b y a l i n e a r r e l a t i o n :
~p
k
= 8
k k
~p
k
+ ~w
k
( 5 )
~z
k
= H
k
~p
k
+ ~v
k
( )
w h e r e t h e s e a r c h e d p a r a m e t e r s a r e r e p e s e n t e d b y t h e
s t a t e v e c t o r ~p
k
a t t h e p o i n t o f t i m e k 8
k k
i s t h e
t r a n s i t i o n m a t r i x . ~w
k
r e p r e s e n t s m o d e l l i n g e r r o r s a n d
i s a s s u m e d t o b e G a u s s i a n d i s t r i b u t e d w i t h e x p e c t e d
v a l u e E f ~w
k
g =
~
0 a n d c o v a r i a n c e m a t r i x E f ~w
T
k
~w
k
g =
Q
k
, i . e . ~w
k
N (
~
0 Q
k
) H
k
d e n o t e s t h e m e a s u r e m e n t
m a t r i x a n d ~v
k
N (
~
0 R
k
) t h e m e a s u r e m e n t e r r o r s .
O f t e n i t i s r e a s o n a b l e t o a s s u m e t h a t t h e e r r o r s ~w
k
a n d ~v
k
a r e u n c o r r e l a t e d , i . e . E f ~w
T
k
~v
j
g =
~
0 f o r a l l j k
P r e d i c t i n g t h e p a r a m e t e r s a n d t h e c o v a r i a n c e m a t r i x
i s d o n e b y :
~p
3
k
= 8
k k
^
~p
k
( 7 )
P
3
k
= 8
k k
^
P
k
8
T
k k
+ Q
k
( )
W i t h t h e s e p r e d i c t i o n s a n d t h e c u r r e n t m e a s u r e -
m e n t ~z
k
t h e e s t i m a t e s
^
~p
k
a n d
^
P
k
i n t h e c u r r e n t i m a g e
a r e c o m p u t e d b y ( I i s t h e i d e n t i t y m a t r i x ) :
^
~p
k
= ~p
3
k
+
^
K
k
( ~z
k
0 H
k
~p
3
k
) ( 9 )
^
P
k
= ( I 0
^
K
k
H
k
) P
3
k
( 0 )
^
K
k
= P
3
k
H
T
k
( H
k
P
3
k
H
T
k
+ R
k
)
( )
I n o u r a p p l i c a t i o n , w e w a n t t o e s t i m a t e t h e 3 D -
p o s i t i o n
~
X = ( X ; Y ; Z ) a n d t h e p o s t u r e p o s e o f o b -
s e r v e d p e d e s t r i a n s , w h e r e
~
X d e s c r i b e s t h e p o s i t i o n o f
t h e c e n t e r o f t h e t o r s o . T h e s t a t e v e c t o r i s ~p
k
= ( X
k
X
k
Y
k
Y
k
Z
k
Z
k
; p o s e
k
p o s e
k
)
T
. E r r o r s f o r t h e v e -
l o c i t i e s a r e t a k e n i n t o a c c o u n t b y t h e c o v a r i a n c e m a -
t r i x Q
k
. I n o u r c a s e , w e h a v e m e a s u r e m e n t s f o r
~
X a n d
p o s e . U n c e r t a i n t i e s o f t h e m e a s u r e m e n t s a r e c h a r a c -
t e r i z e d b y R
k
( s e e R o h r [ 2 3 ] f o r d e t a i l s ) .
6 E x p e r i m e n t a l r e s u l t s
I n o r d e r t o r e d u c e t h e c o m p l e x i t y o f t h e r e c o g n i -
t i o n t a s k w e a s s u m e t h e o b s e r v e d p e d e s t r i a n t o m o v e
p a r a l l e l t o t h e i m a g e p l a n e o n a p l a n e i n t h e s c e n e .
T h e r e f o r e , t h e s c e n e c o o r d i n a t e Z d e s c r i b i n g t h e d e p t h
o f t h e o b s e r v e d h u m a n i s s u p p o s e d t o r e m a i n c o n -
s t a n t a n d w e t a k e o v e r t h e v a l u e f r o m t h e i n i t i a l i z a t i o n
p h a s e . I n c r e m e n t a l l y w e e s t i m a t e t h e ( n o r m a l i z e d )
h e i g h t Y o f t h e p e r s o n a b o v e t h e p l a n e o f m o v e m e n t ,
t h e c o o r d i n a t e X i n t h e d i r e c t i o n o f t h e m o v e m e n t a n d
t h e p o s t u r e p a r a m e t e r p o s e . T h e i n i t i a l u n c e r t a i n t i e s
f o r t h e v e l o c i t i e s o f t h e p a r a m e t e r s a r e d e r i v e d f r o m
a v e r a g e v e l o c i t i e s o f p e d e s t r i a n s a s s u m i n g s t i m e d u -
r a t i o n f o r a w a l k i n g c y c l e a n d t h e c o v e r e d d i s t a n c e t o
b e m ( e . g . M u r r a y e t a l . [ 1 6 ] [ 1 5 ] ) . T h e o t h e r
e l e m e n t s f o r t h e c o v a r i a n c e m a t r i c e s h a v e b e e n c h o s e n
h e u r i s t i c a l l y a n d i n s u c h a w a y t h a t w e g e t r e a s o n a b l e
v a l u e s f o r a u t o m a t i c a l l y c o n t r o l l i n g t h e s e a r c h s p a c e s
f o r t h e p a r a m e t e r s .
A p p l y i n g o u r a p p r o a c h o n a r e a l - w o r l d i m a g e s e -
q u e n c e w e g e t t h e e s t i m a t i o n r e s u l t s f o r X Y a n d
8/22/2019 Incremental Recognition of Pedestrians f 92217
5/6
f2: Messung
2 0 2 5 3 0 3 5 4 0 45 50 55 6 0 6 5 7 0 75 80Nr
-200
-100
100
X (cm) f2: Schaetzung
20 25 30 35 40 45 50 55 60 65 70 75 80Nr
-200
-100
100
X (cm)
f2: Messung
20 25 30 35 40 45 50 55 60 65 70 75 80Nr
80
90
100
110
120
130
140
150Y (cm) f2: Schaetzung
20 25 30 35 40 45 50 55 60 65 70 75 80Nr
80
90
100
110
120
130
140
150Y (cm)
f2: Messung
20 25 30 35 40 45 50 55 60 65 70 75 80Nr
.5
1
1.5
2
.5
3pose f2: Schaetzung
20 25 30 35 40 45 50 55 60 65 70 75 80Nr
0.5
1
1.5
2
2.5
3pose
F i g u r e : E s t i m a t i o n r e s u l t o f X Y a n d p o s e f o r a
r e a l - w o r l d i m a g e s e q u e n c e ; o n t h e l e f t : m e a s u r e -
m e n t s ; o n t h e r i g h t : K a l m a n l t e r e s t i m a t e s
p o s e ( i n d e p e n d e n c e o f t h e i m a g e n u m b e r ) d e p i c t e d
i n F i g . . T h e c o n s i d e r e d i m a g e s e q u e n c e c o n s i s t s o f
a b o u t 0 i m a g e s . O n t h e l e f t s i d e i n F i g . a r e t h e
d e t e r m i n e d p a r a m e t e r v a l u e s f o r t h e b e s t t b e t w e e n
t h e m o d e l a n d t h e g r e y - v a l u e e d g e s a n d t h e r i g h t s i d e
s h o w s t h e e s t i m a t i o n r e s u l t o f t h e K a l m a n l t e r . T h e
p e d e s t r i a n h a s b e e n t r a c k e d o v e r t h e w h o l e s e q u e n c e .
X a n d p o s e c h a n g e l i n e a r l y w i t h t i m e w h e r e a s Y i s a p -
p r o x i m a t e l y c o n s t a n t . I n p a r t i c u l a r f o r Y t h e s m o o t h -
i n g p r o p e r t i e s o f t h e K a l m a n l t e r a r e n o t i c e a b l e . N o t
o n l y t h a t t h e s m o o t h e d e s t i m a t e s a r e s u p p o s e d t o b e
m o r e r e a l i s t i c , t h e y a l s o h e l p t o p r e d i c t t h e m o d e l
m o r e r o b u s t l y . F o r t h e i m a g e s n u m b e r 2 0 , 4 0 , 0
a n d 0 w e h a v e s u p e r i m p o s e d t h e e s t i m a t e d m o d e l s
i n F i g . 7 ( d i s p l a y e d a r e p o r t i o n s o f t h e o r i g i n a l i m -
a g e s ) . T h e m o d e l s a g r e e w i t h t h e o b s e r v a t i o n .
7 S u m m a r y a n d f u t u r e w o r k
O u r a p p r o a c h f o r m o d e l - b a s e d r e c o g n i t i o n o f p e d e s -
t r i a n s i n r e a l - w o r l d i m a g e s u s e s a v o l u m e m o d e l c o n -
s i s t i n g o f c y l i n d e r s . S i n c e t h e a g r e e m e n t w i t h a c t u a l
m o v e m e n t s i s i m p o r t a n t , w e d e c i d e d t o u s e d a t a f r o m
m e d i c a l m o t i o n s t u d i e s f o r m o d e l l i n g t h e m o v e m e n t o f
w a l k i n g . A n i c e p r o p e r t y i s t h a t o n l y o n e p a r a m e t e r
i s n e e d e d t o d e s c r i b e t h e r e l a t i v e p o s i t i o n s o f a l l b o d y
p a r t s . I n a d d i t i o n t o t h i s p o s t u r e p a r a m e t e r w e h a v e
t h r e e p a r a m e t e r s c h a r a c t e r i z i n g t h e 3 D - p o s i t i o n o f t h e
o v e r a l l b o d y . S t a r t i n g v a l u e s f o r t h e s e a r c h e d p a r a m -
F i g u r e 7 : S u p e r i m p o s e d m o d e l s a c c o r d i n g t o t h e
K a l m a n l t e r e s t i m a t e s i n F i g . ( i m a g e s n u m b e r 2 0 ,
4 0 , 0 a n d 0 )
e t e r s a r e d e t e r m i n e d f r o m a n i n i t i a l i z a t i o n p h a s e . A f -
t e r w a r d s , w e i n c r e m e n t a l l y e s t i m a t e t h e s e p a r a m e t e r s
b y u s i n g a K a l m a n l t e r . B y a p p l y i n g o u r a n a l y s i s
b y s y n t h e s i s a p p r o a c h o n r e a l - w o r l d i m a g e s w e h a v e
d e m o n s t r a t e d i t s f e a s i b i l i t y . A s s u m i n g t h e m o v e m e n t
t o b e p a r a l l e l t o t h e i m a g e p l a n e , t h e c o n s i d e r e d p e d e s -
t r i a n h a s b e e n t r a c k e d o v e r t h e w h o l e s e q u e n c e . T h e
u s a g e o f t h e K a l m a n l t e r n o t o n l y y i e l d s s m o o t h e s -
t i m a t i o n r e s u l t s b u t a l s o h e l p s t o p r e d i c t t h e m o d e l
m o r e r o b u s t l y .
S i n c e r e c o g n i z i n g h u m a n m o v e m e n t s f r o m i m a g e s
i s o n e o f t h e m o s t c h a l l e n g i n g t a s k s i n c o m p u t e r v i -
s i o n , t h e r e a r e m a n y p r o b l e m s f o r f u r t h e r s t u d i e s . A
v e r y h a r d p r o b l e m s t e m s f r o m t h e f a c t t h a t , w i t h r e -
s p e c t t o t i m e , w a l k i n g i s a s y m m e t r i c m o v e m e n t , i . e .
t h e m o v e m e n t s o f t h e b o d y p a r t s o n o n e s i d e o f t h e
h u m a n b o d y a r e t h e s a m e a s o n t h e o t h e r s i d e b u t
a r e d i s p l a c e d a b o u t h a l f o f t h e w a l k i n g c y c l e . T h e r e -
f o r e , i t i s h a r d t o r e c o g n i z e w h i c h o f t h e t w o l e g s i s
i n f r o n t o f t h e o t h e r . F u r t h e r i n v e s t i g a t i o n s s h o u l d
8/22/2019 Incremental Recognition of Pedestrians f 92217
6/6
a l s o a n a l y z e m o r e g e n e r a l m o v e m e n t s , e . g . m o v e m e n t s
n o t r e s t r i c t e d t o b e p a r a l l e l t o t h e i m a g e p l a n e a n d
w a l k i n g p e r s o n s w i t h c h a n g i n g o r i e n t a t i o n .
A c k n o w l e d g e m e n t
F o r c r i t i c a l c o m m e n t s I t h a n k K . D a n i i l i d i s , B . N e u -
m a n n , G . R e t z - S c h m i d t , J . R i e g e r , C . S c h n o r r a n d
G . W i n k l e r . T h i s w o r k h a s b e e n d o n e w h i l e t h e a u -
t h o r w a s w i t h t h e F a k u l t a t f u r I n f o r m a t i k , U n i v e r s i t a t
K a r l s r u h e ( T H ) . T h e s u p p o r t o f t h e D F G , S o n d e r -
f o r s c h u n g s b e r e i c h 3 4 \ K u n s t l i c h e I n t e l l i g e n z { W i s -
s e n s b a s i e r t e S y s t e m e " i s g r a t e f u l l y a c k n o w l e d g e d .
R e f e r e n c e s
[ 1 ] K . A k i t a , I m a g e s e q u e n c e a n a l y s i s o f r e a l w o r l d h u -
m a n m o t i o n , P a t t e r n R e c o g n . 1 7 ( 1 9 8 4 ) 7 3 - 8 3
[ 2 ] J . R . B e v e r i d g e , R . W e i s s , E . M . R i s e m a n , O p t i m i z a -
t i o n o f 2 - D i m e n s i o n a l M o d e l M a t c h i n g , P r o c . I m a g e
U n d e r s t a n d i n g W o r k s h o p , P a l o A l t o , C a l i f o r n i a , M a y
2 3 - 2 6 , 1 9 8 9 , 8 1 5 - 8 3 0
[ 3 ] T . J . B r o i d a , R . C h e l l a p p a , E s t i m a t i o n o f O b j e c t M o -
t i o n P a r a m e t e r s f r o m N o i s y I m a g e s , I E E E T r a n s . o n
P a t t e r n A n a l . a n d M a c h . I n t e l l . 8 ( 1 9 8 6 ) 9 0 - 9 9
[ 4 ] A . B r u d e r l i n , T . W . C a l v e r t , G o a l - D i r e c t e d , D y n a m i c
A n i m a t i o n o f H u m a n W a l k i n g , C o m p u t e r G r a p h i c s
2 3 ( 1 9 8 9 ) 3 , 2 3 3 - 2 4 2
[ 5 ] Z . C h e n , H . - J . L e e , K n o w l e d g e - G u i d e d V i s u a l P e r -
c e p t i o n o f 3 - D H u m a n G a i t f r o m a S i n g l e I m a g e S e -
q u e n c e , I E E E T r a n s . o n S y s t e m s , M a n a n d C y b . 2 2
( 1 9 9 2 ) 2 , 3 3 6 - 3 4 2
[ 6 ] R . D e r i c h e , O . F a u g e r a s , T r a c k i n g l i n e s e g m e n t s , I m
a g e a n d V i s i o n C o m p . 8 ( 1 9 9 0 ) 4 , 2 6 1 - 2 7 0
[ 7 ] N . H . G o d d a r d , T h e I n t e r p r e t a t i o n o f V i s u a l M o t i o n :
R e c o g n i z i n g M o v i n g L i g h t D i s p l a y s , P r o c . W o r k s h o p
o n V i s u a l M o t i o n , I r v i n e , C a l i f o r n i a , M a r c h 2 0 - 2 2 ,
1 9 8 9 , 2 1 2 - 2 2 0
[ 8 ] A . G e l b ( E d . ) , A p p l i e d O p t i m a l E s t i m a t i o n , M I T
P r e s s , C a m b r i d g e , M A , 1 9 7 4
[ 9 ] D . H o g g , M o d e l b a s e d v i s i o n : a p r o g r a m t o s e e a w a l k -
i n g p e r s o n , I m a g e a n d V i s i o n C o m p . 1 ( 1 9 8 3 ) 1 , 5 - 2 0
[ 1 0 ] D . H o g g , I n t e r p r e t i n g I m a g e s o f a K n o w n M o v -
i n g O b j e c t , P h D d i s s e r t a t i o n , U n i v e r s i t y o f S u s s e x ,
B r i g h t o n / U K 1 9 8 4
[ 1 1 ] S . K u r a k a k e , R . N e v a t i a , D e s c r i p t i o n a n d T r a c k i n g o f
M o v i n g A r t i c u l a t e d O b j e c t s , P r o c . 1 1 t h I n t e r n . C o n f .
o n P a t t e r n R e c o g n . , T h e H a g u e , T h e N e t h e r l a n d s ,
A u g . 3 0 - S e p t . 3 , 1 9 9 2 , V o l . I , 4 9 1 - 4 9 5
[ 1 2 ] M . K . L e u n g , Y . H . Y a n g , A r e g i o n b a s e d a p p r o a c h
f o r h u m a n b o d y m o t i o n a n a l y s i s , P a t t e r n R e c o g n . 2 0
( 1 9 8 7 ) 3 , 3 2 1 - 3 3 9
[ 1 3 ] D . G . L o w e , T h e V i e w p o i n t C o n s i s t e n c y C o n s t r a i n t ,
I n t e r n . J . o f C o m p u t e r V i s i o n 1 ( 1 9 8 7 ) 5 7 - 7 2
[ 1 4 ] D . M a r r , H . K . N i s h i h a r a , R e p r e s e n t a t i o n a n d r e c o g -
n i t i o n o f t h e s p a t i a l o r g a n i z a t i o n o f t h r e e - d i m e n s i o n a l
s h a p e s , P r o c . R . S o c . L o n d . B 2 0 0 ( 1 9 7 8 ) 2 6 9 - 2 9 4
[ 1 5 ] M . P . M u r r a y , G a i t a s a t o t a l p a t t e r n o f m o v e m e n t ,
A m e r i c a n J . o f P h y s i c a l M e d . 4 6 ( 1 9 6 7 ) 1 , 2 9 0 - 3 3 2
[ 1 6 ] M . P . M u r r a y , A . B . D r o u g h t , R . C . K o r y , W a l k i n g P a t -
t e r n s o f N o r m a l M e n , T h e J . o f B o n e a n d J o i n t
S u r g e r y 4 6 - A ( 1 9 6 4 ) 2 , 3 3 5 - 3 6 0
[ 1 7 ] J . O ' R o u r k e , N . I . B a d l e r , M o d e l - b a s e d i m a g e a n a l y s i s
o f h u m a n m o t i o n u s i n g c o n s t r a i n t p r o p a g a t i o n , I E E E
T r a n s . o n P a t t e r n A n a l . a n d M a c h . I n t e l l . 2 ( 1 9 8 0 ) 6 ,
5 2 2 - 5 3 6
[ 1 8 ] A . P e n t l a n d , B . H o r o w i t z , R e c o v e r y o f N o n - R i g i d M o -
t i o n a n d S t r u c t u r e , I E E E T r a n s . o n P a t t e r n A n a l . a n d
M a c h . I n t e l l . 1 3 ( 1 9 9 1 ) 7 , 7 3 0 - 7 4 2
[ 1 9 ] R . J . Q i a n , T . S . H u a n g , M o t i o n A n a l y s i s o f H u m a n
A m b u l a t o r y P a t t e r n s , P r o c . 1 1 t h I n t e r n . C o n f . o n
P a t t e r n R e c o g n . , T h e H a g u e , T h e N e t h e r l a n d s , A u g .
3 0 - S e p t . 3 , 1 9 9 2 , V o l . I , 2 2 0 - 2 2 3
[ 2 0 ] R . F . R a s h i d , T o w a r d s a S y s t e m f o r t h e I n t e r p r e t a t i o n
o f M o v i n g L i g h t D i s p l a y s , I E E E T r a n s . o n P a t t e r n
A n a l . a n d M a c h . I n t e l l . 2 ( 1 9 8 0 ) 6 , 5 7 4 - 5 8 1
[ 2 1 ] K . R o h r , A u f d e m W e g e z u m o d e l l g e s t u t z t e m E r k e n -
n e n v o n b e w e g t e n n i c h t - s t a r r e n K o r p e r n i n R e a l -
w e l t b i l d f o l g e n , 1 1 . D A G M - S y m p o s i u m M u s t e r -
e r k e n n u n g , 2 . - 4 . O k t . 1 9 8 9 , H a m b u r g , I n f o r m a t i k -
F a c h b e r i c h t e 2 1 9 , H . B u r k h a r d t , K . H . H o h n e , B .
N e u m a n n ( H r s g . ) , S p r i n g e r - V e r l a g B e r l i n H e i d e l b e r g
1 9 8 9 , 3 2 4 - 3 2 8
[ 2 2 ] K . R o h r , H . - H . N a g e l , M o d e l l g e s t u t z t e B e s t i m m u n g
d e s B e w e g u n g s z u s t a n d e s v o n F u g a n g e r n i n R e a l -
w e l t b i l d f o l g e n , 1 2 . D A G M - S y m p o s i u m M u s t e r -
e r k e n n u n g , 2 4 . - 2 6 . S e p t . 1 9 9 0 , O b e r k o c h e n - A a l e n ,
I n f o r m a t i k - F a c h b e r i c h t e 2 5 4 , R . E . G r o k o p f ( H r s g . ) ,
S p r i n g e r - V e r l a g B e r l i n H e i d e l b e r g 1 9 9 0 , 5 2 - 5 8
[ 2 3 ] K . R o h r , T o w a r d s m o d e l - b a s e d r e c o g n i t i o n o f h u m a n
m o v e m e n t s i n i m a g e s e q u e n c e s , 1 9 9 2 , s u b m i t t e d f o r
p u b l i c a t i o n
[ 2 4 ] H . R . S c h w a r z , N u m e r i s c h e M a t h e m a t i k , B . G . T e u b -
n e r S t u t t g a r t 1 9 8 6
[ 2 5 ] S . T s u j i , M . O s a d a , M . Y a c h i d a , T r a c k i n g a n d S e g -
m e n t a t i o n o f M o v i n g O b j e c t s i n D y n a m i c L i n e I m -
a g e s , I E E E T r a n s . o n P a t t e r n A n a l . a n d M a c h . I n t e l l .
2 ( 1 9 8 0 ) 6 , 5 1 6 - 5 2 2
[ 2 6 ] V . T . T s u k i y a m a , Y . S h i r a i , D e t e c t i o n o f t h e m o v e -
m e n t s o f p e r s o n s f r o m a s p a r s e s e q u e n c e o f T V i m -
a g e s , P a t t e r n R e c o g n . 1 8 ( 1 9 8 5 ) 2 0 7 - 2 1 3
[ 2 7 ] J . A . W e b b , J . K . A g g a r w a l , S t r u c t u r e f r o m M o t i o n o f
R i g i d a n d J o i n t e d O b j e c t s , A r t . I n t e l l . 1 9 ( 1 9 8 2 ) 1 0 7 -
1 3 0
[ 2 8 ] J . W e i l , T h e S y n t h e s i s o f C l o t h O b j e c t s , C o m p u t e r
G r a p h i c s 2 0 ( 1 9 8 6 ) 4 , 4 9 - 5 4
[ 2 9 ] J . W i l h e l m s , U s i n g D y n a m i c A n a l y s i s f o r R e a l i s -
t i c A n i m a t i o n o f A r t i c u l a t e d B o d i e s , I E E E C o m p .
G r a p h . & A p p l . 7 ( 1 9 8 7 ) 6 , 1 2 - 2 7
[ 3 0 ] M . Y a m a m o t o , K . K o s h i k a w a , H u m a n M o t i o n A n a l -
y s i s B a s e d o n a R o b o t A r m M o d e l , P r o c . C o m p u t e r
V i s i o n a n d P a t t e r n R e c o g n . , L a h a i n a , M a u i , H a w a i i ,
J u n e 3 - 6 , 1 9 9 1 , 6 6 4 - 6 6 5
[ 3 1 ] D . Z e l t z e r , M o t o r C o n t r o l T e c h n i q u e s f o r F i g u r e A n -
i m a t i o n , I E E E C o m p . G r a p h . & A p p l . 2 ( 1 9 8 2 ) 9 ,
5 3 - 5 9
