of 6
8/22/2019 chen98
1/6
S P E A K E R , E N V I R O N M E N T A N D C H A N N E L C H A N G E D E T E C T I O N A N D
C L U S T E R I N G V I A T H E B A Y E S I A N I N F O R M A T I O N C R I T E R I O N
S c o t t S h a o b i n g C h e n & P . S . G o p a l a k r i s h n a n
I B M T . J . W a t s o n R e s e a r c h C e n t e r
e m a i l : s c h e n @ w a t s o n . i b m . c o m
A B S T R A C T
I n t h i s p a p e r , w e a r e i n t e r e s t e d i n d e t e c t i n g c h a n g e s i n
s p e a k e r i d e n t i t y , e n v i r o n m e n t a l c o n d i t i o n a n d c h a n n e l c o n -
d i t i o n ; w e c a l l t h i s t h e p r o b l e m o f a c o u s t i c c h a n g e d e t e c -
t i o n . T h e i n p u t a u d i o s t r e a m c a n b e m o d e l e d a s a G a u s s -
i a n p r o c e s s i n t h e c e p s t r a l s p a c e . W e p r e s e n t a m a x i m u m
l i k e l i h o o d a p p r o a c h t o d e t e c t t u r n s o f a G a u s s i a n p r o c e s s ;
t h e d e c i s i o n o f a t u r n i s b a s e d o n t h e B a y e s i a n I n f o r m a -
t i o n C r i t e r i o n B I C , a m o d e l s e l e c t i o n c r i t e r i o n w e l l - k n o w n
i n t h e s t a t i s t i c s l i t e r a t u r e . T h e B I C c r i t e r i o n c a n a l s o b e
a p p l i e d a s a t e r m i n a t i o n c r i t e r i o n i n h i e r a r c h i c a l m e t h o d s
f o r c l u s t e r i n g o f a u d i o s e g m e n t s : t w o n o d e s c a n b e m e r g e d
o n l y i f t h e m e r g i n g i n c r e a s e s t h e B I C v a l u e . O u r e x p e r i -
m e n t s o n t h e H u b 4 1 9 9 6 a n d 1 9 9 7 e v a l u a t i o n d a t a s h o w t h a t
o u r s e g m e n t a t i o n a l g o r i t h m c a n s u c c e s s f u l l y d e t e c t a c o u s t i c
c h a n g e s ; o u r c l u s t e r i n g a l g o r i t h m c a n p r o d u c e c l u s t e r s w i t h
h i g h p u r i t y , l e a d i n g t o i m p r o v e m e n t s i n a c c u r a c y t h r o u g h
u n s u p e r v i s e d a d a p t a t i o n a s m u c h a s t h e i d e a l c l u s t e r i n g b y
t h e t r u e s p e a k e r i d e n t i t i e s .
1 . I N T R O D U C T I O N
A u t o m a t i c s e g m e n t a t i o n o f a n a u d i o s t r e a m a n d a u t o m a t i c
c l u s t e r i n g o f a u d i o s e g m e n t s a c c o r d i n g t o s p e a k e r i d e n t i -
t i e s , e n v i r o n m e n t a l c o n d i t i o n s a n d c h a n n e l c o n d i t i o n s h a v e
r e c e i v e d q u i t e a b i t o f a t t e n t i o n r e c e n t l y 4 , 8 , 6 , 1 0 . F o r
e x a m p l e , i n t h e t a s k o f a u t o m a t i c t r a n s c r i p t i o n o f b r o a d c a s t
n e w s 3 , t h e d a t a c o n t a i n s c l e a n s p e e c h , t e l e p h o n e s p e e c h ,
m u s i c s e g m e n t s , s p e e c h c o r r u p t e d b y m u s i c o r n o i s e , e t c .
T h e r e a r e n o e x p l i c i t c u e s f o r t h e c h a n g e s i n s p e a k e r i d e n -
t i t y , e n v i r o n m e n t c o n d i t i o n a n d c h a n n e l c o n d i t i o n . A l s o
t h e s a m e s p e a k e r m a y a p p e a r m u l t i p l e t i m e s i n t h e d a t a .
I n o r d e r t o t r a n s c r i b e t h e s p e e c h c o n t e n t i n a u d i o s t r e a m s
o f t h i s n a t u r e ,
w e w o u l d l i k e t o s e g m e n t t h e a u d i o s t r e a m i n t o h o m o -
g e n e o u s r e g i o n s a c c o r d i n g t o s p e a k e r i d e n t i t y , e n v i r o n -
m e n t a l c o n d i t i o n a n d c h a n n e l c o n d i t i o n s o t h a t r e g i o n s
o f d i e r e n t n a t u r e c a n b e h a n d l e d d i e r e n t l y : f o r e x -
a m p l e , r e g i o n s o f p u r e m u s i c a n d n o i s e c a n b e r e j e c t e d ;
a l s o , o n e m i g h t d e s i g n a s e p a r a t e r e c o g n i t i o n s y s t e m
f o r t e l e p h o n e s p e e c h .
w e w o u l d l i k e t o c l u s t e r s p e e c h s e g m e n t s i n t o h o m o g e -
n e o u s c l u s t e r s a c c o r d i n g t o s p e a k e r i d e n t i t y , e n v i r o n -
m e n t a n d c h a n n e l ; u n s u p e r v i s e d a d a p t a t i o n c a n t h e n
b e p e r f o r m e d o n e a c h c l u s t e r . 8 , 1 0 s h o w e d t h a t a
g o o d c l u s t e r i n g p r o c e d u r e c a n g r e a t l y i m p r o v e t h e p e r -
f o r m a n c e o f u n s u p e r v i s e d a d a p t a t i o n s u c h a s M L L R .
V a r i o u s s e g m e n t a t i o n a l g o r i t h m s h a v e b e e n p r o p o s e d i n
t h e l i t e r a t i o n 2 , 4 , 6 , 8 , 1 0 , 1 4 , w h i c h c a n b e c a t e g o r i z e d
a s f o l l o w s :
D e c o d e r - g u i d e d s e g m e n t a t i o n . T h e i n p u t a u d i o s t r e a m
c a n b e r s t d e c o d e d ; t h e n t h e d e s i r e d s e g m e n t s c a n b e
p r o d u c e d b y c u t t i n g t h e i n p u t a t t h e s i l e n c e l o c a t i o n s
g e n e r a t e d f r o m t h e d e c o d e r 1 4 , 8 . O t h e r i n f o r m a t i o n s
f r o m t h e d e c o d e r , s u c h a s t h e g e n d e r i n f o r m a t i o n , c o u l d
a l s o b e u t i l i z e d i n t h e s e g m e n t a t i o n 8 .
M o d e l - b a s e d s e g m e n t a t i o n . 2 p r o p o s e d t o b u i l d d i f -
f e r e n t m o d e l s , e . g . G a u s s i a n m i x t u r e m o d e l s , f o r a
x e d s e t o f a c o u s t i c c l a s s e s , s u c h a s t e l e p h o n e s p e e c h ,
p u r e m u s i c , e t c , f r o m a t r a i n i n g c o r p u s ; t h e i n c o m i n g
a u d i o s t r e a m c a n b e c l a s s i e d b y m a x i m u m l i k e l i h o o d
s e l e c t i o n o v e r a s l i d i n g w i n d o w ; s e g m e n t a t i o n c a n b e
m a d e a t t h e l o c a t i o n s w h e r e t h e r e i s a c h a n g e i n t h e
a c o u s t i c c l a s s .
M e t r i c - b a s e d s e g m e n t a t i o n . 4 , 6 , 1 0 p r o p o s e d t o s e g -
m e n t t h e a u d i o s t r e a m a t m a x i m a o f t h e d i s t a n c e s
b e t w e e n n e i g h b o r i n g w i n d o w s p l a c e d a t e v e r y s a m p l e ;
d i s t a n c e s s u c h a s t h e K L d i s t a n c e , t h e g e n e r a l i z e d l i k e -
l i h o o d r a t i o d i s t a n c e h a v e b e e n i n v e s t i g a t e d .
I n o u r o p i n i o n , t h e s e m e t h o d s a r e n o t v e r y s u c c e s s f u l i n
d e t e c t i o n t h e a c o u s t i c c h a n g e s p r e s e n t i n t h e d a t a . T h e
d e c o d e r - g u i d e d s e g m e n t a t i o n o n l y p l a c e s b o u n d a r i e s a t s i -
l e n c e l o c a t i o n s , w h i c h i n g e n e r a l h a s n o d i r e c t c o n n e c t i o n
w i t h t h e a c o u s t i c c h a n g e s i n t h e d a t a . B o t h t h e m o d e l -
b a s e d s e g m e n t a t i o n a n d t h e m e t r i c - b a s e d s e g m e n t a t i o n r e l y
o n t h r e s h o l d i n g o f m e a s u r e m e n t s w h i c h l a c k s t a b i l i t y a n d
r o b u s t n e s s . B e s i d e s , t h e m o d e l - b a s e d s e g m e n t a t i o n d o e s
n o t g e n e r a l i z e t o u n s e e n a c o u s t i c c o n d i t i o n s .
C l u s t e r i n g o f a u d i o s e g m e n t s i s o f t e n p e r f o r m e d v i a h i e r -
a r c h i c a l c l u s t e r i n g 1 0 , 8 . F i r s t , a d i s t a n c e m a t r i x i s c o m -
p u t e d ; t h e c o m m o n p r a c t i c e i s t o m o d e l e a c h a u d i o s e g m e n t
a s o n e G a u s s i a n i n t h e c e p s t r a l s p a c e a n d t o u s e t h e K L
d i s t a n c e o r t h e g e n e r a l i z e d l i k e l i h o o d r a t i o a s t h e d i s t a n c e
m e a s u r e 6 . T h e n b o t t o m - u p h i e r a r c h i c a l c l u s t e r i n g c a n b e
p e r f o r m e d t o g e n e r a t e a c l u s t e r i n g t r e e . I t i s o f t e n d i c u l t
t o d e t e r m i n e t h e n u m b e r o f c l u s t e r s . O n e c a n h e u r i s t i c a l l y
p r e - d e t e r m i n e t h e n u m b e r o f c l u s t e r s o r t h e m i n i m u m s i z e
o f e a c h c l u s t e r ; a c c o r d i n g l y , o n e c a n g o d o w n t h e t r e e t o
o b t a i n d e s i r e d c l u s t e r i n g 1 4 . A n o t h e r h e u r i s t i c s o l u t i o n
i s t o t h r e s h o l d t h e d i s t a n c e m e a s u r e s d u r i n g t h e h i e r a r c h i -
c a l p r o c e s s ; t h e t h r e s h o l d i n g l e v e l i s t u n e d o n a t r a i n i n g
s e t 1 0 . J i n e t a l . 7 s h e d s o m e l i g h t o n a u t o m a t i c a l l y
c h o o s i n g a c l u s t e r i n g s o l u t i o n .
8/22/2019 chen98
2/6
I n t h i s p a p e r , w e a r e i n t e r e s t e d i n d e t e c t i n g c h a n g e s i n
s p e a k e r i d e n t i t y , e n v i r o n m e n t a l c o n d i t i o n a n d c h a n n e l c o n -
d i t i o n ; w e c a l l t h i s t h e p r o b l e m o f a c o u s t i c c h a n g e d e t e c -
t i o n . T h e i n p u t a u d i o s t r e a m c a n b e m o d e l e d a s a G a u s s -
i a n p r o c e s s i n t h e c e p s t r a l s p a c e . W e p r e s e n t a m a x i m u m
l i k e l i h o o d a p p r o a c h t o d e t e c t t u r n s o f a G a u s s i a n p r o c e s s ;
t h e d e c i s i o n o f a t u r n i s b a s e d o n t h e B a y e s i a n I n f o r m a t i o n
C r i t e r i o n B I C , a m o d e l s e l e c t i o n c r i t e r i o n i n t h e s t a t i s t i c s
l i t e r a t u r e . T h e B I C c r i t e r i o n c a n a l s o b e a p p l i e d a s a t e r -
m i n a t i o n c r i t e r i o n i n t h e h i e r a r c h i c a l m e t h o d s f o r s p e a k e r
c l u s t e r i n g : t w o n o d e s c a n b e m e r g e d o n l y i f t h e m e r g i n g
i n c r e a s e s t h e B I C v a l u e . O u r e x p e r i m e n t s o n t h e H u b 4
1 9 9 6 a n d 1 9 9 7 e v a l u a t i o n d a t a s h o w t h a t o u r s e g m e n t a -
t i o n a l g o r i t h m c a n s u c c e s s f u l l y d e t e c t a c o u s t i c c h a n g e s ; o u r
c l u s t e r i n g a l g o r i t h m c a n p r o d u c e c l u s t e r s w i t h h i g h p u r i t y
a n d e n h a n c e u n s u p e r v i s e d a d a p t a t i o n a s m u c h a s t h e i d e a l
c l u s t e r i n g b y t h e t r u e s p e a k e r i d e n t i t i e s .
T h i s p a p e r i s o r g a n i z e d a s f o l l o w s : s e c t i o n 2 d e s c r i b e s
m o d e l s e l e c t i o n c r i t e r i o n s i n t h e s t a t i s t i c s l i t e r a t u r e ; s e c t i o n
3 a n d s e c t i o n 4 e x p l a i n s o u r m a x i m u m l i k e l i h o o d a p p r o a c h
f o r a c o u s t i c c h a n g e d e t e c t i o n a n d o u r c l u s t e r i n g a l g o r i t h m
b a s e d o n B I C ; w e p r e s e n t o u r e x p e r i m e n t s o n t h e H u b 4
1 9 9 6 a n d 1 9 9 7 e v a l u a t i o n d a t a ; w e c o m p a r e o u r a l g o r i t h m s
w i t h o t h e r r e c e n t w o r k s i n t h e l i t e r a t u r e .
2 . M O D E L S E L E C T I O N C R I T E R I A
T h e p r o b l e m o f m o d e l i d e n t i c a t i o n i s t o c h o o s e o n e a m o n g
a s e t o f c a n d i d a t e m o d e l s t o d e s c r i b e a g i v e n d a t a s e t . W e
o f t e n h a v e c a n d i d a t e s o f a s e r i e s o f m o d e l s w i t h d i e r e n t
n u m b e r o f p a r a m e t e r s . I t i s e v i d e n t t h a t w h e n t h e n u m b e r
o f p a r a m e t e r s i n t h e m o d e l i s i n c r e a s e d , t h e l i k e l i h o o d o f t h e
t r a i n i n g d a t a i s a l s o i n c r e a s e d ; h o w e v e r , w h e n t h e n u m b e r
o f p a r a m e t e r s i s t o o l a r g e , t h i s m i g h t c a u s e t h e p r o b l e m o f
o v e r t r a i n i n g . S e v e r a l c r i t e r i a f o r m o d e l s e l e c t i o n h a v e b e e n
i n t r o d u c e d i n t h e s t a t i s t i c s l i t e r a t u r e , r a n g i n g f r o m n o n -
p a r a m e t r i c m e t h o d s s u c h a s c r o s s - v a l i d a t i o n , t o p a r a m e t r i c
m e t h o d s s u c h a s t h e B a y e s i a n I n f o r m a t i o n C r i t e r i o n B I C
1 1 .
B I C i s a l i k e l i h o o d c r i t e r i o n p e n a l i z e d b y t h e m o d e l c o m -
p l e x i t y : t h e n u m b e r o f p a r a m e t e r s i n t h e m o d e l . I n d e t a i l ,
l e t X = f x
i
i = 1 N g b e t h e d a t a s e t w e a r e m o d -
e l i n g ; l e t M = f M
i
i = 1 K g b e t h e c a n d i d a t e s
o f d e s i r e d p a r a m e t r i c m o d e l s . A s s u m i n g w e m a x i m i z e t h e
l i k e l i h o o d f u n c t i o n s e p a r a t e l y f o r e a c h m o d e l M , o b t a i n i n g ,
s a y L X M . D e n o t e M a s t h e n u m b e r o f p a r a m e t e r s
i n t h e m o d e l M . T h e B I C c r i t e r i o n i s d e n e d a s :
B I C M = l o g L X M ,
1
2
M l o g N 1
w h e r e t h e p e n a l t y w e i g h t = 1 . T h e B I C p r o c e d u r e i s t o
c h o o s e t h e m o d e l f o r w h i c h t h e B I C c r i t e r i o n i s m a x i m i z e d .
T h i s p r o c e d u r e c a n b e d e r i v e d a s a l a r g e - s a m p l e v e r s i o n o f
B a y e s p r o c e d u r e s f o r t h e c a s e o f i n d e p e n d e n t , i d e n t i c a l l y
d i s t r i b u t e d o b s e r v a t i o n s a n d l i n e a r m o d e l s 1 1 .
T h e B I C c r i t e r i o n i s w e l l - k n o w n i n t h e s t a t i s t i c s l i t e r -
a t u r e ; i t h a s b e e n w i d e l y u s e d f o r m o d e l i d e n t i c a t i o n i n
s t a t i s t i c a l m o d e l i n g , t i m e s e r i e s 1 3 , l i n e a r r e g r e s s i o n 5 ,
e t c . I t i s c o m m o n l y k n o w n i n t h e e n g i n e e r i n g l i t e r a t u r e a s
t h e m i n i m u m d e s c r i p t i o n l e n g t h M D L . I t h a s b e e n u s e d i n
t h e s p e e c h r e c o g n i t i o n l i t e r a t u r e , e . g . f o r s p e a k e r a d a p t a -
t i o n 1 2 . B I C i s c l o s e l y r e l a t e d t o o t h e r p e n a l i z e d l i k e l i h o o d
c r i t e r i o n s s u c h a s A I C 1 a n d R I C 5 . O n e c a n v a r y t h e
p e n a l t y w e i g h t i n 1 , a l t h o u g h o n l y = 1 c o r r e s p o n d s
t o t h e d e n i t i o n o f B I C .
3 . C H A N G E D E T E C T I O N V I A B I C
I n t h i s s e c t i o n , w e d e s c r i b e a m a x i m u m l i k e l i h o o d a p p r o a c h
f o r a c o u s t i c c h a n g e d e t e c t i o n b a s e d o n t h e B I C c r i t e r i o n .
D e n o t e x = f x
i
2 R
d
i = 1 ; : : : ; N g a s t h e s e q u e n c e o f
c e p s t r a l v e c t o r s e x a c t e d f r o m t h e e n t i r e a u d i o s t r e a m ; a s -
s u m e x i s d r a w n f r o m a n i n d e p e n d e n t m u l t i v a r i a t e G a u s s i a n
p r o c e s s :
x
i
N
i
i
w h e r e
i
i s t h e m e a n v e c t o r a n d
i
i s t h e f u l l c o v a r i a n c e
m a t r i x .
3 . 1 . D e t e c t i n g O n e C h a n g i n g P o i n t
W e r s t e x a m i n e a s i m p l i e d p r o b l e m : a s s u m e t h a t t h e r e
i s a t m o s t o n e c h a n g i n g p o i n t i n t h e G a u s s i a n p r o c e s s .
W e a r e i n t e r e s t e d i n t h e h y p o t h e s i s t e s t i n g o f a c h a n g e
o c c u r r i n g a t t i m e i
H
0
x
1
x
N
N
v e r s u s
H
1
x
1
x
i
N
1
1
x
i + 1
x
N
N
2
2
T h e m a x i m u m l i k e l i h o o d r a t i o s t a t i s t i c s i s
R i = N l o g , N
1
l o g
1
, N
2
l o g
2
2
w h e r e
1
a n d
2
a r e t h e s a m p l e c o v a r i a n c e m a t r i c e s f r o m
a l l t h e d a t a , f r o m f x
1
x
i
g a n d f r o m f x
i + 1
x
N
g
r e s p e c t i v e l y . T h u s t h e m a x i m u m l i k e l i h o o d e s t i m a t e o f t h e
c h a n g i n g p o i n t i s
^
t = a r g m a x
i
R i
O n t h e o t h e r h a n d , w e c a n v i e w t h e h y p o t h e s i s t e s t i n g
a s a p r o b l e m o f m o d e l s e l e c t i o n . W e a r e c o m p a r i n g t w o
m o d e l s : o n e m o d e l s t h e d a t a a s t w o G a u s s i a n s ; t h e o t h e r
m o d e l s t h e d a t a a s j u s t o n e G a u s s i a n . T h e d i e r e n c e b e -
t w e e n t h e B I C v a l u e s o f t h e s e t w o m o d e l s c a n b e e x p r e s s e d
a s
B I C i = R i , P 3
w h e r e t h e l i k e l i h o o d r a t i o R i i s d e n e d i n 2 , t h e p e n a l t y
P =
1
2
d +
1
2
d d + 1 l o g N
a n d t h e p e n a l t y w e i g h t = 1 d i s t h e d i m e n s i o n o f t h e
s p a c e . T h u s i f 3 i s p o s i t i v e , t h e m o d e l o f t w o G a u s s i a n s
i s f a v o r e d . T h u s w e d e c i d e t h e r e i s a c h a n g e i f
f m a x
i
B I C i g 0 4
I t i s c l e a r t h a t t h e m . l . e . o f t h e c h a n g i n g p o i n t a l s o c a n b e
e x p r e s s e d a s
^
t = a r g m a x
i
B I C i 5
C o m p a r i n g w i t h t h e m e t r i c - b a s e d s e g m e n t a t i o n d e s c r i b e d
i n t h e i n t r o d u c t i o n , o u r B I C p r o c e d u r e h a s t h e f o l l o w i n g
a d v a n t a g e s :
8/22/2019 chen98
3/6
0 20 40 60 80400
300
200
100
0
100(a) first cepstral dimension
seconds0 20 40 60 80
4
6
8
10
12
14x 10
4 (b) log liklihood distance
seconds
0 20 40 60 8040
60
80
100
120
140(c) KL2 distance
seconds0 20 40 60 80
5000
0
5000
10000
15000(d) BIC criterion
seconds
F i g u r e 1 . D e t e c t i n g o n e c h a n g i n g p o i n t
R o b u s t n e s s . 1 0 , 4 p r o p o s e d t o m e a s u r e t h e v a r i a t i o n
a t l o c a t i o n i a s t h e d i s t a n c e b e t w e e n a w i n d o w t o t h e
l e f t a n d a w i n d o w t o t h e r i g h t ; t y p i c a l l y t h e w i n d o w
s i z e i s s h o r t , e . g . t w o s e c o n d s ; t h e d i s t a n c e c a n b e c h o -
s e n t o b e t h e l o g l i k e l i h o o d r a t i o d i s t a n c e 6 o r t h e
K L d i s t a n c e . I n o u r o p i n i o n , s u c h m e a s u r e m e n t s a r e
o f t e n n o i s y a n d n o t r o b u s t , b e c a u s e i t i n v o l v e s o n l y
t h e l i m i t e d s a m p l e s i n t w o s h o r t w i n d o w s . I n c o n t r a s t ,
t h e B I C c r i t e r i o n i s r a t h e r r o b u s t , s i n c e i t c o m p u t e s
t h e v a r i a t i o n a t t i m e i u t i l i z i n g a l l t h e s a m p l e s . F i g -
u r e 1 s h o w s a n e x a m p l e w h i c h i n d i c a t e s t h e r o b u s t n e s s
o f o u r p r o c e d u r e . W e e x p e r i m e n t e d o n a s p e e c h s i g -
n a l o f 7 7 s e c o n d s w h i c h c o n t a i n s t w o s p e a k e r s . P a n e l
a p l o t s t h e r s t d i m e n s i o n o f t h e c e p s t r a l v e c t o r s ;
t h e d o t t e d l i n e i n d i c a t e s t h e l o c a t i o n o f t h e c h a n g e .
O n e c a n c l e a r l y n o t i c e t h e c h a n g i n g b e h a v i o r a r o u n d
t h e c h a n g i n g p o i n t . W e c o m p u t e d b o t h t h e l o g l i k e -
l i h o o d r a t i o d i s t a n c e i . e . t h e G i s h d i s t a n c e a n d t h e
K L 2 d i s t a n c e 1 0 b e t w e e n t w o a d j a c e n t s l i d i n g w i n -
d o w s o f 1 0 0 f r a m e s . P a n e l b s h o w s t h e l o g l i k e l i h o o d
d i s t a n c e : i t a t t a i n s l o c a l m a x i m u m a t t h e l o c a t i o n o f
t h e c h a n g e ; h o w e v e r , i t h a s s e v e r a l m a x i m a w h i c h d o
n o t c o r r e s p o n d t o a n y c h a n g i n g p o i n t s ; i t a l s o s e e m s
r a t h e r n o i s y . S i m i l a r l y P a n e l c s h o w s t h e K L 2 d i s -
t a n c e s : t h e r e i s a s h a r p s p i k e a t t h e l o c a t i o n o f t h e
c h a n g e ; h o w e v e r , t h e r e a r e s e v e r a l o t h e r s p i k e s w h i c h
d o n o t c o r r e s p o n d t o a n y c h a n g i n g p o i n t s . P a n e l d
d i s p l a y s t h e B I C c r i t e r i o n ; i t c l e a r l y p r e d i c t s t h e c h a n g -
i n g p o i n t .
T h r e s h o l d i n g - f r e e . O u r B I C p r o c e d u r e i s a b l e t o a u -
t o m a t i c a l l y p e r f o r m s m o d e l s e l e c t i o n , w h e r e a s 1 0 i s
b a s e d o n t h r e s h o l d i n g . A s s h o w n i n F i g u r e 1 b a n d
c , i t i s d i c u l t t o s e t a t h r e s h o l d i n g l e v e l t o p i c k t h e
c h a n g i n g p o i n t s . F i g u r e 1 d i n d i c a t e s t h e r e i s a c h a n g e
s i n c e t h e B I C v a l u e a t t h e d e t e c t e d c h a n g i n g p o i n t i s
p o s i t i v e .
O p t i m a l i t y . O u r p r o c e d u r e i s d e r i v e d f r o m t h e t h e o r y
o f m a x i m u m l i k e l i h o o d a n d m o d e l s e l e c t i o n . I t c a n
b e s h o w n t h a t o u r e s t i m a t e 5 c o n v e r g e s t o t h e t r u e
0 1 2 3 4 5 6 7 8 9 101500
1000
500
0
500
1000
1500
2000
2500
3000Effect of Detectability on Detection
Detectability in Seconds
BICV
alue
F i g u r e 2 . T h e d e t e c t a b i l i t y o f a c h a n g e
c h a n g i n g p o i n t a s t h e s a m p l e s i z e i n c r e a s e s .
T h e p e r f o r m a n c e o f o u r p r o c e d u r e r e l i e s h e a v i l y o n t h e
a m o u n t o f d a t a a v a i l a b l e f o r e a c h o f t h e t w o G a u s s i a n m o d -
e l s s e p a r a t e d b y t h e t r u e c h a n g i n g p o i n t . W e d e n e t h e
d e t e c t a b i l i t y o f a c h a n g i n g p o i n t a t t a s
D t = m i n t N , t 6
I n g e n e r a l t h e B I C p r o c e d u r e i s l e s s a c c u r a t e a s t h e d e -
t e c t a b i l i t y d e c r e a s e s . T h i s c a n b e d e m o n s t r a t e d i n t h e f o l -
l o w i n g e x p e r i m e n t . W e p l a c e d m u l t i p l e w i n d o w s o f t h e
s a m e s i z e a r o u n d a s p e a k e r c h a n g i n g p o i n t i n a n a u d i o
s t r e a m , w i t h e a c h w i n d o w c o r r e s p o n d i n g t o d i e r e n t d e -
t e c t a b i l i t y . W i t h i n e a c h w i n d o w , t h e B I C p r o c e d u r e w a s
p e r f o r m e d t o d e t e c t i f t h e r e w a s a c h a n g e . F i g u r e 2 p l o t s
t h e B I C v a l u e a g a i n s t t h e d e t e c t a b i l i t y o f t h e s a m p l i n g . T h e
B I C v a l u e s t a r t s a s n e g a t i v e , s u g g e s t i n g t h a t t h e r e i s o n l y
o n e s p e a k e r . A s t h e d e t e c t a b i l i t y i n c r e a s e s , t h e B I C v a l u e
a l s o i n c r e a s e s s h a r p l y ; i t i s w e l l a b o v e z e r o f o r d e t e c t a b i l -
i t y g r e a t e r t h a n 2 s e c o n d s , s t r o n g l y s u p p o r t i n g t h e c h a n g e
p o i n t h y p o t h e s i s .
3 . 2 . D e t e c t i n g M u l t i p l e C h a n g i n g P o i n t s
W e p r o p o s e t h e f o l l o w i n g a l g o r i t h m t o s e q u e n t i a l l y d e t e c t
t h e c h a n g i n g p o i n t s i n t h e G a u s s i a n p r o c e s s x
1 i n i t i a l i z e t h e i n t e r v a l a b a = 1 b = 2
2 d e t e c t i f t h e r e i s o n e c h a n g i n g p o i n t i n a b v i a B I C .
3 i f n o c h a n g e i n a b
l e t b = b + 1
e l s e
l e t
^
t b e t h e c h a n g i n g p o i n t d e t e c t e d ;
s e t a =
^
t + 1 b = a + 1
e n d
4 g o t o 2 .
B y e x p a n d i n g t h e w i n d o w a b , t h e n a l d e c i s i o n o f a
c h a n g e p o i n t i s m a d e b a s e d o n a s m u c h d a t a p o i n t s a s p o s -
s i b l e . I n o u r v i e w , t h i s c a n b e m o r e r o b u s t t h a n d e c i s i o n s
b a s e d o n d i s t a n c e b e t w e e n t w o a d j a c e n t s l i d i n g w i n d o w s o f
x e d s i z e s 1 0 , t h o u g h o u r a p p r o a c h i s m o r e c o s t l y .
8/22/2019 chen98
4/6
T h e B I C c r i t e r i o n c a n b e v i e w e d a s t h r e s h o l d i n g t h e l o g
l i k e l i h o o d d i s t a n c e , w i t h t h e t h r e s h o l d i n g l e v e l a u t o m a t i -
c a l l y c h o s e n a s
1
2
d +
1
2
d d + 1 l o g N w h e r e N i s t h e s i z e
o f t h e d e c i s i o n w i n d o w a n d d i s t h e t h e d i m e n s i o n o f t h e
f e a t u r e s p a c e .
A g a i n w e e m p h a s i z e t h a t t h e a c c u r a c y o f o u r p r o c e d u r e
d e p e n d s o n t h e d e t e c t a b i l i t i e s o f t h e t r u e c h a n g i n g p o i n t s .
L e t T = f t
i
g b e t h e t r u e c h a n g i n g p o i n t s ; t h e d e t e c t a b i l i t y
c a n b e d e n e d a s
D t
i
= m i n t
i
, t
i 1
+ 1 t
i + 1
, t
i
+ 1
W h e n t h e d e t e c t a b i l i t y i s l o w , t h e c u r r e n t c h a n g i n g p o i n t i s
o f t e n m i s s e d ; m o r e o v e r , t h i s e r r o r c o n t a m i n a t e s t h e s t a t i s -
t i c s f o r t h e n e x t G a u s s i a n m o d e l , t h u s a e c t s t h e d e t e c t i o n
o f t h e n e x t c h a n g i n g p o i n t .
O u r a l g o r i t h m h a s a q u a d r a t i c c o m p l e x i t y ; h o w e v e r , o n e
c a n r e d u c e t h e c o m p l e x i t y d r a m a t i c a l l y b y p e r f o r m i n g a
c r u d e s e a r c h w i t h o u t m u c h s a c r i c e o f t h e r e s o l u t i o n .
3 . 3 . C h a n g e d e t e c t i o n o n t h e H u b 4 1 9 9 7 e v a l u a t i o n
d a t a
W e a p p l i e d o u r a l g o r i t h m o n t h e H u b 4 1 9 9 7 e v a l u a t i o n
d a t a , w h i c h c o n s i s t s o f 3 h o u r b r o a d c a s t i n g n e w s p r o g r a m s ;
d e t e c t i o n w a s p e r f o r m e d u s i n g 2 4 - d i m e n s i o n a l M e l - c e p s t r a l
v e c t o r s e x a c t e d a t 1 0 m s f r a m e r a t e .
N I S T p r o v i d e d h a n d - s e g m e n t a t i o n o f t h i s d a t a a c c o r d i n g
t o d i e r e n t c a t e g o r i e s : c l e a n p r e p a r e d s p e e c h , c l e a n s p o n t a -
n e o u s s p e e c h , t e l e p h o n e - q u a l i t y s p e e c h , s p e e c h w i t h b a c k -
g r o u n d m u s i c a n d s p e e c h w i t h b a c k g r o u n d n o i s e . A s c o m -
m e n t e d i n 4 , i t i s v e r y h a r d t o c o m e u p w i t h a s t a n d a r d f o r
a n a l y z i n g t h e e r r o r s i n s e g m e n t a t i o n s i n c e s e g m e n t a t i o n c a n
b e v e r y s u b j e c t i v e ; e v e n t w o p e o p l e l i s t e n i n g t o t h e s a m e
s p e e c h m a y s e g m e n t i t d i e r e n t l y . N e v e r t h e l e s s , w e a n a l y z e
t h e p e r f o r m a n c e o f o u r d e t e c t i o n b y c o m p a r i n g w i t h t h e
h a n d - s e g m e n t a t i o n p r o v i d e d b y N I S T .
W e r s t e x a m i n e w h e t h e r o u r d e t e c t e d c h a n g i n g p o i n t s
w e r e t r u e , i . e . t h e T y p e - I e r r o r s . A m o n g t h e 4 6 2 d e t e c t e d
c h a n g e s , t h e r e w e r e 1 9 4 1 e r r o r s w h i c h h a p p e n e d i n t h e
m i d d l e o f s p e a k e r t u r n s . O u r B I C c r i t e r i o n s e e m s s e n s i -
t i v e i n p u r e m u s i c r e g i o n . T h e r e w e r e 1 4 3 0 d e t e c t e d
c h a n g e s i n t h e m i d d l e o f p u r e m u s i c s e g m e n t s ; w e d i d n o t
c o u n t t h e m a s e r r o r s s i n c e r s t o n e c a n a r g u e t h a t t h e m u -
s i c t u n e c h a n g e d i n t h o s e a r e a s , s e c o n d t h e p u r e m u s i c s e g -
m e n t s w e r e d i s c a r d e d b y t h e c l a s s i e r a n d d i d n o t a e c t
t h e r e c o g n i t i o n a c c u r a c y . T h e r e w e r e 2 0 4 3 d e t e c t e d
c h a n g e s s l i g h t l y b i a s e d f r o m t h e t r u e c h a n g e s . T h e b i a s e s
w e r e l e s s t h a n 1 s e c o n d s , a s s h o w n i n p a n e l a i n F i g u r e 3 .
W e d i d n o t c o u n t t h e s e a s e r r o r s s i n c e t h e y c a m e s o c l o s e
t o t h e t r u e c h a n g e s . T h e b i a s m i g h t b e c a u s e d b y c o n t a m i -
n a t i o n o f t h e s t a t i s t i c s f o r e s t i m a t i n g t h e G a u s s i a n m o d e l s
b y o u t l i e r s , o r b y t h e s t a t i s t i c s f r o m t h e p r e v i o u s t u r n i f t h e
p r e v i o u s c h a n g e p o i n t w a s m i s s e d i n t h e d e t e c t i o n . U s u a l l y
t h e s e e r r o r s c a n b e x e d , f o r e x a m p l e , b y m o v i n g t o t h e
n e a r e s t s i l e n c e . I t i s a l s o p o s s i b l e t o r e n e t h e b o u n d a r y b y
n e r a n a l y s i s i n t h e d e t e c t e d r e g i o n .
W e a l s o e x a m i n e w h e t h e r t r u e c h a n g i n g p o i n t s w e r e
m i s s e d i n o u r d e t e c t i o n , i . e . t h e T y p e - I I e r r o r s . I n t h e N I S T
s e g m e n t a t i o n , t h e r e w e r e 6 2 0 c h a n g e s . T o t a l l y 2 0 7 3 3 4
c h a n g e s w e r e m i s s e d . 1 5 4 2 5 0 e r r o r s w e r e c a u s e d b y
s h o r t t u r n s w i t h d u r a t i o n l e s s t h a n 2 s e c o n d s . E x a m p l e s
T y p e - I
E r r o r
4 1
T y p e - I I 2 s 2 5 0
E r r o r
3 3 4
2 s 8 4
T a b l e 1 . C h a n g e d e t e c t i o n e r r o r r a t e s
0 20 40 600
50
100
150(b) Histogram: all true changes
Detectability in Seconds
0 5 10 150
20
40
60
80
100(c) Histogram: missed true changes
Detectability in Seconds0 5 10 15
0
0.2
0.4
0.6
0.8(d) TypeII errors analysis
Detectability in Seconds
ErrorRate
0 5 10 15 200
0.2
0.4
0.6
0.8
1(a) Biases
BiasinSeconds
F i g u r e 3 . E r r o r a n a l y s i s o f c h a n g e d e t e c t i o n
o f t h e s e s h o r t t u r n s a r e s e n t e n c e s m a d e u p o f o n l y b r i e f
p h r a s e s s u c h a s G o o d m o r n i n g " a n d T h a n k y o u " . A b o u t
5 0 o f t h e s e s h o r t t u r n s c o n t a i n e d v o i c e s f r o m m o r e t h a n o n e
s p e a k e r . T h e y w e r e l a b e l e d a s e x c l u d e d r e g i o n s " b y N I S T
a n d w e r e n o t i n c l u d e d i n t h e n a l s c o r i n g o f t h e r e c o g n i -
t i o n s y s t e m b u t w e r e i n c l u d e d i n d e t e r m i n i n g t h e c h a n g e
d e t e c t i o n a c c u r a c y . F i g u r e 3 a n a l y z e s t h e T y p e - I I e r r o r s
i n d e t a i l . P a n e l b s h o w s t h e h i s t o g r a m o f t h e d e t e c t a b i l -
i t y o f t h e t r u e c h a n g e s ; t h e r e w e r e 2 2 3 t r u e c h a n g e s w i t h
d e t e c t a b i l i t y l e s s t h a n 2 s e c o n d s . P a n e l c s h o w s t h e h i s -
t o g r a m o f t h e d e t e c t a b i l i t y o f t h e t r u e c h a n g e s w h i c h w e r e
m i s s e d i n t h e d e t e c t i o n ; i t i s c l e a r t h a t m o s t o f t h e e r r o r s
c a m e f r o m l o w d e t e c t a b i l i t i e s l e s s t h a n 2 s e c o n d s . P a n e l d
d e s c r i b e s t h e T y p e - I I e r r o r r a t e s a c c o r d i n g t o d i e r e n t d e -
g r e e s o f d e t e c t a b i l i t y : w h e n d e t e c t a b i l i t y i s b e l o w 1 s e c o n d ,
a s t h e t y p e - I I e r r o r r a t e i s 7 8 , m o s t s u c h c h a n g i n g p o i n t s
w e r e m i s s e d ; a s t h e d e t e c t a b i l i t y i n c r e a s e s , t h e T y p e - I I e r -
r o r d r o p s .
4 . C L U S T E R I N G V I A B I C
I n t h i s s e c t i o n , w e d e s c r i b e h o w t o a p p l y t h e B I C c r i t e r i o n
i n c l u s t e r i n g . L e t S = f s
i
i = 1 M g b e t h e c o l l e c t i o n
o f s i g n a l s w e w i s h t o c l u s t e r ; e a c h s i g n a l i s a s s o c i a t e d w i t h
a s e q u e n c e o f i n d e p e n d e n t r a n d o m v a r i a b l e s X
i
= f x
i
j
j = 1 n
i
g . I n t h e c o n t e x t o f s p e e c h c l u s t e r i n g , S i s a
c o l l e c t i o n o f a u d i o s e g m e n t s ; X
i
c a n b e t h e c e p s t r a l v e c t o r s
e x a c t e d f r o m t h e i ' t h s e g m e n t . D e n o t e N =
P
i
n
i
a s t h e
t o t a l s a m p l e s i z e o f t h e v e c t o r s X
i
L e t C
k
= f c
i
i = 1 k g b e t h e c l u s t e r i n g w h i c h
h a s k c l u s t e r s . W e m o d e l e a c h c l u s t e r c
i
a s a m u l t i v a r i a t e
G a u s s i a n d i s t r i b u t i o n N
i
i
, w h e r e
i
c a n b e e s t i m a t e d
a s t h e s a m p l e m e a n v e c t o r a n d
i
c a n b e e s t i m a t e d a s t h e
s a m p l e c o v a r i a n c e m a t r i x . T h u s t h e n u m b e r o f p a r a m e t e r s
8/22/2019 chen98
5/6
f o r e a c h c l u s t e r i s d +
1
2
d d + 1 . L e t n
i
b e t h e n u m b e r o f
s a m p l e s i n c l u s t e r c
i
. O n e c a n s h o w t h a t
B I C C
k
=
k
X
i = 1
f ,
1
2
n
i
l o g
i
g , P 7
w h e r e t h e p e n a l t y
P =
1
2
d +
1
2
d d + 1 l o g N
a n d t h e p e n a l t y w e i g h t = 1 . W e c h o o s e t h e c l u s t e r i n g
w h i c h m a x i m i z e s t h e B I C c r i t e r i o n .
4 . 1 . H i e r a r c h i c a l C l u s t e r i n g v i a g r e e d y B I C
A s o n e c a n i m a g i n e , i t i s o f t e n v e r y c o s t l y t o s e a r c h g l o b a l l y
f o r t h e b e s t B I C v a l u e , s i n c e c l u s t e r i n g h a s t o b e p e r f o r m e d
t o o b t a i n d i e r e n t n u m b e r s o f c l u s t e r s . H o w e v e r , f o r h i e r -
a r c h i c a l c l u s t e r i n g m e t h o d s , i t i s p o s s i b l e t o o p t i m i z e t h e
B I C c r i t e r i o n i n a g r e e d y f a s h i o n .
B o t t o m - u p m e t h o d s s t a r t w i t h e a c h s i g n a l a s o n e i n i t i a l
n o d e , t h e n s u c c e s s i v e l y m e r g e t w o n e a r e s t n o d e s a c c o r d i n g
t o a d i s t a n c e m e a s u r e . L e t S = f s
1
s
k
g b e t h e c u r -
r e n t s e t o f n o d e s ; s u p p o s e s
1
a n d s
2
a r e t h e c a n d i d a t e p a i r
f o r m e r g i n g , a n d t h e m e r g e d n e w n o d e i s s . T h u s w e a r e
c o m p a r i n g t h e c u r r e n t c l u s t e r i n g S w i t h a n e w c l u s t e r i n g
S = f s s
3
s
k
g . W e m o d e l e a c h n o d e s
i
a s a m u l t i -
v a r i a t e G a u s s i a n d i s t r i b u t i o n N
i
i
. I t i s c l e a r f r o m 7
t h a t t h e i n c r e a s e o f t h e B I C v a l u e b y m e r g i n g s
1
a n d s
2
i s
B I C = n l o g , n
1
l o g
1
, n
2
l o g
2
, P 8
w h e r e n = n
1
+ n
2
i s s a m p l e s i z e o f t h e m e r g e d n o d e ,
i s t h e s a m p l e c o v a r i a n c e m a t r i x o f t h e m e r g e d n o d e , t h e
p e n a l t y
P =
1
2
d +
1
2
d d + 1 l o g N
a n d t h e p e n a l t y w e i g h t = 1
O u r B I C t e r m i n a t i o n p r o c e d u r e i s t h a t t w o n o d e s s h o u l d
n o t b e m e r g e d i f 8 i s n e g a t i v e . S i n c e t h e B I C v a l u e i s
i n c r e a s e d a t e a c h m e r g e , w e a r e s e a r c h i n g f o r a n o p t i m a l "
c l u s t e r i n g t r e e b y o p t i m i z i n g t h e B I C c r i t e r i o n i n a g r e e d y
f a s h i o n .
N o t e t h a t w e m e r e l y u s e o u r c r i t e r i o n 8 f o r t e r m i n a -
t i o n . I t i s p o s s i b l e t o u s e o u r c r i t e r i o n 8 a s t h e d i s t a n c e
m e a s u r e i n t h e b o t t o m - u p p r o c e s s . H o w e v e r , i n m a n y a p -
p l i c a t i o n s , i t i s p r o b a b l y b e t t e r t o u s e m o r e s o p h i s t i c a t e d
d i s t a n c e m e a s u r e s . I t i s a l s o c l e a r t h a t o u r c r i t e r i o n c a n b e
a p p l i e d t o t o p - d o w n m e t h o d s .
4 . 2 . S p e a k e r C l u s t e r i n g o n t h e H u b 4 1 9 9 6 e v a l u a -
t i o n d a t a
T h e d a t a s e t c o n s i s t s o f t h e c l e a n p r e p a r e d a n d t h e c l e a n
s p o n t a n e o u s p o r t i o n o f t h e H U B 4 1 9 9 6 e v a l u a t i o n d a t a 2 ,
h a n d - s e g m e n t e d i n t o 8 2 4 s h o r t s e g m e n t s . C e p s t r a l c o e -
c i e n t s w e r e e x t r a c t e d a s f e a t u r e v e c t o r s X
i
f o r e a c h s e g m e n t .
W e u s e d t h e l o g l i k e l i h o o d r a t i o d i s t a n c e m e a s u r e ; B o t t o m -
u p c l u s t e r i n g w a s p e r f o r m e d w i t h m a x i m u m l i n k a g e , w i t h
t h e B I C t e r m i n a t i o n c r i t e r i o n 8 .
T h e t r u e n u m b e r o f s p e a k e r s i s 2 8 ; t h e B I C t e r m i n a t i o n
c r i t e r i o n c h o s e 3 1 c l u s t e r s . F o r e a c h c l u s t e r , w e d e n e t h e
5 0 5 10 15 20 25 30 350
0.2
0.4
0.6
0.8
1
Purity of the BIC clustering
F i g u r e 4 . C l u s t e r i n g P u r i t i e s
P r e p a r e d S p o n t a n e o u s
B a s e l i n e 1 8 . 8 2 7 . 0
M L L R w o c l u s t e r i n g 1 8 . 7 2 6 . 9
M L L R w i d e a l c l u s t e r i n g 1 7 . 5 2 4 . 8
M L L R w B I C c l u s t e r i n g 1 7 . 5 2 4 . 6
T a b l e 2 . M L L R a d a p t a t i o n e n h a n c e d b y B I C c l u s -
t e r i n g
p u r i t y a s t h e r a t i o b e t w e e n t h e n u m b e r o f s e g m e n t s b y t h e
d o m i n a t i n g s p e a k e r i n t h a t c l u s t e r a n d t h e t o t a l n u m b e r
o f s e g m e n t s i n t h a t c l u s t e r . F i g u r e 3 s h o w s t h e p u r i t i e s
o f e a c h c l u s t e r . C l e a r l y o u r a l g o r i t h m r e s u l t s i n n o t o n l y
c l u s t e r s w i t h h i g h p u r i t y , b u t a l s o t h e a p p r o p r i a t e n u m b e r
o f c l u s t e r s .
S p e a k e r c l u s t e r i n g c a n e n h a n c e t h e p e r f o r m a n c e o f u n -
s u p e r v i s e d a d a p t a t i o n . T h e r e a s o n i s t h a t m o s t o f t h e 8 2 4
s e g m e n t s h e r e a r e q u i t e s h o r t , a r o u n d 2 3 s e c o n d s . W i t h -
o u t s p e a k e r c l u s t e r i n g , u n s u p e r v i s e d a d a p t a t i o n t e c h n i q u e s
s u c h a s M L L R 9 h a s s m a l l i m p r o v e m e n t s d u e t o l a c k o f
d a t a . G o o d s p e a k e r c l u s t e r i n g c a n b r i n g t h e s e g m e n t s o f
t h e s a m e s p e a k e r t o g e t h e r t h u s i m p r o v i n g t h e p e r f o r m a n c e
o f u n s u p e r v i s e d a d a p t a t i o n . W e s t a r t e d f r o m a b a s e l i n e s y s -
t e m w h i c h h a d a b o u t 9 0 k G a u s s i a n s . T h e d e c o d i n g r e s u l t s
w e r e s c o r e d a c c o r d i n g t o t w o c o n d i t i o n s : c l e a n p r e p a r e d
a n d c l e a n s p o n t a n e o u s . A s s h o w n i n T a b l e 2 , t h e b a s e l i n e
e r r o r r a t e s w e r e 1 8 8 a n d 2 7 0 f o r t h e t w o c o n d i t i o n s
r e s p e c t i v e l y . W i t h o u t c l u s t e r i n g , M L L R r e d u c e d t h e e r r o r
r a t e s b y o n l y 0 1 . W i t h o u r c l u s t e r i n g , M L L R r e d u c e d
t h e e r r o r r a t e s b y 1 3 f o r t h e c l e a n c o n d i t i o n a n d b y 2 4
f o r t h e s p o n t a n e o u s c o n d i t i o n . T a b l e 2 a l s o s h o w s t h e e r r o r
r a t e s o f M L L R u s i n g t h e i d e a l c l u s t e r i n g b y t h e t r u e s p e a k e r
i d e n t i t i e s . I t i s c l e a r t h a t o u r s p e a k e r c l u s t e r i n g e n h a n c e d
t h e p e r f o r m a n c e o f M L L R a s m u c h a s t h e i d e a l c l u s t e r i n g .
4 . 3 . D i s c u s s i o n
J i n e t a l . o f B B N 7 p r o p o s e d a s i m i l a r a u t o m a t i c s p e a k e r
c l u s t e r i n g a l g o r i t h m . T h e y a l s o u s e d t h e l o g l i k e l i h o o d r a t i o
d i s t a n c e m e a s u r e p r o p o s e d i n G i s h e t a l . 6 , h o w e v e r , w i t h
t h e d i s t a n c e s b e t w e e n c o n s e c u t i v e s e g m e n t s s c a l e d d o w n b y
a p a r a m e t e r . T h e y p e r f o r m e d h i e r a r c h i c a l c l u s t e r i n g ; f o r
a n y g i v e n n u m b e r k , t h e c l u s t e r i n g t r e e w a s p r u n e d t o o b -
8/22/2019 chen98
6/6
t a i n k t i g h t e s t c l u s t e r s . A h e u r i s t i c m o d e l s e l e c t i o n c r i t e r i o n
k
X
j = 1
n
j
j
p
k 9
w a s t h e n u s e d t o s e a r c h t h r o u g h t h e s p a c e o f k f o r t h e
b e s t c l u s t e r i n g . T h e y a p p l i e d t h i s a l g o r i t h m t o c l u s t e r t h e
H U B 4 - 9 6 e v a l u a t i o n d a t a f o r t h e p u r p o s e o f u n s u p e r v i s e d
a d a p t a t i o n . S i m i l a r t o o u r r e s u l t s a b o v e , t h i s a u t o m a t i c
c l u s t e r i n g e n h a n c e d t h e u n s u p e r v i s e d a d a p t a t i o n a s m u c h
a s t h e i d e a l c l u s t e r i n g a c c o r d i n g t h e t h e t r u e s p e a k e r i d e n -
t i t i e s .
T h i s h e u r i s t i c m o d e l s e l e c t i o n c r i t e r i o n 9 r e s e m b l e s t h e
B I C c r i t e r i o n 7 : t h e y b o t h p e n a l i z e t h e l i k e l i h o o d b y t h e
n u m b e r o f c l u s t e r s . H o w e v e r , t h e B I C c r i t e r i o n h a s a s o l i d
t h e o r e t i c a l f o u n d a t i o n a n d s e e m s m o r e a p p r o p r i a t e . I n d e e d
t h e n u m b e r o f s p e a k e r c l u s t e r s f o u n d i n 7 i s c o n s i d e r a b l y
l e s s t h a n t h e t r u t h . M o r e o v e r , e x t r a i n f o r m a t i o n s u c h a s
t h e a d j a c e n c y o f t h e s e g m e n t s w a s u t i l i z e d i n 7 .
S i e g l e r e t a l . o f C M U 1 0 p r o p o s e d a n o t h e r s p e a k e r
c l u s t e r i n g a l g o r i t h m . T h e y c h o s e t h e s y m m e t r i c K u l l b a c k -
L e i b l e r m e t r i c a s t h e d i s t a n c e m e a s u r e , a n d p e r f o r m e d h i -
e r a r c h i c a l c l u s t e r i n g . T h e c l u s t e r s w e r e o b t a i n e d b y t h r e s h -
o l d i n g t h e d i s t a n c e s . U n l i k e o u r m e t h o d a n d t h e B B N c l u s -
t e r i n g , t h i s c l u s t e r i n g i s n o t f u l l y a u t o m a t i c : t h e t h r e s h -
o l d i n g l e v e l w a s t u n e d i n a d e l i c a t e f a s h i o n : i t h a d t o b e
s m a l l e n o u g h s u c h t h a t t h e c l u s t e r s c r e a t e d w e r e m a d e u p
o f s e g m e n t s f r o m o n l y o n e s p e a k e r a n d y e t l a r g e e n o u g h t o
i m p r o v e t h e p e r f o r m a n c e o f t h e u n s u p e r v i s e d a d a p t a t i o n .
5 . C O N C L U S I O N
W e p r e s e n t e d a m a x i m u m l i k e l i h o o d a p p r o a c h t o d e t e c t i n g
c h a n g i n g p o i n t s i n a i n d e p e n d e n t G a u s s i a n p r o c e s s ; t h e d e -
c i s i o n o f a c h a n g e i s b a s e d o n t h e B I C c r i t e r i o n . T h e k e y
f e a t u r e s o f o u r a p p r o a c h a r e :
I n s t e a d o f m a k i n g l o c a l d e c i s i o n b a s e d o n d i s t a n c e b e -
t w e e n t w o a d j a c e n t s l i d i n g w i n d o w s o f x s s i z e s , w e e x -
p a n d t h e d e c i s i o n w i n d o w s a s w i d e a s p o s s i b l e s o t h a t
o u r n a l d e c i s i o n o f c h a n g e p o i n t s c a n b e m o r e r o b u s t
O u r a p p r o a c h i s t h r e s h o l d i n g - f r e e . T h e B I C c r i t e r i o n
c a n b e v i e w e d a s t h r e s h o l d i n g t h e l o g l i k e l i h o o d d i s -
t a n c e , w i t h t h e t h r e s h o l d i n g l e v e l a u t o m a t i c a l l y c h o -
s e n a s
1
2
d +
1
2
d d + 1 l o g N w h e r e N i s t h e s i z e o f
t h e d e c i s i o n w i n d o w a n d d i s t h e t h e d i m e n s i o n o f t h e
f e a t u r e s p a c e .
W e a l s o p r o p o s e d t o a p p l y t h e B I C c r i t e r i o n a s a t e r m i -
n a t i o n c r i t e r i o n i n t h e h i e r a r c h i c a l c l u s t e r i n g . O u r c h a n g e
d e t e c t i o n a l g o r i t h m c a n s u c c e s s f u l l y d e t e c t s a c o u s t i c c h a n g -
i n g p o i n t s w i t h r e a s o n a b l e d e t e c t a b i l i t y 2 s ; O u r e x p e r -
i m e n t s o n c l u s t e r i n g d e m o n s t r a t e d t h a t t h e B I C c r i t e r i o n
i s a b l e t o c h o o s e t h e n u m b e r o f c l u s t e r s a c c o r d i n g t o t h e
i n t r i n s i c c o m p l e x i t y p r e s e n t i n t h e d a t a s e t a n d p r o d u c e
c l u s t e r i n g s o l u t i o n w i t h h i g h p u r i t y .
W e a p p l i e d o u r a l g o r i t h m s o n t h e H u b 4 1 9 9 7 e v a l u a t i o n
d a t a 3 . T a b l e 3 s h o w s t h e r e c o g n i t i o n e r r o r r a t e s . O u r
s e g m e n t a t i o n w a s o n l y 0 6 w o r s e t h a n t h e N I S T h a n d -
s e g m e n t a t i o n . A f t e r c l u s t e r i n g , t h e u n s u p e r v i s e d a d a p t a -
t i o n f u r t h e r r e d u c e d t h e e r r o r r a t e b y 2 7
E r r o r R a t e
N I S T h a n d - s e g m e n t a t i o n 1 9 . 8
I B M s e g m e n t a t i o n 2 0 . 4
a d a p t a t i o n a f t e r c l u s t e r i n g 1 7 . 7
T a b l e 3 . S e g m e n t a t i o n a n d c l u s t e r i n g i n H u b 4 1 9 9 7
t a s k
W e c o m m e n t t h a t t h e p e n a l t y w e i g h t i n t h e B I C c r i t e -
r i o n c o u l d b e t u n e d t o o b t a i n v a r i o u s d e g r e e s o f s e g m e n t a -
t i o n a n d c l u s t e r i n g . A s m a l l e r w e i g h t w o u l d r e s u l t i n m o r e
c h a n g e s a n d m o r e c l u s t e r s . I n t h i s p a p e r , w e s i m p l y c h o o s e
= 1 a c c o r d i n g t o t h e B I C t h e o r y .
R E F E R E N C E S
1 H . A k a i k e , A n e w l o o k a t t h e s t a t i s t i c a l i d e n t i c a t i o n
m o d e l " , I E E E T r a n s . A u t o . C o n t r o l , v o l 1 9 , p p 7 1 6 -
7 2 3 , 1 9 7 4 .
2 R . B a k i s e t a l . , T r a n s c r i p t i o n o f b r o a d c a s t n e w s s h o w s
w i t h t h e I B M l a r g e v o c a b u l a r y s p e e c h r e c o g n i t i o n s y s -
t e m " , P r o c e e d i n g s o f t h e S p e e c h R e c o g n i t i o n W o r k -
s h o p , p p 6 7 - 7 2 , 1 9 9 7 .
3 S . C h e n e t a l . , I B M ' s L V C S R S y s t e m f o r T r a n s c r i p -
t i o n o f B r o a d c a s t N e w s U s e d i n t h e 1 9 9 7 H u b 4 E n g -
l i s h E v a l u a t i o n " , P r o c e e d i n g s o f t h e S p e e c h R e c o g n i -
t i o n W o r k s h o p , 1 9 9 8 .
4 H . B e i g i a n d S . M a e s , S p e a k e r , c h a n n e l a n d e n v i -
r o n m e n t c h a n g e d e t e c t i o n " , P r o c e e d i n g s o f t h e W o r l d
C o n g r e s s o n A u t o m a t i o n , 1 9 9 8 .
5 D . F o s t e r a n d E . G e o r g e , T h e r i s k i n a t i o n f a c t o r i n
m u l t i p l e l i n e a r r e g r e s s i o n " , T e c h n i c a l R e p o r t , U n i v . o f
T e x a s , 1 9 9 3 .
6 H . G i s h a n d N . S c h m i d t , T e x t - i n d e p e n d e n t s p e a k e r
i d e n t i c a t i o n " , I E E E S i g n a l P r o c e s s i n g M a g a z i n e , p p
1 8 - 2 1 , O c t . 1 9 9 4 .
7 H . J i n , F . K u b a l a a n d R . S c h w a r t z , A u t o m a t i c
s p e a k e r c l u s t e r i n g " , P r o c e e d i n g s o f t h e S p e e c h R e c o g -
n i t i o n W o r k s h o p , p p 1 0 8 - 1 1 1 , 1 9 9 7 .
8 F . K u b a l a e t a l . , T h e 1 9 9 6 B B N B y b l o s H u b - 4 t r a n -
s c r i p t i o n s y s t e m " , P r o c e e d i n g s o f t h e S p e e c h R e c o g n i -
t i o n W o r k s h o p , p p 9 0 - 9 3 , 1 9 9 7 .
9 C . J . L e g e t t e r a n d P . C . W o o d l a n d , M a x i m u m l i k e -
l i h o o d l i n e a r r e g r e s s i o n f o r s p e a k e r a d a p t a t i o n o f c o n -
t i n u o u s d e n s i t y H M M ' s " , C o m p u t e r S p e e c h a n d L a n -
g u a g e , v o l . 9 , n o . 2 , p p 1 7 1 1 8 6 .
1 0 M . S i e g l e r , U . J a i n , B . R a y a n d R . S t e r n , A u t o m a t i c
s e g m e n t a t i o n , c l a s s i c a t i o n a n d c l u s t e r i n g o f b r o a d c a s t
n e w s a u d i o " , P r o c e e d i n g s o f t h e S p e e c h R e c o g n i t i o n
W o r k s h o p , p p 9 7 - 9 9 , 1 9 9 7 .
1 1 G . S c h w a r z , E s t i m a t i n g t h e d i m e n s i o n o f a m o d e l " ,
T h e A n n a l s o f S t a t i s t i c s , v o l . 6 , p p 4 6 1 - 4 6 4 , 1 9 7 8 .
1 2 K . S h i n o d a e t a l . , S p e a k e r a d a p t a t i o n w i t h a u -
t o n o m o u s m o d e l c o m p l e x i t y c o n t r o l b y M D L p r i n c i -
p l e " , P r o c e e d i n g s o f I C A S S P , p p 7 1 7 - 7 2 0 , 1 9 9 6 .
1 3 W . S . W e i , T i m e S e r i e s A n a l y s i s , A d d i s o n - W e s l e y ,
1 9 9 3 .
1 4 P . W o o d l a n d , M . G a l e s , D . P y e a n d S . Y o u n g , T h e
D e v e l o p m e n t o f t h e 1 9 9 6 H T K b r o a d c a s t n e w s t r a n -
s c r i p t i o n s y s t e m " , P r o c e e d i n g s o f t h e S p e e c h R e c o g n i -
t i o n W o r k s h o p , p p 7 3 - 7 8 , 1 9 9 7 .
