8/11/2019 Misuse IFIP99
1/18
D E M I D S : A M i s u s e D e t e c t i o n S y s t e m
f o r D a t a b a s e S y s t e m s
C h r i s t i n a Y i p C h u n g , M i c h a e l G e r t z , K a r l L e v i t t
f c h u n g y j g e r t z j l e v i t t g @ c s . u c d a v i s . e d u
D e p a r t m e n t o f C o m p u t e r S c i e n c e , U n i v e r s i t y o f C a l i f o r n i a a t D a v i s
O n e S h i e l d s A v e n u e , D a v i s , C A 9 5 6 1 6 - 8 5 6 2 , U S A
A b s t r a c t
D e s p i t e t h e n e c e s s i t y o f p r o t e c t i n g i n f o r m a t i o n s t o r e d i n d a t a b a s e s y s t e m s D B S ,
e x i s t i n g s e c u r i t y m o d e l s a r e i n s u c i e n t t o p r e v e n t m i s u s e , e s p e c i a l l y i n s i d e r a b u s e b y
l e g i t i m a t e u s e r s . F u r t h e r , c o n c e p t s f o r m i s u s e d e t e c t i o n i n D B S h a v e n o t b e e n a d e q u a t e l y
a d d r e s s e d b y e x i s t i n g r e s e a r c h i n m i s u s e d e t e c t i o n . E v e n t h o u g h t h e r e a r e a v a i l a b l e m e a n s
t o g u a r d t h e i n f o r m a t i o n s t o r e d i n t h e d a t a b a s e s y s t e m a g a i n s t m i s u s e , t h e y a r e s e l d o m
u s e d b y s e c u r i t y o c e r s b e c a u s e s e c u r i t y p o l i c i e s o f t h e o r g a n i z a t i o n a r e e i t h e r i m p r e c i s e
o r n o t k n o w n a t a l l .
T h i s p a p e r p r e s e n t s a m i s u s e d e t e c t i o n s y s t e m c a l l e d D E M I D S w h i c h i s t a i l o r e d t o
r e l a t i o n a l d a t a b a s e s y s t e m s . D E M I D S u s e s a u d i t l o g s t o d e r i v e p r o l e s t h a t d e s c r i b e
t y p i c a l b e h a v i o r o f u s e r s w o r k i n g w i t h t h e D B S . T h e p r o l e s c o m p u t e d c a n b e u s e d t o
d e t e c t m i s u s e b e h a v i o r , i n p a r t i c u l a r i n s i d e r a b u s e . F u r t h e r m o r e , t h e p r o l e s c a n s e r v e
a s a v a l u a b l e t o o l f o r s e c u r i t y r e - e n g i n e e r i n g o f a n o r g a n i z a t i o n b y h e l p i n g t h e s e c u r i t y
o c e r s t o d e n e r e n e s e c u r i t y p o l i c i e s a n d t o v e r i f y e x i s t i n g s e c u r i t y p o l i c i e s , i f t h e r e
a r e a n y .
E s s e n t i a l t o t h e p r e s e n t e d a p p r o a c h i s t h a t t h e a c c e s s p a t t e r n s o f u s e r s t y p i c a l l y f o r m
s o m e w o r k i n g s c o p e s w h i c h c o m p r i s e s e t s o f a t t r i b u t e s t h a t a r e u s u a l l y r e f e r e n c e d t o g e t h e r
w i t h s o m e v a l u e s . D E M I D S c o n s i d e r s d o m a i n k n o w l e d g e a b o u t t h e d a t a s t r u c t u r e s a n d
s e m a n t i c s e n c o d e d i n a g i v e n d a t a b a s e s c h e m a t h r o u g h t h e n o t i o n o f d i s t a n c e m e a s u r e .
D i s t a n c e m e a s u r e s a r e u s e d t o g u i d e t h e s e a r c h f o r f r e q u e n t i t e m s e t s d e s c r i b i n g t h e w o r k i n g
s c o p e s o f u s e r s . I n D E M I D S s u c h f r e q u e n t i t e m s e t s a r e c o m p u t e d e c i e n t l y f r o m a u d i t
l o g s u s i n g t h e d a t a b a s e s y s t e m ' s d a t a m a n a g e m e n t a n d q u e r y p r o c e s s i n g f e a t u r e s .
1 M o t i v a t i o n
I n t o d a y ' s b u s i n e s s w o r l d , i n f o r m a t i o n i s t h e m o s t v a l u a b l e a s s e t o f o r g a n i z a t i o n s a n d t h u s
r e q u i r e s a p p r o p r i a t e m a n a g e m e n t a n d p r o t e c t i o n . I n t h i s , d a t a b a s e s y s t e m s p l a y a c e n t e r r o l e
b e c a u s e t h e y n o t o n l y a l l o w t h e e c i e n t m a n a g e m e n t a n d r e t r i e v a l o f h u g e a m o u n t s o f d a t a ,
b u t a l s o b e c a u s e t h e y p r o v i d e m e c h a n i s m s t h a t c a n b e e m p l o y e d t o e n s u r e t h e i n t e g r i t y o f t h e
s t o r e d d a t a .
1
8/11/2019 Misuse IFIP99
2/18
8/11/2019 Misuse IFIP99
3/18
m i n i n g a p p r o a c h t h a t t a k e s a d v a n t a g e o f t h e e c i e n t d a t a p r o c e s s i n g f u n c t i o n a l i t y o f d a t a b a s e
m a n a g e m e n t s y s t e m s . M i s u s e , s u c h a s t a m p e r i n g w i t h t h e i n t e g r i t y o f d a t a , t h e n c a n b e
d e t e c t e d b y c o m p a r i n g t h e d e r i v e d p r o l e s a g a i n s t t h e s e c u r i t y p o l i c i e s s p e c i e d o r a g a i n s t n e w
i n f o r m a t i o n a u d i t d a t a g a t h e r e d a b o u t t h e u s e r s .
1 . 1 R e l a t e d W o r k
T h e s e c u r i t y g o a l s o f d a t a b a s e s y s t e m s a r e a v a i l a b i l i t y , c o n d e n t i a l i t y a n d i n t e g r i t y C F M S 9 5 .
M a n d a t o r y a n d d i s c r e t i o n a r y a c c e s s c o n t r o l m o d e l s h a v e b e e n p r o p o s e d f o r g e n e r a l c o m p u t e r
s y s t e m s t o a c h i e v e t h e s e g o a l s B L P 7 3 , B i b 7 7 , D i o 8 1 , H R U 7 6 . N e v e r t h e l e s s , t h e s e m e c h a n i s m s
t y p i c a l l y o p e r a t e o n t h e l e a n d c o m m a n d p r o c e s s l e v e l o f o p e r a t i n g s y s t e m s , w h i c h i s t o o
c o a r s e f o r t h e n e r l e v e l o f g r a n u l a r i t y o f d a t a i n d a t a b a s e s y s t e m s .
T h e r e a r e v a r i o u s e x t e n s i o n s o f t h e s e s e c u r i t y m o d e l s t o d a t a b a s e s y s t e m s . D e n 8 6 , J S 9 0 , S W 9 2
e x t e n d t h e c o n c e p t o f m a n d a t o r y a c c e s s c o n t r o l i n r e l a t i o n a l d a t a b a s e s y s t e m s b y a l l o w i n g
p o l y i n s t a n t i a t i o n o f d a t a a t t h e t u p l e l e v e l . W S F 7 9 p r o v i d e s a m a p p i n g b e t w e e n a c c e s s
c o n t r o l i n a D B S t o t h a t a t o p e r a t i n g s y s t e m l e v e l . T h e s e m e c h a n i s m s a r e f u n d a m e n t a l l y t h e
s a m e a s g e n e r a l m a n d a t o r y a c c e s s c o n t r o l m o d e l s a n d h e n c e s u e r t h e s a m e l i m i t a t i o n o f b e i n g
o n l y a p p l i c a b l e t o a n o r g a n i z a t i o n w i t h k n o w n s e c u r i t y p o l i c i e s . F u r t h e r , p o l y i n s t a n t i a t i o n s
c o m e a t t h e c o s t o f i n c r e a s i n g t h e n u m b e r o f t u p l e s i n t h e d a t a b a s e .
D e t e c t i o n m e c h a n i s m s a r e e m p l o y e d t o c o m p l e m e n t t h e s h o r t c o m i n g s o f p r e v e n t i o n m e c h a n i s m s
J V 9 1 , V L 8 9 , H D L
+
9 0 , S C C C
+
9 6 , F H S L 9 6 , L S 9 8 . N e v e r t h e l e s s , c o n c e p t s f o r m i s u s e d e t e c t i o n
i n d a t a b a s e s y s t e m s h a v e n o t b e e n a d e q u a t e l y a d d r e s s e d b y e x i s t i n g m i s u s e d e t e c t i o n s y s t e m s .
T h e s e s y s t e m s t y p i c a l l y r e s i d e o n t h e o p e r a t i n g s y s t e m a n d o r n e t w o r k w h i c h w o r k w i t h l e s
a n d s y s t e m c o m m a n d s . T h e m a p p i n g b e t w e e n l e s i n o p e r a t i n g s y s t e m s t o r e l a t i o n s a n d
a t t r i b u t e s i n d a t a b a s e s y s t e m s i s n o t e x a c t a n d h e n c e c a n n o t c l o s e l y r e e c t t h e u s e r b e h a v i o r .
M o r e o v e r , a u d i t i n g t h e u s e r b e h a v i o r a t t h e s e l a y e r s i s u n s u i t e d f o r m i s u s e d e t e c t i o n a t t h e D B S
l e v e l b e c a u s e t h e s e m a n t i c s a n d s t r u c t u r e o f t h e d a t a a r e n o t r e e c t e d i n s u c h a u d i t l o g s . U n l i k e
p r e v i o u s M D S s , s u c h d o m a i n k n o w l e d g e i s c o n s i d e r e d b y D E M I D S t o d e r i v e u s e r p r o l e s .
1 . 2 T e r m i n o l o g y
I n t h e r e s t o f t h e p a p e r w e a d o p t t h e r e l a t i o n a l d a t a b a s e m o d e l a s t h e u n d e r l y i n g d a t a m o d e l
f o r D E M I D S . W e a s s u m e a g i v e n d a t a b a s e s c h e m a S = h R ; I C i w h e r e R i s a s e t o f r e l a t i o n
s c h e m a s a n d I C i s a s e t o f i n t e g r i t y c o n s t r a i n t s t h a t h a v e t o b e s a t i s e d b y e v e r y i n s t a n c e o f
t h e d a t a b a s e s c h e m a . A r e l a t i o n s c h e m a R 2 R i s d e n o t e d b y R = h A
1
; : : : ; A
n
i w h e r e e a c h A
i
i s a n a t t r i b u t e . W e d e n o t e t h e a t t r i b u t e s a s s o c i a t e d w i t h a r e l a t i o n s c h e m a R 2 R b y a t t r R ,
a n d t h e a t t r i b u t e s c o n t a i n e d i n t h e w h o l e s c h e m a S b y a t t r S . T h e v a l u e o f a t t r i b u t e A
i
o f
t u p l e t f r o m a n i n s t a n c e o f a r e l a t i o n s c h e m a R i s d e n o t e d b y t : A
i
T h e i n t e g r i t y c o n s t r a i n t s c o n s i d e r e d i n t h i s p a p e r i n c l u d e p r i m a r y a n d f o r e i g n k e y c o n s t r a i n t s
i m p o s e d o n r e l a t i o n s i n R . W e f u r t h e r m o r e a s s u m e t h a t a s s o c i a t e d w i t h t h e d a t a b a s e i s a s e t
o f a p p l i c a t i o n s . A d a t a b a s e a p p l i c a t i o n i s c o n s i d e r e d t o b e a s e q u e n c e o f p a r a m e t e r i z e d S Q L
q u e r i e s . U s e r s i n t e r a c t w i t h t h e d a t a b a s e s y s t e m t h r o u g h a s e t o f o p e r a t i o n s w h i c h a r e e i t h e r
3
8/11/2019 Misuse IFIP99
4/18
i s s u e d b y a p p l i c a t i o n s o n b e h a l f o f t h e u s e r s , o r d i r e c t l y b y u s e r s i n f o r m o f f r e e f o r m d a t a b a s e
m o d i c a t i o n s a s t h e y a r e t y p i c a l l y i s s u e d b y , e . g . , d a t a b a s e a d m i n i s t r a t o r s .
1 . 3 O r g a n i z a t i o n o f t h e P a p e r
T h e r e s t o f t h e p a p e r i s o r g a n i z e d a s f o l l o w s : I n S e c t i o n 2 , w e d i s c u s s t h e a r c h i t e c t u r e o f
D E M I D S , i n p a r t i c u l a r i t s c o u p l i n g w i t h a g i v e n d a t a b a s e s y s t e m . I n S e c t i o n 3 , w e i n t r o d u c e
t h e n o t i o n s o f d i s t a n c e m e a s u r e a n d f r e q u e n t i t e m s e t s t o c a p t u r e t h e w o r k i n g s c o p e s o f u s e r s .
I n S e c t i o n 4 , w e p r e s e n t a n o v e l d a t a m i n i n g a l g o r i t h m t o d i s c o v e r p r o l e s f o r u s e r s b a s e d o n
t h e i d e a o f d i s t a n c e m e a s u r e a n d f r e q u e n t i t e m s e t s . I n S e c t i o n 5 , t h e a d v a n t a g e s o f t h e P r o l e r
a r e d i s c u s s e d a n d i t s a p p l i c a t i o n t o s o m e s c e n a r i o s i s g i v e n . W e c o n c l u d e t h e p a p e r i n S e c t i o n
6 w i t h a s u m m a r y a n d o v e r v i e w o f f u t u r e r e s e a r c h .
2 A r c h i t e c t u r e
T h e p r o p o s e d m i s u s e d e t e c t i o n s y s t e m D E M I D S i s t i g h t l y c o u p l e d t o a n e x i s t i n g d a t a b a s e
s y s t e m i n t h a t D E M I D S u t i l i z e s c e r t a i n f u n c t i o n a l i t y o f t h e s y s t e m s u c h a s a u d i t i n g a n d q u e r y
p r o c e s s i n g . D E M I D S c o n s i s t s o f f o u r c o m p o n e n t s F i g u r e 1 : 1 A u d i t o r 2 D a t a P r o c e s s o r
3 P r o l e r a n d 4 D e t e c t o r .
Profiler
Detector Policies
Application Applicat ion Application Application
Auditor
Processor
Data
D
B
S
AuditSession
Audit Log
Data
Profile
SuspisionLevel
Component
Data Storage
Data Flow
Dictionary
F i g u r e 1 : C o m p o n e n t s o f D E M I D S ' s A r c h i t e c t u r e
4
8/11/2019 Misuse IFIP99
5/18
T h e A u d i t o r i s r e s p o n s i b l e f o r c o l l e c t i n g t h e a u d i t d a t a o f u s e r s b y a u d i t i n g t h e i r q u e r i e s t h r o u g h
t h e a u d i t i n g f u n c t i o n a l i t y o f t h e D B M S . A s e t o f i n t e r e s t i n g f e a t u r e s t o a u d i t i s s e l e c t e d b y
t h e s e c u r i t y o c e r S S O , d e p e n d i n g o n t h e s e c u r i t y p o l i c y t o e s t a b l i s h o r v e r i f y . F o r e x a m p l e ,
i f a s e c u r i t y p o l i c y s t a t e s t h a t a c c e s s t o a s e t o f s e n s i t i v e a t t r i b u t e s s h o u l d b e m o n i t o r e d , a n
i n t e r e s t i n g f e a t u r e w o u l d b e t h e s e t o f a t t r i b u t e s n a m e s r e f e r e n c e d i n t h e q u e r i e s . I f f a b r i c a t i o n
o f d a t a i s t h e c o n c e r n , n e w a n d o l d v a l u e s o f a t t r i b u t e s i n u p d a t e a n d i n s e r t q u e r i e s s h o u l d b e
a u d i t e d . I n g e n e r a l , w e d o n o t a s s u m e s c e n a r i o s w h e r e e v e r y t h i n g " i s a u d i t e d . T h e f e a t u r e s
t h a t h a v e t o b e a u d i t e d a r e s e l e c t e d b y t h e S S O . I n p r a c t i c e , f e a t u r e s a r e s e l e c t e d d e p e n d i n g
o n w h e t h e r t h e b e h a v i o r a n d a c c e s s p a t t e r n s o f p a r t i c u l a r u s e r s a r e o f i n t e r e s t o r w h e t h e r t h e
u s a g e o f c e r t a i n a p p l i c a t i o n s b y c e r t a i n u s e r s i s o f i n t e r e s t .
M o n i t o r e d f e a t u r e s a r e r e c o r d e d i n a u d i t l o g s . I n o r d e r f o r t h e a u d i t i n g a n d l o g m a n a g e m e n t
n o t t o b e c o m e a b o t t l e n e c k o f t h e d a t a b a s e s y s t e m a n d a s s o c i a t e d a p p l i c a t i o n s , i t i s p o s s i b l e t o
p e r i o d i c a l l y p u r g e a u d i t l o g s t o a n o t h e r d a t a b a s e s y s t e m w h i c h t h e n i s a l s o u s e d b y t h e o t h e r
c o m p o n e n t s o f D E M I D S .
T h e D a t a P r o c e s s o r i s r e s p o n s i b l e f o r p r e p r o c e s s i n g t h e r a w d a t a i n t h e a u d i t l o g s , s u c h a s t h e
h a n d l i n g o f m i s s i n g v a l u e s , c o n v e r t i n g t h e r a w d a t a i n t o a p p r o p r i a t e d a t a s t r u c t u r e s a n d t y p e s
f o r t h e P r o l e r . M o r e i m p o r t a n t l y , i t g r o u p s t h e r a w a u d i t d a t a i n t o a u d i t s e s s i o n s . T h i s i s
a c r i t i c a l s t e p b e c a u s e t h e w a y a u d i t d a t a a r e a g g r e g a t e d i n t o a u d i t s e s s i o n s d e t e r m i n e s w h a t
p r o l e s a r e g e n e r a t e d . F o r i n s t a n c e , t h e d a t a c a n b e g r o u p e d a c c o r d i n g t o u s e r s o r r o l e s a d o p t e d
b y t h e u s e r s S C F Y 9 6 .
3
U s e r p r o l e s a r e g e n e r a t e d i n t h e f o r m e r c a s e a n d r o l e p r o l e s i n t h e
l a t t e r .
D u r i n g t h e t r a i n i n g s t a g e , w h i c h i s t y p i c a l l y s u p e r v i s e d b y t h e S S O , t h e P r o l e r g e n e r a t e s a
p r o l e f o r e a c h a u d i t s e s s i o n . T h e P r o l e r c o n s u l t s t h e r e p o s i t o r y o f d o m a i n k n o w l e d g e , s u c h
a s t h e d a t a b a s e s c h e m a , t o g u i d e i t s s e a r c h f o r p r o l e s t h a t s a t i s f y c e r t a i n i n t e r e s t i n g m e a s u r e s ,
f o r e x a m p l e , a s u c i e n t s u p p o r t . I t i s a s s u m e d t h a t d u r i n g t h e t r a i n i n g s t a g e , u s e r s d o n o t
p e r f o r m m a l i c i o u s b e h a v i o r t o t r a i n t h e P r o l e r a n d t h a t t h e r e a r e e n o u g h d a t a c o l l e c t e d t o
r e p r e s e n t t h e i r t y p i c a l b e h a v i o r . F o r i n s t a n c e , i n a n o c e s y s t e m , t h e t r a i n i n g s t a g e c a n i n c l u d e
o c e h o u r s d u r i n g w e e k d a y s s i n c e m o s t b u s i n e s s o p e r a t i o n s a r e p e r f o r m e d d u r i n g o c e h o u r s
o f w e e k d a y s a n d t h e r s t a n d l a s t f e w d a y s o f a m o n t h t o c o v e r m o n t h l y o p e r a t i o n s . I n
s y s t e m s w h e r e u s e r s h a v e w e l l d e n e d j o b d e s c r i p t i o n s , u s e r b e h a v i o r i s f a i r l y s t a b l e a n d t h e
t r a i n i n g s t a g e c a n l a s t f o r a s h o r t e r p e r i o d o f t i m e , f o r i n s t a n c e , o n l y a f e w d a y s .
D u r i n g t h e m o n i t o r i n g s t a g e , t h e D e t e c t o r c o m p u t e s a s c o r e t o d e t e r m i n e i f u s e r a c t i v i t i e s a r e
s u s p i c i o u s . T h i s c a n b e a c h i e v e d b y c o m p a r i n g t h e n e w i n f o r m a t i o n a u d i t r e c o r d s a b o u t u s e r
a c t i v i t i e s a g a i n s t t h e c o r r e s p o n d i n g p r o l e s d e r i v e d d u r i n g t h e t r a i n i n g s t a g e . A n o t h e r w a y i s
t o c o m p a r e t h e u s e r p r o l e s a g a i n s t t h e s e c u r i t y p o l i c y . B o t h t h e p r o l e s a n d s e c u r i t y p o l i c i e s
i n D E M I D S a r e s p e c i e d i n a r u l e b a s e d f o r m a t . C o m p a r i s o n o f t h e p r o l e s a n d p o l i c i e s c a n
b e b a s e d o n t h e n u m b e r o f n e w r u l e s , m i s s i n g r u l e s a n d r u l e s w i t h t h e s a m e p r e c o n d i t i o n b u t
d i e r e n t c o n s e q u e n t s .
3
A r o l e i s a c o l l e c t i o n o f p r i v i l e g e s n e c e s s a r y t o a c c o m p l i s h a c e r t a i n t a s k .
5
8/11/2019 Misuse IFIP99
6/18
3 A p p r o a c h
I n t h i s s e c t i o n , w e d e s c r i b e t h e m a i n i d e a b e h i n d t h e c o n c e p t o f w o r k i n g s c o p e s f o r u s e r s . W e
t h e n d e n e t h e n o t i o n o f d i s t a n c e m e a s u r e t o c a p t u r e t h e d e g r e e o f c l o s e n e s s " o f a s e t o f
a t t r i b u t e s i n a g i v e n d a t a b a s e s c h e m a w i t h r e s p e c t t o t h e w o r k i n g s c o p e s . T h i s i s f o l l o w e d b y
a d e s c r i p t i o n o f t h e c o n c e p t o f f r e q u e n t i t e m s e t s w h i c h e m p l o y s d i s t a n c e m e a s u r e s t o r e p r e s e n t
t h e w o r k i n g s c o p e s o f u s e r s . T h e i d e a o f f r e q u e n t i t e m s e t s f o r m s t h e b a s i s f o r d e r i v i n g u s e r
p r o l e s .
3 . 1 W o r k i n g S c o p e s
W e c o n j e c t u r e t h a t a u s e r t y p i c a l l y w i l l n o t a c c e s s a l l a t t r i b u t e s a n d d a t a i n a s c h e m a a n d
d a t a b a s e s r e s p e c t i v e l y . A t t r i b u t e s u s e d i n a q u e r y a r e r e l a t e d t h r o u g h p r i m a r y a n d f o r e i g n
k e y d e p e n d e n c i e s a m o n g t h e r e l a t i o n s i n a s c h e m a u s i n g j o i n c o n d i t i o n s . T h e r e f o r e , t h e a c c e s s
p a t t e r n s o f u s e r s w i l l f o r m s o m e w o r k i n g s c o p e s w h i c h a r e s e t s o f a t t r i b u t e s t h a t a r e u s u a l l y
r e f e r e n c e d t o g e t h e r w i t h s o m e v a l u e s . A p r o l e c a p t u r e s t h e i d e a o f w o r k i n g s c o p e s b y s p e c i f y i n g
t h e t y p i c a l v a l u e s o f s e t s o f f e a t u r e s i n a n a u d i t s e s s i o n .
E x a m p l e 3 . 1 W e u s e t h e s a m p l e d a t a b a s e s c h e m a s h o w n i n F i g u r e 2 a s a n e x a m p l e .
own Customer open
depend
CreditCard
Transaction
Branch
expDate
CCID
TID
SID
SavingsAC
CID custName
income
location
BID
amount
creditSID
debitSID
F i g u r e 2 : S a m p l e D a t a b a s e S c h e m a
T h i s d a t a b a s e s c h e m a c a n e a s i l y b e d e r i v e d f r o m t h e i n f o r m a t i o n r e c o r d e d i n t h e d a t a d i c t i o n a r y .
L e t t h e s e t o f f e a t u r e s i n a u d i t s e s s i o n s b e t h e t y p e o f t h e q u e r y o p e r a t i o n q u e r y T y p e , t h e
s e t s o f a t t r i b u t e s r e f e r e n c e d b y t h e q u e r y R : A = 1 i f a t t r i b u t e A f r o m r e l a t i o n R i s r e f e r e n c e d ,
0 o t h e r w i s e , t h e r e l a t i o n r e f e r e n c e d b y t h e i n s e r t q u e r y r e l a t i o n , t h e v a l u e s o f a t t r i b u t e s
R : A : V a l , a n d t h e i r n e w v a l u e s R : A : n e w V a l f o r u p d a t e a n d i n s e r t q u e r i e s . S u p p o s e u s e r
T e l l e r i s r e s p o n s i b l e f o r e n t e r i n g t r a n s a c t i o n s b y i s s u i n g d a t a b a s e m o d i c a t i o n s o f t h e t y p e :
i n s e r t i n t o t r a n s a c t i o n v a l u e s T I D , a m o u n t , d e b i t S I D , c r e d i t S I D
w h e r e T I D ; a m o u n t ; d e b i t S I D ; c r e d i t S I D a r e v a r i a b l e s .
6
8/11/2019 Misuse IFIP99
7/18
T h e w o r k i n g s c o p e W S o f T e l l e r t h e n w o u l d b e :
W S
T e l l e r
= f q u e r y T y p e = ' i n s e r t ' , r e l a t i o n = ' t r a n s a c t i o n ' g .
3 . 2 D i s t a n c e M e a s u r e
W o r k i n g s c o p e s o f u s e r s c o n s i s t o f a t t r i b u t e s t h a t a r e c l o s e l y r e l a t e d i n t h e d a t a b a s e s c h e m a
a n d a r e o f t e n r e f e r e n c e d t o g e t h e r i n d a t a b a s e m o d i c a t i o n s t a t e m e n t s w h i c h , o f c o u r s e , c a n
i n c l u d e d a t a r e t r i e v a l s t a t e m e n t s . T o c a p t u r e t h e i d e a o f c l o s e n e s s " o f a t t r i b u t e s i n a d a t a b a s e
s c h e m a , w e i n t r o d u c e t h e n o t i o n o f d i s t a n c e m e a s u r e . O u r n o t i o n o f d i s t a n c e m e a s u r e i s u s e d
t o g u i d e t h e P r o l e r i n d i s c o v e r i n g p r o l e s f r o m a u d i t s e s s i o n s .
C o n s i d e r i n g a g i v e n d a t a b a s e s c h e m a S , a t t r i b u t e s a r e s t r u c t u r a l l y c l o s e i f t h e y e i t h e r b e l o n g
t o t h e s a m e r e l a t i o n o r c a n b e r e l a t e d b y e x p l o i t i n g a s e q u e n c e o f f o r e i g n k e y d e p e n d e n c i e s .
T h i s a s p e c t i s r e e c t e d b y t h e s c h e m a d i s t a n c e f u n c t i o n .
D e n i t i o n 3 . 2 S c h e m a D i s t a n c e F u n c t i o n
A s s u m e a d a t a b a s e s c h e m a S w i t h a s e t R o f r e l a t i o n s c h e m a s . G i v e n t w o a t t r i b u t e s A
i
2
R ; A
j
2 S w h e r e R ; S 2 R , t h e p a i r w i s e s c h e m a d i s t a n c e b e t w e e n A
i
a n d A
j
, d e n o t e d b y
P S D i s t A
i
; A
j
, i s d e n e d a s
P S D i s t A
i
; A
j
: =
S h o r t e s t D i s t R ; S
m a x f S h o r t e s t D i s t R
k
; R
l
j R
k
; R
l
2 R g
G i v e n a s e t o f a t t r i b u t e s f A
1
; : : : ; A
n
g a t t r S , t h e s c h e m a d i s t a n c e f u n c t i o n i s d e n e d a s
S c h e m a D i s t A
1
; : : : ; A
n
: = m a x f P S D i s t A
i
; A
j
g
w h e r e S h o r t e s t D i s t R ; S c o m p u t e s t h e s h o r t e s t d i s t a n c e b e t w e e n t w o r e l a t i o n s R a n d S i n
t h e d a t a b a s e s c h e m a b a s e d o n p r i m a r y a n d f o r e i g n k e y s b y w h i c h R a n d S c a n b e r e l a t e d .
W e n o r m a l i z e t h e d i s t a n c e m e a s u r e b y t h e m a x i m u m s h o r t e s t d i s t a n c e b e t w e e n a n y p a i r R
k
; R
l
o f r e l a t i o n s i n t h e d a t a b a s e s c h e m a s o t h a t t h e v a l u e o f d i s t a n c e m e a s u r e f a l l s i n t h e r a n g e o f
0 t o 1 . T h e n e a r e r t h e v a l u e o f t h e d i s t a n c e m e a s u r e t o 1 , t h e c l o s e r i s t h e s e t o f a t t r i b u t e s .
A l t h o u g h t w o a t t r i b u t e s a r e s c h e m a t i c a l l y c l o s e , t h i s d o e s n o t n e c e s s a r i l y m e a n t h a t t h e y a r e
s e m a n t i c a l l y c l o s e , t o o . S i n c e w e w o u l d l i k e t o d e r i v e a p r o l e f o r e a c h a u d i t s e s s i o n , t h e a c c e s s
p a t t e r n s o f t h e a t t r i b u t e s i n a u d i t s e s s i o n s s h o u l d b e c o n s i d e r e d i n t h e d i s t a n c e m e a s u r e a s
w e l l . I n o r d e r t o c a p t u r e t h i s a s p e c t , w e d e n e a n a c c e s s a n i t y f u n c t i o n w h i c h c o n s i d e r s t h e
d y n a m i c a c c e s s p a t t e r n s o n t h e a t t r i b u t e s .
D e n i t i o n 3 . 3 A c c e s s A n i t y F u n c t i o n
G i v e n a s e t A = f A
1
; : : : ; A
n
g a t t r S o f a t t r i b u t e s c o n t a i n e d i n a d a t a b a s e s c h e m a S . T h e
a c c e s s a n i t y o f A , d e n o t e d b y A A A , i s d e n e d a s
A A A : =
A A C A
m a x f A A C A
i
1
; : : : ; A
i
m
j f A
i
1
; : : : ; A
i
m
g a t t r S g
7
8/11/2019 Misuse IFIP99
8/18
w h e r e A A C A
1
; : : : ; A
n
i s t h e t o t a l n u m b e r o f a u d i t r e c o r d s i n t h e s e s s i o n s u c h t h a t e a c h a u d i t
r e c o r d r e f e r e n c e s a l l a t t r i b u t e s A
1
; : : : ; A
n
.
B a s e d o n t h e s c h e m a d i s t a n c e f u n c t i o n a n d a c c e s s a n i t y , w e a r e n o w a b l e t o d e n e a d i s t a n c e
m e a s u r e b e t w e e n a s e t o f a t t r i b u t e s t h a t t a k e s b o t h s t r u c t u r a l a n d a c c e s s p r o p e r t i e s o f t h e
a t t r i b u t e s i n v o l v e d i n t o a c c o u n t .
D e n i t i o n 3 . 4 D i s t a n c e M e a s u r e
G i v e n a s e t A = f A
1
; : : : ; A
n
g a t t r S . T h e d i s t a n c e a m o n g t h e a t t r i b u t e s i n A , d e n o t e d b y
D i s t A , i s d e n e d a s
S W e i g h t S c h e m a D i s t A
1
; : : : ; A
n
+ 1 , S W e i g h t 1 , A A A
1
; : : : ; A
n
W e n o r m a l i z e t h e d i s t a n c e m e a s u r e b y c h o o s i n g S W e i g h t 2 R 0 ; 1 . S i n c e t h e d o m a i n o f
S c h e m a D i s t a n d A A i s R 0 ; 1 , D i s t 2 R 0 ; 1 .
S W e i g h t i s a v a l u e t h a t h a s t o b e s p e c i e d b y t h e S S O p r i o r t o t h e a u d i t i n g a n d i s u s e d t o
w e i g h t h e s c h e m a d i s t a n c e c o m p o n e n t . T h e h i g h e r t h e v a l u e f o r S W e i g h t , t h e m o r e i m p o r t a n t
i s t h e s c h e m a t i c p r o p e r t y i n c o m p u t i n g t h e d i s t a n c e m e a s u r e , a n d v i c e v e r s a . I f u s e r s o f t e n
a c c e s s a t t r i b u t e s o f r e l a t i o n s t h a t a r e r e l a t e d b y s o m e f o r e i g n k e y d e p e n d e n c i e s , t h e n S W e i g h t
c a n b e s e t t o a h i g h e r v a l u e .
E x a m p l e 3 . 5 W e u s e t h e s a m p l e d a t a b a s e s c h e m a s h o w n i n F i g u r e 2 t o d e m o n s t r a t e h o w
o u r n o t i o n o f d i s t a n c e m e a s u r e r e e c t s t h e w o r k i n g s c o p e s o f u s e r s . W e c o n s i d e r t w o s e t s o f
a t t r i b u t e s , n a m e l y S
1
= f t . T I D , t . a m o u n t , t . d e b i t S I D , t . c r e d i t S I D g a n d S
2
= f t . T I D , c . C I D g .
4
S
1
i s t h e w o r k i n g s c o p e o f t h e u s e r T e l l e r w h i l e S
2
i s a n a r b i t r a r y s e t o f a t t r i b u t e s .
T h e m a x i m u m d i s t a n c e b e t w e e n a n y p a i r o f r e l a t i o n s i n t h e s c h e m a i s 6 , w h i c h i s t h e d i s t a n c e
b e t w e e n a t t r i b u t e s o f r e l a t i o n s C r e d i t C a r d a n d T r a n s a c t i o n . H e n c e w e h a v e :
S c h e m a D i s t S
1
= 0 : 0
S c h e m a D i s t S
2
= 4 = 6 = 0 : 6 7
S u p p o s e i n t h e a u d i t s e s s i o n w e h a v e t w o a u d i t r e c o r d s c o r r e s p o n d i n g t o t h e i n s e r t q u e r i e s
s h o w n i n E x a m p l e 3 . 1 . H e n c e , A A C t : T I D ; t : a m o u n t ; t : d e b i t S I D ; t : c r e d i t S I D = 2 a n d t h e
a c c e s s a n i t y a m o n g t h e a t t r i b u t e s i n e a c h s e t i s
A A S
1
= 2 = 2 = 1 : 0
A A S
2
= 0 = 2 = 0 : 0
S u p p o s e S W e i g h t = 0 : 5 , t h e d i s t a n c e m e a s u r e s o f S
1
; S
2
a r e t h e n
D i s t S
1
= 0 : 5 0 : 0 + 1 , 0 : 5 1 , 1 : 0 = 0 : 0
D i s t S
2
= 0 : 5 0 : 6 7 + 1 , 0 : 5 1 , 0 : 0 = 0 : 3 3
T h e d i s t a n c e m e a s u r e o f S
1
i s v e r y s m a l l b e c a u s e t h e a t t r i b u t e s a r e c l o s e l y r e l a t e d i n t h e
d a t a b a s e s c h e m a a n d a r e o f t e n r e f e r e n c e d t o g e t h e r i n t h e q u e r i e s . T h e d i s t a n c e m e a s u r e f o r S
2
i s l a r g e r b e c a u s e t h e a t t r i b u t e s a r e n o t o n l y f u r t h e r a p a r t i n t h e d a t a b a s e s c h e m a , b u t a l s o n o t
r e f e r e n c e d t o g e t h e r i n t h e q u e r i e s .
4
W e u s e t h e n o t a t i o n R : A t o d e n o t e a t t r i b u t e A f r o m r e l a t i o n R . W e u s e s h o r t h a n d s t t o d e n o t e t h e r e l a t i o n
t r a n s a c t i o n a n d c f o r c u s t o m e r .
8
8/11/2019 Misuse IFIP99
9/18
S i n c e S
1
h a s a s m a l l e r d i s t a n c e m e a s u r e , f e a t u r e s r e f e r e n c i n g t h i s s e t o f a t t r i b u t e s w o u l d l i k e l y
f a l l i n t o t h e s a m e w o r k i n g s c o p e s . S i m i l a r l y , s i n c e S
2
h a s a g r e a t e r d i s t a n c e m e a s u r e , f e a t u r e s
r e f e r e n c i n g t h i s s e t o f r a n d o m a t t r i b u t e s w o u l d n o t b e c o n s i d e r e d t o b e i n t h e s a m e w o r k i n g
s c o p e .
3 . 3 F r e q u e n t I t e m s e t s
W e u s e t h e c o n c e p t o f f r e q u e n t i t e m s e t s t o d e s c r i b e t h e w o r k i n g s c o p e s o f u s e r s . A f r e q u e n t
i t e m s e t i s a s e t o f f e a t u r e s w i t h v a l u e s a s s i g n e d t o t h e m . T h e s e t o f f e a t u r e s i s s e l e c t e d b y t h e
S S O . F o r i n s t a n c e , t h e t i m e s t a m p o f a u d i t r e c o r d s i s a n i n t e r e s t i n g f e a t u r e i f w e a r e i n t e r e s t e d
i n t h e t e m p o r a l a s p e c t o f u s e r b e h a v i o r . T h e s e t s o f a t t r i b u t e s r e f e r e n c e d b y t h e q u e r i e s a r e
i n t e r e s t i n g t o o , e s p e c i a l l y i f t h e y b e l o n g t o r e l a t i o n s t h a t a r e s e n s i t i v e . T h e n e w a n d o l d v a l u e s
o f t u p l e s o f u p d a t e q u e r i e s a r e i m p o r t a n t i f f a b r i c a t i o n o f d a t a i s c o n c e r n e d . T h e d o m a i n o f
a f e a t u r e F
i
i s d e n o t e d b y D o m a i n F
i
. F o r i n s t a n c e , i f t i m e s t a m p i s r e c o r d e d a s t h e n u m b e r
o f s e c o n d s e l a p s e d s i n c e a p a r t i c u l a r m o m e n t o f t i m e , t h e n t h e d o m a i n o f t i m e s t a m p i s r e a l
n u m b e r s . T h e d o m a i n o f u s e r I D c a n b e s t r i n g s . S i n c e o u r n o t i o n o f d i s t a n c e m e a s u r e r e e c t s
t h e d e p e n d e n c i e s a m o n g r e l a t i o n s a s w e l l a s t h e a c c e s s p a t t e r n s o f a t t r i b u t e s i n w o r k i n g s c o p e s ,
f r e q u e n t i t e m s e t s a r e e n r i c h e d b y a d i s t a n c e m e a s u r e c o m p o n e n t t o c a p t u r e s u c h k n o w l e d g e .
D e n i t i o n 3 . 6 F r e q u e n t I t e m s e t
G i v e n a s e t o f f e a t u r e s F = f F
1
; : : : ; F
m
g a u d i t e d i n a u d i t s e s s i o n A u d i t S . A n i t e m s e t I f o r
F i s d e n e d a s I : = f F
1
= f
1
; : : : ; F
m
= f
m
g ; s u p ; d i s t . I i s s a i d t o b e a f r e q u e n t i t e m s e t s i n
A u d i t S i f
F
i
2 F ; 1 i m
f
i
2 D o m a i n F
i
; 1 i m
s u p s u p p o r t I ; A u d i t S s u p T h r e s h o l d
d i s t D i s t A
1
; : : : ; A
n
d i s t T h r e s h o l d
w h e r e
A
1
; : : : ; A
n
a r e c o r r e s p o n d i n g a t t r i b u t e s f o r f e a t u r e s F
1
; : : : ; F
m
,
s u p T h r e s h o l d a n d d i s t T h r e s h o l d a r e u s e r d e n e d p a r a m e t e r s , a n d
s u p p o r t I ; A u d i t S c o m p u t e s t h e n u m b e r o f a u d i t r e c o r d s i n A u d i t S t h a t s a t i s f y I .
A t t r i b u t e s c o r r e s p o n d i n g t o t h e f e a t u r e s a r e t h o s e a t t r i b u t e s r e f e r e n c e d b y t h e f e a t u r e s . F o r
e x a m p l e , i f f e a t u r e R : A r e c o r d s w h e t h e r a t t r i b u t e A f r o m r e l a t i o n R i s r e f e r e n c e d i n a q u e r y ,
t h e n t h e c o r r e s p o n d i n g a t t r i b u t e i s a t t r i b u t e A . I f f e a t u r e r e l a t i o n r e c o r d s w h i c h r e l a t i o n
i s r e f e r e n c e d b y a n i n s e r t q u e r y , t h e n t h e c o r r e s p o n d i n g a t t r i b u t e s a r e t h e a t t r i b u t e s o f t h e
r e l a t i o n . S o m e f e a t u r e s s u c h a s u s e r I D a n d t i m e s t a m p d o n o t h a v e c o r r e s p o n d i n g a t t r i b u t e s i n
t h e d a t a b a s e s c h e m a . I f t h e s e t o f f e a t u r e s d o n o t r e f e r e n c e a n y a t t r i b u t e , t h e d i s t a n c e m e a s u r e
o f t h i s f r e q u e n t i t e m s e t c a n b e d e n e d a s z e r o .
9
8/11/2019 Misuse IFIP99
10/18
s u p T h r e s h o l d c a n b e e x p r e s s e d i n t e r m s o f t h e n u m b e r o f a u d i t r e c o r d s o r i n t e r m s o f p e r c e n t a g e
o f a u d i t r e c o r d s i n t h e a u d i t s e s s i o n . d i s t T h r e s h o l d i s w i t h i n R 0 ; 1 . s u p T h r e s h o l d a n d
d i s t T h r e s h o l d a r e a d j u s t e d b y S S O . T h e h i g h e r t h e v a l u e o f s u p T h r e s h o l d a n d t h e l o w e r t h e
v a l u e o f d i s t T h r e s h o l d , t h e m o r e s e l e c t i v e a r e t h e f r e q u e n t i t e m s e t s . I f t i g h t e r m o n i t o r i n g
i s d e s i r e d , f o r e x a m p l e , d u r i n g t h e t r a i n i n g s t a g e , s u p T h r e s h o l d a n d d i s t T h r e s h o l d s h o u l d
b e a d j u s t e d a c c o r d i n g l y s o t h a t m o r e s e l e c t i v e f r e q u e n t i t e m s e t s a r e d i s c o v e r e d . T h e r e f o r e ,
o n l y v e r y " t y p i c a l u s e r b e h a v i o r i s d e s c r i b e d i n t h e p r o l e s . D u r i n g t h e m o n i t o r i n g s t a g e ,
s u p T h r e s h o l d c a n b e l o w e r e d w h i l e d i s t T h r e s h o l d i s r a i s e d t o d i s c o v e r m o r e f r e q u e n t i t e m s e t s .
M i s m a t c h b e t w e e n t h e f r e q u e n t i t e m s e t s d i s c o v e r e d i n m o n i t o r i n g s t a g e a n d t h o s e i n t h e t r a i n i n g
s t a g e c a n t r i g g e r a l a r m t o S S O .
T h e f r e q u e n t i t e m s e t s o f a u s e r i n a n a u d i t s e s s i o n c o r r e s p o n d t o t h e p r o l e o f t h e u s e r i n t h a t
a u d i t s e s s i o n . A u d i t d a t a i n t h e a u d i t l o g s a r e g r o u p e d i n t o s e p a r a t e a u d i t s e s s i o n s a c c o r d i n g t o
s o m e p r o p e r t i e s , s u c h a s g r o u p i n g u n d e r t h e s a m e u s e r I D . L e t p
s e s s i o n
b e a p r e d i c a t e g r o u p i n g
t h e a u d i t r e c o r d s i n a n a u d i t s e s s i o n a n d I = f F
1
= f
1
; : : : ; F
m
= f
m
g a f r e q u e n t i t e m s e t f o r
t h e a u d i t s e s s i o n . T h e n a c o r r e s p o n d i n g p r o l e s t a t e m e n t i n r u l e - b a s e d f o r m a t i s
p
s e s s i o n
! F
1
= f
1
: : : F
m
= f
m
:
T h e w o r k i n g s c o p e s o f u s e r s a r e s e t s o f a t t r i b u t e s t h a t a r e o f t e n r e f e r e n c e d t o g e t h e r w i t h c e r t a i n
t y p i c a l v a l u e s . T h e r e f o r e , s e t s o f f e a t u r e v a l u e p a i r s c a n n i c e l y r e p r e s e n t t h e w o r k i n g s c o p e s
o f u s e r s . I t s h o u l d b e m e n t i o n e d t h a t f r e q u e n t i t e m s e t s a r e a b e t t e r r e p r e s e n t a t i o n f o r w o r k i n g
s c o p e s t h a n c l u s t e r s s i n c e o b j e c t s i n c l u s t e r s a r e n o t t a g g e d w i t h v a l u e s . F u r t h e r m o r e , i t i s
m o r e a p p r o p r i a t e t o u s e f r e q u e n t i t e m s e t s t o d e s c r i b e w o r k i n g s c o p e s t h a n t o u s e a s s o c i a t i o n
r u l e s A S 9 4 s i n c e t h e r e i s n o c a u s a l r e l a t i o n s h i p i n t h e a c c e s s o f a t t r i b u t e s i n q u e r i e s . A l t h o u g h
t h e p r o l e s f o r f r e q u e n t i t e m s e t s a r e t r a n s f o r m e d t o r u l e s b y t h e p r e d i c a t e d e s c r i b i n g t h e a u d i t
s e s s i o n , t h e w o r k i n g s c o p e s o f u s e r s a r e r e p r e s e n t e d b y s e t s o f f e a t u r e v a l u e p a i r s .
F r e q u e n t i t e m s e t s t h a t a r e s u b s e t s o f o t h e r f r e q u e n t i t e m s e t s r e p r e s e n t t h e s a m e w o r k i n g s c o p e s .
T h e r e f o r e , w e a r e i n t e r e s t e d i n d i s c o v e r i n g m i n i m a l f r e q u e n t i t e m s e t s t h a t c o v e r s m a l l e r f r e q u e n t
i t e m s e t s .
D e n i t i o n 3 . 7 M i n i m a l F r e q u e n t I t e m s e t
G i v e n a s e t I = f I
1
; : : : ; I
n
g o f f r e q u e n t i t e m s e t s i n a n a u d i t s e s s i o n A u d i t S . A f r e q u e n t i t e m s e t
I 2 I i s a m i n i m a l f r e q u e n t i t e m s e t i n A u d i t S i f t h e r e i s n o o t h e r f r e q u e n t i t e m s e t I
0
2 I s u c h
t h a t I I
0
.
E x a m p l e 3 . 8 S u p p o s e w e h a v e a s e t o f f r e q u e n t i t e m s e t s I = f I ; I
0
g f o r a u d i t s e s s i o n A u d i t S
w h e r e
I = f q u e r y T y p e = ' s e l e c t ' , t . a m o u n t = 1 , t . c r e d i t S I D = 1 g
I
0
= f q u e r y T y p e = ' s e l e c t ' , t . a m o u n t = 1 , t . c r e d i t S I D = 1 , t . d e b i t S I D = 1 , c . c u s t N a m e = 1 g .
I i s n o t a m i n i m a l f r e q u e n t i t e m s e t i n I f o r A u d i t S b e c a u s e I
0
i s a s u p e r s e t o f I . I
0
i s a m i n i m a l
f r e q u e n t i t e m s e t i n I f o r A u d i t S .
F r e q u e n t i t e m s e t s a r e e v a l u a t e d b y s o m e i n t e r e s t i n g m e a s u r e s , s u c h a s m i n i m a l i t y . I t i s i m p o r -
t a n t t h a t a l l f r e q u e n t i t e m s e t s s a t i s f y i n g t h i s m e a s u r e a r e d i s c o v e r e d . T h e r e f o r e , w e i n t r o d u c e
t h e n o t i o n o f c o m p l e t e n e s s .
1 0
8/11/2019 Misuse IFIP99
11/18
D e n i t i o n 3 . 9 C o m p l e t e n e s s
A s e t o f f r e q u e n t i t e m s e t s I i s c o m p l e t e i n a n a u d i t s e s s i o n A u d i t S i f I c o n t a i n s a l l m i n i m a l
f r e q u e n t i t e m s e t i n A u d i t S .
W e d e s c r i b e d o u r c o n j e c t u r e o n t h e a c c e s s p a t t e r n s o f u s e r s w h i c h f o r m s o m e w o r k i n g s c o p e s ,
a n d d i s c u s s e d h o w w e c a n r e p r e s e n t t h e s e w o r k i n g s c o p e s b y d i s t a n c e m e a s u r e s a n d f r e q u e n t
i t e m s e t s . W e h a v e a l s o i n t r o d u c e d t h e n o t i o n o f m i n i m a l i t y a n d c o m p l e t e n e s s t o e v a l u a t e t h e
f r e q u e n t i t e m s e t s d i s c o v e r e d b y t h e P r o l e r . I n t h e n e x t s e c t i o n , a d a t a m i n i n g a l g o r i t h m t o
d i s c o v e r a l l m i n i m a l f r e q u e n t i t e m s e t s f r o m a u d i t l o g s i s p r e s e n t e d .
4 F r e q u e n t I t e m s e t s P r o l e r
I n t h i s s e c t i o n , w e p r e s e n t a d a t a m i n i n g a l g o r i t h m f o r t h e F r e q u e n t I t e m s e t P r o l e r t o d i s c o v e r
t h e f r e q u e n t i t e m s e t s f r o m a n a u d i t s e s s i o n . T h e a l g o r i t h m i s t i g h t l y i n t e g r a t e d w i t h t h e
d a t a b a s e s y s t e m b y s t o r i n g t h e d a t a i n t a b l e s a n d b y u s i n g S Q L q u e r i e s t o t a k e a d v a n t a g e o f
t h e q u e r y p r o c e s s i n g c a p a b i l i t i e s o f t h e D B M S .
W e r s t d e s c r i b e t h e d a t a s t r u c t u r e s a n d i n p u t t o t h e P r o l e r b e f o r e p r e s e n t i n g t h e a l g o r i t h m .
W e e s t a b l i s h s e v e r a l c r i t e r i a f o r a n e v a l u a t i o n o f a P r o l e r a n d s h o w t h a t t h o s e c r i t e r i a a r e
s a t i s e d b y t h e p r o p o s e d P r o l e r .
4 . 1 D a t a S t r u c t u r e s
W e a s s u m e t h a t d a t a a b o u t a u d i t s e s s i o n s a r e s t o r e d i n a t a b l e c a l l e d S e s s i o n = h T I D ; f e a t u r e ;
f v a l u e i . E a c h a u d i t r e c o r d i s a s s i g n e d a u n i q u e T I D . f e a t u r e a n d f v a l u e s t o r e t h e f e a -
t u r e v a l u e p a i r o f a n a u d i t r e c o r d .
W e u s e t h e t a b l e s F = h F I I D ; A ; A V a l i a n d F M a s t e r = h F I I D ; s u p ; d i s t i t o s t o r e t h e i t e m s e t s .
E a c h i t e m s e t i s a s s i g n e d a u n i q u e F I I D . A ; A V a l c o r r e s p o n d t o t h e f e a t u r e v a l u e p a i r o f a n
i t e m s e t . s u p ; d i s t a r e t h e s u p p o r t a n d d i s t a n c e m e a s u r e o f t h e i t e m s e t s . W e u s e a s e p a r a t e
t a b l e F M a s t e r t o s t o r e t h e s u p p o r t a n d d i s t a n c e m e a s u r e o f i t e m s e t s b e c a u s e i t i s n o t d e s i r a b l e
t o r e p e a t t h e m f o r e a c h i t e m i n a n i t e m s e t .
T h e t a b l e L
k
= h s u p ; A
1
; A
1
: V a l ; : : : ; A
k
; A
k
: V a l i s t o r e s t h e i t e m s e t s f A
1
= A
1
: V a l ; : : : ; A
k
=
A
k
: V a l g w i t h s u p p o r t s u p T h r e s h o l d . T a b l e s L
1
; : : : ; L
n
w h e r e n i s t h e t o t a l n u m b e r o f
a t t r i b u t e s i n t h e d a t a b a s e s c h e m a a r e u s e d t o d i s c o v e r a l l i t e m s e t s w i t h a s u c i e n t s u p p o r t .
A s d e s c r i b e d l a t e r , L
k
i s d e r i v e d f r o m L
k , 1
a n d h e n c e w e o n l y n e e d t o u s e t w o t a b l e s . H o w e v e r ,
t h i s m e t h o d i s n o t d e s c r i b e d i n t h e a l g o r i t h m f o r t h e s a k e o f c l e a r i l l u s t r a t i o n .
E x a m p l e 4 . 1 T a b l e S e s s i o n s t o r e s a u d i t r e c o r d s :
q u e r y T y p e = ' s e l e c t ' , t . T I D = 1 , t . a m o u n t = 1 , t . d e b i t S I D = 1 , t . c r e d i t S I D = 0 w i t h T I D = 1
q u e r y T y p e = ' s e l e c t ' , t . T I D = 1 , t . a m o u n t = 0 , t . d e b i t S I D = 0 , t . c r e d i t S I D = 1 w i t h T I D = 2
T a b l e s F a n d F M a s t e r s t o r e i t e m s e t s :
f q u e r y T y p e = ' s e l e c t ' , t . T I D = 1 , t . a m o u n t = 1 , t . d e b i t S I D = 1 g 1 0 0 , 0 . 1 ,
f q u e r y T y p e = ' s e l e c t ' , c . i n c o m e . V a l = ' h i g h ' , c c . C C I D = 1 g 5 0 , 0 . 2
1 1
8/11/2019 Misuse IFIP99
12/18
T a b l e S e s s i o n
T I D F e a t u r e F v a l u e
1 q u e r y T y p e ' s e l e c t '
1 t . T I D 1
1 t . a m o u n t 1
1 t . d e b i t S I D 1
1 t . c r e d i t S I D 0
1 q u e r y T y p e ' s e l e c t '
1 t . T I D 1
1 t . a m o u n t 0
1 t . d e b i t S I D 0
1 t . c r e d i t S I D 1
T a b l e F
F I I D A A V a l
4 - 1 q u e r y T y p e ' s e l e c t '
4 - 1 t . T I D 1
4 - 1 t . a m o u n t 1
4 - 1 t . d e b i t S I D 1
3 - 1 q u e r y T y p e ' s e l e c t '
3 - 1 c . i n c o m e . V a l ' h i g h '
3 - 1 c c . C C I D 1
T a b l e F M a s t e r
F I I D s u p d i s t
4 - 1 1 0 0 0 . 1
3 - 1 5 0 0 . 2
I n t h e c u r r e n t p r o t o t y p e o f D E M I D S , w e u s e t h e O r a c l e 8 s e r v e r O r a 9 7 a s o u r u n d e r l y i n g
D B M S t o s t o r e a n d p r o c e s s t h e a u d i t d a t a .
4 . 2 A l g o r i t h m
T h e a l g o r i t h m t o d i s c o v e r a l l m i n i m a l f r e q u e n t i t e m s e t s i n a n a u d i t s e s s i o n i s d i v i d e d i n t o f o u r
s t e p s :
S t e p 1 : D e r i v e t a b l e s L
1
; : : : ; L
n
w h e r e n i s t h e t o t a l n u m b e r o f a t t r i b u t e s i n t h e d a t a b a s e
s c h e m a . I n s e r t a l l i t e m s e t s i n L
1
; : : : ; L
n
i n t o F .
S t e p 2 : C o m p u t e d i s t a n c e m e a s u r e f o r i t e m s e t s i n F . S t o r e t h e m i n F M a s t e r
S t e p 3 : P r u n e f r e q u e n t i t e m s e t s i n F w i t h d i s t a n c e m e a s u r e d i s t T h r e s h o l d .
S t e p 4 : P r u n e n o n - m i n i m a l f r e q u e n t i t e m s e t s i n F . U p d a t e F M a s t e r a c c o r d i n g l y .
S t e p 1
I n i t i a l i z a t i o n F ; F M a s t e r ;
f o r k = 1 ; k n ; k + +
L
k
;
G e n e r a t e L
k
f r o m L
k , 1
i n s e r t i n t o L
k
s e l e c t c o u n t u n i q u e R
1
. T I D a s c o u n t ,
c o m . A
1
, c o m . A
1
V a l ,
: : :
c o m . A
k
, c o m . A
k
V a l
f r o m s e l e c t o n e . A
1
a s A
1
, o n e . A
1
V a l a s A
1
V a l ;
: : :
o n e . A
k , 1
a s A
k , 1
, o n e . A
k , 1
V a l a s A
k , 1
V a l
t w o . A
k , 1
a s A
k
, t w o . A
k , 1
V a l a s A
k
V a l
1 2
8/11/2019 Misuse IFIP99
13/18
f r o m L
k , 1
o n e , L
k , 1
t w o
w h e r e o n e . A
1
= t w o . A
1
: : :
o n e . A
k , 2
= t w o . A
k , 2
o n e . A
k , 1
t w o . A
k , 1
c o m ,
s e l e c t * f r o m S e s s i o n R
1
;
: : :
s e l e c t * f r o m S e s s i o n R
k
w h e r e R
1
. T I D = R
2
. T I D : : : R
k , 1
. T I D = R
k
. T I D
R
1
. f e a t u r e = c o m . A
1
R
1
. f v a l u e = c o m . A
1
V a l
: : :
R
k
. f e a t u r e = c o m . A
k
R
k
. f v a l u e = c o m . A
k
V a l
c o u n t s u p T h r e s h o l d
I n s e r t a l l t u p l e s o f L
k
i n t o F
F F
S
s e l e c t A
1
; A
1
V a l , : : : ; A
k
; A
k
V a l , c o u n t f r o m L
k
S t e p 2
E n u m e r a t e a l l i t e m s e t s i n F
f o r e a c h t u p l e t i n s e l e c t u n i q u e F I I D f r o m F
F i n d a l l i t e m s o f t h i s i t e m s e t
S ' s e l e c t A ; A v a l f r o m F
w h e r e F . F I I D = t . F I I D
C o m p u t s u p p o r t a n d d i s t a n c e m e a s u r e f o r t h i s i t e m s e t
s u p p o r t s e l e c t s u p f r o m L
k
w h e r e
V
t
0
2 S
0
f A
i
= t ' . A A
i
V a l = t ' . A v a l g
d i s t a n c e c o m p u t e D i s t a n c e S
0
I n s e r t t h i s i t e m s e t i n t o F i f i t i s a f r e q u e n t i t e m s e t
i f d i s t a n c e d i s t T h r e s h o l d
i n s e r t i n t o F M a s t e r v a l u e s t . F I I D , s u p p o r t , d i s t a n c e
c o m p u t e D i s t a n c e S i s a f u n c t i o n t h a t c o m p u t e s t h e d i s t a n c e m e a s u r e b e t w e e n a s e t o f a t -
t r i b u t e s s t o r e d i n t a b l e S .
S t e p 3
D e l e t e i t e m s e t s t h a t a r e n o t f r e q u e n t i t e m s e t s
d e l e t e f r o m F
w h e r e F I I D n o t i n s e l e c t F I I D f r o m F M a s t e r
S t e p 4
D e l e t e i t e m s e t s i n F t h a t a r e s u b s e t o f o t h e r s
d e l e t e f r o m F
w h e r e F I I D = a n y
T a b l e o n e s t o r e s a l l i t e m s e t s t h a t a r e s u b s e t s o f o t h e r s
s e l e c t o n e . F I I D
1 3
8/11/2019 Misuse IFIP99
14/18
f r o m F o n e , F t w o
w h e r e o n e . F I I D t w o . F I I D a n d o n e . A = t w o . A a n d o n e . A V a l = t w o . A V a l
g r o u p b y o n e . F I I D , t w o . F I I D
h a v i n g c o u n t o n e . F I I D =
s e l e c t c o u n t * f r o m F w h e r e F I I D = o n e . F I I D
U p d a t e F M a s t e r a c c o r d i n g l y
d e l e t e f r o m F M a s t e r w h e r e F I I D n o t i n s e l e c t F I I D f r o m F
4 . 3 A n a l y s i s
L e t I b e t h e s e t o f i t e m s e t s d i s c o v e r e d b y t h e a l g o r i t h m f o r a n a u d i t s e s s i o n A u d i t S . W e
c l a i m t h a t t h e a l g o r i t h m i s c o r r e c t , i . e . a l l i t e m s e t s i n I a r e f r e q u e n t i t e m s e t s , t h a t t h e i t e m s e t s
d i s c o v e r e d a r e m i n i m a l , a n d t h a t I i s c o m p l e t e i n A u d i t S .
T h e o r e m 4 . 2 C o r r e c t n e s s
A l l i t e m s e t s i n I a r e f r e q u e n t i t e m s e t s . T h a t i s , f o r e a c h i t e m s e t I 2 I , t h e f o l l o w i n g t w o
c o n d i t i o n s h o l d
a s u p p o r t I ; A u d i t S s u p T h r e s h o l d , a n d
b D i s t I d i s t T h r e s h o l d .
A s s h o w n i n A S 9 4 , i t e m s e t s o f s i z e k w i t h h i g h e n o u g h s u p p o r t c a n b e d i s c o v e r e d f r o m
t a b l e L
k , 1
b e c a u s e s u b s e t s o f i t e m s e t s w i t h s u p p o r t s u p T h r e s h o l d a l s o h a v e s u p p o r t
s u p T h r e s h o l d . T h e r e f o r e , a l l i t e m s e t s w i t h h i g h e n o u g h s u p p o r t a r e i n s e r t e d i n t o F i n S t e p 1 .
S i n c e i t e m s e t s a r e i n s e r t e d i n t o F i n S t e p 1 o n l y , t h e y s a t i s f y c o n d i t i o n a . I t e m s e t s t h a t a r e
n o t t i g h t e n o u g h , i . e . w i t h a t o o l a r g e d i s t a n c e m e a s u r e , a r e p r u n e d i n S t e p 3 . O n c e a n i t e m s e t
i s d e l e t e d , i t i s n e v e r i n s e r t e d a g a i n . T h u s , t h e y a l s o s a t i s f y c o n d i t i o n b .
T h e o r e m 4 . 3 M i n i m a l i t y
A l l i t e m s e t s i n I a r e m i n i m a l f r e q u e n t i t e m s e t s f o r A u d i t S , t h a t i s , t h e r e a r e n o t w o i t e m s e t
I ; I
0
2 I s u c h t h a t I 6= I
0
a n d I I
0
.
T h i s p r o p e r t y h o l d s b e c a u s e a l l i t e m s e t s t h a t a r e n o t m i n i m a l a r e p r u n e d i n S t e p 3 o f t h e
a l g o r i t h m . O n c e a n i t e m s e t i s d e l e t e d , i t i s n e v e r i n s e r t e d a g a i n . H e n c e a l l i t e m s e t s l e f t a r e
m i n i m a l .
C o r o l l a r y 4 . 4 : 9 I
i
; I
j
; I
k
2 I s u c h t h a t I
k
= I
i
I
j
.
T h e o r e m 4 . 5 C o m p l e t e n e s s
T h e s e t I o f i t e m s e t s i s c o m p l e t e f o r A u d i t S , t h a t i s , I c o m p r i s e s a l l m i n i m a l f r e q u e n t i t e m s e t
f r o m A u d i t S .
T h e s e t o f i t e m s e t s d i s c o v e r e d i s c o m p l e t e i n t h e a u d i t s e s s i o n b e c a u s e , a s a f o r e m e n t i o n e d , a l l
c a n d i d a t e i t e m s e t s w i t h h i g h e n o u g h s u p p o r t a r e i n s e r t e d i n t o F i n S t e p 1 , a n d a n i t e m s e t i s
d e l e t e d f r o m F o n l y i f i t i s n o t a f r e q u e n t i t e m s e t S t e p 3 o r i f i t i s n o t m i n i m a l S t e p 4 .
1 4
8/11/2019 Misuse IFIP99
15/18
5 D i s c u s s i o n
5 . 1 C o m p a r i s o n
O u r F r e q u e n t I t e m s e t s P r o l e r i s a n o v e l a p p r o a c h f o r d e r i v i n g u s e r p r o l e s . A S 9 4 p r o p o s e d
t h e c o n c e p t o f a s s o c i a t i o n r u l e s t o r e p r e s e n t p r o l e s o f u s e r s . A l g o r i t h m s b a s e d o n a s s o c i a t i o n
r u l e s a t t e m p t t o d i s c o v e r t h e c a u s a l r e l a t i o n s h i p s a m o n g i t e m s i n t r a n s a c t i o n s w h i c h , i n o u r
c a s e w o u l d b e a u d i t s e s s i o n s . H o w e v e r , a s s o c i a t i o n r u l e s a r e i n a p p r o p r i a t e t o r e p r e s e n t t h e
w o r k i n g s c o p e s o f u s e r s i n d a t a b a s e s y s t e m s b e c a u s e t h e r e i s n o s u c h c a u s a l r e l a t i o n s h i p i n t h e
a c c e s s p a t t e r n s o f a t t r i b u t e s i n a q u e r y . P o s t - p r o c e s s i n g i s n e c e s s a r y t o p r u n e t h o s e a s s o c i a t i o n
r u l e s t h a t r e p r e s e n t t h e s a m e w o r k i n g s c o p e . U n l i k e a s s o c i a t i o n r u l e s a l g o r i t h m s , o u r F r e q u e n t
I t e m s e t s P r o l e r a v o i d s d i s c o v e r i n g r e d u n d a n t r u l e s t h a t r e p r e s e n t t h e s a m e w o r k i n g s c o p e s
s i n c e f r e q u e n t i t e m s e t s a r e s e t s o f f e a t u r e v a l u e p a i r s .
A n o t h e r r e l a t e d a p p r o a c h , t h e c l u s t e r i n g a p p r o a c h E v e 7 3 , d i s c o v e r s s e t s o f o b j e c t s , s o - c a l l e d
c l u s t e r s , t h a t a r e c l o s e u n d e r a c e r t a i n d i s t a n c e m e a s u r e . H o w e v e r , t h e s e t o f o b j e c t s d i s c o v e r e d
a r e n o t t a g g e d w i t h v a l u e s a n d h e n c e c l u s t e r s c a n n o t r e p r e s e n t t y p i c a l v a l u e s o f f e a t u r e s i n
w o r k i n g s c o p e s . I n a d d i t i o n , m o s t c l u s t e r i n g a l g o r i t h m s a r e n o t s c a l a b l e t o t h e s i z e o f t h e d a t a .
U n l i k e c l u s t e r i n g a l g o r i t h m s , o u r F r e q u e n t I t e m s e t s P r o l e r d i s c o v e r s f r e q u e n t i t e m s e t s b y u s i n g
t h e d a t a p r o c e s s i n g c a p a b i l i t y o f t h e D B M S a n d h e n c e i s s c a l a b l e t o t h e s i z e o f a u d i t d a t a .
T h e a l g o r i t h m t o d i s c o v e r f r e q u e n t i t e m s e t s e x h i b i t s s i m i l a r f e a t u r e s a s h i e r a r c h i c a l c l u s t e r i n g
a l g o r i t h m , w h i c h i s i l l u s t r a t e d b y C o r o l l a r y 4 . 4 . H i e r a r c h i c a l c l u s t e r i n g a l g o r i t h m s c o n t i n u o u s l y
m e r g e s m a l l e r s e t s o f o b j e c t s i n t o l a r g e r c l u s t e r s s t e p b y s t e p . O u r a l g o r i t h m t a k e s a d v a n t a g e
o f t h e d a t a p r o c e s s i n g p o w e r o f D B M S b y p r u n i n g n o n - m i n i m a l f r e q u e n t i t e m s e t s i n o n e d e l e t e
q u e r y .
M o r e i m p o r t a n t l y , w e u s e t h e n o t i o n o f d i s t a n c e m e a s u r e t o c a p t u r e t h e d o m a i n k n o w l e d g e
e n c o d e d i n a d a t a b a s e s c h e m a , a n d t o g u i d e t h e s e a r c h o f i n t e r e s t i n g f r e q u e n t i t e m s e t s . S i n c e
c o n s e c u t i v e q u e r i e s m a y c o r r e s p o n d t o s i m i l a r t a s k s , t h e y c a n b e a g g r e g a t e d t o g e t h e r . F o r
e x a m p l e , c o n s e c u t i v e a u d i t r e c o r d s o f t h e s a m e q u e r y t y p e w i t h i n a c e r t a i n t i m e w i n d o w c a n
b e a g g r e g a t e d i n t o o n e a u d i t r e c o r d . T h e n o t i o n o f d i s t a n c e m e a s u r e t h e n w o u l d b e u s e f u l i n
i d e n t i f y i n g s e t s o f a t t r i b u t e s t h a t c o r r e s p o n d t o t h e w o r k i n g s c o p e s o f u s e r s f o r t h e s e q u e r i e s .
5 . 2 S c e n a r i o s
H e r e w e g i v e t w o s c e n a r i o s t o i l l u s t r a t e t h e e e c t i v e n e s s o f o u r F r e q u e n t I t e m s e t s P r o l e r . W e
u s e t h e e x a m p l e d e s c r i b e d i n S e c t i o n 3 . 1 . S u p p o s e u s e r T e l l e r i s s u e s t h e i n s e r t q u e r y o f t e n
e n o u g h d u r i n g t h e t r a i n i n g s t a g e . A c o r r e s p o n d i n g f r e q u e n t i t e m s e t d i s c o v e r e d f o r T e l l e r
w o u l d b e :
I
N o r m a l
= f q u e r y T y p e =
0
i n s e r t
0
; r e l a t i o n =
0
t r a n s a c t i o n
0
g
S c e n a r i o 1 : I n t h e r s t s c e n a r i o , s u p p o s e i n a n a u d i t s e s s i o n , T e l l e r m i s u s e s h i s p r i v i l e g e s t o
s t e a l c r e d i t c a r d i n f o r m a t i o n a b o u t t h e c u s t o m e r s b y i s s u i n g t h e q u e r y
s e l e c t c c I D , e x p D a t e , C . c u s t N a m e
f r o m C r e d i t C a r d C C , o w n O , C u s t o m e r C
w h e r e C . C I D = O . C I D a n d O . C I D = C C . C I D
1 5
8/11/2019 Misuse IFIP99
16/18
A c o r r e s p o n d i n g f r e q u e n t i t e m s e t d i s c o v e r e d b y D E M I D S t h e w o u l d b e
I
M i s u s e 1
= f q u e r y T y p e = ' s e l e c t ' , c c . C I D = 1 , o . C I D = 1 , c . C I D = 1 , c c . C C I D = 1 , c c . e x p D a t e = 1 g
T h i s c h a n g e o f i n t e r e s t o f T e l l e r a t t h e s c h e m a l e v e l i s i l l u s t r a t e d b y t h e d i e r e n c e b e t w e e n
t h e s e t o f a t t r i b u t e s o c c u r i n g i n t h e f r e q u e n t i t e m s e t I
M i s u s e 1
a n d t h a t i n I
N o r m a l
.
I t i s w o r t h m e n t i o n i n g t h a t s u p T h r e s h o l d c a n b e s e t t o a h i g h e r l e v e l d u r i n g t h e t r a i n i n g s t a g e
s o t h a t o n l y f r e q u e n t i t e m s e t s c o r r e s p o n d i n g t o t y p i c a l u s e r b e h a v i o r a r e d i s c o v e r e d . I n c a s e u s e r
T e l l e r o n l y i s s u e s t h e m i s u s e q u e r y i n f r e q u e n t l y a n d t h e d e t e c t i o n o f s u c h a b u s e i s r e q u i r e d ,
t h e t h r e s h o l d c a n b e l o w e r e d d u r i n g t h e m o n i t o r i n g s t a g e t o d e t e c t t h o s e i n f r e q u e n t q u e r i e s .
M i s m a t c h o f t h i s o u t l i n e r b e h a v i o r a g a i n s t t h e t y p i c a l b e h a v i o r d e t e c t e d b y t h e D e t e c t o r c a n
t r i g g e r a l a r m t o t h e S S O .
S c e n a r i o 2 : T h e s e c o n d s c e n a r i o i n v o l v e s a n e r l e v e l o f g r a n u l a r i t y o f m i s u s e . S u p p o s e T e l l e r
d o e s n o t c h a n g e t h e s e t o f a t t r i b u t e s h e u s u a l l y r e f e r e n c e s . H e t r i e s t o t r a n s f e r m o n e y f r o m
o t h e r a c c o u n t s t o h i s a c c o u n t b a d A c c o u n t i l l e g a l l y b y i s s u i n g t h e f o l l o w i n g q u e r y v e r y o f t e n i n
a n a u d i t s e s s i o n :
i n s e r t i n t o t r a n s a c t i o n v a l u e s T I D , a m o u n t , d e b i t S I D , b a d A c c o u n t
5
A f r e q u e n t i t e m s e t d i s c o v e r e d b y t h e P r o l e r c a n b e :
I
M i s u s e 2
= f q u e r y T y p e =
0
i n s e r t
0
; r e l a t i o n =
0
t r a n s a c t i o n
0
; t r a n s a c t i o n : c r e d i t S I D : n e w V a l =
0
b a d A c c o u n t
0
g
F r e q u e n t i t e m s e t I
M i s u s e 2
c o n s i s t s o f t h e s a m e s e t o f a t t r i b u t e s a s f r e q u e n t i t e m s e t I
N o r m a l
.
B u t t h e r e i s a n a d d i t i o n a l p i e c e o f i n f o r m a t i o n - t h e c r e d i t a c c o u n t i s o f t e n b a d A c c o u n t . T h i s
r e p r e s e n t s a c h a n g e o f i n t e r e s t o f T e l l e r a t t h e t u p l e l e v e l , w h i c h a g a i n c a n t r i g g e r a l a r m .
6 C o n c l u s i o n s a n d F u t u r e W o r k
I n t h i s p a p e r w e h a v e p r e s e n t e d t h e c o n c e p t s a n d a r c h i t e c t u r e u n d e r l y i n g D E M I D S , a m i s u s e
d e t e c t i o n s y s t e m f o r r e l a t i o n a l d a t a b a s e s y s t e m s . D E M I D S p r o v i d e s s e c u r i t y o c e r s a m e a n s
t o d e r i v e u s e r p r o l e s f r o m a u d i t l o g s r e c o r d i n g v a r i o u s f e a t u r e s o f a c c e s s e s t o t h e d a t a b a s e s
s y s t e m t h r o u g h u s e r s a n d a p p l i c a t i o n s . T h e d e r i v e d u s e r p r o l e s d e s c r i b e t h e t y p i c a l u s e r
b e h a v i o r i n t e r m s o f t y p i c a l a c c e s s p a t t e r n s a g a i n s t c e r t a i n i n f o r m a t i o n s t r u c t u r e s r e l a t i o n s ,
a t t r i b u t e s , a n d d a t a o f a d a t a b a s e . D e r i v e d p r o l e s p r o v i d e a s e c u r i t y o c e r w i t h a m e a n s
n o t o n l y t o v e r i f y r e n e e x i s t i n g s e c u r i t y p o l i c i e s , b u t a l s o t o e s t a b l i s h s e c u r i t y p o l i c i e s a s p a r t
o f t h e s e c u r i t y r e - e n g i n e e r i n g o f a g i v e n d a t a b a s e s y s t e m .
I n p a r t i c u l a r , D E M I D S c o n s i d e r s t h e d a t a s t r u c t u r e a n d s e m a n t i c s s p e c i e d i n t h e d a t a b a s e
s c h e m a t h r o u g h t h e n o t i o n o f d i s t a n c e m e a s u r e . S u c h d o m a i n k n o w l e d g e i s u s e d t o g u i d e t h e
F r e q u e n t I t e m s e t s P r o l e r t o s e a r c h f o r f r e q u e n t i t e m s e t s w h i c h c a n e e c t i v e l y r e p r e s e n t t h e
w o r k i n g s c o p e s o f u s e r s . O u r F r e q u e n t I t e m s e t s P r o l e r i s c a p a b l e o f d i s c o v e r i n g a l l t h o s e
m i n i m a l f r e q u e n t i t e m s e t s i n a u d i t s e s s i o n s b y t a k i n g a d v a n t a g e o f t h e q u e r y p r o c e s s i n g p o w e r
o f t h e D B M S . W e h a v e i l l u s t r a t e d t h e e e c t i v e n e s s o f o u r F r e q u e n t I t e m s e t s P r o l e r i n d e t e c t i n g
m i s u s e b y s e v e r a l s c e n a r i o s .
5
T I D ; a m o u n t ; d e b i t S I D a r e v a r i a b l e s
1 6
8/11/2019 Misuse IFIP99
17/18
W e h a v e c o n d u c t e d a n e v a l u a t i o n o f o u r F r e q u e n t I t e m s e t s P r o l e r b a s e d o n s y n t h e s i z e d d a t a .
W e a r e i n t h e p r o c e s s o f a c q u i r i n g m e d i c a l a n d n a n c i a l d a t a a s w e l l a s u n d e r l y i n g d a t a b a s e
s c h e m a s a n d a s s o c i a t e d a p p l i c a t i o n s t o c o n d u c t f u r t h e r a n a l y s i s a n d w o u l d l i k e t o c o n d u c t
a n a l y t i c a l a n a l y s i s o n t h e p e r f o r m a n c e o f t h e P r o l e r . E e c t i v e n e s s o f t h e D e t e c t o r c a n b e
e v a l u a t e d b y a s k i n g a u s e r k n o w i n g t h e s e c u r i t y p o l i c i e s t o a t t e m p t t o d e f e a t t h e s y s t e m b y
a c q u i r i n g a t r e a s u r e b u r i e d i n t h e d a t a b a s e .
O n e o f o u r f u t u r e r e s e a r c h d i r e c t i o n s i s t o i n v e s t i g a t e o t h e r m e a n s t o d e n e t h e n o t i o n o f
d i s t a n c e m e a s u r e , s u c h a s d e n i n g d i s t a n c e m e a s u r e s a m o n g a t t r i b u t e v a l u e s , a n d u s i n g a
d i e r e n t f o r m u l a t i o n o t h e r t h a n t h e l i n e a r r e l a t i o n s h i p s e n c o d e d i n f o r e i g n k e y d e p e n d e n c i e s .
W e a r e a l s o i n t e r e s t e d i n c o n s i d e r i n g o t h e r d o m a i n k n o w l e d g e t o g u i d e t h e d i s c o v e r y o f p r o l e s .
G r o u p s o f v a l u e s f o r f e a t u r e s c a n b e r e p l a c e d b y s o m e o t h e r v a l u e s o f h i g h e r l e v e l o f a b s t r a c t i o n .
F o r i n s t a n c e , s c o r e s o f r a n g e 1 0 - 2 0 , 2 0 - 5 0 , 5 0 - 9 0 , 9 0 - 1 0 0 c a n b e r e p l a c e d b y ' v e r y l o w ' , ' l o w ' ,
' h i g h ' , ' v e r y h i g h ' r e s p e c t i v e l y . I n t r o d u c i n g a c e r t a i n d e g r e e o f i m p r e c i s i o n t o t h e f e a t u r e v a l u e s
h e l p s t o r e v e a l r e g u l a r i t i e s i n t h e d a t a . S u c h c l a s s i c a t i o n c a n b e o b t a i n e d f r o m t h e S S O , o r
c a n b e d e r i v e d b y c o n s i d e r i n g t h e s t a t i s t i c a l d i s t r i b u t i o n o f f e a t u r e v a l u e s i n a n a u d i t s e s s i o n .
A n o t h e r i n t e r e s t i n g r e s e a r c h i s s u e i s t o d e r i v e p r o l e s f o r r o l e s . A u s e r m a y p e r f o r m d i e r e n t
a n d u n r e l a t e d t a s k s d u r i n g h i s h e r i n t e r a c t i o n w i t h t h e d a t a b a s e s y s t e m , b u t r o l e s a r e m o r e
c l o s e l y t i e d t o t h e f u n c t i o n s o r t a s k s p e r f o r m e d . R o l e p r o l e s m a y g i v e r i s e t o m o r e r e g u l a r
p a t t e r n s t h a n u s e r p r o l e s s i n c e f u n c t i o n s o r t a s k s o p e r a t e o n d a t a t h a t a r e r e l a t e d a n d t h e r e
i s a m o r e s t a t i c s e t o f s e q u e n c e s o f o p e r a t i o n s . T h e c h a l l e n g e i s t o i d e n t i f y p o r t i o n s o f t h e
a u d i t d a t a t h a t c o r r e s p o n d t o t h e s a m e r o l e . I f t h e r o l e s a r e n o t k n o w n t o t h e S S O b u t u s e r s
e x e c u t e s c r i p t s o n a r e g u l a r b a s i s t o p e r f o r m r o u t i n e t a s k s , t h e s c r i p t s w o u l d s e r v e t o i d e n t i f y
t h e r o l e s t h e u s e r s t a k e . I n c a s e t h a t t h e u s e r i n t e r a c t s w i t h t h e d a t a b a s e s y s t e m t h r o u g h
s o m e a p p l i c a t i o n s u c h a s f o r m s a n d r e p o r t s , t h e s e a p p l i c a t i o n s p e r f o r m w e l l - d e n e d d a t a b a s e
m o d i c a t i o n s o n b e h a l f o f t h e u s e r , a n d t h u s c a n b e t h e b a s i c u n i t s t o i d e n t i f y t h e r o l e s .
R e f e r e n c e s
A S 9 4 R a k e s h A g r a w a l a n d R a m a k r i s h n a n S r i k a n t . F a s t a l g o r i t h m s f o r m i n i n g a s s o c i a t i o n
r u l e s . I n J o r g e e s h B o c c a , M a t t h i a s J a r k e , a n d C a r l o Z a n i o l o , e d i t o r s , P r o c e e d i n g s
o f t h e 2 0 t h V L D B C o n f e r e n c e , 4 8 7 4 9 9 , 1 9 9 4 . M o r g a n K a u f m a n n P u b l i s h e r s .
B i b 7 7 K . J . B i b a . I n t e g r i t y c o n s i d e r a t i o n s f o r s e c u r e c o m p u t e r s y s t e m s . T e c h n i c a l R e p o r t
E S D - T R - 7 6 - 3 7 2 , M I T R E C o r p . , R e d f o r d , M A , 1 9 7 7 .
B L P 7 3 D . E . B e l l a n d L . J . L a P a d u l a . S e c u r e c o m p u t e r s y s t e m s : m a t h e m a t i c a l f o u n d a -
t i o n s . T e c h n i c a l R e p o r t E S D - T R - 7 3 - 2 7 8 , M I T R E C o r p . , R e d f o r d , M A , N o v 1 9 7 3 .
C F M S 9 5 S i l v a n a C a s t a n o , M a r i a G r a z i a F u g i n i , G i a n c a r i o M a r t e l l a , a n d P i e r a n g e l a S a m a -
r a t i . D a t a b a s e S e c u r i t y . A d d i s o n - W e s l e y , 1 9 9 5 .
C K 9 6 C a r t e r a n d K a t z . C o m p u t e r c r i m e : a n e m e r g i n g c h a l l e n g e f o r l a w e n f o r c e m e n t .
F B I L a w E n f o r c e m e n t B u l l e t i n , 1 8 , D e c e m b e r 1 9 9 6 .
D e n 8 6 D o r o t h y E . D e n n i n g e t . a l . S e c u r e d i s t r i b u t e d d a t a v i e w : s e c u r i t y p o l i c y a n d
i n t e r p r e t a t i o n f o r c l a s s A 1 m u l t i l e v e l s e c u r e r e l a t i o n a l d a t a b a s e s y s t e m . T e c h n i c a l
R e p o r t A 0 0 2 , S R I I n t e r n a t i o n a l , 1 9 8 6 .
1 7
8/11/2019 Misuse IFIP99
18/18
D i o 8 1 L . C . D i o n . A c o m p l e t e p r o t e c t i o n m o d e l . I n P r o c e e d i n g e s o f t h e I E E E S y m p o s i u m
o n R e s e a r c h i n S e c u r i t y a n d P r i v a c y O A K , 4 9 5 5 , 1 9 8 1 .
E v e 7 3 B r i a n E v e r i t t . C l u s t e r A n a l y s i s . J o h n W i l e y & S o n s - N e w Y o r k , 1 9 7 3 .
F H S L 9 6 S t e p h a n i e F o r r e s t , S . A . H o f m e y r , A . S o m a y a j i , a n d T . A . L o n g s t a . A s e n s e o f
s e l f f o r u n i x p r o c e s s e s . I n P r o c e e d i n g e s o f t h e I E E E S y m p o s i u m o n R e s e a r c h i n
S e c u r i t y a n d P r i v a c y O A K , 1 2 0 1 2 8 , 1 9 9 6 .
H D L
+
9 0 L . T . H e b e r l e i n , G . V . D i a s , K . N . L e v i t t , B . M u k h e r j e e , J . W o o d , a n d D . W o l b e r .
A n e t w o r k s e c u r i t y m o n i t o r . O A K , 2 9 6 3 0 4 , 1 9 9 0 .
H R U 7 6 M i c h a e l A . H a r r i s o n , W a l t e r L . R u z z o , a n d J e r e y D . U l l m a n . P r o t e c t i o n i n o p e r -
a t i n g s y s t e m s . C o m m u n i c a t i o n s o f A C M , 1 9 8 : 4 6 1 4 7 1 , A u g u s t 1 9 7 6 .
J S 9 0 S . J a j o d i a a n d R . S a n d h u . P o l y i n s t a n t i a t i o n i n t e g r i t y i n m u l t i l e v e l r e l a t i o n s . I n
P r o c e e d i n g e s o f t h e I E E E S y m p o s i u m o n R e s e a r c h i n S e c u r i t y a n d P r i v a c y O A K ,
p a g e s 1 0 4 1 1 5 , 1 9 9 0 .
J V 9 1 H . J a v i t z a n d A . V a l d e z . T h e S R I I D E S s t a t i s t i c a l a n o m a l y d e t e c t o r . O A K , p a g e s
3 1 6 3 2 6 , 1 9 9 1 .
L S 9 8 W e n k e L e e a n d S a l v a t o r e J . S t o l f o . D a t a m i n i n g a p p r o a c h e s f o r i n t r u s i o n d e t e c t i o n .
I n P r o c e e d i n g s o f t h e 7 t h U S E N I X S e c u r i t y S y m p o s i u m S E C U R I T Y - 9 8 , p a g e s
7 9 9 4 , B e r k e l e y , J a n u a r y 2 6 2 9 1 9 9 8 . U s e n i x A s s o c i a t i o n .
O A K P r o c e e d i n g s o f t h e I E E E s y m p o s i u m o n r e s e a r c h i n s e c u r i t y a n d p r i v a c y .
O r a 9 7 O r a c l e 8 S e r v e r C o n c e p t s , R e l e a s e 8 . 0 . P a r t N o . A 5 4 6 4 3 - 0 1 , O r a c l e C o r p o r a t i o n ,
R e d w o o d C i t y , C a l i f o r n i a , 1 9 9 7 .
S C C C
+
9 6 S t u a r t S t a n i f o r d - C h e n , S t e v e n C h e u n g , R i c h a r d C r a w f o r d , M a r k D i l g e r , J e r e m y
F r a n k , J a m e s H o a g l a n d , K a r l L e v i t t , C h r i s t o p h e r W e e , R a y m o n d Y i p , a n d D a n
Z e r k l e . G r I D S - A g r a p h b a s e d i n t r u s i o n d e t e c t i o n s y s t e m f o r l a r g e n e t w o r k s . I n
P r o c e e d i n g s o f t h e 1 9 t h N a t i o n a l I n f o r m a t i o n S y s t e m s S e c u r i t y C o n f e r e n c e , 1 9 9 6 .
S C F Y 9 6 R a v i S a n d h u , E d w a r d C o y n e , H a l F e i n s t e i n , a n d C h a r l e s Y o u m a n . R o l e - b a s e d
a c c e s s c o n t r o l m o d e l s . I E E E C o m p u t e r , 2 9 2 : 3 8 4 7 , F e b r u a r y 1 9 9 6 .
S W 9 2 K . S m i t h a n d M . W i n s l e t t . E n t i t y m o d e l l i n g i n t h e M L S r e l a t i o n a l m o d e l . I n
P r o c e e d i n g s o f t h e I n t e r n a t i o n a l C o n f e r e n c e o n V e r y L a r g e D a t a B a s e s , V a n c o u v e r ,
B r i t i s h C o l u m b i a , C a n a d a , 1 9 9 2 .
V L 8 9 H . S . V a c c a r o a n d G . E . L i e p i n s . D e t e c t i o n o f a n o m a l o u s c o m p u t e r s e s s i o n a c t i v -
i t y . I n P r o c e e d i n g e s o f t h e I E E E S y m p o s i u m o n R e s e a r c h i n S e c u r i t y a n d P r i v a c y
O A K , p a g e s 2 8 0 2 8 9 , 1 9 8 9 .
W S F 7 9 C . W o o d , R . C . S u m m e r s , a n d E . B . F e r n a n d e z . A u t h o r i z a t i o n i n m u l t i l e v e l
d a t a b a s e m o d e l s . I n f o r m a t i o n S y s t e m s , 4 2 : 1 5 5 1 6 1 , 1 9 7 9 .
1 8