Data  Governance  &  Focus  Day    

Iden3fying  the  Specific  Requirements  for  Meta  Data  Management  to  Support  Your  Data  

Governance  Ini3a3ve

Dr  Troy  Delbridge  Independent  ICT  consultant  (former  Chief  Data  &  Informa8on  Officer  at  Private  Healthcare  Australia)  

What  is  ‘metadata’?  •  Metadata  is  data  that  describes  or  gives  informa7on  about  other  data.  •  It  is  informa7on  about  the  contents  and  the  context  of  your  data  is  of  

various  types,  e.g.;  –  Structural  -­‐  file  format,  size,  media  type.  Books/documents  -­‐  pages,  chapters,  

tables  of  contents,  indexes,  glossaries,  etc.,  –  Descrip-ve  -­‐  describes  an  object  for  purposes  of  discovery  and  iden7fica7on  -­‐    

such  as  author,  7tle,  subject,  etc.,  –  Administra-ve/Technical/Opera-onal  -­‐  track  how  data  is  used  -­‐  encoding  

and  processed  over  7me,  a  record  of  who  and  when  they  accessed  data,  a  log  of  issues  that  exist  with  that  data,  

–  Business  -­‐  what  data  actually  means,  and  if  it  can  be  used  in  a  par7cular  business  context  -­‐  not  sta7c,  as  extending  its  use  creates  new  meaning  and  rela7onships.(e.g.  the  rela7onship  with  reference  data  or  the  iden7ty  of  a  master  en7ty  and  its  rela7onship  to  the  current  data.  

•  Some  metadata  is  not  about  actual  data,  but  is  about  analy7cal  models  and  their  components,  visualiza7ons,  and  any  assump7ons  used.  

Defini7ons  of  Metadata  

Adapted  from  Baca  ed.  (2008)    –  Intro’  to  Metadata  

Examples  •  Documents,  spreadsheets,  mul7media,  (videos,  images,  web-­‐pages),  

emails,  voice  calls/messages,  databases,  etc.  –  e.g.  the  ‘Proper7es’  tables  of  MS  Office  docs,  Data(base)  Dic7onaries,  Glossaries,  

etc.  •  In  the  pre-­‐computer  era  -­‐  book  classifica7on  and  cataloguing    systems;  

–  Dewey  Decimal  Classifica7on  (1876),  Lib.  Of  Congress  (1897),  etc.  •  Typically  a  glossary  or  data  dic7onary  for  a  database.  

–  These  can  oZen  be  just  Excel  spreadsheets  or  Word  documents.  •  Electronic  document  &records  management  systems  (EDRMS),  XML  

Schemas,  etc.  

•  Mul7ple  different  metadata  standards  exist.  –  An  good  example  in  healthcare;  METeOR  (the  metadata  registry  for  health  &  welfare).  

Metadata  entry  table  -­‐  Word  document  

METeOR  metadata  informa7on  types  

Source:  AIHW  2016  

Why  you  need  metadata  •  Organises  your  data  into  a  structured  catalogue.  •  Loca7on  informa7on  -­‐  where  it  is  loaded  on  IT  system/s,  as  well  as  it  is  

physically  (hard-­‐stores,  servers  and  media  type/s).  •  Ability  to  access  metadata  records  allows  records  to  be  filtered  and  

searched  using  relevant  criteria  to;  –  iden7fy  resources,  –  bring  similar  resources  together,  –  dis7nguish  dissimilar  resources.  

•  Supports  archiving  &  preserva7on  of  resources,  •  Provides  for  consistency  between  users  &  aids  analysis.  •  Provenance  and  ownership.  •  Is  essen7al  to  obtain  a  comprehensive  understanding  of  an  organiza7on's  

data/informa7on  assets.  •  Cri7cal  to  fully  leverage  your  data/informa7on  assets  effec7vely  in  

Analy7cs/BI,  Repor7ng  and  Opera7ons  (both  business  and  IT).    

Ques7ons  that  should  be  asked  about  every  dataset  in  use  

Good  data  governance  requires  the  following  ques7ons  be  addressed:  •  Where  does  the  data  come  from?  •  Is  it  the  right  data  for  its  intended  use?  •  Are  you  allowed  to  use  the  data,  and  if  so,  in  what  ways?  •  What  other  data  choices  could  be  made?  •  Was  the  data  transformed,  and  if  so,  how?  •  Are  there  any  quality  problems?  •  Does  everyone  in  your  organisa7on  understand  the  data  in  the  same  way?  

 

           If  you  have  good  metadata  data  you  can  answer  most  of  these!  

Metadata  in  a  Governance  context  Metadata  should  be  a  key  part  of  your  data  governance  program,  as  it  provides  a  master  record  of  the  all  the  data  resources  in  your  organisa7on;    

•  Know  what  data  your  organisa7on  is  collec7ng,  •  Provenance  –  from  where  the  data  is  being  sourced,  and  by  whom?  

–  Determine  who  is  collec7ng  it,  who  has  actual  ownership/responsibility  for  the  data  (there  may  more  than  one  owner),  and  who  are  the  end  users  of  the  data.  

•  Assess  and  document  the  quality  of  your  data  (down  to  field  level),  •  Understanding  the  data  life  cycle  and  where  it  is  used  in  your  business  processes,  •  Authorisa7ons/security  –  who  can  use  it,  in  what  contexts,  and  how  it  is  secured,  •  Iden7fying  links  between  business  units  –  from  collec7on,  to  use,  to  storage/archiving,  and  

disposal,  •  A  means  of  recording  reference  data  changes  –  e.g.  data  field  changes,  classifica7on  changes,  

etc.  which  can  have  a  significant  effect  on  business  opera7ons  and  require  business  process  and  IT  system  modifica7ons.  

Where  to  start  -­‐  if  star7ng  from  scratch  •  Will  depend  on  the  resources  available  and  the  size  and  nature  of  your  

organisa7on's  data  assets;  –  Projects  to  implement  whole  of  organisa7on  metadata  have  been  known  to  fail  when  

agempted  as  a  large  scale  exercise  requiring  rapid  comple7on,  –  A  beger  approach  is  to  tackle  it  at  the  same  7me  as  IT  and  business  improvement  projects  

are  being  undertaken  –  i.e.  do  it  as  part  of  the  discovery  and  assessment  phase  in  these  projects,  

–  Requires  that  the  data  owners  and  the  users  be  included,  –  Target  priority  business  problems  that  require  immediate  agen7on  from  an  IT/systems  

perspec7ve  –  it  may  only  be  one  or  two  small  projects  ini7ally.  •  Iden7fy  all  the  data/informa7on  sources  relevant  to  a  given  problem  –  incl.  

proposed  IT  system  builds/upgrades,  and  business  process  improvements.  –  Record  and  asses  the  associated  metadata  for  BAU,  then  analyse  whether  current  the  

process’s  data,  or  other  data,  can  support  the  goals  of  the  project  beger.  •  Expand  your  organisa7ons  metadata  coverage  over  7me  to  obtain  the  eventual  

end  goal  of  having  a  holis7c  understanding  of  all  its  data  assets  and  how  they  are  being  used.  

In  Summary  Good  metadata  and  its  management  will  be  cri7cal  to  the  long  term  success  for  your  data  governance  ini7a7ves.  •  Oversight  of  the  metadata  associated  with  all  of  your  data  assets  will  

make  the  tasks  of  data  collec7on,  maintenance,  integra7on/linkage,  access/sharing,  analysis,  and  QA  that  much  easier.  

•  You  will  have  the  ability  to  see  how  your  data  is  being  collected  and  used  in  your  business  processes.  

•  You  will  understand  your  business  processes  and  opera7onal  workflows  beger,  and  it  will  aid  you  in  improving  business  processes  and  developing  more  efficient  workflows.  

•  Will  know  the  quality  (validity,  accuracy)  of  your  data  and  the  poten7al  for  its  reuse  in  other  processes  and  in  other  business  units.  

•  You  will  know  who  your  custodians  are  –  who  collects  it,  who  is  using  it  and  for  what  purposes.  

•  Allow  beger  integra7on  into  your  Analy7cs/BI  and  Repor7ng.    

Dr  Troy  Delbridge  E:  troy.delbridge@pacific.net.au  M:  +61  0409  220  280  

Some  useful  references  on  metadata  Understanding  Metadata,  NISO  (2004)  (hgp://www.niso.org/publica7ons/press/UnderstandingMetadata.pdf)  Introduc8on  to  Metadata,  3rd  Edi8on  (2016),  The  Ge]y  Research  Ins8tute  -­‐  hgp://www.gegy.edu/publica7ons/intrometadata/  OECD  Glossary  of  Sta8s8cal  Terms:  “Metadata”  (2005)  via  their  web  portal  -­‐  hgps://stats.oecd.org/glossary/detail.asp?ID=5136  METeOR  (Metadata  Online  Registry),  AIHW  -­‐  hgp://meteor.aihw.gov.au/content/index.phtml/itemId/181162