Copyright  ©  2014  Comcast  Inc.  

Jonathan  Luste  So<ware  Tools  Analyst,  Comcast  Cable  

Video  and  Mobile  Insights  @  Comcast:  Splunk  for  Today's  AnalyKcs  

Disclaimer  

2  

During  the  course  of  this  presentaKon,  we  may  make  forward-­‐looking  statements  regarding  future  events  or  the  expected  performance  of  the  company.  We  cauKon  you  that  such  statements  reflect  our  current  expectaKons  and  

esKmates  based  on  factors  currently  known  to  us  and  that  actual  events  or  results  could  differ  materially.  For  important  factors  that  may  cause  actual  results  to  differ  from  those  contained  in  our  forward-­‐looking  statements,  

please  review  our  filings  with  the  SEC.  The  forward-­‐looking  statements  made  in  the  this  presentaKon  are  being  made  as  of  the  Kme  and  date  of  its  live  presentaKon.  If  reviewed  a<er  its  live  presentaKon,  this  presentaKon  may  not  contain  current  or  accurate  informaKon.  We  do  not  assume  any  obligaKon  to  update  any  forward-­‐looking  statements  we  may  make.  In  addiKon,  any  informaKon  about  our  roadmap  outlines  our  general  product  direcKon  and  is  subject  to  change  at  any  Kme  without  noKce.  It  is  for  informaKonal  purposes  only,  and  shall  not  be  incorporated  into  any  contract  or  other  commitment.  Splunk  undertakes  no  obligaKon  either  to  develop  the  features  or  funcKonality  described  or  to  

include  any  such  feature  or  funcKonality  in  a  future  release.  

Agenda  

!   Who  are  you?    Who  am  I?  !   The  Product(s)  and  the  Problem(s)  !   Ingredients  for  Success  !   Grab  Your  Shovel  !   Nuclear-­‐Grade  Enrichment  !   Release  the  Hounds  !   Show  me  Things  over  Stuff,  Right  Now!  !   Lessons  Learned,  QuesKons  Answered    

3  

Who  Are  You?      Who  Am  I?  

Who  Are  You?  

5  

Who  Am  I?  

6  

!   Splunk  Power  User  at  Comcast  Cable  –  Tech  and  Prod  Development  !   Group-­‐imposed  Ktles  of  Knowledge  Manager  and  Data  Czar  !   Was  Business  /  Technical  Analyst  for  a  while  !   Did  Vendor  Management  !   Degree  in  Business  NOT  (programming  OR  engineering)  

Jonathan  Luste  

Who  Am  I?  

7  

The  Product(s)  and  The  Problem(s)  

XFINITYTV.COM  

9  

XFINITY.COM  

10  

Visit  the  new  XFINITY  customer  site  to  get  the  most  out  of  your  subscripKon.  Watch  TV  online,  check  email,  pay  bill  and  upgrade  Comcast  subscripKon  

XFINITY  TV  &  TV  Go  Apps  

11  

XFINITY  TV  Remote  Apps  

12  

XFINITY  Home  App  

13  

TradiKonal  AnalyKcs  Tools  No  real  “One  Size  Fits  All”  

14  

Inadequacies    •  Video  and  Audio  health  staKsKcs  •  Limited  mobile  applicaKon  support  •  Cross  data  source  &  system  

analysis  •  Deep-­‐dive  analyKcs  •  Inflexibility  in  real-­‐Kme  reporKng  •  Custom  reports  may  require  Pro  

Services  or  be  unavailable  

Focus  •  Ecommerce  •  MarkeKng  •  CompeKKve  intelligence  •  Single  point  transacKons  •  Mobile  

–  .  .  .  browsing  

Wheel  of  Awesome  

15  

Ingredients  for  Success  

Splunk  Tech  Talk  –  Available  Data  to  Use  

17  

! Sourcetypes:  More  than  a  hundred  !   Hosts:  Nearly  a  thousand  !   Sources:  Over  10  thousand  !   Events:  Greater  than  50  Billion  !   Benefit:  All  searchable  together!  

Example  Product  Eco  System  

18  

Team  1  

Team  2  

Team  3  

Grab  Your  Shovel  

20  

A  Search  for  Stuff  Super  easy  to  look  at  one  thing  across  a  complex  environ-­‐ment  

Nuclear-­‐Grade  Enrichment  

ReporKng  Problem  

22  

!   The  User  Agent  String  reports  on  what  each  client  is  using  as  far  as  OperaKng  System  and  browser  

!   Machine  data  can  someKmes  not  mean  much  to  non-­‐technical  teams  

Screenshot  here  

Need  to  know  OS  versions  that  customers  are  using  

SoluKon  –  Add  Knowledge  

23  

!   By  tagging  NT  6.1  as  Windows  7,  it  turns  data  into  informaKon  

Screenshot  here  

UKlize  Tags  to  enrich  the  WindowsOSVersion  to  something  in  English  

Examples  of  Added  Knowledge  for  Video  

24  

!   Event  types  –  Classify  video  events  –  Define  and  exclude  edge  cases  

!   Tags  –  Change  error  codes  to  error  types  

!   Lookups  –  Add  a  video  name  from  an  video  ID  

!   Macro  –  `Video01`  searches  just  what  you  want  

Release  the  Hounds  

Example  ProducKon  Support  Monitoring  Problem  X  number  errors  per  hour  raises  the  flag  for  invesKgaKon,  by  error  code  

26  

Failure  Scenario  2  

•  Series  finale  of  a  popular  show  just  aired  and  is  available  online,  every  hour  for  an  enKre  weekend  over  300,000  people  auempt  to  watch  it  

•  Very  low  error  rate,  constantly  alarming  

Failure  Scenario  1  

•  188  Customers  want  to  watch  a  movie  during  11PM  and  12AM,  it  is  no  longer  available  online  but  the  URL  exists  

 •  100%  error  rate,  possibly  missed  

Example  SoluKon  –  Monitor  &  Alert    By  creaKng  a  field  from  simple  math,  we  can  now  look  at  error  rates  

27  

Success  Scenario  2  

•  Series  finale  of  a  popular  show:  •  25,000  every  5  min.    If  there  are  

over  500  errors  (2%)  let  me  know,  otherwise  ignore  as  it  is  traffic  related  

•  2%  error  rate  or  MORE  ONLY!  No  false  posiMves  

Success  Scenario  1  

•  15  Customers  want  to  watch  a  movie  during  11:00PM  and  11:05PM,  it  is  no  longer  available  online  but  the  URL  exists  

•  100%  error  rate  reported  

Show  me  Things  over  Stuff,  Right  Now!  

Product  Insight  &  OperaKons  Problems  

29  

Business  OperaKons  

•  How  many  users  are  downloading  videos?  

•  What  app  versions  can  be  disconKnued  from  support?  

•  How  many  devices  are  registered?  •  Is  traffic  coming  from  live  

streaming  or  on  demand  content?  

Product  

•  How  is  my  product  being  used?  •  What  devices  are  being  used?  •  What  are  the  top  models?  •  More  iOS  or  Android?  •  Download  vs.  streaming?  

SoluKon  –  Custom  Dashboards  

30  

!   View  applicaKon  uKlizaKon  

!   AND  look  at  OS  stats  !   AND  report  on  popular  devices  

!   AND  show  performance  stats  

!   AND  count  video  stats  !   AND  AND  AND  AND  

SoluKon  –  Custom  Dashboards  –  More  

31  

!   I  need  by  OS  Version!  

SoluKon  –  Custom  Dashboards  –  More  

32  

!   I  need  by  ApplicaKon  Version!  

SoluKon  –  Custom  Dashboards  –  More  

33  

!   I  need  by  Device  Make  &  Model!  

Lessons  Learned  QuesKons  Answered  

Lessons  Learned  ! Splunk  succeeds  where  tradiKonal  web  analyKcs  tools  fall  short  

–  Changes  are  easily  applied  to  reports  –  ReporKng  potenKal  in  Splunk  is  limited  by  your  own  Kme  and  experience  

! Splunk  uses  ALL  of  your  data  to  be  able  to  provide  end-­‐to-­‐end  visibility  and  provide  answers  to  all  types  of  business  staff:  –  ProducKon  Support  –  Product  Design  &  Development  –  Business  OperaKons  –  Quality  Assurance  

!   Enriching  your  data  and  creaKng  dashboards  brings  your  product  knowledge  to  life  in  the  way  people  need  it  

35  

QuesKons  Answered  

!   Which  app  versions  are  customers  running?  !   What  devices  and  operaKng  systems  should  QA  devote  auenKon  to?  !   Performance,  how  many  video  errors  compared  to  video  starts?  !   How  should  development  prioriKze  issues  based  on  customer  experience?  

!   Top  video  types;  streaming  versus  downloaded  staKsKcs  

36  

THANK  YOU