+ All Categories
Home > Documents > Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office*...

Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office*...

Date post: 27-May-2018
Category:
Upload: trinhkhanh
View: 229 times
Download: 0 times
Share this document with a friend
67
Copyright © 2016 Splunk Inc. Pramit Gupta Senior So=ware Engineer, Microso= CorporaCon Roy Arsan SoluCons Architect, Splunk Deploying Splunk Enterprise On Microso= Azure
Transcript
Page 1: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Copyright  ©  2016  Splunk  Inc.  

Pramit  Gupta  Senior  So=ware  Engineer,  Microso=  CorporaCon  

Roy  Arsan  SoluCons  Architect,  Splunk    

Deploying  Splunk  Enterprise  On    Microso=  Azure  

Page 2: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Disclaimer  

2  

During  the  course  of  this  presentaCon,  we  may  make  forward  looking  statements  regarding  future  events  or  the  expected  performance  of  the  company.  We  cauCon  you  that  such  statements  reflect  our  current  expectaCons  and  esCmates  based  on  factors  currently  known  to  us  and  that  actual  events  or  results  could  differ  materially.  For  important  factors  that  may  cause  actual  results  to  differ  from  those  contained  in  our  forward-­‐looking  statements,  please  review  our  filings  with  the  SEC.  The  forward-­‐looking  statements  made  in  the  this  presentaCon  are  being  made  as  of  the  Cme  and  date  of  its  live  presentaCon.  If  reviewed  a=er  its  live  presentaCon,  this  presentaCon  may  not  contain  current  or  

accurate  informaCon.  We  do  not  assume  any  obligaCon  to  update  any  forward  looking  statements  we  may  make.  In  addiCon,  any  informaCon  about  our  roadmap  outlines  our  general  product  direcCon  and  is  

subject  to  change  at  any  Cme  without  noCce.  It  is  for  informaConal  purposes  only  and  shall  not,  be  incorporated  into  any  contract  or  other  commitment.  Splunk  undertakes  no  obligaCon  either  to  develop  the  features  or  funcConality  described  or  to  include  any  such  feature  or  funcConality  in  a  future  release.  

Page 3: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

ObjecCve:  

3  

Deploy,  manage  &  integrate  your  Splunk  Enterprise  deployment  in  Azure  

Page 4: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Bios  

4  

Pramit  Gupta  Roy  Arsan  

•  4  Years  @  Splunk  •  Roles  in:  

–  Product  Engineering  –  Cloud  Architecture  –  Partner  IntegraCons  

•  Currently  focused  on  cloud  partner  ecosystem  

•  14  Years  @  Microso=  •  Roles  in:  

–  SharePoint  Enterprise  Content  Management  

–  Office.com  Portal  –  Office  Client  Monitoring  and  

Telemetry  •  Currently  focused  on  cloud  services  

and  data  analysis  

Page 5: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Agenda  

  Azure  IaaS  Splunk  Azure  Deployment  @  Microso=  Office  

  Provisioning  &  AutomaCon    Azure  Best  PracCces  Splunk  &  Azure  IntegraCons  

5  

Page 6: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Agenda  

  Azure  IaaS  Splunk  Azure  Deployment  @  Microso=  Office  

  Provisioning  &  AutomaCon    Azure  Best  PracCces  Splunk  &  Azure  IntegraCons  

6  

Page 7: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Azure  Infrastructure  

Page 8: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Why  Azure?  

8  

  Top  IaaS  market  leaders    120k+  new  Azure  customer    sub/month  

  5M  organizaCons  using    Azure  AD  

  Commercial  cloud  exceeds  $10B  annual  run  rate,  $20B+  by  2018  

Gartner  IaaS  Magic  Quadrant,  2016  

Page 9: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Azure  Virtual  Machines  (VM)  

9  

  Available  in  24  Regions  

  Billing:  –  Pay-­‐As-­‐You-­‐Go  or  Prepaid  (5%  discount)  –  Per-­‐minute  basis  

Page 10: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Azure  VM  SelecCon  

10  

  VM  Image:  –  Linux  &  Windows  –  Extra  $  for  Windows  

(addiConal  cost  of  40%  to  90%)  

  VM  Disks:  –  Local  temporary  disk  –  Network-­‐amached  persistent  

disks  (VHD)  ê  1  OS  disk  ê  1+  data  disks  (up  to  64)  

  VM  Size  RecommendaCon:  –  8+  CPU  cores  –  14GB+  RAM  –  MulCple  data  disks  (6+)  –  Compute-­‐opCmized:  

ê  Dv2-­‐series  (&  DSv2-­‐series)  ê  F-­‐series  (&  Fs-­‐series)  –  Best  !/$  

Page 11: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Azure  VM  SelecCon  

11  

VM  Size   Daily  Indexing  Volume  (GB)  

Performance  

Standard_F8(s)   Up  to  100   Good  

Standard_F16(s)   100-­‐150   Bemer  

Standard_D(S)15_v2   150-­‐250   Best  

Indexers  

VM  Size   Concurrent  Users  

Performance  

Standard_F16(s)   Up  to  8   Good  

Standard_D(S)15_v2   Up  to  16   Bemer  

Search  Heads  

VM  Size   Performance  

Standard_F4(s)   Good  

Standard_F8(s)   Bemer  

Deployment  Server,  License  or  Cluster  Master  

Page 12: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Disk  Storage  SelecCon  

12  

  VHD  stored  as  Page  Blob  in  Azure  Storage    High  durability  &  availability      Scalable    Two  types  of  VHDs:  –  Standard  Storage  (HDD)  

ê  Up  to  1TB  –  Premium  Storage  (SSD)  

ê  3  sizes:  128GB,  512GB,  1TB  

Page 13: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Disk  Storage  SelecCon  

13  

  Premium  storage  recommended  –  Consistent  high  throughput  and  low  latency  

  Standard  storage  also  feasible….if  configured  correctly  –  Minimum  6+  disks  striped  in  RAID0  –  Enable  “ReadOnly”  host  caching  –  More  economical  

Disk  Type   IOPS   Throughput  

Standard   500  (8KB)   Up  to  60MB/s  

Premium   5,000  (256KB)   Up  to  200MB/s  

Page 14: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Technical  Brief  -­‐  Splunk  On  Azure  

14  

hmps://www.splunk.com/pdfs/technical-­‐briefs/deploying-­‐splunk-­‐enterprise-­‐on-­‐microso=-­‐azure.pdf  

Page 15: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Agenda  

  Azure  IaaS  Splunk  Azure  Deployment  @  MicrosoK  Office  

  Provisioning  &  AutomaCon    Azure  Best  PracCces  Splunk  &  Azure  IntegraCons  

15  

Page 16: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Splunk  Azure  Deployment  @  Microso=  Office  

Page 17: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Office  Client  Telemetry  -­‐  Challenges  

  Delight  customers,  improve  saCsfacCon  –  Respond  quickly  to  feedback  and  fix  bugs  effecCvely  –  Move  from  mulC  year  cycle  to  rapid  releases    

  Office  client  applicaCons  collect  100s  of  TB  diagnosCcs  data  per  day  –  Enabling  engineers  to  browse  through  this  much  data  isn’t  easy  –  Regression  risk,  huge  legacy  complex  code  base,  shared  components    

 

17  

Page 18: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Office  Client  Telemetry  -­‐  Splunk  

Splunk  provides  near  real  Cme  search  and  diagnosCcs  capability  to  Office  engineers    Examples    Observe  crash  rates  of  an  applicaCon        AdopCon  of  a  new  feature,  a  new  bumon  in  the  Office  ribbon      Dashboard  to  quickly  monitor  and  alert  on  key  metrics    

18  

Page 19: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Office  Client  Telemetry  -­‐  Goals  

  Data  access  –  24hrs+  down  to  30min    

  MTTD  –  Several  days  down  to  6hrs  

 

 

19  

Page 20: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

   

20  

Office  Client  Splunk  -­‐  Architecture  

Page 21: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

21  

Billion  devices  

Office  Apps  

Office  Client  Splunk  -­‐  Architecture  

Page 22: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

22  

TRE    

TRE    

TRE    

TRE    

Telemetry  Rules  Engine    

Office  Apps  

Office  Client  Splunk  -­‐  Architecture  

Page 23: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Nexus  Western  US  

23  

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  

 Payload  Processor  

 

Office  Client  Splunk  -­‐  Architecture  

Azure  Blob  Storage    

Page 24: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

24  

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp  

Office  Client  Splunk  -­‐  Architecture  Nexus  Western  US  

Nexus  Global  Stamp  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Nexus  South  East  Asia   10  Azure  regions  

worldwide  

Page 25: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

25  

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp  

Office  Client  Splunk  -­‐  Architecture  Nexus  Western  US  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Zipped  Batch  

Nexus  South  East  Asia  

Page 26: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

26  

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp  

Office  Client  Splunk  -­‐  Architecture  Nexus  Western  US  

Nexus  Global  Stamp  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Page 27: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

27  

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp  

Office  Client  Splunk  -­‐  Architecture  Nexus  Western  US  

Nexus  Global  Stamp  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Page 28: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

28  

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp  

Office  Client  Splunk  -­‐  Architecture  Nexus  Western  US  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Data  Retriever  

Page 29: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

29  

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp  

Office  Client  Splunk  -­‐  Architecture  Nexus  Western  US  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Data  Retriever  

Page 30: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

30  

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp  

Office  Client  Splunk  -­‐  Architecture  Nexus  Western  US  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Data  Retriever  

Page 31: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp   Splunk  

Office  Client  Splunk  -­‐  Architecture  Nexus  Western  US  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Data  Retriever  Data  Retriever  

Universal  Forwarder  

Data  Retriever  

Page 32: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp   Splunk  

Office  Client  Splunk  -­‐  Architecture  Nexus  Western  US  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Data  Retriever  Data  Retriever  

Universal  Forwarder  

Data  Retriever  Splunk  Scripted  Input  

Page 33: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp   Splunk  

Office  Client  Splunk  -­‐  Architecture  Nexus  Western  US  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Data  Retriever  Data  Retriever  

Universal  Forwarder  

Data  Retriever  

•  6.2.3  Universal  Forwarders  •  100  instances  of  D12’s    •  4  cores,  28  GB  RAM,  local  SSD  

Page 34: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp   Splunk  

Office  Client  Splunk  -­‐  Architecture  Nexus  Western  US  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Data  Retriever  Data  Retriever  

Universal  Forwarder  

Data  Retriever  

Indexer  Indexer  

Indexer  

Indexer  Cluster  

Page 35: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp   Splunk  

Office  Client  Splunk  -­‐  Architecture  

•  50  instances  of  G4’s    •  16  cores,  224  GB  RAM,  3TB  SSD  

Nexus  Western  US  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Data  Retriever  Data  Retriever  

Universal  Forwarder  

Data  Retriever  

Indexer  Indexer  

Indexer  

Indexer  Cluster  

Page 36: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp   Splunk  

Office  Client  Splunk  -­‐  Architecture  Nexus  Western  US  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Data  Retriever  Data  Retriever  

Universal  Forwarder  

Data  Retriever  

Indexer  Indexer  

Indexer  

•  Uneven  data  distribuCon  across  indexers  

 

Indexer  Cluster  

Page 37: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp   Splunk  

Office  Client  Splunk  -­‐  Architecture  

•  Removed  forwarder  Cer  •  Ran  connector  exe  directly  on  

indexers  

Nexus  Western  US  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Indexer  Cluster  

Indexer  Indexer  

Indexer  

Data  Retriever  

Page 38: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp   Splunk  

Office  Client  Splunk  -­‐  Architecture  Nexus  Western  US  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Indexer  Cluster  

Indexer  Indexer  

Indexer  

Data  Retriever  

•  Ensured  uniform  data  distribuCon  

•  600  parCCons  

Page 39: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp   Splunk  

Office  Client  Splunk  -­‐  Architecture  Nexus  Western  US  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Indexer  Cluster  

Indexer  Indexer  

Indexer  

Data  Retriever  

•  Single  cluster  master  with  RF  =  1,  SF  =  1  •  300  instances  of  DS14’s    •  16  cores,  112  GB  RAM  •  Cluster  bundle  push  problem  

Page 40: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp   Splunk  

Office  Client  Splunk  -­‐  Architecture  

•  Sub-­‐opCmal  search  performance  with  Azure  standard  storage  

Nexus  Western  US  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Indexer  Cluster  

Indexer  

S  

Indexer  

S  

Indexer  

Data  Retriever  

S  

Page 41: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp   Splunk  

Office  Client  Splunk  -­‐  Architecture  

•  4TB  Premium  Storage,  (Raid0,  4  discs  *  1TB  each)  •  Indexing  2000+  MB/s  •  25,000  IOPS  

Nexus  Western  US  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Indexer  Cluster  

Indexer  

PS  

Indexer  

PS  

Indexer  

Data  Retriever  

PS  

Page 42: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp   Splunk  

Office  Client  Splunk  -­‐  Architecture  Indexer  Cluster   Search  Head  Cluster  

Indexer  

PS  

Indexer  

PS  

Indexer  

Data  Retriever  

PS  

Search  Head  

PS  

Search  Head  

PS  

Search  Head  

PS  

•  30  instances  of  D14v2’s    •  16  cores,  112  GB  RAM  

Nexus  Western  US  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Page 43: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp   Splunk  

Office  Client  Splunk  -­‐  Architecture  

•  Search  Deployer  used  for  cluster  configuraCon  

Nexus  Western  US  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Indexer  Cluster   Search  Head  Cluster  

Indexer  

PS  

Indexer  

PS  

Indexer  

Data  Retriever  

PS  

Search  Head  

PS  

Search  Head  

PS  

Search  Head  

PS  

Page 44: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp   Splunk  

Office  Client  Splunk  -­‐  Architecture  Nexus  Western  US  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Indexer  Cluster   Search  Head  Cluster  

Indexer  

PS  

Indexer  

PS  

Indexer  

Data  Retriever  

PS  

Search  Head  

PS  

Search  Head  

PS  

Search  Head  

PS  

•  Connected  to  corpnet  for  Office  engineers  in  Seamle  

•  IncorporaCng  Azure  AcCve  Directory  (AAD)  in  Splunk  6.4  

Page 45: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp   Splunk  

Data  access  

Nexus  Western  US  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Indexer  Cluster   Search  Head  Cluster  

Indexer  

PS  

Indexer  

PS  

Indexer  

Data  Retriever  

PS  

Search  Head  

PS  

Search  Head  

PS  

Search  Head  

PS  

Office  Client  Splunk  -­‐  Metrics  

Page 46: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp   Splunk  

Data  access:  24hrs+  down  to  30min,  most  of  the  Cme  <  5min  

Nexus  Western  US  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Indexer  Cluster   Search  Head  Cluster  

Indexer  

PS  

Indexer  

PS  

Indexer  

Data  Retriever  

PS  

Search  Head  

PS  

Search  Head  

PS  

Search  Head  

PS  

Office  Client  Splunk  -­‐  Metrics  

Page 47: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp   Splunk  

MTTD  

Nexus  Western  US  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Indexer  Cluster   Search  Head  Cluster  

Indexer  

PS  

Indexer  

PS  

Indexer  

Data  Retriever  

PS  

Search  Head  

PS  

Search  Head  

PS  

Search  Head  

PS  

Office  Client  Splunk  -­‐  Metrics  

Page 48: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

TRE    

TRE    

TRE    

TRE    

Office  Apps   Nexus  Global  Stamp   Splunk  

MTTD:  Several  days  down  to  6hrs,  most  of  the  Cme  <  30min  

Nexus  Western  US  

 Payload  Processor  

 

Nexus  Eastern  Europe  

……  

……  

Azure  Blob  Storage    

Azure  Event  Hub  

Zipped  Batch  

Token  

Nexus  South  East  Asia  

Indexer  Cluster   Search  Head  Cluster  

Indexer  

PS  

Indexer  

PS  

Indexer  

Data  Retriever  

PS  

Search  Head  

PS  

Search  Head  

PS  

Search  Head  

PS  

Office  Client  Splunk  -­‐  Metrics  

Page 49: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Agenda  

  Azure  IaaS  Splunk  Azure  Deployment  @  Microso=  Office  

  Provisioning  &  AutomaNon    Azure  Best  PracCces  Splunk  &  Azure  IntegraCons  

49  

Page 50: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Provisioning  &  AutomaCon  

Page 51: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Cloud  Provisioning  Tools  

51  

Powershell,  Chef,  Puppet  for  machine  provisioning  

  ARM  templates  for  deployment  provisioning  –  Available  via  Portal,  CLI  or  Powershell  

Page 52: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

 Windows  Azure  Powershell  

 

52  

PS  used  extensively  to  manage  Azure  instances  Import  “Azure  PowerShell”  module      •  Deployment:  Remotely  provision  various  Splunk  roles    

•  ConfiguraCon:  Modify  Splunk  system  local  configuraCon  files  

•  Manage:  Install  criCcal  Windows  Updates  as  well  as  planned  maintenance  

•  Storage:  Amach  Premium  Storage  disks,  format  &  create  single  volume  

Page 53: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Windows  Azure  Powershell  -­‐  Example  

53  

Storage  Amach  premium  storage  disks,  format  &  create  single  volume  

 Ø  $PhysicalDisks  =  Get-­‐StorageSubSystem  -­‐FriendlyName  "Storage  Spaces*"  |  

Get-­‐PhysicalDisk  -­‐CanPool  $True  |  Where-­‐Object  {$_.FriendlyName  -­‐ne  "PhysicalDisk0"}  

Ø  New-­‐StoragePool  -­‐FriendlyName  "SplunkPool"  -­‐StorageSubsystemFriendlyName  "Storage  Spaces*"  -­‐PhysicalDisks  $PhysicalDisks  |New-­‐VirtualDisk  -­‐FriendlyName  "SplunkDisk"  -­‐Interleave  $StripeSize  -­‐NumberOfColumns  $DiskCount  -­‐ResiliencySettingName  simple  -­‐UseMaximumSize  |Initialize-­‐Disk  -­‐PartitionStyle  GPT  -­‐PassThru  |New-­‐Partition  -­‐DriveLetter  H  -­‐UseMaximumSize  

Ø  Format-­‐Volume  -­‐DriveLetter  H  -­‐FileSystem  NTFS  -­‐NewFileSystemLabel  "SplunkData"  -­‐AllocationUnitSize  65536  -­‐Confirm:$false  

Page 54: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Azure  ARM  Templates  

54  

$ azure group create –n SplunkRG -l "East US"

$ azure group deployment create -n SplunkCluster -g SplunkRG \-f azuredeploy.json -e azuredeploy.parameters.json

  Automated  deployment  provisioning  via  ARM  templates    Deploy  via  Azure  portal,  Azure  PowerShell  or  Azure  CLI:  

Page 55: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Splunk  Enterprise  in  Azure  Marketplace  Demo  Time  

55  

Page 56: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Agenda  

  Azure  IaaS  Splunk  Azure  Deployment  @  Microso=  Office  

  Provisioning  &  AutomaCon    Azure  Best  PracNces  Splunk  &  Azure  IntegraCons  

56  

Page 57: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Azure  Best  PracCces  

Page 58: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Best  PracCces  -­‐  Scalability  

58  

  MulCple  Storage  Accounts  –  Standard  storage:  20,000  IOPS  limit  per  account  

ê  No  more  than  40  disks  per  standard  storage  account  –  Premium  storage:  50  Gbps  limit  per  account  

  Tiered  Storage  –  Use  both  standard  &  premium  for  hot/cold  data  Cering  

ê  OpCmal  performance  &  cost  tradeoff  

Page 59: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Best  PracCces  -­‐  Availability  

59  

  Azure  Availability  Sets  –  VMs  on  different  update  &  fault  domains  

  Backup  –  VHD  Snapshots  –  Azure  Blob  storage  

  Archive  –  Archive  indexes  with  Hunk  into  HDFS-­‐compaCble  Azure  Blob  Storage  

Page 60: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Technical  Brief  -­‐  Splunk  on  Azure  

60  

hmps://www.splunk.com/pdfs/technical-­‐briefs/deploying-­‐splunk-­‐enterprise-­‐on-­‐microso=-­‐azure.pdf  

Page 61: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Agenda  

  Azure  IaaS  Splunk  Azure  Deployment  @  Microso=  Office  

  Provisioning  &  AutomaCon    Azure  Best  PracCces  Splunk  &  Azure  IntegraNons  

61  

Page 62: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Splunk  &  Azure  IntegraCons  

Page 63: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

Splunk  &  Azure  IntegraCons  

63  

Splunk  Enterprise  SSO  support  for  Azure  AD  as  of  6.4  Splunk  Add-­‐on  for  Microso=  Cloud  Services  Splunk  Add-­‐on  for  Azure  

Page 64: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

What  Now?    

64  

Splunking  Azure:  Gain  Insights  into  your  MicrosoK  Azure  Data  using  Splunk  by  Jason  Conger  &  Cory  Fowler  (Wed  Sep  28,  4:35-­‐5:20pm)  

Splunks  of  War:  CreaNng  a  beRer  game  development  process  through  data  analyNcs  by  Phil  Cousins  (Tue  Sep  27,  3:15-­‐4:00pm)  

Related  breakout  sessions  and  acCviCes…  

Page 65: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

THANK  YOU  

Page 66: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

66  

1  TB/day  4  months  retenCon  

16  concurrent  users    

Example  Deployment  

Page 67: Deploying*Splunk*Enterprise*On** Microso=*Azure*IaaS* Splunk*Azure*Deployment@Microso=*Office* Provisioning&&&AutomaNon& Azure*BestPracCces* Splunk*&*Azure*Integraons* 49 Provisioning*&*Automaon*

67  

500  GB/day  60  days  retenCon  

8  concurrent  users    

Example  Clustered  Deployment  


Recommended