Referent / Redner Benjamin Tiggemann · 2015-07-08 · Splunk for Exchange Splunk for Enterprise...

© 2012 magellan netzwerke GmbH

| Technischer Überblick

Referent / Redner Benjamin Tiggemann

Folien Chart 2

© 2012 | magellan netzwerke GmbH

Technischer Überblick

Übersicht

2. „How to get started“

Systemanforderungen

Planung

Installation / Plattformen

1. Aufbau und Architektur

Zusammensetzung

Skalierbarkeit

Redundanz

Lizensierung

3. Using Splunk

Splunk circle

Splunk Apps

Live Demo

Folien Chart 3



Wie verarbeitet Splunk die Daten?

Folien Chart 4



perf

shell

code

Mounted File Systems \\hostname\mount

syslog TCP/UDP

WMI Event Logs

Performance

Active Directoryy

syslog compatible hosts and network devices

Unix, Linux and Windows hosts

Windows hosts

Custom apps and scripted API connections

Local File Monitoring log filesconfig files

dumps and trace files

Windows Inputs Event Logs

performance counters registry monitoring

Active Directory monitoring

virtual host

Windows hosts

Scripted Inputs shell scripts custom

parsers batch loading

Agent-less Data Input Splunk Forwarder

How to get data into splunk?

Folien Chart 5



Indexing/Search Server

Splunk Forwarders

Universal Forwarder sendet

Daten von entfernten Systemen zu

Splunk-Indexer

Verbraucht minimale

Systemressourcen

(1%-2%)

Liefert sichere, verteilte, und

universelle Daten von tausenden

Endpunkten

Folien Chart 6



Eine Splunk Installation kann eine oder alle Funktionen abbilden…

Indexing und Search Services (Indexer)

Lokales & verteiltes Management (Deployment Server)

Datensammlung und Weiterleitung (Forwarder)

Search und Reporting (Search Head)

Bestandteile der Software

Folien Chart 7



Lastverteilte Suchen und Indexierung für gewaltige Skalierungen

Forwarder mit Auto Load

Balancing

Search Head

Horizontale Skalierbarkeit

Indexers

Folien Chart 8



Problem Investigation Problem Investigation Problem Investigation

Save Searches

Share Searches

LDAP, AD Anwender und Gruppen

Splunk Flexible Rollen

Manage Users

Manage Indexes

Fähigkeiten & Filter

NOT tag=PCI

App=ERP …

Integriert Authentifizierung mit LDAP und Active Directory.

Mandantenfähigkeit

Zugriff auf Log-Daten und alle Objekte nach Abteilungen konfigurierbar

(z.B. Infrastruktur-Team sieht nur Switch-Logs, IT-Security-Team alles usw.)

Folien Chart 9



Klonen der Daten

Weiterleitung an Data Repository

Aktiv Standby

Datenredundanz

Aufteilung der Suchen auf mehrere Search Heads ebenfalls möglich

Folien Chart 10



High Availability

Clone Group 1 : Complete Dataset

Data Cloning & Auto Load Balancing

Distributed Search Distributed Search

Clone Group 2 : Complete Dataset

Shared Storage

Folien Chart 11



Lizenzierung

•Lizensiert wird das tägliche Logvolumen das Splunk indizieren muss

•Staffelung von minimum 500 MB bis zu 500 GB und mehr pro Tag

•Größter Kunde indiziert aktuell <100 Terabyte pro Tag

Folien Chart 12



Freie Enterprise Test-Version Indexed 500MB/Tag • Testlizenz läuft nach 60 Tagen ab • Trial Lizenzen über 500MB/Tag können über Partner

angefordert werdeb • Wird zur freien Lizenz

Folgende Features sind in der freien Lizenz nicht enthalten • User-Rollen und Authentisierung mehrer User • Auslagern der Suchfunktion auf dediziertes System

(distributed search) • Weiterleiten von Daten zu 3rd Party Systemen • Konfigurationsverwaltung (deployment server) • Zeitgesteuerte Suchen und generelle Alarmierungen Weitere Lizenzen

• Enterprise, Forwarder, Trial, kostenpflichtige APPS (250 kostenlose Apps in Lizenz enthalten)

Lizenzierung

Folien Chart 13



Was passiert bei einer Lizenzverletzung?

• Es wird eine Lizenzwarnung angezeigt die vom Zeitpunkt des

auftretens an 14 Tage gültig ist

• Treten fünf Warnungen innerhalb eines Zeitraums von 30 Tagen auf, wird die Suchfunktion deaktiviert

• Das “Indexing” läuft weiter

• Beantragung einer Reset-Lizenz setzt Lizenzwarnungen zurück und reaktiviert die Suchfunktion

Lizenzierung

Folien Chart 14



Problem Investigation

Zentralisiertes Lizenz-Management

Folien Chart 15



“How to get started”

Damit Splunk auch Spaß macht….

• Log-Events sind zeitabhängig -> dies setzt eine einheitliche NTP / Zeit-Infrastruktur voraus

• Nehmen Sie sich erst mal einen “Business Case” vor, nicht alles auf einmal

• Planen Sie ausführlich • Welches Datenaufkommen habe ich am Tag? • Wie lange möchte ich die Daten vorhalten? 1 Tag? 1 Jahr? • Wie viele User arbeiten gleichzeitig mit Splunk?

Folien Chart 16



Goldene Regeln für das Sizing

INDEXER •Suchen und Indexing wird auf den Indexer-Systemen ausgeführt • Es erfolgen viele Lese- und Schreibzugriffe auf den Festplattenspeicher

•Dies setzt vor allem eins voraus: schnelle „Platten“ •Vmware wird supported ist aber nicht „best practise“

SEARCH HEAD •Auf dem Search Head werden die Suchen visualisiert, dies setzt eine „starke CPU (Menge an Cores) voraus“ •Die benötigte Search Head Leistung hängt von der Anzahl an gleichzeitig arbeitenden Usern / Suchen ab

Folien Chart 17



Referenz Server

• Dual quad-core/6-core machines at ~2.5 GHz

• 16 GB RAM

• For indexers: 4x10K local SAS drives in

RAID 10 (800+ IOPs) <- most important

• Variations in type of server and level of usage govern number of

machines needed

Wäre ausgelegt für:

100 GB Indexing pro Tag (Indexer)

oder

10 bis 12 gleichzeitigen Suchen (Search head)

Folien Chart 18



Wie viel Speicherplatz wird benötigt?

Das hängt ab von:

•Wie lange möchte ich meine Daten vorhalten?

•Wie groß ist mein tägliches Datenvolumen?

•Splunk komprimiert die eingehenden Daten ca. um 50%

Beispiel:

Ein Kunde möchte seine Firewalldaten (4 GB/Tag) ein Jahr lang

vorhalten

Benötigter Storage = 4GB * 0,5 * 365d = 730 GB

Folien Chart 19



Installation

Start Splunk • WIN: \Program Files\Splunk\bin\splunk.exe start • Other: /opt/splunk/bin/splunk start

www.splunk.com/download

• 32 or 64 bit?

• Indexer or Universal Forwarder?

• Zwei Dienste (splunkd & splunkweb)

Splunk Home

• WIN: \Program Files\Splunk Other: /opt/splunk (Applications/splunk)

http://www.splunk.com/download

Folien Chart 20



20

Splunk Web Basics

Browser Support • Firefox 10, 11 • Internet Explorer 8, 9 • Safari 4 and higher • Chrome 12

Konfigurationsoberfläche (splunkweb): http://localhost:8000

Index some data • Add data • Getting Started App • Install an App (Splunk for Windows, *NIX)

http://localhost:8000

Folien Chart 21



Jeder mit einem Zeitstempel versehen ASCII-Text

Mit Hilfe der ‘beyond Boolean’ Suchsprache

Verwenden Sie Meta-Daten, um organisatorische Daten für

Event Kontext hinzuzufügen

Kombinieren Sie Anwendungs-Performance-Daten und

Security-Daten zur Risikominderung

Individuelle Suchen und anpassbare Dashboards und

Metriken für die kontinuierliche Überwachung

Monitoring der Daten in Echtzeit / operative Suchen und Alerts

Nach der Installation: Bewerter Arbeitsablauf in Splunk

Folien Chart 22



“Add Knowledge” Unterstützung Dank App-Technologie

Apps… • helfen dabei die daten zu “normalisieren” (Key Value Pairs zu

bilden) • stellen vordefinierte Suchen, Dashboards, Reports, etc. bereit

• nehmen Ihnen Arbeit ab

• Sind frei und zum größten Teil kostenlos* verfügbar unter

http://splunk-base.splunk.com/apps

*Aktuell wird ein Konzept zur Monetarisierung der Apps entwickelt




Folien Chart 23



Die bekanntesten externen Apps:

Splunk for Exchange Splunk for Enterprise Security* Splunk for Vmware Splunk for PCI Compliance* Splunk for Windows Splunk for Linux/Unix Splunk for Cisco Firewalls, IPS, Client Security, Email Security, Web Security Splunk for Juniper And maybe your own!

Default Apps:

Search Getting started

*kosten Geld

Folien Chart 24



LIVE DEMO

Date post:	21-May-2020
Category:	Documents
Upload:	others
View:	45 times
Download:	0 times

Referent / Redner Benjamin Tiggemann · 2015-07-08 · Splunk for Exchange Splunk for Enterprise...

Documents