Date post: | 06-May-2015 |
Category: |
Technology |
Upload: | netways |
View: | 1,253 times |
Download: | 2 times |
www.netways.de // blog.netways.de // @netways
We love Open Source
20.02.2014 | WEBINAR
LOGSTASHOPEN SOURCE LOG-
MANAGEMENT
BLERIM SHEQA | CHRISTIAN STEIN | NETWAYS
GMBH
www.netways.de // blog.netways.de // @netways
We love Open Source
VORSTELLUNG MITARBEITER
■ Christian Stein Account Manager Bei NETWAYS seit 2012
■ Blerim Sheqa Systems Engineer Bei NETWAYS seit 2013
www.netways.de // blog.netways.de // @netways
We love Open Source
AGENDA
■ Vorstellung NETWAYS
■ Logstash
■ Logstash Architektur
■ Integration in die IT-Landschaft
■ Live Demo
■ Fragen und Antworten
www.netways.de // blog.netways.de // @netways
We love Open Source
VORSTELLUNG NETWAYS
www.netways.de // blog.netways.de // @netways
We love Open Source
VORSTELLUNG NETWAYS
■ Firmengründung 1995
■ Open Source seit 1997
■ Aktuell 38 Mitarbeiter
■ Spezialisierung in den Bereichen
Open Source Systems Management
und Open Source Datacenter
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KOMPETENZEN
■ Monitoring
■ Graphing
■ Logmanagement
■ Konfigurationsmanagement
■ Reporting
■ Private Cloud
■ Reporting
■ Backup
■ Projektmanagement
■ Consulting
■ Hosting
■ Managed Services
■ Development
■ Support
■ Betrieb
■ Schulungen
■ Konferenzen
■ Monitoring Hardware
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS PRODUKTE
GRAPHITE
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KONFERENZEN
CeBIT 2014
■ 10. – 14. März 2014 in Hannover
■ Halle 6, Stand E16 (310)
Open Source Data Center
Conference
■ 09. – 10. April 2014 in Berlin
■ 2 Tracks mit Vorträgen &
Workshops
■ “Simplifying Complex IT
Infrastructures with Open
Source”
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KONFERENZEN
Puppet Camp
■ 11. April 2014 in Berlin
■ “Current state of Puppet, best
practices and upcoming
features”
■ Open Source Monitoring
Conference
• 18. – 20. November 2014
• 250 Teilnehmer (2013)
• Monitoring Best Practices
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS SCHULUNGEN
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS COMMUNITY
www.netways.org
■ NETWAYS Addons
■ NETWAYS Plugins
www.icinga.org
■ Development
■ Hosting
www.monitoringexchange.org
■ Icinga / Nagios Addons und
Plugins
■ > 2000 Projekte
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KUNDEN – CONSULTING (AUSZUG)
www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KUNDEN – HOSTING (AUSZUG)
www.netways.de // blog.netways.de // @netways
We love Open Source
UNSERE LEISTUNGEN IM ÜBERBLICK
■ Konzeptionierung und Planung
■ Workshops & Consulting zur Implementierung vor Ort
■ Betrieb Komplette Logmanagementsysteme Teilweise Betriebsunterstützung
■ Entwicklungsleistungen Plugins und Filter Systemintegration
■ Schulungen Standardisierte Schulungsmodule Individuell vor Ort
■ Support Standardverträge Individuelle Supportkonzepte
■ Konferenzen
www.netways.de // blog.netways.de // @netways
We love Open Source
OPEN SOURCE LOGMANAGEMENT
LOGSTASH
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH
■ Ziele
Logdateien in großen Mengen behandeln
Analyse der Daten
Anbindung an Monitoringsysteme
Dashboards für Visualisierung und Analyse
Weiterleitung der Daten an Drittsyteme
www.netways.de // blog.netways.de // @netways
We love Open Source
PROBLEMSTELLUNG
■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 6666
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 492955
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:10 +0100] "GET /app/partials/inspector.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 17140
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 498624
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/micropanel.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/styleEditor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/editor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/queriesEditor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/editor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
■ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/pagination.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
www.netways.de // blog.netways.de // @netways
We love Open Source
VORGEHEN OHNE LOGMANGEMENT
■ Regex Magic
^([\\d.]+) (\\S+) (\\S+) \\[([\\w:/]+\\s[+\\-]\\
d{4})\\] \"(.+?)\" (\\d{3}) (\\d+) \"([^\"]
+)\" \"([^\"]+)\"
■ Pro Logformat eine eigene Regex
■ Aufwendig und zeitintensiv
■ Nur für technisch Versierte
■ Schlecht für die Teamarbeit
www.netways.de // blog.netways.de // @netways
We love Open Source
SORTIERUNG UND VISUALSIERUNG DER DATEN MIT LOGSTASH
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH ARCHITEKTUR
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH ARCHITEKTUR
Logstash:Pipe on Steroids
Input
Filter
Output
www.netways.de // blog.netways.de // @netways
We love Open Source
SORTIERUNG DER DATEN
■ Vorher 192.168.1.10 – guest [04/Dec/2013:08:54:23 +0100] "POST /icinga-web/web/api/json
HTTP/1.1" 200 788 "https://icinga-private.demo.netways.de/icinga-web/modules/web/portal" "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0"
■ Nachher "http_clientip": "192.168.1.10", "http_ident": "-", "http_auth": "guest", "timestamp": "04/Dec/2013:08:54:23 +0100", "http_verb": "POST", "http_request": "/icinga-web/web/api/json", "http_httpversion": "1.1", "http_response": "200", "http_bytes": "788", "http_referrer":
"https://icinga-private.demo.netways.de/icinga-web/modules/web/portal", "http_agent": "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101
Firefox/22.0"
■ Pattern "%{COMBINEDAPACHELOG}"
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH ARCHITEKTUR
Server
SwitchWebapplikatio
n
• Input• Output
• Key-Value Store
• Puffer
• Input• Filter• Output
• Index• Queries
www.netways.de // blog.netways.de // @netways
We love Open Source
INTEGRATION IN DIE IT-LANDSCHAFT
www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH PLUGINS UND FILTER
■ drupal_dblog■ elasticsearch■ eventlog■ exec■ file■ ganglia■ gelf■ gemfire■ generator■ graphite■ heroku■ imap■ irc■ log4j■ lumberjack■ pipe■ rabbitmq
■ redis■ relp■ s3■ snmptrap■ sqlite■ sqs■ stdin■ stomp■ syslog■ tcp■ twitter■ udp■ unix■ varnishlog■ websocket■ wmi■ xmpp■ zenoss■ zeromq
■ advisor■ alter■ anonymize■ checksum■ cidr■ cipher■ clone■ collate■ csv■ date■ dns■ drop■ environment■ extractnumbers■ gelfify■ geoip■ grep■ grok■ grokdiscovery■ json■ json_encode■ kv
■ metaevent■ metrics■ multiline■ mutate■ noop■ prune■ railsparallel-
request■ range■ ruby■ sleep■ split■ syslog_pri■ translate■ urldecode■ useragent■ uuid■ xml■ zeromq
■ boundary■ circonus■ cloudwatch■ datadog■ datadog_metrics■ elasticsearch■ elasticsearch_htt
p■ elasticsearch_riv
er■ email■ exec■ file■ ganglia■ gelf■ gemfire■ google_cloud_st
orage■ graphite■ graphtastic■ hipchat■ http■ irc■ jira■ juggernaut■ librato■ loggly
■ lumberjack■ metriccatcher■ mongodb■ nagios■ nagios_nsca■ null■ opentsdb■ pagerduty■ pipe■ rabbitmq■ redis■ riak■ riemann■ s3■ sns■ sqs■ statsd■ stdout■ stomp■ syslog■ tcp■ udp■ websocket■ xmpp■ zabbix■ zeromq
Input (36) Filter (40) Output (50)
www.netways.de // blog.netways.de // @netways
We love Open Source
■ Integration in nahezu jede Umgebungen Syslog TCP / UDP Lumberjack fertige Pattern Elasticsearch
■ Skalierbarkeit Auslagerung auf dedizierte Server Multiple Redis-Server Mehrere Logstash-Indexer möglich Elasticsearch ist clusterfähig (Nodes, Shards, Replika)
www.netways.de // blog.netways.de // @netways
We love Open Source
ANWENDUNGSMÖGLICHKEITEN
■ Systemlogs (Problemanalyse)
■ Webserver Access- und Errorlogs
■ Logs der eigenen Applikation (Profiling)
■ Alerts via Icinga, E-Mail, XMPP, …
■ Statistiken (Graphite)
www.netways.de // blog.netways.de // @netways
We love Open Source
LIVE DEMO
www.netways.de // blog.netways.de // @netways
We love Open Source
FRAGEN UND ANTWORTEN
www.netways.de // blog.netways.de // @netways
We love Open Source
KONTAKTDATEN
10. – 14. März 2014
Halle 6, Stand E16 (310)
NETWAYS GmbH
Deutschherrnstrasse 15-19
90429 Nürnberg
Tel: +49 911 92885-0
Fax: +49 911 92885-77
E-Mail: [email protected]
Website: www.netways.de
Twitter: twitter.com/netways
Facebook:
facebook.com/netways
Blog: blog.netways.de