Drupaljam2015 logstash

Centrale Logging Drupal
Logging van meerdere
Drupal-sites

CENTRALE LOGGING DRUPALCENTRALE LOGGING DRUPAL
AGENDA
● WIE ZIJN WIJ?
● BELANG VAN LOGGING?
● WAAROM CENTRALE LOGGING?
○ VOOR DRUPAL-DEVS
○ VOOR SYSOPS
● DE ELK-STACK
○ COMPONENTEN
● WAT LEVERT HET OP?
● ERVARINGEN TOT NU TOE
● VRAGEN?

WIE ZIJN WIJ?
● Webscale
○ Hosting sinds 2001
○ Hosting voor professionals
○ Gespecialiseerd in PHP frameworks
■ zoals Drupal
■ maar ook Symfony, Wordpress, Typo3 & Magento
○ ISO 9001 en 27001 NL datacenters
○ CISSP management
○ 100% open source
○ 300+ managed servers
○ 200+ Drupal sites
○ Webscale werkt voor:
■ Rijksoverheid, Gemeenten, Graydon, Jaguar Land Rover, ThiemeMeulenhoff
○ Webscale werkt met:
■ Cipix, d-Media, Merge, ezCompany

BELANG VAN LOGGING?
● Vastleggen van events
● Health-status van je applicatie / platform
● Troubleshooting
● Debugging
● Security
● Correlatie van events
● Statistieken gebruik

WAAROM CENTRALE LOGGING?
Voor de Devs:
● Alle logging inzichtelijk vanuit een lokatie
● Doorzoekbaar middels queries
● Monitoren van nieuwe sites na deployment (ACC en PROD)
● Monitoren van bestaande sites na nieuwe updates
● Monitoren van koppelingen met externe systemen
● Periodieke controle (bijv. elke maand een rapportage t.b.v. audits)

Voor de SysOps:
● Monitoren van errors
● Monitoren van ongewenst verkeer, proxy-requests, badbots, niet-legitieme requests
● Monitoren van performance
● Monitoren van verbruik resources, voor beslisvorming upgrades
● Correlaties leggen tussen events diverse logfiles van meerdere systemen
● Periodieke controle (bijv. elke maand een rapportage t.b.v. audits)

Het probleem:
● Logdata is “ongestructureerd” en lastig doorzoekbaar
● Vaak op meerdere servers
● Zoeken op basis van grep, awk en regex-magic
drupalsite.nl:80 80.60.70.109 - - [30/Mar/2015:12:26:22 +0200] "GET
/sites/drupalsite.nl/files/styles/actionblock-
image/public/uploads/actionblockimage/szwbannertoeslag300x250_0.gif?itok=0jUPhVnE HTTP/1.1" 200 39342
"http://www.kinderstadtilburg.nl/" "Mozilla/5.0 (iPad; CPU OS 8_1_3 like Mac OS X) AppleWebKit/600.1.4
(KHTML, like Gecko) Version/8.0 Mobile/12B466 Safari/600.1.4"
/sites/drupalsite.nl/modules/contrib/colorbox/styles/plain/images/loading_animation.gif HTTP/1.1" 200
2767 "http://www.drupalsite.nl/" "Mozilla/5.0 (iPad; CPU OS 8_1_3 like Mac OS X) AppleWebKit/600.1.4
(KHTML, like Gecko) Version/8.0 Mobile/12B466 Safari/600.1.4"
/sites/drupalsite.nl/themes/kinsbase/images/arrows.png HTTP/1.1" 200 408 "http://www.drupalsite.nl/"
"Mozilla/5.0 (iPad; CPU OS 8_1_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0
Mobile/12B466 Safari/600.1.4"

De oplossing:
● Transporteer de logging naar een centrale lokatie
● Identificeren van velden op basis van “grok-filters”
● Filteren en verrijken van de data
● Maak van iedere logregel een json-document
● Sla het json-document op in ElasticSearch
drupalsite.nl:80 80.60.70.109 - - [30/Mar/2015:12:26:22 +0200]
"GET /sites/drupalsite.nl/files/styles/actionblock-
image/public/uploads/actionblockimage/szwbannertoeslag300x250_0.g
if?itok=0jUPhVnE HTTP/1.1" 200 39342 "http://www.drupalsite.nl/"
"Mozilla/5.0 (iPad; CPU OS 8_1_3 like Mac OS X)
AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B466
Safari/600.1.4"
{ "fqdn": "www01.drupal01.webscale.nl",
"http_vhost": "drupalsite.nl",
"http_port": "80",
"http_clientip": "80.60.70.109",
"http_ident": "-",
"http_auth": "-",
"http_timestamp": "30/Mar/2015:12:26:22 +0200",
"http_method": "GET",

Uiteindelijke situatie:
● Logging beschikbaar, doorzoekbaar en gevisualiseerd in Kibana

DE ELK-STACK
ELASTICSEARCH
LOGSTASH
KIBANA

DE ELK-STACK
● Logstash-Forwarder
● Logstash-Receiver
● Redis
● Logstash-Indexer
● ElasticSearch
● Nginx / Kibana

DE ELK-STACK
DRUPAL
WEBSERVER
LOGSTASH
(INDEXER)
LOGSTASH
(RECEIVER)
REDIS
(MESSAGEQUEUE)
ELASTICSEARCH KIBANA
(WEBINTERFACE)

WAT LEVERT HET OP?
● Logging centraal beschikbaar
● Logging eenvoudig doorzoekbaar
● Devs hoeven niet meer via ssh in te loggen op server bij onderzoek
● Dashboards via een webinterface geven duidelijk overzicht van de status
● Debugging eenvoudiger
● Root-cause-analysis vele malen sneller bij problemen
● Statistieken over gebruik Drupal-Sites
● Periodieke audits kosten minder tijd

ERVARINGEN TOT NU TOE
Positief:
● ELK is snel!
● Met de juiste opzet zeer stabiel
● Logstash-Forwarder lightweight en veilig (TLS)
● Logstash zeer flexibel en uitbreidbaar
● Makkelijk zoeken in Kibana
● Visualisaties veel eenvoudiger in Kibana4
● Biedt al snel toegevoegde waarde

Negatief of wat kan beter:
● Maken grokfilters soms nog lastig
● Ontwikkeling van ELK gaat zeer snel, dus breekt soms bij nieuwe releases
● Documentatie en tutorials vaak out-of-date
● Schaalbare architectuur biedt wel wat uitdagingen
● Kibana nog beperkt in functionaliteit (t.o.v. bijv. Splunk)
● Kibana out-of-the-box geen authenticatie en autorisatie (wel met Shield-plugin)

Lessons Learned en plannen voor de toekomst:
● Centrale logging biedt zeker een flinke toegevoegde waarde
● Zowel voor de Devs als voor SysOps
● Let goed op “_grokparsefailures”
● grokdebug.herokuapp.com is een lifesaver!
● Nog meer logfiles opnemen
● Eventueel uitfaseren logstash-forwarder voor rsyslog (Jessie)
● Verder experimenteren met clustered-elasticsearch
● Implementeren authenticatie en authorisatie

SCREENSHOTS - DRUPAL LOG
/var/log/drupal/drupal.log
Apr 29 13:55:03 www01 drupal: 5|1430308503|cron|127.0.0.1|0||http://site|http://site.nl/index.php|||Cron run completed.
Apr 29 14:00:02 www01 drupal: 5|1430308802|job_scheduler|127.0.0.1|0||http://site|http://site/index.php|||Finished processing
scheduled jobs (0 sec s, 0 total, 0 failed).
Apr 29 14:23:47 www01 drupal: 5|1430310227|user|109.232.42.91|0||https://www.site.nl|https://www.site.nl/|https://www.site.nl/||Login
attempt failed for a.user.

SCREENSHOTS - LOGSTASH-FORWARDER
/etc/logstash/logstash-forwarder.conf
"network": {
"servers": [ "java01.log01.webscale.nl:5000" ],
"timeout": 15,
"ssl ca": "/etc/logstash/java01.log01.webscale.nl.crt"
},
"files": [{
"paths": [ "/var/log/drupal/drupal.log" ],
"fields": { "type": "drupal", "fqdn": "www01.drupal01.webscale.nl" }
}, {
"paths": [ "/var/log/apache2/*access.log" ],
"fields": { "type": "apache-vhost", "fqdn": "www01.drupal01.webscale.nl" }
}, {
"paths": [ "/var/log/apache2/*error.log" ],
"fields": { "type": "apache-error", "fqdn": "www01.drupal01.webscale.nl" }
}
]
}

SCREENSHOTS - DRUPAL GROKFILTER
DRUPAL_SYSLOGID [a-zA-Z0-9._-]+
DRUPAL_TYPE [a-zA-Z0-9._ -]+
DRUPAL_TIME %{MONTH} %{DAY} %{TIME} %{YEAR}
DRUPAL_WATCHDOG %{SYSLOGTIMESTAMP:timestamp} %{IPORHOST:host} %{DRUPAL_SYSLOGID:drupal_sylogid}:
%{NUMBER:drupal_severity}|%{NUMBER:drupal_timestamp}|%{DRUPAL_TYPE:drupal_type}|%{IP:drupal_ip}|(?<drupal_uid>[^|]*)|(?<drupal_
username>[^|]*)|http(s)?://%{HOSTNAME:drupal_vhost}|(?<drupal_request>[^|]*)|(?<drupal_referer>[^|]*)|(?<drupal_link>[^|]*)|
(?<drupal_message>.*)
DRUPAL_WATCHDOG_VARNISH %{SYSLOGTIMESTAMP:timestamp} %{IPORHOST:host}
%{DRUPAL_SYSLOGID:drupal_sylogid}[%{NUMBER:drupal_syslogpid}]: %{NOTSPACE:varnish_interface} %{NOTSPACE:varnish_command}
%{IP:varnish_source_ip} %{NUMBER:varnish_source_port} %{IP:varnish_destination_ip} %{NUMBER:varnish_destination_port}
%{NOTSPACE:varnish_method} %{GREEDYDATA:varnish_message}
DRUPAL_WATCHDOG_CRON %{SYSLOGTIMESTAMP:timestamp} %{IPORHOST:host} %{DRUPAL_SYSLOGID:drupal_sylogid}:
http(s)?://%{HOSTNAME:drupal_vhost}|%{NUMBER:drupal_timestamp}|%{DRUPAL_TYPE:drupal_type}|%{IP:drupal_ip}|(?<drupal_request>[^|]
*)||%{NUMBER:drupal_severity}||(?<drupal_message>.*)

SCREENSHOTS - KIBANA DISCOVER
drupal_severity:[1 TO 4] OR drupal_type:php

SCREENSHOTS - KIBANA VISUALIZE

SCREENSHOTS - KIBANA DASHBOARD

VRAGEN?

Drupaljam2015 logstash

More Related Content

Similar to Drupaljam2015 logstash (20)

Drupaljam2015 logstash