Elk - Elasticsearch Logstash Kibana stack explained

ELK
Elasticsearch Logstash Kibana
federico.panini@fazland.com - CTO
Federico Panini
CTO @ fazland.com
email : federico.panini@fazland.com
linkedIn : https://uk.linkedin.com/in/federicopanini
slides : http://www.slideshare.net/FedericoPanini

Il dominio del nostro problema #1
essere in grado di avere informazioni utili dai files di log.

In questa semplice infrastruttura sono presenti un buon
numero di servizi ed applicativi.
Ogni istanza avrà sicuramente un ﬁle syslog ed un auth.log
che voglio tenere sotto controllo
HTTP :
nginx :
access.log
error.log
web app:
app.log
MongoDB :
mongo.log
Memcached :
memcached.log

Già con pochi servers il numero di logs da dover
controllare e gestire è abbastanza elevato
12 ﬁle di logs !!!(2 web srv in load balanding)

In una soluzione scalabile il numero di macchine in
parallelo può aumentare… questo implica un aumento
repentino del numero di ﬁles di log da dover gestire…..

Elk - Elasticsearch Logstash Kibana stack explained

Il dominio del nostro problema
Ricapitoliamo
1. Gestione di un numero elevato di logs
2. Necessità di dover centralizzare la gestione dei log ﬁles
3. Rendere i logs più facilmente interpretabili e
comprensibili
1. per i devs
2. e perchè no anche al business

I file di logs sono una miniera inesauribile di
informazioni!
Ricapitoliamo
1. Sono dati reali
2. Sono le informazioni sul comportamento della vs
applicazione
3. Sono le informazioni sul comportamento dei vs utenti
DOVETE POTERLI LEGGERE!

Logs ? Cosa sono ? #1
I file di logs sono tipi di dato strutturati, solitamente in
files di testo. Sono utilizzati per poter registrare le
azioni di un applicazione, un servizio, un elemento di
rete.
Il vero problema dei logs è la loro natura del tutto
eterogenea tra loro. A seconda del servizio il file di
conterrà dati spesso molto differenti tra loro….

Logs ? Cosa sono ? #2
[15/Jun/2015:15:00:29 +0000] "GET / HTTP/1.1" 301 178 "-" "Mozilla/5.0 (Windows NT 6.1; WOW..
TIME TEXT

A cosa servono ?
Log è un termine comunemente usato nell'informatica, specie in ambito sistemistico,
per indicare:
1) la registrazione sequenziale e cronologica delle operazioni effettuate, da un
utente, un amministratore o automatizzate, man mano che vengono eseguite dal
sistema o applicazione;
2) il ﬁle o insieme di ﬁle su cui tali registrazioni sono memorizzate ed eventualmente
accedute in fase di analisi dei dati, detto anche registro eventi.

logs : quali vantaggi ?
1.Registrare eventi
2.Registrare eventi informativi / errori
1.eventi informativi : ﬂusso normale
applicativo
2.eventi negativi : errori

Tipi di logs : Logs di sistema
generati dal sistema operativo… auth.log, syslog etc…

Tipi di logs : logs applicativi
generati dallo stack del proprio applicativo o dall’applicativo stesso : nginx, apache, mysql,  
tomcat, framework come symfony, ruby on rails, php …. etc.

cosa fare ???

TAIL ?!?!?
Siete sicuri !?!?

Sicuri Sicuri ???????

Sicuri Sicuri ???????
Questo approccio non è SCALABILE !!
e poi provate a sentire cosa ne pensano quelli del marketing….

NAGIOS
Nagios è un ottima soluzione open source, che
permette di controllare la propria infrastruttura IT e di
deﬁnire delle soglie di alert per poter intervenire in
tempo nel caso si veriﬁchino errori.

NAGIOS
cosa può fare :
• Monitor servizi di rete (SMTP, POP3, HTTP, NNTP, ICMP, SNMP, FTP, SSH)
• Monitor risorse host (carico CPU, utilizzo disco, system logs)
• Monitor temperatura della cpu , allarmi di sistema.
• Monitoring via remotely run scripts via Nagios Remote Plugin Executor
• Remote monitoring sfruttando SSH o SSL tunneling
• Facilità di implementare plugin custom in moltissimi linguaggi di programmazione
• Plugins per la generazione di graﬁci
• Servizi di alert via SMS, Email

MONIT
Monit è un tool open source per gestire e monitorare sistemi Unix.
Una delle feature interessanti di
Monit è che può essere conﬁgurato
per “reagire” al veriﬁcare di certi
eventi e cercare di correggere un
comportamento erroneo di un
servizio Unix.
Esempio :
Se sendmail non risponde Monit
può eseguirne il restart.
Se Apache è sta usando troppe
risorse potrebbe essere in corso un
attacco DDOS: Monit può riavviare
il servizio e “bannare” l’IP
dell’ipotetico attacker.

GRAYLOG 2
Graylog2 è una soluzione di altissimo livello e forse l’unica tra quelle citate a
competere direttamente con Kibana. Allo stesso modo di Kibana+Logstash , Graylog2
è in grado di utilizzare Elasticsearch per indicizzare i dati e questo è certamente un
plus rispetto ad altri concorrenti.
Rispetto a Kibana è più veloce nella gestione dei log e su grossi moli di dati questo, vi
renderete conto, è un bel vantaggio. Logstash risulta di gran lunga più potente nel
parsing dei ﬁle e permette maggiori margini di “manovra”. Allo stesso tempo Logstash
risulta essere più lento.

GRAYLOG 2 #2
Vantaggi Graylog vs Kibana:
- autenticazione multiutente
- alert pro-attivi per determinati tipi di evento.

Molto altro
- Collectd
- statsd
- ganglia
- Fluentd
- e molte altre soluzioni…

ELK
Robusto / Open source / accessibile

Elasticsearch
full text search engine
1. full text search engine
2. Basato Apache Lucene
3. Veloce
4. Java
5. Open Source

Logstash
aggrega, normalizza log files
1. Aggregatore di logs.
2. Normalizza tipi di dato e logs.
3. Facilmente personalizzabile.
4. Possibilità di creare plugins per i
propri dati.

Kibana
visualizza i tuoi dati
1. Effettua ricerche sui ﬁle di log
velocemente.
2. Organizza i risultati delle ricerche in
oggetti
3. Inserisci i tuoi oggetti in
dashboards.

Kibana #1

Kibana #2

Logstash
1. Leggi i ﬁles di logs
2. Normalizza i dati
3. Esporta i dati normalizzati in una sorgente dati

Logstash
Il segreto dello stack ELK risiede in buona parte in
Logstash: questo tool è fondamentale per poter
manipolare, normalizzare ed importare in Elasticsearch i
ﬁle di log.

Logstash
Logstash è spesso paragonato ad una Pipeline unix
Input —> Filter —> Output

Logstash
Input : generano gli eventi
couchdb_changes
drupal_dblog
elasticsearch
exec
eventlog
ﬁle
ganglia
gelf
generator
graphite
github
heartbeat
heroku
irc
imap
jmx
kafka
log4j
lumberjack
meetup
pipe
puppet_facter
relp
rss
rackspace
rabbitmq
redis
snmptrap
stdin
sqlite
s3
sqs
stomp
syslog
tcp
twitter
unix
udp
varnishlog
wmi
websocket
xmpp
zenoss
zeromq
44 INPUTS

Logstash
Filters : manipolano eventi generati in input
alter
anonymize
collate
csv
cidr
clone
cipher
checksum
date
dns
drop
elasticsearch
extractnumbers
environment
elapsed
ﬁngerprint
geoip
grok
i18n
json
json_encode
kv
mutate
metrics
multiline
metaevent
prune
punct
ruby
range
syslog_pri
sleep
split
throttle
translate
uuid
urldecode
useragent
xml
zeromq
40 FILTERS

Logstash
Output : manipolano eventi generati in input
54 OUTPUT
boundary
circonus
csv
cloudwatch
datadog
datadog_metrics
email
elasticsearch
exec
ﬁle
google_bigquery
google_cloud_storage
ganglia
gelf
graphtastic
graphite
hipchat
http
irc
websocket
xmpp
zabbix
zeromq
inﬂuxdb
juggernaut
jira
kafka
lumberjack
librato
loggly
mongodb
metriccatcher
nagios
null
nagios_nsca
opentsdb
pagerduty
pipe
riemann
redmine
rackspace
rabbitmq
redis
riak
s3
sqs
stomp
statsd
solr_http
sns
syslog
stdout
tcp
udp

Logstash
configurazione
input {
—> definisce l’input per i files di logs
}
filter {
—> definisce come normalizzare i logs
}
output {
—> esporta i logs normalizzati in una sorgente
}

Logstash
INPUT
input {
}

Logstash
FILTERS
ﬁlter {
}

Logstash
OUTPUT
output {
}

Logstash
retention dei dati
I ﬁltri di output possono essere molteplici :
export su elasticsearch
export su AWS S3
E’ possibile utilizzare elasticsearch con i dati degli ultimi n mesi ed allo
stesso tempo averli tutti quanti salvati in un altro repository come per
esempio S3.

Logstash

ELK
DEMO TIME !

Logstash - Plus
https://moz.com/blog/technical-seo-log-analysis

References
• Monit : https://mmonit.com/monit/
• Nagios : https://www.nagios.org/
• statsd : https://codeascraft.com/2011/02/15/measure-anything-
measure-everything/
• collectd : https://collectd.org/
• ganglia : http://ganglia.sourceforge.net/
• ﬂuentd: http://www.ﬂuentd.org/
• graylog2 : https://www.graylog.org/
• ELK :
• elasticsearch: https://www.elastic.co/
• kibana: https://www.elastic.co/products/kibana
• logstash: https://www.elastic.co/products/logstash
• https://www.youtube.com/watch?v=RuUFnog29M4

Elk - Elasticsearch Logstash Kibana stack explained

More Related Content

Similar to Elk - Elasticsearch Logstash Kibana stack explained (19)

More from Federico Panini (7)

Elk - Elasticsearch Logstash Kibana stack explained

Editor's Notes