Plugin logstash-filter-aggregate (meetup Elastic FR)
Télécharger en tant que PPT, PDF0 j'aime1,574 vues
Le document décrit le plugin logstash-filter-aggregate développé par Fabien Baligand pour agréger des informations dispersées dans les lignes de log en un seul document. Il présente également des exemples de configuration pour le traitement des données ainsi qu'un guide sur la création de plugins logstash, en expliquant les étapes nécessaires pour publier officiellement un plugin. Enfin, plusieurs cas d'utilisation et bénéfices de l'agrégation des logs sont abordés.
![Configuration logstash (1/3)
if [logger] == "TASK_START" {
aggregate {
task_id => "%{taskid}"
code => "map['sql_duration'] = 0"
}
}
INFO - 12345 - TASK_START - start](https://image.slidesharecdn.com/logstash-filter-aggregate-150921225335-lva1-app6891/85/Plugin-logstash-filter-aggregate-meetup-Elastic-FR-6-320.jpg)
![Configuration logstash (2/3)
if [logger] == "SQL" {
aggregate {
task_id => "%{taskid}"
code => "map['sql_duration'] +=
event['duration']"
}
}
INFO - 12345 - SQL - sqlQuery1 - 12](https://image.slidesharecdn.com/logstash-filter-aggregate-150921225335-lva1-app6891/85/Plugin-logstash-filter-aggregate-meetup-Elastic-FR-7-320.jpg)
![Configuration logstash (3/3)
if [logger] == "TASK_END" {
aggregate {
task_id => "%{taskid}"
code => "event['sql_duration'] =
map['sql_duration']"
end_of_task => true
}
}
INFO - 12345 - TASK_END - end](https://image.slidesharecdn.com/logstash-filter-aggregate-150921225335-lva1-app6891/85/Plugin-logstash-filter-aggregate-meetup-Elastic-FR-8-320.jpg)
Plugin logstash-filter-aggregate (meetup Elastic FR)
- 2. Fabien Baligand Passionné de technos java et web Passionné de logs Développeur OpenSource sur GitHub : github.com/fbaligand/lognavigator github.com/logstash-plugins/logstash-filter-aggregate Tech Lead chez Informatique CDC +FabienBaligand @fbaligand
- 3. logstash-filter-aggregate Objectif : Agréger les informations dispersées dans plusieurs lignes de log, dans un seul document logstash
- 4. Exemple INFO - 12345 - TASK_START - start INFO - 12345 - SQL - sqlQuery1 - 12 INFO - 12345 - SQL - sqlQuery2 - 34 INFO - 12345 - TASK_END - end
- 5. Résultat attendu { "message" => "INFO - 12345 - TASK_END - end", "sql_duration" => 46 }
- 6. Configuration logstash (1/3) if [logger] == "TASK_START" { aggregate { task_id => "%{taskid}" code => "map['sql_duration'] = 0" } } INFO - 12345 - TASK_START - start
- 7. Configuration logstash (2/3) if [logger] == "SQL" { aggregate { task_id => "%{taskid}" code => "map['sql_duration'] += event['duration']" } } INFO - 12345 - SQL - sqlQuery1 - 12
- 8. Configuration logstash (3/3) if [logger] == "TASK_END" { aggregate { task_id => "%{taskid}" code => "event['sql_duration'] = map['sql_duration']" end_of_task => true } } INFO - 12345 - TASK_END - end
- 9. DEMO
- 10. logstash-filter-aggregate Usages : Répartition temps appels externes / traitement applicatif Agrégation des erreurs Récupération d’informations de corrélation dispersées
- 11. Création de plugin logstash Compliqué ?
- 12. Création de plugin logstash Comment on fait ? (1/3) logstash-filter-yourplugin logstash-filter-yourplugin.gemspec lib logstash filters yourplugin.rb
- 13. Création de plugin logstash Comment on fait ? (2/3) class LogStash::Filters::YourFilter < LogStash::Filters::Base public def filter(event) ... end end yourplugin.rb :
- 14. Création de plugin logstash Comment on fait ? (3/3) Gem::Specification.new do |s| s.name = 'logstash-filter-yourfilter' s.version = '0.0.1' s.summary = "bla bla plugin" ... end logstash-filter-yourplugin.gemspec :
- 15. Publication officielle de plugin logstash Pourquoi ? Intégration dans le compte officiel github : logstash-plugins Intégration dans la doc officielle de logstash Gagner en visibilité
- 16. Publication officielle de plugin logstash Comment ? 1. Issue sur github.com/elastic/logstash Demande de création de repository sur le compte logstash-plugins 2. Fork du repository 3. Dev du plugin + Tests unitaires 4. Pull Request
- 17. Questions