LOGLARI NEREDE SAKLAYALIM?
Dr. ERTUĞRUL AKBAŞ
eakbas@gmail.com
Kelimeler: Log Yönetimi, RDMS, Vertical DB, Kolon Tabanlı Veri tabanları, NoSQL,
SIEM, İstatistiksel Analiz.
Log Yönetim sistemlerinde logların saklanması ve loglar üzerinde analizlerin yapılması en
kritik işlemlerden biridir.
Bu konuda teknolojik altyapı ne durumdadır ve endüstriyel olarak mevcut ürünler hangi
yöntemi tercih etmektedirler sorusuna aşağıda cevap arayacağız.
Bu konuda 6 yöntem tercih edilmektedir.
1- Özel Yazılım Geliştirme: Ticari ürünlerin bir kısmı kendi saklama ve analiz
sistemlerini kendileri geliştirmektedir. Örnek QRadar [4], Splunk [5], NetIQ Sentinel
[15] ve RSA enVision [16] . IBM QRadar ayrıca postgresql de kullanmaktadır.
2- Big Data için geliştirilen Kolon Tabanlı (Columnar -Vertical DB) teknolojisini
kullananlar. Örnek olarak Solarwinds Log Manager [6], Sonicwall log manager [7],
Blackstratus SIEM Storm [10,11], Sensage (Şimdi Helix oldu) [24] gibi.
3- Mevcut DB lerden türetme. Örnek McAffe Nitrosecurty SIEM ürünü MySQL den
NitroEDB geliştirmiştir. [8,9]
4- NoSQL veritabanı kullanımı özellikle açık kaynak kodlu uygulamalarda görülür.
Burada en bilinen NoSQL DB MongoDB dir. Örnek olarak Graylog2 [12] verilebilir.
Ayrıca Ticari olarak Log Yönetimi ve SIEM çözümünde kullanan olmamakla birlikte
kendi sistem loglarını NoSQL üzerinde tutan pek çok firma mevcuttur.
5- RDMS kullanan sistemler. Örnek olarak Tripwire [13] , Adventnet ürünleri [14]
6- Search engine temelli sistemeler: Örnek Logstash [17], Elasticsearch [18], Kibana
[19], Logly [22]
Eğer teker teker teknolojileri hızlıca değerlendirmek gerekirse:
Özel Yazılımlar:
Özel yazılım geliştirme mevcut çözümün ihtiyaçlarına en uygun şekilde geliştirme
olanaklarını sunacağı için çok avantajlıdır. Burada çıkabilecek sorunlar uyum ve dışarıya port
etmeyle ilgili olabilir.
Kolon Tabanlı (Columnar -Vertical DB) :
Vertical DB teknolojileri özellikle Big Data üzerinde istatistiksel analiz için tasarlanmış
sistemlerdir ve yüzlerce sistemde kullanılmaktadır ve çok hızlıdır. [23]
Büyük verilerin analizinde ortaya çıkacak raporlarda her bir verinin tek tek gösterilmesi hiçbir
zaman sağlıklı analiz sağlamaz; bu analiz mantığına ters bir durumdur. Dolayısı ile analiz
temelli bir felsefe ile veri tabanlarının tasarlanması gerekir gerçeğinden yola çıkarak
tasarlanmıştır. Ayrıca daha fazla rapor demek, sorgu miktarının artmasına yol açar. Ad-hoc
sorguların fazla olması da sorgulara daha hızlı cevap verilmesini gerektirir. Özellikle
raporların aggregated veri çekmesi nedeniyle bu konuya odaklanmış sistemler gerekir. Tüm
bir satırı alıp, gerekli olan kolonları ayıklayıp daha sonra aggregation yapmak, performans
açısından sunucuyu gereksiz zorlamaktan öteye gitmez. Gelişmesi içinse daha iyi (daha
pahalı) hardware gereksinimi doğar. Columnar veri tabanlarında ise böyle bir sorun olmaz,
çünkü zaten aggregate edilecek kolonlar kendi içlerinde hesaplanıp sunulur.
Columnar veri tabanları sayesinde veriler birbirine sabit şekilde bağlı olmaktan çıkıp,
kullanılabilir şekilde bağlanmaya başlanmıştır.
Mevcut DB lerden Türetme:
Mevcut DB lerden türetme de performanslı bir yöntemdir. İhtiyaçlar bilindiği için türetme o
yönde yapılır ve sistem bu türetmeden avantaj sağlar.
NoSQL Sistemler:
NoSQL (MongoDB) sistemleri :
 Çok büyük verileri saklayabilir,
 Sık sık değişen veri yapılarında kullanışlıdır,
 Okuma ve yazma performansı SQL sistemlerine göre zaman zaman daha hızlı olabilir
ama Vertical DB lere göre yavaştır [20,21]
 ORM teknolojilerini kullanan uygulamalara göre daha hızlıdır
 Sistemi yatay olarak genişletebiliriz (Binlerce sunucusu olan bir sistem kurabiliriz )
NoSQL (MongoDB) dezavantajları:
 Çok fazla disk alanı ihtiyacı duyar [1]
 NoSQL Ram'da çalışmaktadır. Veriler XML veya JSON şeklinde tutulur. NoSQL
Excel'e benzetilebilir. BigTable olarak veriler tutulmaktadır. Çok daha fazla memory
kullanır [2,3] hatta farkında olmadan sistem kaynaklarını bitirebilirsiniz.
 Eşzamanlılık problemi. Sistemde aynı anda yazma ve okuma yaparsanız sistem write
lock temelli çalıştığı [2] için bloklanır ve write önceliklidir. Dolayısı ile yüksek
hızlarda yazma için ya çok ciddi server yatırımları yapmanız gerekir ya da sorgular
yavaşlar veya log kaybı olur.
 İlişkisel veritabanı yönetim sistemlerindeki işlem hareketleri (transaction) kavramı
NoSQL veritabanı sistemlerinde bulunmadığı için veri kaybı söz konusu
olabilmektedir.
 NoSQL sistemi bir problemle karşılaştığında güncelleme ve yedekleme sistemine
güvenemeyiz. Bu da hızlı olmasının getirdiği bir sıkıntıdır.
RDMS Sistemler:
Çok büyük veriler için uygun değildir. Ya çok ciddi donanım yatırımı gerektirir ya da
yüksek EPS değerlerine çıkamaz.
Search Engine Temelli Sistemeler:
Log aramada avantajlıdırlar ama bir SIEM çözümü ihtiyacını yapısal olarak
karşılayamazlar. Tasarımları arama yapmak üzeredir istatistiksel fonksiyonlar eksiktir.
Veri analizi amaçlı değillerdir.
Sonuç
Burada yapılan projelerden edinilen tecrübeler, sistemlerin tasarım felsefelerine ve endüstriyel
uygulamalara bakarak:
Logları analiz amaçlı kullanacaksanız Columnar Database iyi bir seçenek iken tek-tek veriye
ulaşacaksanız NoSQL veritabanları daha iyi sonuç verecektir.
Değişik veri tabanlarını karşılaştırmalı bir şekilde incelediğimiz bir yazıyı burada tekrar
paylaşabiliriz.
http://www.slideshare.net/anetertugrul/log-ynetimi-ve-arama-hz
REFERANSLAR
1- http://www.databaseskill.com/3802357/
2- http://halls-of-valhalla.org/beta/articles/the-pros-and-cons-of-mongodb,45/
3- http://docs.mongodb.org/manual/faq/diagnostics/
4- http://www-03.ibm.com/certify/tests/objC2150-195.shtml
5- http://answers.splunk.com/answers/6467/what-is-splunk-database-engine
6- http://knowledgebase.solarwinds.com/kb/questions/4426/5.5+Software+Release+Note
s
7- https://www.infobright.com/index.php/case-study/sonicwall-faster-queries-ad-hoc-
reporting/#.U9zBoWPcPSU
8- http://enterprise-dw.blogspot.com.tr/2010/04/external-mysql-storage-engines-for-
data.html
9- https://kc.mcafee.com/corporate/index?page=content&id=KB74219
10- http://www.vertica.com/industries/purpose-built-for-oem/
11- http://www.blackstratus.com/
12- http://graylog2.org/
13- http://www.tripwire.com/it-security-software/log-event-management/tripwire-log-
center/
14- http://www.manageengine.com/products/eventlog/
15- https://www.netiq.com/documentation/sentinel70/s701_install/data/btmckgy.html
16- http://www.emc.com/collateral/campaign/global/forums/ch-transforming-your-
security-options.pdf
17- http://logstash.net/
18- http://www.elasticsearch.org/
19- http://kibana.org/
20- http://chimpler.wordpress.com/2013/05/10/installing-and-comparing-mysqlmariadb-
mongodb-vertica-hive-and-impala-part-1/
21- http://padak.keboola.com/agregace-v-mongodb-oracle-redshift-bigquery-voltdb-
vertica-elasticsearch-a-gooddata
22- https://www.loggly.com/
23- http://en.wikipedia.org/wiki/List_of_column-oriented_DBMSes
24- http://www.hexiscyber.com/

More Related Content

PDF
Ajansız log toplama
DOCX
KORELASYON MOTORU, İLERİ ANALİTİK YÖNTEMLER, BİLGİ GÜVENLİĞİ VE LOG YÖNETİMİ
PDF
Log Yonetimi ve SIEM Kontrol Listesi
DOCX
KORELASYON GÖSTERMELİK DEĞİLDİR
PDF
Log yönetimi ve siem
PDF
SINIFLANDIRMA TEMELLİ KORELASYON YAKLAŞIMI
DOCX
SIEM ÜRÜNLERİNİN KORELASYON ÖZELLİKLERİ NASIL KARŞILAŞTIRILIR?
DOCX
Log yonetmi ve siem ürünlerinde veri analizi, sonuclarin tutarliligi ve dogru...
Ajansız log toplama
KORELASYON MOTORU, İLERİ ANALİTİK YÖNTEMLER, BİLGİ GÜVENLİĞİ VE LOG YÖNETİMİ
Log Yonetimi ve SIEM Kontrol Listesi
KORELASYON GÖSTERMELİK DEĞİLDİR
Log yönetimi ve siem
SINIFLANDIRMA TEMELLİ KORELASYON YAKLAŞIMI
SIEM ÜRÜNLERİNİN KORELASYON ÖZELLİKLERİ NASIL KARŞILAŞTIRILIR?
Log yonetmi ve siem ürünlerinde veri analizi, sonuclarin tutarliligi ve dogru...

What's hot (20)

DOCX
Anet SureLog SIEM IntelligentResponse
PDF
ANET SureLog SIEM avantajları
PDF
Log yonetimi tecrubeleri
PDF
ANET SURELOG INTERNATIONAL EDITION SIEM ÜRÜNÜNÜN KORELASYON İLE İLGİLİ ÜSTÜNL...
PDF
Log yönetimi ve siem projelerindeki en önemli kriter EPS değerleri
PPTX
SureLog SIEM Compliancy Korelasyon Log Yonetimi Tehdit istihbarati Threat Int...
PDF
Log Yönetimi SIEM Demek Değildir!
PPTX
SIEM ve KVKK Teknik Tedbirlerinin ANET SureLog SIEM ile uygulanması
PDF
Güvenlik, uyumluluk ve veritabani loglama
PDF
Log yönetimi sisteminizin log kaçırıp kaçırmadığını test etmek ister misiniz?
DOCX
Log yonetimi korelasyon ve SIEM
PDF
SureLog SIEM
DOCX
SIEM Neden Gerekli?
DOCX
SIEM olarak adlandırılan çözümler ve birbirlerine göre avantaj/dezavantajları...
DOCX
SIEM ÜRÜNLERİ GÖRÜNÜŞTE BİRBİRİNE BENZİYOR HATTA LOG YÖNETİMİ ÇÖZÜMÜ OLUP DA ...
DOCX
SIEM ÇÖZÜMLERİNDE TAXONOMY NE İŞE YARAR?
DOCX
Log siem korelasyon
DOCX
Log yönetimi ve siem farkı
PDF
Log Yönetiminde Gerçek Veriler ve Tutarlı Analiz
DOCX
Ajanlı ve ajansız log toplama
Anet SureLog SIEM IntelligentResponse
ANET SureLog SIEM avantajları
Log yonetimi tecrubeleri
ANET SURELOG INTERNATIONAL EDITION SIEM ÜRÜNÜNÜN KORELASYON İLE İLGİLİ ÜSTÜNL...
Log yönetimi ve siem projelerindeki en önemli kriter EPS değerleri
SureLog SIEM Compliancy Korelasyon Log Yonetimi Tehdit istihbarati Threat Int...
Log Yönetimi SIEM Demek Değildir!
SIEM ve KVKK Teknik Tedbirlerinin ANET SureLog SIEM ile uygulanması
Güvenlik, uyumluluk ve veritabani loglama
Log yönetimi sisteminizin log kaçırıp kaçırmadığını test etmek ister misiniz?
Log yonetimi korelasyon ve SIEM
SureLog SIEM
SIEM Neden Gerekli?
SIEM olarak adlandırılan çözümler ve birbirlerine göre avantaj/dezavantajları...
SIEM ÜRÜNLERİ GÖRÜNÜŞTE BİRBİRİNE BENZİYOR HATTA LOG YÖNETİMİ ÇÖZÜMÜ OLUP DA ...
SIEM ÇÖZÜMLERİNDE TAXONOMY NE İŞE YARAR?
Log siem korelasyon
Log yönetimi ve siem farkı
Log Yönetiminde Gerçek Veriler ve Tutarlı Analiz
Ajanlı ve ajansız log toplama
Ad

Viewers also liked (11)

DOCX
Threat intelligence ve siem
DOCX
Log Yönetimi yazılımımın veritabanında günlük ne kadar log olmalı?
DOCX
DHCP SERVER Logları ve SNMP ile Kimlik Takibi
DOC
Log management siem 5651 sayılı yasa
PDF
Ertugrul akbas
PDF
5651 sayili kanun
DOCX
Log yonetimi
DOC
Enhancing SIEM Correlation Rules Through Baselining
TXT
Juniper Srx Log
PDF
LOG YÖNETİMİ & SIEM PROJELERİNDE EPS DEĞERLERİNİN KRİTİKLİĞİ VE HESAPLANMA YÖ...
DOCX
Monitoring Privileged User Actions for Security and Compliance with SureLog: ...
Threat intelligence ve siem
Log Yönetimi yazılımımın veritabanında günlük ne kadar log olmalı?
DHCP SERVER Logları ve SNMP ile Kimlik Takibi
Log management siem 5651 sayılı yasa
Ertugrul akbas
5651 sayili kanun
Log yonetimi
Enhancing SIEM Correlation Rules Through Baselining
Juniper Srx Log
LOG YÖNETİMİ & SIEM PROJELERİNDE EPS DEĞERLERİNİN KRİTİKLİĞİ VE HESAPLANMA YÖ...
Monitoring Privileged User Actions for Security and Compliance with SureLog: ...
Ad

Similar to Loglari nerede saklayalım? (20)

PPTX
MongoDB - NoSQL Overview
PDF
Nosql & MongoDB
PPTX
No SQL & MongoDB Nedir?
PDF
veri tabanları . sql vs nosql
PDF
Nosql veritabanlari
PDF
Bilgi Güvenliği ve Log Yönetimi Sistemlerinin Analizi
DOCX
Infraskope Security Event Manager
PPTX
Nosql wars & machine learning
PDF
Nosql ve mongoDB
PPSX
Coğrafi bilgi sistemlerinde veritabanları
PDF
Hbase Kullanım Senaryoları
PPT
NoSQL Sunumu
PPTX
Dokuman Yonetimi Sistemi CubeBox-SAYS (Sayisal Arsiv Yonetimi)
PDF
GraphDb ve Neo4j Teknolojilerinin Yüzeysel Anlatımı
PPTX
Veri̇ tabani ve dosya yöneti̇mi̇
PDF
İlişkisel Veritabanı Sistemleri ve NoSQL
PPT
Kod günleri veritabnı
PPT
Kod günleri veritabnı
PDF
İleri Seviye T-SQL Programlama - Chapter 01
PPTX
MongoDB - NoSQL Overview
Nosql & MongoDB
No SQL & MongoDB Nedir?
veri tabanları . sql vs nosql
Nosql veritabanlari
Bilgi Güvenliği ve Log Yönetimi Sistemlerinin Analizi
Infraskope Security Event Manager
Nosql wars & machine learning
Nosql ve mongoDB
Coğrafi bilgi sistemlerinde veritabanları
Hbase Kullanım Senaryoları
NoSQL Sunumu
Dokuman Yonetimi Sistemi CubeBox-SAYS (Sayisal Arsiv Yonetimi)
GraphDb ve Neo4j Teknolojilerinin Yüzeysel Anlatımı
Veri̇ tabani ve dosya yöneti̇mi̇
İlişkisel Veritabanı Sistemleri ve NoSQL
Kod günleri veritabnı
Kod günleri veritabnı
İleri Seviye T-SQL Programlama - Chapter 01

More from Ertugrul Akbas (20)

PDF
BDDK, SPK, TCMB, Cumhurbaşkanlığı Dijital Dönüşüm Ofisi ve ISO27001 Denetiml...
PDF
Olay Müdahale İçin Canlı Kayıtların Saklanmasının Önemi
PDF
SOC ve SIEM Çözümlerinde Korelasyon
PDF
SIEM den Maksimum Fayda Almak
PDF
SureLog SIEM Fast Edition Özellikleri ve Fiyatı
PDF
Neden SureLog?
PDF
SureLog SIEM
PDF
SureLog SIEM Fast Edition
PDF
SureLog SIEM
PDF
SureLog SIEM
PDF
SureLog SIEM
PDF
SureLog SIEM
PDF
SureLog intelligent response
PDF
SureLog SIEM Has The Best On-Line Log Retention Time (Hot Storage).
PDF
Detecting attacks with SureLog SIEM
PDF
SureLog SIEM
DOCX
Siem tools
DOCX
PDF
KVKK Siperium Data Analyzer & Data Discovery
DOCX
SureLog SIEM Profiler
BDDK, SPK, TCMB, Cumhurbaşkanlığı Dijital Dönüşüm Ofisi ve ISO27001 Denetiml...
Olay Müdahale İçin Canlı Kayıtların Saklanmasının Önemi
SOC ve SIEM Çözümlerinde Korelasyon
SIEM den Maksimum Fayda Almak
SureLog SIEM Fast Edition Özellikleri ve Fiyatı
Neden SureLog?
SureLog SIEM
SureLog SIEM Fast Edition
SureLog SIEM
SureLog SIEM
SureLog SIEM
SureLog SIEM
SureLog intelligent response
SureLog SIEM Has The Best On-Line Log Retention Time (Hot Storage).
Detecting attacks with SureLog SIEM
SureLog SIEM
Siem tools
KVKK Siperium Data Analyzer & Data Discovery
SureLog SIEM Profiler

Loglari nerede saklayalım?

  • 1. LOGLARI NEREDE SAKLAYALIM? Dr. ERTUĞRUL AKBAŞ eakbas@gmail.com Kelimeler: Log Yönetimi, RDMS, Vertical DB, Kolon Tabanlı Veri tabanları, NoSQL, SIEM, İstatistiksel Analiz. Log Yönetim sistemlerinde logların saklanması ve loglar üzerinde analizlerin yapılması en kritik işlemlerden biridir. Bu konuda teknolojik altyapı ne durumdadır ve endüstriyel olarak mevcut ürünler hangi yöntemi tercih etmektedirler sorusuna aşağıda cevap arayacağız. Bu konuda 6 yöntem tercih edilmektedir. 1- Özel Yazılım Geliştirme: Ticari ürünlerin bir kısmı kendi saklama ve analiz sistemlerini kendileri geliştirmektedir. Örnek QRadar [4], Splunk [5], NetIQ Sentinel [15] ve RSA enVision [16] . IBM QRadar ayrıca postgresql de kullanmaktadır. 2- Big Data için geliştirilen Kolon Tabanlı (Columnar -Vertical DB) teknolojisini kullananlar. Örnek olarak Solarwinds Log Manager [6], Sonicwall log manager [7], Blackstratus SIEM Storm [10,11], Sensage (Şimdi Helix oldu) [24] gibi. 3- Mevcut DB lerden türetme. Örnek McAffe Nitrosecurty SIEM ürünü MySQL den NitroEDB geliştirmiştir. [8,9] 4- NoSQL veritabanı kullanımı özellikle açık kaynak kodlu uygulamalarda görülür. Burada en bilinen NoSQL DB MongoDB dir. Örnek olarak Graylog2 [12] verilebilir. Ayrıca Ticari olarak Log Yönetimi ve SIEM çözümünde kullanan olmamakla birlikte kendi sistem loglarını NoSQL üzerinde tutan pek çok firma mevcuttur. 5- RDMS kullanan sistemler. Örnek olarak Tripwire [13] , Adventnet ürünleri [14] 6- Search engine temelli sistemeler: Örnek Logstash [17], Elasticsearch [18], Kibana [19], Logly [22] Eğer teker teker teknolojileri hızlıca değerlendirmek gerekirse: Özel Yazılımlar: Özel yazılım geliştirme mevcut çözümün ihtiyaçlarına en uygun şekilde geliştirme olanaklarını sunacağı için çok avantajlıdır. Burada çıkabilecek sorunlar uyum ve dışarıya port etmeyle ilgili olabilir.
  • 2. Kolon Tabanlı (Columnar -Vertical DB) : Vertical DB teknolojileri özellikle Big Data üzerinde istatistiksel analiz için tasarlanmış sistemlerdir ve yüzlerce sistemde kullanılmaktadır ve çok hızlıdır. [23] Büyük verilerin analizinde ortaya çıkacak raporlarda her bir verinin tek tek gösterilmesi hiçbir zaman sağlıklı analiz sağlamaz; bu analiz mantığına ters bir durumdur. Dolayısı ile analiz temelli bir felsefe ile veri tabanlarının tasarlanması gerekir gerçeğinden yola çıkarak tasarlanmıştır. Ayrıca daha fazla rapor demek, sorgu miktarının artmasına yol açar. Ad-hoc sorguların fazla olması da sorgulara daha hızlı cevap verilmesini gerektirir. Özellikle raporların aggregated veri çekmesi nedeniyle bu konuya odaklanmış sistemler gerekir. Tüm bir satırı alıp, gerekli olan kolonları ayıklayıp daha sonra aggregation yapmak, performans açısından sunucuyu gereksiz zorlamaktan öteye gitmez. Gelişmesi içinse daha iyi (daha pahalı) hardware gereksinimi doğar. Columnar veri tabanlarında ise böyle bir sorun olmaz, çünkü zaten aggregate edilecek kolonlar kendi içlerinde hesaplanıp sunulur. Columnar veri tabanları sayesinde veriler birbirine sabit şekilde bağlı olmaktan çıkıp, kullanılabilir şekilde bağlanmaya başlanmıştır. Mevcut DB lerden Türetme: Mevcut DB lerden türetme de performanslı bir yöntemdir. İhtiyaçlar bilindiği için türetme o yönde yapılır ve sistem bu türetmeden avantaj sağlar. NoSQL Sistemler: NoSQL (MongoDB) sistemleri :  Çok büyük verileri saklayabilir,  Sık sık değişen veri yapılarında kullanışlıdır,  Okuma ve yazma performansı SQL sistemlerine göre zaman zaman daha hızlı olabilir ama Vertical DB lere göre yavaştır [20,21]  ORM teknolojilerini kullanan uygulamalara göre daha hızlıdır  Sistemi yatay olarak genişletebiliriz (Binlerce sunucusu olan bir sistem kurabiliriz ) NoSQL (MongoDB) dezavantajları:  Çok fazla disk alanı ihtiyacı duyar [1]  NoSQL Ram'da çalışmaktadır. Veriler XML veya JSON şeklinde tutulur. NoSQL Excel'e benzetilebilir. BigTable olarak veriler tutulmaktadır. Çok daha fazla memory kullanır [2,3] hatta farkında olmadan sistem kaynaklarını bitirebilirsiniz.  Eşzamanlılık problemi. Sistemde aynı anda yazma ve okuma yaparsanız sistem write lock temelli çalıştığı [2] için bloklanır ve write önceliklidir. Dolayısı ile yüksek hızlarda yazma için ya çok ciddi server yatırımları yapmanız gerekir ya da sorgular yavaşlar veya log kaybı olur.
  • 3.  İlişkisel veritabanı yönetim sistemlerindeki işlem hareketleri (transaction) kavramı NoSQL veritabanı sistemlerinde bulunmadığı için veri kaybı söz konusu olabilmektedir.  NoSQL sistemi bir problemle karşılaştığında güncelleme ve yedekleme sistemine güvenemeyiz. Bu da hızlı olmasının getirdiği bir sıkıntıdır. RDMS Sistemler: Çok büyük veriler için uygun değildir. Ya çok ciddi donanım yatırımı gerektirir ya da yüksek EPS değerlerine çıkamaz. Search Engine Temelli Sistemeler: Log aramada avantajlıdırlar ama bir SIEM çözümü ihtiyacını yapısal olarak karşılayamazlar. Tasarımları arama yapmak üzeredir istatistiksel fonksiyonlar eksiktir. Veri analizi amaçlı değillerdir. Sonuç Burada yapılan projelerden edinilen tecrübeler, sistemlerin tasarım felsefelerine ve endüstriyel uygulamalara bakarak: Logları analiz amaçlı kullanacaksanız Columnar Database iyi bir seçenek iken tek-tek veriye ulaşacaksanız NoSQL veritabanları daha iyi sonuç verecektir. Değişik veri tabanlarını karşılaştırmalı bir şekilde incelediğimiz bir yazıyı burada tekrar paylaşabiliriz. http://www.slideshare.net/anetertugrul/log-ynetimi-ve-arama-hz REFERANSLAR 1- http://www.databaseskill.com/3802357/ 2- http://halls-of-valhalla.org/beta/articles/the-pros-and-cons-of-mongodb,45/ 3- http://docs.mongodb.org/manual/faq/diagnostics/ 4- http://www-03.ibm.com/certify/tests/objC2150-195.shtml 5- http://answers.splunk.com/answers/6467/what-is-splunk-database-engine 6- http://knowledgebase.solarwinds.com/kb/questions/4426/5.5+Software+Release+Note s 7- https://www.infobright.com/index.php/case-study/sonicwall-faster-queries-ad-hoc- reporting/#.U9zBoWPcPSU 8- http://enterprise-dw.blogspot.com.tr/2010/04/external-mysql-storage-engines-for- data.html 9- https://kc.mcafee.com/corporate/index?page=content&id=KB74219
  • 4. 10- http://www.vertica.com/industries/purpose-built-for-oem/ 11- http://www.blackstratus.com/ 12- http://graylog2.org/ 13- http://www.tripwire.com/it-security-software/log-event-management/tripwire-log- center/ 14- http://www.manageengine.com/products/eventlog/ 15- https://www.netiq.com/documentation/sentinel70/s701_install/data/btmckgy.html 16- http://www.emc.com/collateral/campaign/global/forums/ch-transforming-your- security-options.pdf 17- http://logstash.net/ 18- http://www.elasticsearch.org/ 19- http://kibana.org/ 20- http://chimpler.wordpress.com/2013/05/10/installing-and-comparing-mysqlmariadb- mongodb-vertica-hive-and-impala-part-1/ 21- http://padak.keboola.com/agregace-v-mongodb-oracle-redshift-bigquery-voltdb- vertica-elasticsearch-a-gooddata 22- https://www.loggly.com/ 23- http://en.wikipedia.org/wiki/List_of_column-oriented_DBMSes 24- http://www.hexiscyber.com/