Data Fusion model for web analytics

Developing data fusion and
correlation model for web ranking:
proposed solution
Iran Telecommunication Research Center(ITRC)
Communication Technology Department
Web ranking project
By: Mahdi Sayyad
December 20 , 2017

Outline
 Who we are?
 Our Work Process
 Fusion or correlation?
 Proposed approach
 Introduction to ontology
 Describing Artichecture of model
 Software solution for deploying model
 Conclusions and future works

Our Team
Mahdi Sayyad
MS in Computer Engineering ,CEH
,CCNA, ISMS Lead Auditor,
Cybersecurity Researcher, Co-Founder
of ICSGROUP.IR
7+ year experience in InfoSec and
Cybersecurity analysis
Mohammad H. Bazrafkan
MS in Information Security, CEH, OSCP,
Co-Founder ARTINERTEBAT.
6+ year experience in InfoSec and
Cybersecurity analysis

Our Research Process
Requirements
analysis
•Problem Definition
•Requirement Skills
•Scope Determination
•Team Selection and
acquisition
Information
Gathering and
Resource
Selection
•Papers(journals and
Conferences)
•Books(handbooks and
proceeding studies)
•Thesis
•Technical reports
•Workshop presentation
•Main Keywords: Data
Fusion/Log Correlation/web
log Analytics
Review and Study
•Fundamentals and
scope define
•Models and
Architectures
•Tools and
Techniques
Feasibility
Analysis and
Proposed
solutions
•Leveraging tools and
techniques for use
case
•Selection and
Developing proposed
solution
Reporting
• Phase 1 
• Phase 2 
• Phase 3 

‫نیازمندهای‬‫با‬‫سنجی‬‫تطابق‬
‫بندی‬‫رتبه‬‫پروژه‬‫های‬
‫اول‬ ‫بخش‬

‫همبستگی‬ ‫یا‬ ‫ادغام‬ ‫است‬ ‫این‬ ‫مسئله‬!
‫همبستگی‬
‫اطالعات‬ ‫سطح‬
‫فرآیند‬ ‫شروع‬ ‫از‬ ‫قبل‬ ‫پردازش‬ ‫پیش‬
‫باال‬ ‫سطح‬
‫هدف‬:‫گیری‬ ‫تصمیم‬ ‫و‬ ‫برای‬ ‫بهتر‬ ‫تحلیل‬
‫موثر‬(‫رویداد‬ ‫کشف‬)
‫ادغام‬
‫داده‬ ‫سطح‬(‫خام‬/‫ویژگی‬/‫تصمیم‬)
‫فرآیند‬ ‫حین‬ ‫در‬ ‫داده‬ ‫پردازش‬
(‫پایین‬/‫میانی‬/‫باال‬/‫ترکیبی‬)
‫پایین‬ ‫سطح‬
‫هدف‬:‫تصمیم‬ ‫و‬ ‫تحلیل‬ ‫برای‬ ‫کارآمد‬ ‫داده‬

‫ها‬ ‫سایت‬ ‫وب‬ ‫بندی‬ ‫رتبه‬ ‫پروژه‬

‫بندی‬ ‫رتبه‬ ‫پروژه‬ ‫در‬ ‫الگ‬ ‫داده‬ ‫شناخت‬
‫نوع‬ ‫دو‬ ‫شامل‬HTTP‫و‬HTTPS ‫پراکسی‬ ‫الگ‬/‫شبکه‬ ‫جریان‬
‫اسکریپت‬ ‫الگ‬(‫سرور‬ ‫وب‬) ‫بازدیدها‬ ‫اطالعات‬ ‫تجمیع‬ ‫و‬ ‫رمز‬ ‫غیر‬
‫ها‬ ‫داده‬/‫موجود‬ ‫ها‬ ‫الگ‬

‫یا‬ ‫ادغام‬ ‫فرآیند‬ ‫سنجی‬ ‫امکان‬‫همبستگی‬
‫الگ‬ ‫ادغام‬
‫با‬ ‫اسکریپت‬
‫شبکه‬ ‫جریان‬
‫های‬ ‫الگ‬ ‫ادغام‬
‫شبکه‬(‫همگون‬)
‫الگ‬ ‫ادغام‬‫های‬
‫شبکه‬(‫ناهمگون‬)
‫الگ‬ ‫همبستگی‬
‫کشف‬ ‫هدف‬ ‫با‬ ‫ها‬
‫ناهنجاری‬/‫تهدید‬

‫شبکه‬ ‫جریان‬ ‫های‬ ‫الگ‬ ‫ادغام‬(‫همگون‬ ‫های‬ ‫الگ‬)

‫شبکه‬ ‫جریان‬ ‫های‬ ‫الگ‬ ‫ادغام‬(‫های‬ ‫الگ‬‫ناهمگون‬)

‫ت‬ ‫و‬ ‫ناهنجاری‬ ‫کشف‬ ‫برای‬ ‫ها‬ ‫الگ‬ ‫همبستگی‬‫هدید‬
‫قاعده‬ ‫قابل‬ ‫رویدادهای‬
‫گذاری‬
‫سطح‬‫میکرو‬‫یا‬‫ماکرو‬
‫ربات‬
‫مخرب‬
‫نفوذ‬
‫حمله‬
‫رفتار‬
‫غیرعادی‬
‫بدافزار‬

‫پیشنهادی‬‫راهکاری‬
‫دوم‬ ‫بخش‬

‫پیشنهادی‬ ‫راهکار‬:‫زمینه‬ ‫پیش‬
‫معتبر‬ ‫عملی‬ ‫مقاله‬ ‫دو‬(ISI Journal)
1. Web Warehouse – A New Web Information
Fusion Tool for Web Mining, 2006
2. An ontology-based data integration approach
for web analytics in e-commerce, 2016
‫آن‬ ‫در‬ ‫ادغام‬ ‫کاربرد‬ ‫و‬ ‫وب‬ ‫داده‬ ‫انبار‬
‫وب‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫شناسی‬ ‫هستان‬(OWA)
‫شناخت‬ ‫پایگاه‬ ‫ارائه‬(‫شناسی‬ ‫هستان‬)‫وب‬->WAO
‫پیشنهادی‬ ‫راهکاری‬=‫معماری‬ ‫طراحی‬+
‫افزاری‬ ‫نرم‬ ‫بستر‬ ‫روی‬ ‫سازی‬ ‫پیاده‬
‫هستان‬
‫تجزیه‬ ‫شناسی‬
‫وب‬ ‫تحلیل‬ ‫و‬
‫وب‬ ‫انبارداده‬
‫داده‬ ‫ادغام‬

From: Maria del Mar Roldan et all., An Ontology-Based Data Integration Approach for Web Analytics in E-Commerce, Expert Systems With Applications (2016)
‫شناسی‬ ‫هستان‬
‫وب‬

‫آنتولوژی‬ ‫بر‬ ‫ای‬ ‫مقدمه‬
‫نمایش‬‫رسمی‬‫از‬‫دنیای‬‫واقعی‬‫که‬‫توسط‬‫جامعه‬‫ای‬‫از‬‫کاربران‬
‫بوسیله‬‫تعریف‬‫مفاهیم‬‫و‬‫ارتباط‬‫بین‬‫آن‬‫ها‬‫ایجاد‬‫شده‬‫است‬.
‫نام‬‫گذاری‬‫و‬‫تعریف‬‫رسمی‬‫از‬‫گونه‬،‫ها‬‫صفات‬‫و‬‫ارتباطات‬‫بی‬‫ن‬
‫موجودیت‬‫های‬‫موجود‬‫در‬‫یک‬‫حوزه‬‫دانش‬/‫بحث‬(‫ویکیپدیا‬)
‫اساسا‬‫یک‬‫دانش‬‫رده‬‫بندی‬(Taxonomy)‫است‬‫اما‬‫با‬‫رده‬‫بندی‬
‫تفاوت‬‫دارد‬
‫در‬‫علوم‬‫رایانه‬‫و‬،‫اطالعات‬‫پایگاه‬‫شناخت‬/‫هستان‬
‫شناسی‬/‫هستی‬‫شناسی‬‫مجموعه‬‫از‬‫موجودیت‬‫های‬‫اولیه‬‫بازن‬‫مایی‬
‫شده‬‫تعریف‬‫می‬‫کند‬‫که‬‫برای‬‫مدل‬‫کردن‬‫یک‬‫حوزه‬‫دانش‬‫یا‬
‫مبحث‬‫مورد‬‫استفاده‬‫قرار‬‫می‬‫گیرد‬(‫مجموعه‬‫ای‬‫از‬‫مفاهیم‬‫و‬
‫ارتباطات‬‫مورد‬‫استفاده‬‫در‬‫مدل‬‫سازی‬‫یک‬‫حوزه‬‫دانش‬).
‫موجودیت‬‫های‬‫اولیه‬‫عموما‬‫مشتکل‬‫از‬
‫مفاهیم‬(‫کالس‬‫ها‬)
‫ویژگی‬‫ها‬(‫صفات‬)
‫اعضای‬‫کالس‬(‫نمونه‬‫های‬‫کالس‬)
Off-Topic

‫مثال‬:‫فیلم‬ ‫آنتولوژی‬Off-Topic

‫معنایی‬ ‫وب‬ ‫در‬ ‫آنتولوژی‬
‫ها‬‫شناسی‬‫هستی‬‫شالوده‬‫وب‬‫معنایی‬‫هستند‬.‫ارتباط‬‫بین‬‫مفاهیم‬‫در‬‫وب‬‫و‬‫دنیای‬‫واقعی‬
‫برای‬‫ساخت‬‫و‬‫گسترش‬‫وب‬،‫معنایی‬‫باید‬‫تا‬‫حد‬‫امکان‬‫قادر‬‫باشیم‬‫تمامی‬‫موجودیت‬
‫ها‬(entities)‫و‬‫مفاهیم‬(concepts)‫و‬‫نیز‬‫روابط‬‫و‬‫ّصاالت‬‫ت‬‫ا‬‫ها‬‫آن‬‫با‬‫یکدیگر‬‫را‬‫به‬‫صورت‬
‫هایی‬‫مدل‬‫مجرد‬‫به‬‫هایی‬‫زبان‬‫که‬‫برای‬‫ها‬‫رایانه‬‫قابل‬‫درک‬‫است‬‫بیان‬‫کنیم‬.
‫اینکه‬،‫کامپیوترها‬‫چطور‬‫این‬‫ارتباطات‬‫را‬‫درک‬‫کنند‬‫به‬‫نحوه‬‫ی‬‫ذخیره‬‫سازی‬‫اطالعات‬‫بس‬‫تگی‬
‫دارد‬.‫ما‬‫در‬‫ذخیره‬‫سازی‬‫اطالعات‬‫باید‬‫طوری‬‫عمل‬‫کنیم‬‫که‬‫بازیابی‬‫آن‬‫موثرتر‬‫و‬‫مفیدتر‬‫ب‬‫اشد‬.
‫نیاز‬‫داریم‬‫عالوه‬‫بر‬«‫اطالعات‬»،‫به‬«‫معنای‬‫اطالعات‬»‫نیز‬‫دسترسی‬‫داشته‬‫باشیم‬.
‫تعریف‬‫تیم‬،‫برنرزلی‬‫پدر‬،‫وب‬‫وب‬‫معنایی‬‫را‬‫تعریف‬‫میکند‬:
«‫قرار‬ ‫پردازش‬ ‫مورد‬ ‫ماشین‬ ‫توسط‬ ‫مسقیم‬ ‫غیر‬ ‫و‬ ‫مستقیم‬ ‫تواند‬‫می‬ ‫که‬ ‫داده‬ ‫از‬ ‫تارنمایی‬‫بگیرد‬.»
‫وب‬‫فهم‬ ‫قابل‬ ‫انسان‬ ‫توسط‬ ‫فقط‬ ‫کنونی‬ ‫وب‬ ‫برخالف‬ ‫که‬ ‫است‬ ‫وبی‬ ‫آینده‬،‫نباشد‬‫ماشین‬ ‫توسط‬ ‫بلکه‬‫ها‬‫پ‬ ‫و‬ ‫درک‬ ‫قابل‬ ‫نیز‬‫باشد‬ ‫ردازش‬.
Off-Topic

‫معنایی‬ ‫وب‬ ‫و‬ ‫آنتولوژی‬
‫وب‬‫معنایی‬‫یک‬‫جنبش‬‫مشترک‬‫است‬‫که‬‫توسط‬w3c
‫رهبری‬‫شود‬‫می‬‫و‬‫های‬‫فرمت‬‫رایج‬‫داده‬‫را‬‫روی‬‫شبکه‬
‫گسترده‬‫جهانی‬‫ترویج‬‫کند‬‫می‬.
‫وب‬‫معنایی‬‫با‬‫تشویق‬‫به‬‫گنجاندن‬‫محتوای‬‫معنا‬‫یی‬‫در‬
‫صفحات‬،‫وب‬‫به‬‫تبدیل‬‫شدن‬‫وب‬‫کنونی‬(‫که‬‫شامل‬
‫اسناد‬‫ساختار‬‫نایافته‬‫است‬)‫به‬«‫وبی‬‫از‬‫داده‬‫ها‬»‫ک‬‫مک‬
‫کند‬‫می‬.
‫در‬‫چارچوب‬‫شرح‬‫منابع‬(RDF)‫ساخته‬‫می‬‫شود‬.
XML/XMLS
RDF/RDFS
OWL
SPARQL
‫معنایی‬ ‫وب‬ ‫های‬ ‫مولفه‬
Off-Topic

‫کیک‬‫الیه‬‫ای‬/‫پشته‬‫وب‬‫معنایی‬
Off-Topic

RDF:‫زبان‬‫هستان‬‫شناسی‬‫مورد‬‫استفاده‬‫برای‬‫نمایش‬‫اطالعات‬‫دربارها‬‫منابع‬‫موجود‬‫روی‬‫وب‬
‫منابع‬‫در‬‫قالب‬‫جمالتی‬‫شامل‬‫صفت‬‫ها‬‫و‬‫مقادیر‬‫صفت‬‫بیان‬‫می‬‫شوند‬.
‫عبارت‬RDF‫به‬‫صورت‬‫سه‬‫تایی‬‫متشکل‬‫از‬subject> predicate >object‫نمایش‬‫می‬‫یابند‬
‫الگوی‬RDF‫یا‬RDFS:‫از‬‫لحاظ‬‫نحوی‬/‫دستوری‬RDF‫را‬‫قادر‬‫می‬‫سازد‬‫که‬‫درباره‬‫کالس‬‫های‬‫منابع‬‫و‬‫صفاتی‬‫که‬‫قرار‬
‫است‬‫در‬‫آن‬‫ها‬‫استفاده‬‫شود‬‫ها‬‫صحبت‬‫گردد‬.‫امکان‬‫تعریف‬‫واژه‬‫نامه‬‫های‬RDF‫مبتنی‬‫بر‬‫یک‬‫کاربرد‬‫خاص‬‫را‬‫می‬
‫دهد‬
Subject
(Resource)
http://www.w3.org/Home/Lassila
Predicate
(Property)
Creator
Object (literal) "Ora Lassila"
Ora Lassila is the creator of the resource http://www.w3.org/Home/Lassila
http://www.w3.org/
Home/Lassila
Ora Lassila
Creator
Off-Topic

SPARQL:‫جوی‬ ‫و‬ ‫پرس‬ ‫زبان‬ ‫یک‬RDF‫است‬ ‫داده‬ ‫پایگاه‬ ‫و‬ ‫آنتولوژی‬ ‫های‬ ‫مدل‬ ‫برای‬.
.1‫قالب‬ ‫در‬ ‫شده‬ ‫ذخیره‬ ‫اطالعات‬ ‫دستکاری‬ ‫و‬ ‫استخراج‬ ‫قابلیت‬RDF‫دارد‬ ‫را‬.
.2‫گراف‬ ‫بر‬ ‫مبتنی‬ ‫جوی‬ ‫و‬ ‫پرس‬ ‫زبان‬(graph-matching)‫دارد‬ ‫را‬ ‫مدل‬ ‫روی‬ ‫از‬ ‫دانش‬ ‫استخراج‬ ‫قابلیت‬ ‫است‬.
.3‫شده‬ ‫تگ‬ ،‫یافته‬ ‫ساخت‬ ‫نیمه‬ ‫های‬ ‫داده‬ ‫از‬ ‫پشتیبانی‬(‫یافته‬ ‫غیرساخت‬)‫وب‬ ‫و‬ ‫شبکه‬ ‫داده‬ ‫منابع‬ ‫در‬ ‫جو‬ ‫و‬ ‫پرس‬ ‫و‬(‫نشان‬
‫با‬ ‫شده‬URI)
OWL:‫ها‬ ‫شناسی‬ ‫هستان‬ ‫نوشتن‬ ‫برای‬ ‫دانش‬ ‫نمایش‬ ‫های‬ ‫زبان‬ ‫از‬ ‫ای‬ ‫خانواده‬(‫یافت‬ ‫تعمیم‬‫ه‬RDF
‫و‬RDFS)
‫ها‬ ‫کالس‬ ‫و‬ ‫ها‬ ‫ویژگی‬ ‫توصیف‬ ‫برای‬ ‫بیشتر‬ ‫واژگان‬ ‫نمودن‬ ‫اضافه‬
‫ها‬ ‫کالس‬ ‫بین‬ ‫ارتباط‬(disjointedness)،cardinality‫صفات‬ ‫از‬ ‫تر‬ ‫بهینه‬ ‫انواع‬ ،‫تساوی‬ ،
OWL-DL:‫از‬ ‫ای‬ ‫گونه‬OWA‫توصیف‬ ‫منطق‬ ‫یافته‬ ‫تغییر‬ ،SHOIN/‫بر‬ ‫مبتنی‬RDFS
‫کند‬ ‫می‬ ‫پشتیانی‬ ‫داده‬ ‫نوع‬ ‫صفات‬ ‫و‬ ‫داده‬ ‫انواع‬ ،‫داده‬ ‫مقادیر‬ ‫از‬
Off-Topic

‫مثال‬:RDF‫و‬SPARQL
PREFIX ex: <http://example.com/exampleOntology#>
SELECT ?capital ?country
WHERE {
?x ex:cityname ?capital ;
ex:isCapitalOf ?y .
?y ex:countryname ?country ;
ex:isInContinent ex:Africa .
}
Off-Topic

‫پیشنهادی‬ ‫راهکار‬:‫کالن‬ ‫معماری‬

‫پیشنهادی‬ ‫راهکار‬:‫تشریح‬‫مدل‬
‫الیه‬1:‫داده‬ ‫های‬ ‫منبع‬
‫الیه‬2:‫داده‬ ‫انباره‬ ‫زیرساخت‬
‫الیه‬3:‫وب‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬
‫الیه‬4:‫نمایش‬

‫پیشنهادی‬ ‫راهکار‬:‫مدل‬ ‫تشریح‬
‫شناسی‬ ‫هستان‬
‫وب‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬
(OWA)
‫نگاشت‬ ‫توابع‬
‫های‬ ‫داده‬ ‫مخزن‬
‫معنایی‬
(RDF Repos.)

‫راهکار‬‫پیشنهادی‬:‫اف‬ ‫نرم‬ ‫حل‬ ‫راه‬ ‫با‬ ‫سازی‬ ‫پیاده‬‫زاری‬
‫پروژه‬ ‫فنی‬ ‫شرایط‬(‫ه‬ ‫الگ‬‫ا‬
‫پروژه‬ ‫مسئله‬ ‫و‬)
•‫سرور‬ ‫وب‬ ‫الگ‬(‫اسکریپ‬)
•‫اینترنتی‬ ‫اوپراتور‬ ‫الگ‬(‫ش‬‫بکه‬)
•‫نرم‬ ‫های‬ ‫حل‬ ‫راه‬ ‫بررسی‬
‫افزاری‬
‫راهکار‬ ‫جزئیات‬
‫پیشنهادی‬
•‫وب‬ ‫داده‬ ‫انباره‬(ETL)
•‫داده‬ ‫ادغام‬(‫و‬ ‫پردازش‬ ‫سطوح‬
‫مختلف‬ ‫معماری‬)
‫سنجی‬ ‫تطابق‬‫با‬‫ها‬ ‫نیازمندی‬
‫سنجی‬ ‫تطابق‬‫با‬‫ها‬ ‫نیازمندی‬

‫پیشنهادی‬ ‫راهکار‬:‫با‬ ‫سازی‬ ‫پیاده‬‫افزاری‬ ‫نرم‬ ‫حل‬ ‫راه‬

‫پیشنهادی‬ ‫راهکار‬:‫افزاری‬ ‫نرم‬ ‫بستر‬ ‫های‬ ‫مؤلفه‬
Hadoop HDFS
APACHE ZOOKEEPER
APACHE
SOLR
APACHE
JENA
SPARQL
APACHE
SPARK
APACHE
HBASE

‫گیری‬ ‫نتیجه‬ ‫و‬ ‫بندی‬ ‫جمع‬
‫پیشنهادی‬ ‫حل‬ ‫راه‬
‫داده‬ ‫انباره‬ ‫پایه‬ ‫بر‬‫ادغام‬ ‫فرآیند‬ ‫انجام‬ ‫قابلیت‬ ‫با‬ ‫ها‬
‫داده‬ ‫ادغام‬ ‫معماری‬ ‫سه‬ ‫از‬ ‫پشتیبانی‬Redundant،Complementary‫و‬Cooperative
‫چندسطح‬ ‫در‬ ‫تحلیل‬ ‫و‬ ‫پردازش‬ ‫قابلیت‬(‫داده‬ ‫سطح‬/‫تصمیم‬ ‫سطح‬ ‫و‬ ‫ویژگی‬ ‫سطح‬ ،‫اندازه‬)
‫عظیم‬ ‫های‬ ‫داده‬ ‫پردازش‬ ‫مناسب‬ ‫و‬ ‫سریع‬ ،‫پذیری‬ ‫توسعه‬ ‫معماری‬
‫آینده‬ ‫کارهای‬:
‫امنیتی‬ ‫تهدیدات‬ ‫و‬ ‫ها‬ ‫ربات‬ ،‫ناهنجاری‬ ‫کشف‬ ‫برای‬ ‫الگ‬ ‫همبستگی‬ ‫های‬ ‫شیوه‬ ‫از‬ ‫استفاده‬
‫شیوه‬ ‫بنیادی‬ ‫توسعه‬‫همبستگی‬ ‫و‬ ‫ادغام‬ ‫های‬
‫کارگیری‬ ‫به‬‫جمع‬ ‫بستر‬‫آوری‬‫جریانی‬ ‫های‬ ‫داده‬ ‫کالن‬ ‫تحلیل‬ ‫و‬ ‫ادغام‬ ،(Stream Big Data)
‫نتای‬ ‫سازی‬ ‫شخصی‬ ‫و‬ ‫تجمیع‬ ‫برای‬ ‫مشترک‬ ‫صورت‬ ‫به‬ ‫ها‬ ‫الگ‬ ‫همبستگی‬ ‫و‬ ‫ها‬ ‫داده‬ ‫ادغام‬ ‫های‬ ‫تکنیک‬ ‫کارگیری‬ ‫به‬‫و‬ ‫پرس‬ ‫ج‬
‫جستجو‬ ‫موتورهای‬ ‫در‬ ‫کاربر‬ ‫جوی‬

Data Fusion model for web analytics

Data Fusion model for web analytics

More Related Content

Similar to Data Fusion model for web analytics (20)

Data Fusion model for web analytics