Hepsistream real time click-stream data analytics platform
4 likes1,126 views
Hepsistream veri analitik platformu, Hepsiburada platformuna desktop, mobile, mobile-site kanalları üzerinden erişen kullanıcıların gerçekleştirdikleri ürün görüntüleme, sayfa görüntüleme, sepete ekleme vs. gibi aksiyonları gerçek zamanlı olarak toplayıp, lambda mimarisi ile büyük veri altyapısı üzerinde işlemektedir. Hepsistream büyük veri altyapısına değinilerek, Efsane Cuma gibi büyük bir ölçekte gerçek zamanlı veri keşif ve izleme aracının geliştirilmesi sürecinde kullanılan teknolojiler ve kazanılan deneyimler sunulmustur.
Hepsistream real time click-stream data analytics platform
- 1. Hepsistream Real-Time Click-Stream Data Analytics Platform
- 2. 2 Salih Şen › 8 yıldır yazılımcı olarak çalışıyorum. › 4 yıldır Big Data üzerinde çalışıyorum. › Öncesinde Apache Solr, Web Development › Eylül 2018’de Hepsiburada’ya katıldım Hasan Ali Aygün › 6 yıldır yazılımcı olarak çalışıyorum › Yaklaşık 4 yıl Big Data › Yaklaşık 1 yıldır Hepsiburada da Senior Data Engineer
- 3. 3 1. Ekip 2. Hepsistream Nedir? 3. Hepsistream Ortaya Çıkışı 4. Hepsistream Lambda Mimarisi 5. Geliştirme Evreleri 6. Sorular İçerik
- 4. 4 › Hepsiburada Teknoloji birimi › ~200 Kişi › 2017’den beri yerinde Ar-Ge › Veri ekibi › 12 Kişi › Hadoop › Qlik Sense › SAP BW › SAP Hana Ekip
- 5. 5 › Clickstream › Kullanıcı davranışlarının anlaşılması › Servislerin iyileştirilmesi › Kullanıcıya daha iyi hizmet sunabilmek › Hepsiburada’nın durumunu gerçek zamanlı olarak izleyebilmek. Hepsistream Nedir?
- 7. 7 Hepsistream Veri Hacmi › 120M/ay ziyaret › 30M/ay tekil cihaz › 3000 event/sn › 5TB/ay › Efsane Cuma x15
- 8. 8 › Ürün geliştirmeye girdi › Ürün tavsiye sistemi › Arama kelime-kategori öneri sistemi › Satıcı Portalları - müşteri kullanım istatistikleri › Müşteri churn modelleri › Ürün fiyat takibi, talep tahmini ve anomali tespiti modülleri › Kategori - pazarlama vb ekiplere özelleşmiş etkileşimli dashboardlar › Ürün başarım metrikleri › Arama tıklanma oranları (Search CTR) › Banner tıklanma oranları › Ürün tavsiyelerinin tıklanma oranları › Farklı algoritmaların (öneri vb.) A/B testleri Hepsistream Nerede Kullanılıyor?
- 9. 9 › Kullanıcı davranışı keşif › Başarılı / başarısız arama sonuçları, kullanıcı arama alışkanlıkları › Yeni üye kayıt sayfasındaki vazgeçme oranları › UX odağında kullanımı düşük tasarımların/bileşenlerin belirlenmesi › UX odağında MVP kapsamında geliştirilen yeni özelliklerin incelenmesi › Pazarlama (İleride) › Karmaşık veri zenginleştirme ihtiyacı olan durumlar -> Google Analytics’den Hepsistream’e Hepsistream Nerede Kullanılıyor?
- 11. 11 › Planlama 2018 başlangıcı › Temmuz 2018 › MVP (Minimum viable product) › 23 Kasım - Efsane Cuma Hepsistream’in Ortaya Çıkışı
- 12. 12 Genel Yapı
- 13. 13 Genel Yapı
- 14. 14 Genel Yapı
- 15. 15 Genel Yapı
- 17. 17 İlk Evre: Google BigQuery
- 18. 18 › NSA tarafından geliştirilmeye başlandı › Sistemler arası veri aktarımı › Veri dönüştürme › Veri zenginleştirme › Grafik arayüzü › Dağıtık çalışabilme › Genişletilebilir › Data Provenance (Veri takibi) Apache NiFi
- 19. 19 Apache NiFi
- 20. 20 Apache NiFi
- 21. 21 İlk Evre: Google BigQuery
- 22. 22 İkinci Evre: Google Cloud Storage + BigQuery
- 23. 23 İkinci Evre: Google Cloud Storage + BigQuery
- 24. 24 Hadoop
- 25. 25 › Hortonworks Data Flow › Kafka › Nifi › Storm › Schema Registry › Stream Analytic Manager HDF Nedir
- 26. 26 › Hortonworks Data Platform › Hadoop 2.7 (Hadoop 3 upgrade in progress) › Hive LLAP › Spark › Hbase › Druid › Superset › +Hue HDP Nedir
- 27. 27 Büyük Veri Altyapısı Hortonworks Data Platform and Data Flow
- 28. 28 Üçüncü Evre: Lambda Batch Layer
- 29. 29 › Hive + Tez › Hive + In memory cache + LLAP Daemons › Ad-hoc query › Veriyi hızlıca sorgulayabilmeleri için diğer ekiplerin kullanımına açıldı › Testlerimizde LLAP Hive’a göre 10 kat performanslıydı. Hive LLAP
- 30. 30 Hive MR vs Hive on TEZ vs Hive LLAP
- 32. 32 Üçüncü Evre: Lambda Batch Layer
- 33. 33 › 100’den fazla farklı event › Bir event için birden fazla kaynak › Event yapılarının ortaklaştırılması › Event’lerin validasyonu › Event yapılarının versiyonlanmasi › Aynı event birden fazla versiyonla gelebilir Event Yapılarının Yönetilmesi
- 34. 34 Dördüncü Deneme: Lambda Batch Layer
- 36. 36 › Event Şema Havuzu › Şema Versiyon Yönetimi › Şema Validasyonu › RestFul API › Avro Schema Schema Registry
- 39. 39 Hepsistream Lambda Batch Layer
- 40. 40 › Bir süre veri iki tarafa da gönderildi › Google Cloud Storage download yavaş › BigQuery sorgulama daha hızlı › API geliştirilip bütün veri sorgu olarak Hadoop ortamına aktarıldı Google Cloud - Hadoop Geçişi
- 41. 41 › Hala gerçek zamanlı veriyi göremiyoruz › Sitede kaç aktif kullanıcı var? › Hangi kategorilerde en çok hangi aramalar yapılıyor? › Hangi kategoriler, satıcılar, ürünler en çok görüntüleniyor? › Görüntülemeler hangi kaynaklardan ve kanallardan geliyor? › Müşteriler hangi sayfalarda yoğunlaşmış durumda? › Zaman serisi olarak gerçek zamanlı trend ne? › Veriyi gerçek zamanlı işleyip analitik sorgu atabileceğimiz, istediğimiz gibi özelleştirebileceğimiz, etkileşimli kullanılabilecek bir sistem gerekiyordu Lambda Stream Layer
- 43. 43 › High performance real-time analytics database. › Analyze event streams › Timeseries indexing › Column oriented + Indexing › Data compression › Rollup › Sub-second query times › Slice & dice Apache Druid
- 45. 45 Apache Druid › JSON API › Hive Storage Handler › Streaming + Batch Ingest › Kafka Ingest › Java/Scala (Tranquility) › MapReduce Ingest › Hive Ingest
- 46. 46 İlk Evre: Lambda Stream Layer
- 47. 47 İlk Evre: Lambda Stream Layer
- 48. 48 İkinci Evre: Lambda Stream Layer
- 49. 49 › Açık Kaynaklı › Streaming Analitik Uygulamaları için tasarım, geliştirme, deploy ve yönetimi › aggregations over window,pattern matching vs. › Sürükle bırak › Sıfır Kod Stream Analytic Manager
- 50. 50 › Streaming Engines › Storm › Spark Streaming › Flink › Data Sources › Hbase › Kafka › Druid › HDFS › Hive Stream Analytic Manager
- 52. 52 İkinci Evre: Lambda Stream Layer
- 53. 53 Üçüncü Evre: Lambda Stream Layer
- 54. 54 Üçüncü Evre: Lambda Stream Layer
- 55. 55 Dördüncü Evre: Lambda Stream Layer
- 56. 56 › Performaslı › Normal Yuk x30 › Tranquility 0.7.3 (Thread leak) › https://github.com/druid-io/tranquility/pull/ 168 › Tranquility 0.8.2’ye güncellendi. Dördüncü Evre: Lambda Stream Layer
- 57. 57 › Hive-Druid Etkileşimi › Yarn Node Labeling › Spark 10 executor 2GB bellek › Druid 6 saatlik segment Efsane Cuma Kaynak Ayrımı
- 58. 58 › Spark Executor sayisi 2 ye dusuruldu › Executor Memory 1GB Efsane Cuma Sonrası
- 59. 59 › Modern, enterprise-ready business intelligence › Web Interface › Druid Integration › RDBMS Integration (SQL Alchemy) › Interactive Dashboard › Developed by Airbnb Superset
- 60. 60 › HDP üzerinde geliyor › Versiyon güncellendi (daha iyi görselleştirme) › Beraberinde SQLite ile geliyor › Bir süre SQLite ile kullandık fakat kullanıcı sayısı artınca yetersiz kaldı. › Postgresql’e geçiş yaptık. Superset-Druid Entegrasyonu
- 61. 61 › Yetkilendirme özellikleri biraz kısıtlı › LDAP entegrasyonu yok. › Dashboard bazlı yetkilendirme yok › Datasource bazlı yetkilendirme var. › NGINX Proxy Superset-Druid Entegrasyonu
- 62. 62 Superset
- 65. 65 Superset
- 66. 66 Superset
- 67. 67 Superset
- 69. 69 Sorularınız?
- 70. 70 Teşekkürler