Big Data Tornado - 2015 台灣 Big Data 企業經典應用案例分享
69 likes11,787 views
本文件介绍了台湾企业在2015年的大数据应用案例，涵盖电商、数字媒体、金融、制造和医疗等多个行业。强调了大数据实施的技术挑战和解决方案，包括数据湖的建立，以整合和优化不同来源和格式的数据，提升商业决策及客户体验。最终，提出数据湖的价值主张，促进数据的灵活应用和业务创新。
Big Data Tornado - 2015 台灣 Big Data 企業經典應用案例分享
- 1. 1 Big Data Tornado 2015 台灣Big Data 企業 經典應用案例分享 Eric Chen Etu COO & VP of BD June 16, 2015
- 2. 2 2015，台灣 Big Data 經典應用案例
- 3. 3 應用案例 – 電商零售百貨 CRM Offline Analytics Cluster Online Cluster for Recommendation Web 互動資料 • 瀏覽、點擊 • 搜尋 • 購物車 • 結帳 • 跨網域用戶行為 Mobile互動資料 • 瀏覽 • 點擊 • 搜尋 • 購物車 • 結帳 • 跨網域用戶行為 流量分析 新客戶 vs. 回頭客 來源網站/不同版位 訂單效益關聯分析 Hive HBase 關連性商品 效益分析 再訪客戶 特質與基因分析 個人化推薦
- 4. 4 應用案例 – 數位媒體 理財偏好 股票 基金 保險 房地產 定存 搜尋關鍵字 內容偏好 娛樂 汽車 野外 財經 釣魚 行為模式 瀏覽頻率 上網時段 停留時間 上網裝置 登入狀態 來源網址 廣告取向 促銷優惠 廣告類別 廣告商品 廣告品牌 人口屬性 性別 年齡 城市 行業 子女 Customer Behavior Data Lake
- 5. 5 應用案例 – 金控銀行 個人化的行銷體驗 FPS理財規劃 SFA銷售自動化 CRM客戶管理 互動 記錄 客戶 留言 網路 爬文 理專 日誌 聯徵 資料 第三方 支付 Data Warehouse Customer Behavior Data Lake 3600 Customer View 到府服務 一般理財服務 電話訪問 互動式電子帳單 個人化EDM Next Best Offer 一客一市場
- 6. 6 應用案例 – 製造生產 (工業 4.0) SPC Recipe SPI/AOI SFC AOI Images Root Cause Analysis 自動診斷 Process Control 線上預警 Optimization 動態配方調整 資料處理 錯誤判斷 模式 探勘、確認 系統建構 告警調教 獨立控管，資料分散 整合控管，資料集中 透過(經驗法則)進行摸索學習 透過(智慧分析)進行早期預警
- 7. 7 應用案例 – 醫療 HISPACS Oracle MS SQL Informix Enterprise Data Pool Sqoop Web Service API l 解決大量資料載入效率不佳與資料查詢速度太慢的問題 l 成為醫院資訊系統的 data pool，所有資料先進行格式統一，錯誤 資料清洗等轉置工作， l EDW / DM 或應用系統所有資料需求，皆統一由 Hadoop 提供， 解決跨來源資料整合問題。 DW
- 9. 9 企業導入 Big Data 的技術挑戰 • 資料來源眾多 • 資料類型不同 • 資料大小不一 • 資料格式繁多 • 資料接取的時效 性差異大 資料繁雜 • 資料處理的目的， 決定資料可以如 何被運用； • 或運用後，才發 現資料應該如何 被處理 • 如何設計自動化 的資料處理流程? 資料處理困難 • 什麼樣的資料應 用應該用Hive ? or HBase ? or Impala ? • 現有工具如何駕 馭Big Data 不知如何運用 資料 資料架構陌生 • 不同類型的資料 如何對應到適合 的資料架構設計?
- 11. 11
- 13. 13 From Database to Data Lake Data Lake Data Warehouse Database ü 應用服務的 資料儲存 ü 短期資料 分析查詢 ü 企業決策分析 資料儲存 ü 結構化、多構面、 長期的資料分析 ü 企業的資料整合的儲存平台 ü 多樣性、龐雜的資料， 做為企業資料分析素材 ü 資料的萃取、轉換、讀取， 以及資料分析的工作
- 14. 14 Etu Data Lake StructuredDataUnstructuredData ERP CRM LOB Apps 3rd Party RDB/EDW Business Analytics
- 15. 15 Etu Data Lake 從資料的盤點、儲存、處理、入庫到運用 • 評估商業需求 • 盤點資料 • 分析不同資料 格式規範 資 料 運 用 ( 分 析 視 覺 化 解 讀 ) • 規範檔案系統 架構 Etu 顧 問 服 務 • ETL整合 • 規範自動化流程 • 資料模型規劃 • Ready for Query, Analysis Discovery
- 19. 19 Etu Data Lake 價值主張 應用開發更容易 資料探勘和架構設計更容易 毋需經過特殊資料整理，沒有特殊目的的資料蒐集。資料先蒐集進來， 讓應用層的資料轉換和取用，如同使用自來水一樣容易。
- 20. 20 20 Etu Data Lake Agile Exploration for Out of the Box Possibility 商業問題的資料探勘和再運用 更好的客戶體驗，更敏捷的商業決策 資料的永續，知識的共享 企業 Big Data 的基石
- 21. 21 Thank You