Easier and Faster for hbase in HadoopCon 2014
Download as PPTX, PDF1 like517 views
亦思科技是一家专注于HBase软件的公司，致力于提供更优秀的用户界面和解决方案。公司成立于2010年，已开发多款HBase相关产品，拥有丰富的行业经验。其目标是成为全球领先的HBase专业软件供应商。
Easier and Faster for hbase in HadoopCon 2014
- 1. Faster and Easier for HBase 亦思科技Hubert 范姜冠宇
- 2. Who are we? • 位於新竹科學園區 • 過去主要客戶為園區各大製造廠 • 未來願景: 全球HBase最專業的軟體廠商 • 努力方向: – 提供HBase較好的使用介面 – 改善HBase效能,提高Availability – 提供各產業完善的HBase解決方案
- 3. What we done? • 2010.7 以研發雲端計算軟體工具之投資計畫獲准進駐新竹科學園區 • 2011 與清華大學資工系鍾葉青教授合作進行產學合作 • 少數獲邀參與國際雲端計算研討會IEEE CloudCom的專業公司 • 少數已經有實際經驗協助客戶完成建置Hadoop 系統的資訊廠商 • 2012.01 JackHare (ANSI SQL JDBC Driver) • 2012.11 HareDB Hbase Client • 2012.12 HareDB Data Model Management • 2013.08 Hare ( High Speed Query in HBase)
- 5. Who am I ? • 姓名: 范姜冠宇Hubert • 任職: 亦思科技 • 功能: – 設計HBase相關產品與解決方案 – 替苦悶的RD工程師打氣 – 在嚴肅場合說冷笑話
- 7. HBase 原生介面
- 8. 不方便的HBase • 資料傾倒問題 • Table 管理問題 – Schema 管理問題 • 查詢問題(方便,效能) • 程式學習門檻問題
- 9. 資料傾倒問題
- 10. 資料傾倒問題
- 11. 資料傾倒問題
- 12. TABLE管理問題
- 13. Table管理
- 14. 查詢問題
- 15. 查詢問題(UI Query)
- 16. 查詢問題(SQL Query)
- 17. 程式學習門檻問題
- 18. 如何降低門檻 • ODBC/JDBC Driver • HareSQL Driver • Example with R
- 19. ODBC DRIVER
- 21. ODBC Driver • http://www.microsoft.com/en-us/download/details.aspx?id=40886
- 22. 設定HareDB連線資訊 • 在`開始`搜尋odbc administrator(如圖) • 若作業系統為X64，請執行64-bit；X86請 執行32-bit。
- 23. 設定HareDB連線資訊 • 點選新增，建立新資料來源。 • 選擇`Microsoft Hive ODBC Driver`後，點 選完成。
- 24. 設定HareDB連線資訊
- 33. SQL STRING
- 36. 與應用系統整合– ( R )
- 39. FASTER
- 40. Client Hare Executor Coprocessor Windup Server Region 4 HBase Hight Speed ? HiveQL Hive Parser HareDriver Hare Planner Hare Executor Coprocessor Hare Optimizer Region 3 EndPoint Instance EndPoint Instance Region 2 EndPoint Instance Region 1 Region 5
- 41. SQL A SQL B SQL C SQL E SQL F SQL G SQL H Faster Impala in Hadoop 115 s 13 s 91 s 78 s 7 s 6 s Impala in HBase 2925 s 0.26 s 2338 s 5876 s 5832 s oom Hare (only for HBase) 1410 s 9 s 1355 s 1303 s 1283 s 1258 s 1640 s Hive in Hadoop 113 s 107 s 110 s 161 s 154 s 163 s 157 s Hive mr2 10694 s 22 s 9661 s 9462 s 9461 s 9484 s 9032 s
- 42. One more thing ….
Editor's Notes
- #28: 左邊的Table是 HBase Table + Hive Table 右邊HBase的欄位也會出現