2016-12-15 NewSQL資料庫在IoT的應用 - iServDB

NewSQL資料庫
在IoT的應用- iServDB
2016-12-15
資策會創研所
資料庫技術組林宗禧

眼觀物聯網產業，您身處何處?
2
https://cbi-blog.s3.amazonaws.com/blog/wp-content/uploads/2015/05/IoT-Map.png
IoT 應用是發散的，
但 IoT 基礎架構技術是收斂的。

物聯網基礎架構 (1/3)
• Travel of data:
產生  接收  儲存  應用
3
https://www.neratec.com/tl_files/article/products-development/Internet-of-Things/IoT-Overview.png

• 資料產生
1. Sensor 部署規模
2. Sensor 資料傳輸頻率
3. Sensor 傳遞方向: 主動/被動
• 資料接收
– M2M 網路拓樸:
Sensor  Gateway  Server
4
http://s.radar.oreilly.com/wp-files/2/2014/07/Network-Topologies-Pic_2-2.jpg

• 資料儲存
1. 資料類型
2. 資料週期性
3. 資料總量
• 資料應用
1. trigger & action
2. reports & analysis
5

IoT 資料怎麼存 ? (1/2)
• 傳統關聯式資料庫(RDB)處理 IoT 常見問題:
1. JOIN 好慢…
2. 都已經用 O牌了，怎麼還這麼慢?
3. 硬碟滿了怎麼辦…?
4. 廠商推薦導入R架構/P架構 … 但是好貴
5. 什麼? 要追繳 License 費用!!
6
要解決問題，得先找到問題的源頭！
http://blog.gembaacademy.com/wp-content/uploads/2013/11/what-problem-are-you-trying-to-solve.png

IoT 資料怎麼存 ? (2/2)
• 在產業領域中，您可能可以
– 選擇正確的 Sensor 與 Devices
– 推導出想要的結果: Trigger / Analysis
• 但您可能無法
– 選擇適合的軟體架構
– 選擇最適資料蒐集與儲存方式
7
是否有最適解決方案 ?
https://2.bp.blogspot.com/-bzZVT8pokPE/VzkuuVH6guI/AAAAAAAABDE/99AdeYWttEoQ4y_r6mEOAyZZ-g6BQU6BQCKgB/s1600/questions.png

從RDB認識iServDB
• 以 PostgreSQL 作為開發基礎
– PostgreSQL 是
• 全球最先進的開源資料庫系統。
• 自1986年開始發展，由Ingres專案衍生。而從Ingres衍生的產
品包含： Sybase 與 Microsoft SQL Server。
• 9 版後效能極大提升，尤其在9.5版TCP-C效能測試勝過
Oracle。
• iServDB 承襲 RDB 特性
– iServDB 承襲傳統關聯式資料庫(RDB)之以下特性:
• 支援 SQL 語法：DDL, DML, DQL
• 具ACID特性，支援 Transaction。
• 其他常用語法與功能。
9

從NoSQL認識iServDB
• 什麼是 NoSQL
1. 捨棄SQL語法與RDB部分特性，換取大量儲存與效能的資料庫系統。
2. 大部分NoSQL支援分散式部署，可將資料分散儲存在多台主機中。
3. 支援分散式査詢，加快査詢速度。
4. 適合儲存大量、LOG類型的資料。
5. 支援 Scale-out
6. 較出名的NoSQL資料庫：MongoDB, Cassandra, HBase, Redis
• iServDB 整合 NoSQL
– iServDB 之 NoSQL 儲存引擎：
• DOC引擎: 文檔型儲存引擎，適合大量非關聯性、非結構化資料。
• TEM引擎: 時序型儲存引擎，適合以時間為主鍵之資料。
10

什麼是NewSQL?
• NewSQL 演進
1. 傳統 SQL 資料庫系統：
• OLTP需求
• Web 2.0時代LAMP/WAMP架構崛起
• 資訊大爆炸
2. NoSQL 資料庫系統：
• 雲端運算與 BigData 議題
• 捨棄SQL部分特性，提升大資料操作之效能。
3. NewSQL 資料庫系統 :
• 應用於特定需求/領域，並支援傳統SQL資料庫所注重之特性(包含語
法)。
• iServDB NewSQL 著重特質
 iServDB：大量、分散式資料之整合應用服務。
 iServDB HPT：超高速交易型SQL資料庫系統。
(HPT: High Performance Transaction)
11

資料分類儲存觀念
• 結構化資料 vs. 半結構化資料 vs. 非結構化資料
• 關於儲存問題：
1. 傳統 SQL 資料庫系統能否儲存非結構化資料?
2. 資料庫能存影片、音樂之類的串流資料呢?
3. 什麼樣的資料庫，適合存什麼樣的資料內容呢?
12
http://www.uh.edu/engines/ds-database-schema.gif
http://service-architecture.static-barryandassociates.com/images/web_services/json_and_xml_comparison.png
http://www.pinetec.com/wp-content/uploads/2015/07/pinehurst-technologies-xml-html.jpg

iServDB 簡介 (1/3)
• iServDB 包含以下特性
• 提供SQL指令，針對大量分散資料讀寫。
• 支援分散式架構，可 Scale-out 擴增節點。
• 以Table作為資料分類之儲存點，支援多種儲存引擎：
• 使用 iServDB 是一 NewSQL DB，可以
• 儲存結構化資料。
• 儲存大量半結構化、非結構化資料。
• 利用SQL指令，可將結構化與半結構化、
非結構化資料整合運算分析。
13
關聯型傳統關聯性資料庫儲存方法，適合儲存交易頻繁且關聯性高之資料。
文檔型每筆資料即一個文檔，適合用於儲存大量文字或紀錄檔。
時序型* 依時間為主要査詢鍵値，適合機器紀錄的儲存與査詢。
寬欄型* 資料表中各欄位獨立儲存，適合單一欄位進行大量函式運算。
快取型* 以記憶體作為主要儲存，加快讀寫效率。
索引型* 以大量査詢為主要儲存目的，適合大量報表分析或資料預處理。

• 分散式架構特色
1. 使用 Shared Nothing (SN) 架構
2. 使用 Sharding 技術
3. 支持 Scale-Out 技術
14
Data
Node
Manager
Node
REL
Manager
Node
Manager
Node
….
Manager
Node
Data
Node
REL
Data
Node
DOC
Data
Node
DOC
Data
Node
DOC
AP AP … AP
(A, B) (B, C) (C, A)
New
Node

• iServDB 分散式架構優勢
1. Auto-rebuild 高可用
• 資料不遺失
• 更新節點不用停機
2. 高移轉性
• 資料可無痛移轉
– MongoDB
– PostgreSQL
15
特性1:
單節點失效，不遺失資料。
特性2:
替換新主機
即可自動重建
正、複本資料
與節點服務。
Old
Shard #2Shard #1 Shard #3
New
Shard #2

iServDB IoT 關鍵特性 (1/5)
• Open Data 特性
– iServDB 快速介接特性
• 快速介接 Open Data、 RESTful API
• 外部資料跟企業內部資料整合運算
– iServDB 快速開發介面
• 提供 python 開發介面
• 可介接任何網路服務、專業系統所提供之之 API 。
• 專業系統介接上iServDB，可使用 SQL 進行査詢運算
– SELECT
– INSERT
– UPDATE
– DELETE
16

• 支援多種開發語言
1. 支援29種資料連結器
• C, Perl, Java(JDBC), Lua, .NET, Julia, Node.js, OLEDB,
ODBC, Python, Tcl, PHP, LISP, Go …
• 共有29種開源與商用開發之資料連結介面。
2. 提供 Stored Procedure 與 Trigger
• 有多種過程語言可使用，協助快速開發資料庫內部程序
與觸發功能
– PL/pgSQL
– PL/Tcl
– PL/Perl
– PL/Python
17

• IoT與工業4.0方案
– iServDB Temporal Engine
1. 為IoT 與工業4.0專用儲存方案
2. 適合以時間作為主鍵之資料
3. 以資料時序性特質儲存
4. 提供資料節點可擴展性
5. 加速資料分析時的運算效率
– 快速介接 IoT Sensor
1. 可快速介接所有資料源
2. 讓在資料 Pipeline 中即時運算
18

• 統計分析與大數據
– iServDB支援第三方軟體輕鬆連接
1. 資料操作軟體，如：Navicat
2. 統計分析語言，如：開源的R語言、MADlib
3. 商用BI軟體，如：TIBCO與Tableau…等
19

• 資策會團隊技術支援
– 資策會創研所 iServCloud 團隊
– 開源技服中心
20
資策會創研所研發企業專用雲端整合服務iServCloud，
包含iServDC虛擬化技術，以及iServDB分散式資料庫
系統。本團隊專注於大型系統、以及Open Source的
維運與開發，累積多年經驗、並掌握最新資訊技術。
2016年資策會成立「開源技服中心」，結合資服業、學
術、社群三方，提供開源資料庫系統之相關技術服務。
iServDB即由開源資料庫系統PostgreSQL之核心開發，
因此將可由「開源資料庫技服中心」訂閱服務得到
iServDB之長期技術支援。

眼觀物聯網產業，您身處何處?
21
https://cbi-blog.s3.amazonaws.com/blog/wp-content/uploads/2015/05/IoT-Map.png
有做技術基石，幫您站得更穩更牢固

2016-12-15 NewSQL資料庫在IoT的應用 - iServDB

More Related Content

What's hot (20)

Similar to 2016-12-15 NewSQL資料庫在IoT的應用 - iServDB (20)

More from José Lin (8)

2016-12-15 NewSQL資料庫在IoT的應用 - iServDB