2018 Week 4 Data Storage
- 3. 物聯網環境下資料產生的情況 • 持續性的產生感測資料 • 產生大量感測資料 • 多種類型的感測資料 • 隨時增加不同感測器的偵測資 料 圖片來源： http://www.linkadvance.com.tw/cht/about.php 3
- 4. 物聯網系統資料庫的需求 • 可能需要持續且不間斷的寫入 • 需要大量寫入的資料 • 資料欄位的不固定性 • 對於簡單的查詢需要快速的回應 • 龐大的處理能力 4
- 6. 關聯式資料庫的特性 學號 學生姓名 系碼 系名 系主任 S001 逢甲 001 資工系 康熙 S002 明傳 001 資工系 康熙 S003 中山 002 資管系 雍正 S004 經國 002 資管系 雍正 S005 成功 002 資管系 雍正 學號 學生姓名 系碼 S001 逢甲 001 S002 明傳 001 S003 中山 002 S004 經國 002 S005 成功 002 學生資料表(未分割) 系碼 系名 系主任 001 資工系 康熙 002 資管系 雍正 學生資料表 科系代碼表 分割後 分割後 關聯 統一每個欄位的資料類型(例如：字串或整數等) 6
- 7. 關聯式資料庫的優點 • 1.節省記憶體空間 • 因為：相同的資料記錄不須要再重複輸入。 • 2.提高行政效率 • 因為：資料不須再重複輸入，故可以節省行政人員的輸入時間。 • 3.達成資料的一致性 • 因為：資料不須再重複輸入，故可以減少多次輸入產生人為的錯誤。 7
- 8. 關聯式資料庫在物聯網系統下的問題 ID Device Date Temperature Humid CO2 問題一：因為建立好的資料表欄位固定，很難增加新的感測器 ID Device Date Temperature ID Device Date Humid 問題二：如要增加感測器，必須新增表格，無法即時儲存新類型的感測資料 8
- 9. 關聯式資料庫在物聯網系統下的問題 ID Device Date Sensor_Value 問題三：把感測器資料放在同一個欄位中，雖然可以輕易增加新的感測器，卻 得統一感測器資料的類型。 問題四：由於資料表之間有關聯存在，因此必須儲存在同一台伺服器上，不 易於分散資料與擴充儲存空間。 9
- 10. 非關聯式資料庫(NoSQL) • NoSQL - Not Only SQL • NoSQL DB 的理論基礎 - CAP & BASE • CAP： • Consistency（一致性）：在分散式環境中，一致性是說多個伺服器的同一筆資 料是否一致。 • Availability（可用性）：可用性是說服務能一直保證是可用的狀態，當使用者 發出一個請求，服務能在有限時間內返回結果。 • Partition Tolerance（分區容錯性）：在分散式系統中有某一個或者幾個機器當 掉了，其他剩下的機器還能夠正常運轉滿足系統需求。 • CAP理論的核心是：一個分散式系統不可能同時滿足一致性，可用性 和分區容錯性這三個需求，最多只能同時滿足兩個。 10
- 11. 非關聯式資料庫(NoSQL) • BASE： • Basically Available：基本可用 • Soft-state：軟狀態/柔性交易，即狀態可以有一段時間的不同步 • Eventual consistency：最終一致性 • NoSQL資料庫強調的是效能與可用度，所以「CAP Theorem」會 比 RDBMS 的「ACID」更為重要。 11
- 12. 非關聯式資料庫(NoSQL)的特性 • Schema-less • 有著類似 Table 的資料結構，但不需預先定義 schema。 • 每一筆記錄的欄位數量與結構也可以不一樣。 • 紀錄的內容與限制條件主要由應用程式來控管。 在物聯網系統下的優點：容易擴充新類型的感測資料。 • Shared nothing architecture • 通常採用本地儲存、而非共同儲存設備（如 SAN 或 NAS）。 • 使用一般規格的硬體即可，故成本也之下降。 在物聯網系統下的優點：分散式架構，提高資料處理效率，容易擴增伺服器。 12
- 13. 非關聯式資料庫(NoSQL)的特性 • Elasticity • 只需增加更多主機，便能立即擴充儲存容量與負載能力，所以不需要有 停機時間。 • 當新節點加入後，資料庫便會開始分配任務給它。 在物聯網系統下的優點：減少資料轉移到新伺服器的時間成本 • Sharding • 不將儲存視為龐大的空間，取而代之的是以「分片」（shard）方式來分 割資料集。 • 分片過大時，可採用自動分割方式，或者以程式為每一筆記錄指派所屬 的分片ID。 在物聯網系統下的優點：平均將資料量分散到各伺服器，提高各伺服器的 資料存取負載平衡 13
- 14. 儲存架構擴充方式 14 1TB 2TB 10TB Scale-up 替換 替換 Scale-out 1TB 1TB 1TB + + 關聯式資料庫 非關聯式資料庫
- 15. 關聯式與非關聯式資料庫特色表 關聯式資料庫 非關聯式資料庫 讀寫速度 讀寫慢 快速的讀寫 儲存容量 支援容量有限 支援巨量資料與流量 關聯性 一致 低 資料更新難易度 容易 難 擴充性 擴充困難 擴充容易 成本 高 低 15