Microsoft Azure - SQL Data Warehouse
Download as PPTX, PDF17 likes9,350 views
2015 年 Build Conference でアナウンスのあったMicrosoft Azure - SQL Data Warehouseについて解説。 制限なし。自由にご利用ください。
WITH
(
DISTRIBUTION = HASH(<COLUMN>)
);
ハッシュ分散
CREATE TABLE [Products](….)
WITH
(
DISTRIBUTION = ROUND_ROBIN
);
ラウンド ロビン
各 Compute Node が参照できるデータは Local の Storage のみ](https://image.slidesharecdn.com/azuredataprint-150727035226-lva1-app6892/85/Microsoft-Azure-SQL-Data-Warehouse-10-320.jpg)
![-- Create a data source
CREATE EXTERNAL DATA SOURCE [WebLogSource]
WITH
(
TYPE = HADOOP,
LOCATION = 'wasbs://weblogs@sqldwdemo.blob.core.windows.net/',
CREDENTIAL = ProdCreds
);](https://image.slidesharecdn.com/azuredataprint-150727035226-lva1-app6892/85/Microsoft-Azure-SQL-Data-Warehouse-36-320.jpg)
Microsoft Azure - SQL Data Warehouse
- 3.
- 5. セルフサービス BI （Power BI / Excel） マシンラーニング （Azure ML） 定型レポート （SQL Server Reporting Service） データマイニング （SQL Server Analysis Services）
- 7. VS SMP(Shared Memory Parallel) MPP(Massively Parallel Processing)
- 8. Control Node Compute Node User ・・・・ ・・・ SQL Server の PDW(Parallel Data Warehouse ) の テクノロジを組み込んだ分散データベース Azure Blob Storage Query ・・・・
- 9. Compute Node ユーザー A 10 ユーザー B 100 ユーザー C 1000 ユーザー D 10000
- 10. CREATE TABLE [Products](….) WITH ( DISTRIBUTION = HASH(<COLUMN>) ); ハッシュ分散 CREATE TABLE [Products](….) WITH ( DISTRIBUTION = ROUND_ROBIN ); ラウンド ロビン 各 Compute Node が参照できるデータは Local の Storage のみ
- 13.
- 15. DWU Scan Rate Load Rate Cost 100 1M Rows/sec 15K Rows/Sec ¥71.40/時間 (~¥53,142/月) 200 2M Rows/sec 30K Rows/Sec 2x 300 3M Rows/sec 45K Rows/sec 3x 100 DWU = 297 sec 400 DWU = 74 sec 800 DWU = 37 sec 1,600 DWU = 19 sec 10 億行のスキャン検証結果 性能と Compute の料金 ※ 2015/07/13 時点のプレビュー料金 ※ DWU は最大 2000
- 16. ストレージ容量 月額 最初の 1 TB/月 ¥12.24 (GB あたり) 次 49 TB (1 ～ 50 TB) /月 ¥10.20 (GB あたり) 次 450 TB (50 ～ 500 TB) /月 ¥9.18 (GB あたり) 次 500 TB (500 ～ 1,000 TB) /月 ¥8.16 (GB あたり) 次 4,000 TB (1,000 ～ 5,000 TB) /月 ¥7.65 (GB あたり) 5,000 TB 超/月 サポートニお問い合わせ
- 17. $$$$
- 18. SQL Data Warehouse AWS Redshift 価格 分離（computeとstorageを個 別に調整） ノード単位（compute/storage） 弾力性 数秒間でリソースを増減 リソース増減には数時間から数日 停止/再開 あり なし ハイブリッド Azure、オンプレミス AWS のみ 互換性 True SQL support 未サポート（indexes, SQL UDFs, stored procedures, constraints）
- 19. 分析ソリューションと SQL Data Warehouse
- 20.
- 21. サポートツール • Azure Portal • SQL Server Data Tools (SSDT) • Sqlcmd • SQL Server Management Studio は 未サポート（一部利用可能）
- 22.
- 23. 日付 購入番号 区分 価格 20111001 11-AAA-11 200 1000 20111001 11-AAA-12 100 2000 20111002 12-BBB-21 300 1800 20111003 12-BBB-22 300 6000 20111003 13-CCC-31 200 4500 20111001 20111001 20111002 20111003 20111003 11-AAA-11 11-AAA-12 12-BBB-21 12-BBB-22 13-CCC-31 200 100 300 300 200 ※エスキューエル・クオリティ社の検証結果 カラム ストア インデックスのパフォーマンスを 100 とした場合の パ フォーマンスを相対で比較 Column Store Index では 列単位にまとめてページに格納することで 参照時の不要な I/O を削減 いままでは... DISTINCT GROUP BY フル テーブル スキャン 非クラスター化インデックス カラム ストア インデックス 12,000 10,000 8,000 6,000 4,000 2,000 0 102 倍 10,244 5,970 100 4,693 2,496 100 1 億 2000 万件で 約 100 倍の性能向上 59 倍 47 倍 25 倍
- 24. 2013年受注 2012年受注 2011年受注 Disk1 Disk2 Disk3 売上明細テーブル ファイルグループ 2013/05 … 2011/01 … 2013/04 … 2012/11 … パーティション2013 パーティション2012 パーティション2011 FileGroup1 FileGroup2 FileGroup3
- 25. primary keys foreign keys check constraints unique constraints unique indexes computed columns sparse columns user-defined types indexed views identities sequences triggers synonyms SSIS、 SSAS、SSRS
- 26. temporary stored procedures numbered stored procedures extended stored procedures CLR stored procedures encryption option replication option table-valued parameters read-only parameters default parameters execution contexts return statement
- 28. DWU Max Concurrent Queries Max Concurrency Slots （CPUメモリなどのリソースセット） DW100 32 4 DW200 32 8 DW300 32 12 DW400 32 16 DW500 32 20 DW600 32 24 DW1000 32 40 DW1200 32 48 DW1500 32 60 DW2000 32 80
- 29.
- 34.
- 35. T-SQL query SQL Data Warehouse Hadoop Quote: ************************ ********************** ********************* ********************** *********************** $658.39 Jim Gray Name 11/13/58 DOB WA State Ann Smith 04/29/76 ME
- 36. -- Create a data source CREATE EXTERNAL DATA SOURCE [WebLogSource] WITH ( TYPE = HADOOP, LOCATION = 'wasbs://weblogs@sqldwdemo.blob.core.windows.net/', CREDENTIAL = ProdCreds );
- 37. App Service Azure SQL Database Azure Machine Learning Intelligent App Hadoop Azure SQL Data Warehouse Power BI
- 38. Scale-out relational data warehouse Power BI, ADF, Machine Learning などと連携 storage と compute 分離 Elastic scale http://azure.microsoft.com/ja-jp/documentation/services/sql-data-warehouse/