![[参考] プッシュダウンとは?
HDFS
Hadoop 2
5
DB
3 4 6
クエリ
1
MapReduce
HDFS の SQL
オペレーションは、
MapReduce ジョ
ブ
として送り込まれ
る
7
結果
ジョブの内容はコスト
ベースで判断
• データ移動の削減量
• ジョブ開始のオーバー
ヘッド
• WHERE 句に指定される
列のカーディナリティ
(外部表の列統計は自動
で
作成されない)
※ プッシュダウンを有効にするためには、SQL Server インストールパス内の yarn-site.xml を構成する必要がある](https://image.slidesharecdn.com/dat009-171226065347/85/Dat009-19-320.jpg)
![CREATE EXTERNAL DATA SOURCE HadoopCluster
WITH (TYPE = HADOOP,
LOCATION = 'hdfs://xxxxx.japaneast.cloudapp.azure.com:8020’,
RESOURCE_MANAGER_LOCATION = ‘xxxxx.japaneast.cloudapp.azure.com:8050',
CREDENTIAL = HadoopCredential
);
CREATE EXTERNAL FILE FORMAT testformat
WITH (FORMAT_TYPE = DelimitedText
--DATA_COMPRESSION = 'org.apache.hadoop.io.compress.GzipCodec'
);
CREATE EXTERNAL TABLE [dbo].[JsonSensorData] (
[jsonrow] varchar(8000) NOT NULL
)
WITH (LOCATION = '/user/hadoop/sensordata/',
DATA_SOURCE = HadoopCluster,
FILE_FORMAT = testformat,
REJECT_TYPE = value,
REJECT_VALUE = 2000
);
外部表の作成
外部ファイルフォーマット（ファイルフォーマッ
ト毎に作成）
外部データソース（Hadoop Clusterに一つ作成）
Hadoop 情報
HDFSパス 情報](https://image.slidesharecdn.com/dat009-171226065347/85/Dat009-22-320.jpg)
![外部表の作成
CREATE EXTERNAL TABLE [pol].[load_poly80third]
(
[出力日時] [datetime2](6) NOT NULL,
[出力年] [nvarchar](4) NOT NULL,
[出力月] [nvarchar](2) NOT NULL,
[出力日] [nvarchar](2) NOT NULL,
…
(中略)
…
)
WITH
( LOCATION='/',
DATA_SOURCE = container80third,
FILE_FORMAT = polyformat,
REJECT_TYPE = VALUE,
REJECT_VALUE = 0 );
コンテナパス情
報](https://image.slidesharecdn.com/dat009-171226065347/85/Dat009-33-320.jpg)
![ハッシュ ディストリビュー
ション
ラウンドロビン ディストリ
ビューション
ヒープ＋ラウンドロビン
CREATE TABLE [dbo].[load_poly1] WITH(DISTRIBUTION = HASH([ログ番号])) AS
SELECT * FROM [pol].[load_poly] OPTION (LABEL = 'CTAS1');
CREATE TABLE [dbo].[load_poly2] WITH(DISTRIBUTION = ROUND_ROBIN) AS
SELECT * FROM [pol].[load_poly] OPTION (LABEL = 'CTAS2');
CREATE TABLE [dbo].[load_poly3] WITH(HEAP, DISTRIBUTION = ROUND_ROBIN) AS
SELECT * FROM [pol].[load_poly] OPTION (LABEL = 'CTAS3');](https://image.slidesharecdn.com/dat009-171226065347/85/Dat009-35-320.jpg)
Dat009 クラウドでビック
- 1. Session ID:DAT009 本情報の内容（添付文書、リンク先などを含む）は、Microsoft Tech Summit 開催日（2016年11月1－2日）時点のものであり、予告なく変更される場合があります。
- 2. 次の3点を理解する • PolyBase は Big Data と RDBMS をつなぐもの • SQL Server PolyBase スケールアウトグループを構成 し ビッグデータを高速移動できる • SQL Server 2016/Azure SQL Data Warehouse の データロードは PolyBase がおすすめ
- 3. 1. Big Data の活用と PolyBase 2. PolyBase とは 3. SQL Server 2016 の PolyBase 4. Azure SQL Data Warehouse の Polybase
- 6. データソース データ取り込み 準備 分析 公開 利用 HDInsight Azure Storage Blob Event Hubs Stream Analytics Stream Analytics Machine Learning Azure SQL Data Warehouse Power BI センサーデータ 履歴データ リアルタイム バッチ 構造化 データ 非構造化 データ 半構造化 データ Data Factory
- 7. RDBMS と Big Data の世界をつなぐ スケーラブルなフレームワーク PolyBase
- 9. 外部の非構造化/半構造化データを 外部表をとおして T-SQL で取り扱う仕組み 外部表 SQ L Azure SQL Data Warehouse Hadoop Azure Storage Blob container ※Azure SQL Data Warehouse は Hadoop に非対応 外部表 HDFS
- 10. 2012 2013 ……… 2016…2014 PolyBase in SQL Server PDW V2 (APS) PolyBase in SQL DW PolyBase in SQL Server 2016 2015
- 12. データの場所 Hadoop ユースケース データロー ド クエリの 直接実行 アーカイブ SQL Server 2016 ● ● ● Azure SQL Data Warehouse ■ ■ ■ ※ BLOB に対してはプッシュダウンができないため期待したパフォーマ ンスが得られない したがって BLOB のデータは SQL Server や SQL DW へロードしてクエリ を実行する BLOB データ ロード クエリの 直接実行 アーカイ ブ ● ▲ ● ● ▲ ● Azure ● 想定した使い方 ■ 非対応 ▲ 想定していない使 い方 プッシュダウン：SQL Server から Hadoop クラスタに MapReduce ジョブを送り 込む
- 14. • PolyBase 機能を選択 インストール要件： • JRE を事前にインストール しておく • PolyBase サービスアカウン トは ドメインアカウントが必要 ※ 後続ステップにスケールアウトオプション要否の指定が必要
- 15. システムDB名 役割 DWConfiguration PolyBase エンジンと DMS の構 成情報を保管 DWDiagnostics 分散クエリの診断情報を保管 DWQueue ロールバック情報を保管 サービス名 役割 PolyBase Engine PolyBase が実行する分散 SQL をつかさどる PolyBase Data Movement Service (DMS) HDFS や BLOB データの READ/WRITE を担う
- 16. 1. SQL Server PolyBaseインスタ ンス を複数インストール Head Node をきめる PolyBas e Engine PolyBas e DMS PolyBas e DMS PolyBas e DMS PolyBas e DMS PolyBas e Engine PolyBas e Engine PolyBas e Engine 2. ひとつを Head Node として選択 3. 残りを Compute Node として構成する ① sp_polybase_join_group の実行 ② PolyBase DMS のリスタート EXEC sp_polybase_join_group N'hdpsqlserver', 16450, N'MSSQLSERVER'; PolyBase をスケールアウトして Hadoop クラスタと並列処理させ ることが可能
- 17. PolyBase Engine PolyBase DMS PolyBase DMS PolyBase DMS PolyBase DMS Head Node Compute Nodes Head Node • クエリを投入するインスタン ス Compute Nodes • HDFS や Blob のデータに対し て PolyBase 分散クエリー （DSQL） を処理するインスタンス PolyBase スケールアウトグループ
- 18. SQL Server 2016 PolyBase DMS PolyBase DMS PolyBase DMS Head Node PolyBase DMS PolyBase Engine Compute Nodes File System File System File System Data Node Data Node Data NodeName Node File System Data Node Hadoop Cluster
- 19. [参考] プッシュダウンとは? HDFS Hadoop 2 5 DB 3 4 6 クエリ 1 MapReduce HDFS の SQL オペレーションは、 MapReduce ジョ ブ として送り込まれ る 7 結果 ジョブの内容はコスト ベースで判断 • データ移動の削減量 • ジョブ開始のオーバー ヘッド • WHERE 句に指定される 列のカーディナリティ (外部表の列統計は自動 で 作成されない) ※ プッシュダウンを有効にするためには、SQL Server インストールパス内の yarn-site.xml を構成する必要がある
- 21. • セキュアコネク ションが必要な 場合 • オプション 外部データソース の 作成 • HDFS の URL と ポート番号 • リソースマネー ジャのURL と ポート番号 外部ファイル フォーマットの作 成 • ファイル形式 • 圧縮形式 外部表の作成 • HDFS データへ の パス • 外部データソー ス • 外部ファイル フォーマット 外部表作成手順
- 22. CREATE EXTERNAL DATA SOURCE HadoopCluster WITH (TYPE = HADOOP, LOCATION = 'hdfs://xxxxx.japaneast.cloudapp.azure.com:8020’, RESOURCE_MANAGER_LOCATION = ‘xxxxx.japaneast.cloudapp.azure.com:8050', CREDENTIAL = HadoopCredential ); CREATE EXTERNAL FILE FORMAT testformat WITH (FORMAT_TYPE = DelimitedText --DATA_COMPRESSION = 'org.apache.hadoop.io.compress.GzipCodec' ); CREATE EXTERNAL TABLE [dbo].[JsonSensorData] ( [jsonrow] varchar(8000) NOT NULL ) WITH (LOCATION = '/user/hadoop/sensordata/', DATA_SOURCE = HadoopCluster, FILE_FORMAT = testformat, REJECT_TYPE = value, REJECT_VALUE = 2000 ); 外部表の作成 外部ファイルフォーマット（ファイルフォーマッ ト毎に作成） 外部データソース（Hadoop Clusterに一つ作成） Hadoop 情報 HDFSパス 情報
- 23. Microsoft Tech Summit 非構造化データの操作 • 外部表を作成 • JSON データを外部 表から表示
- 25. SQL Server テクノロジーを活用した「データウエアハウス」 as a Service AzureAzure Saas Azure Public Cloud Office 365Office 365
- 26. Control Node SQL DB Compute Node Compute Node Compute Node Compute Node SQL DB SQL DB SQL DB SQL DB コンピュート層 • スケールアウト・ダウ ン可能 • 停止可能 データはストレージ層 MPP処理 コンピュート層とスト レージ層を分離すること で、スケール アウトを容易にし、同時 に 課金も柔軟にする DMS DMS DMS DMS DMS Compute Node SQL DB DMS プレミアムストレージ（SSD）
- 29. DWU 100 DWU 200 DWU 300 DWU 400 DWU 500 DWU 600 DWU 1000 DWU 1200 DWU 1500 DWU 2000 DWU 3000 DWU 6000 コントロールノード数 1 コンピュートノード数 1 2 3 4 5 6 10 12 15 20 30 60 ストレージ数 60 1 コンピュートノード 当りのストレージ数 60 30 20 15 12 10 6 5 4 3 2 1
- 30. Compute Dist_DB_1 Dist_DB_2 Dist_DB_12 BLOB Queries Control Engine DMS SQL DB DMS SQL DB … Compute Dist_DB_13 Dist_DB_14 Dist_DB_24 DMS SQL DB … Compute Dist_DB_25 Dist_DB_26 Dist_DB_36 DMS SQL DB … Compute Dist_DB_37 Dist_DB_38 Dist_DB_48 DMS SQL DB … Compute Dist_DB_49 Dist_DB_50 Dist_DB_60 DMS SQL DB … Polybase LoadsData Loading (SSIS / BCP/ OLEDB/ ODBC) D12 D2 D1 D24 D14 D13 D36 D26 D25 D48 D38 D37 D60 D50 D49
- 31. • SQL Data Warehouse への アクセスに必須 外部データソース の 作成 • Blob ストレージ のURL • コンテナ名 外部ファイル フォーマットの作 成 • ファイル形式 • 圧縮形式 外部表の作成 • コンテナのパス • 外部データソー ス • 外部ファイル フォーマット 外部表作成手順
- 32. 外部データソース（コンテナ毎に 作成） 外部ファイル フォーマット（ファイルフォーマッ ト毎に作成） CREATE EXTERNAL DATA SOURCE container80third WITH ( TYPE = Hadoop, LOCATION = 'wasbs://container@xxxxx.blob.core.windows.net/', CREDENTIAL = testcredential); CREATE EXTERNAL FILE FORMAT polyformat WITH ( FORMAT_TYPE = DELIMITEDTEXT, FORMAT_OPTIONS ( FIELD_TERMINATOR = ',', DATE_FORMAT = 'yyyy-MM-dd HH:mm:ss.ffffff', USE_TYPE_DEFAULT = FALSE )); Blob URL 情報
- 33. 外部表の作成 CREATE EXTERNAL TABLE [pol].[load_poly80third] ( [出力日時] [datetime2](6) NOT NULL, [出力年] [nvarchar](4) NOT NULL, [出力月] [nvarchar](2) NOT NULL, [出力日] [nvarchar](2) NOT NULL, … (中略) … ) WITH ( LOCATION='/', DATA_SOURCE = container80third, FILE_FORMAT = polyformat, REJECT_TYPE = VALUE, REJECT_VALUE = 0 ); コンテナパス情 報
- 34. ハッシュ Stor 1 Stor 2 Stor 3 Stor 4 Stor 5 Stor 1 Stor 2 Stor 3 Stor 4 Stor 5 クラスタ化カラムストアインデックスは既定で作成 される ロードするデータのキー値 6, 17, 23, 27, 33, 34, 51, 55, 65, 74 ・・・ ストレージの配置数が５と仮定した場合の例（実際 は60）
- 35. ハッシュ ディストリビュー ション ラウンドロビン ディストリ ビューション ヒープ＋ラウンドロビン CREATE TABLE [dbo].[load_poly1] WITH(DISTRIBUTION = HASH([ログ番号])) AS SELECT * FROM [pol].[load_poly] OPTION (LABEL = 'CTAS1'); CREATE TABLE [dbo].[load_poly2] WITH(DISTRIBUTION = ROUND_ROBIN) AS SELECT * FROM [pol].[load_poly] OPTION (LABEL = 'CTAS2'); CREATE TABLE [dbo].[load_poly3] WITH(HEAP, DISTRIBUTION = ROUND_ROBIN) AS SELECT * FROM [pol].[load_poly] OPTION (LABEL = 'CTAS3');
- 36. コンピュートノード 当り 最大8個の READER が起動される ロード可能な圧縮形 式は gzip と snappy で UTF-8 のみサポート
- 37. ファイルサイズが大きいと、DWU をス ケールすることでロード時間の短縮が見 込める ファイルサイズが 512MB 未満の場合、 READER はファイル毎に READER 最大数 まで起動される
- 38. EXTERNAL READER, WRITER 数 DWU 100 200 300 400 500 600 1000 1200 1500 2000 最大 EXTERNAL READER 8 16 24 32 40 48 80 96 120 160 最大 WRITER 数 60 80 96 120 160 例）60GB の場合、 120並列でロードでき るため、DWU1500 で も時間短縮が見込める 例）250MB のファイ ルが80 個あるケース では、80並列を超える READER は不要
- 39. 実行ユーザーのリソースクラスを適切に選択する ロード後は統計情報を作成・更新する（現時点で自動作成されな い） DWU をスケールを変更する際はアクティブトランザクション有無 を確認する 外部表の VARCHAR サイズは無意味に大きくしない
- 41. • PolyBase は Big Data と RDBMS をつなぐもの • SQL Server PolyBase スケールアウトグループを構成 し ビッグデータを高速移動できる • SQL Server 2016/Azure SQL Data Warehouse の データロードは PolyBase がおすすめ
- 42. SQL Data Warehouse での同時実行とワークロード管理 https://azure.microsoft.com/ja-jp/documentation/articles/sql-data-warehouse-develop- concurrency/ Azure SQL Data Warehouse のベスト プラクティス https://azure.microsoft.com/ja-jp/documentation/articles/sql-data-warehouse-best- practices/ SQL Data Warehouse のテーブルの分散 https://azure.microsoft.com/ja-jp/documentation/articles/sql-data-warehouse-tables- distribute/ PolyBase: Gaining insights from HDFS and relational data in SQL Server 2016 https://www.youtube.com/watch?v=lBxSB0UY4wA Microsoft Azure Blog – Data Warehouse https://azure.microsoft.com/en-gb/blog/topics/data-warehouse/ 日本マイクロソフト Data Platform Tech Sales Team Blog https://blogs.msdn.microsoft.com/dataplatjp/