Azure Synapse Link for Azure Cosmos DB
- 1. Azure Synapse Link Intro 33rd SQL Server Study – 22nd Aug, 2020 #JSSUG #msdevjp Presented by @mappie_kochi
- 2. 04 03 02 01 Agenda 概要 Azure Synapse Link の概要とアップデート予定 Azure Cosmos DB ⽤ Azure Synapse Link の設定 構築 Azure Synapse Link から Azure Cosmos DB 分析ストアに接続 操作 まとめ #JSSUG #msdevjp
- 3. Azure Synapse Link について 概要 #JSSUG #msdevjp
- 4. • ユーザーのETLに対する対応がなくなり、 ほぼリアルタイムで緊密でシームレスな統 合が可能 • ビジネスインテリジェンス (BI)、分析、機 械学習パイプラインとの連携 • Synapse Spark もしくは Synapse SQL にてリンクされたデータにアクセス Azure Synapse Link 抽出・変換・ロードのための 対応がゼロに クラウドネイティブのハイブリッドトランザクションと分析処理 (HTAP) 機能 #JSSUG #msdevjp
- 5. HTAP (Hybrid Transaction Analytical Processing) 同じデータベースの中にトランザクション処理⽤の ⾏指向テーブルと、分析処理に最適化した列指 向テーブルを混在させるハイブリット戦略 同じインメモリDB上で処理 発想としては昔から登場しており、いわゆる 「基幹系と情報系の⼀元化」に通じる内容 HTAPはコンセプト トランザクション処理向けに 最適化 ⾏指向テーブル 分析処理向けに最適化 列指向テーブル #JSSUG #msdevjp
- 6. Azure Synapse Link の利点 01 Azure Synapse Studio Orchestrate や Azure Data Factory などを使⽤した ETL ジョブの実⾏・管理がない。 管理する ETL ジョブがない 03 Azure Synapse Link for Azure Cosmos DB の場合、Azure Synapse Link は Azure Cosmos DB 分析ストアにアクセスするため、運 ⽤ワークロードへの影響がない。 運⽤環境への影響がない 05 従来必要だった ETL パイプライン⽤のストレージ とコンピューティングのレイヤーが不要。 Azure Synapse Analytics の⾼度なエラス ティックコンピューティングエンジンを使⽤してデータ にアクセスすることで実⾏コストが⼤幅に向上。 コスト効率がよい 02運⽤データに対して⾏われたすべての更新に対し て、ほぼリアルタイムで直接アクセス可能。 ほぼリアルタイムにアクセス 04Azure Synapse Link for Azure Cosmos DB の場合、Cosmos DB が複数の Azure リージョンに分散している場合は最も近いリージョン コピーに対して分析クエリを発⾏。 グローバルに分散されたデータも対応 #JSSUG #msdevjp
- 7. Azure Synapse Link for Azure Cosmos DB トランザクションストア 分析ストア トランザクションの読み 取りおよび書き込み用に 最適化された行ストア 分析クエリ用に最適化された 列ストア 運用データ 機械学習 ビックデータ分析 BI ダッシュボード 自動で同期自動で同期 #JSSUG #msdevjp
- 8. サポート内容 Azure Cosmos DB の場合、「HTAP コンテナー」と「OLAP コンテナー」の2種類のコンテナーが存在 ※Azure Synapse Link が有効になっているのは HTAP コンテナー #JSSUG #msdevjp
- 9. サポートされる Spark のコード⽣成アクション 詳細は、https://docs.microsoft.com/ja-jp/azure/synapse-analytics/synapse- link/concept-synapse-link-cosmos-db-support を参照 #JSSUG #msdevjp
- 10. 制限事項 (2020/8/22 現在) • パブリックプレビューは Azure Cosmos DB SQL (Core) API のみ • MongoDB API および、Cassandra API については、プライベートプレビュー • 今後は、すべての API で実⾏できるようになる (予定らしい) • 分析ストアは新規コンテナーのみ設定可能 • Azure Cosmos DB アカウントは新規でも既存でも OK • すでにあるコンテナに対して分析ストアを有効にすることはできない • Synapse SQL でのアクセス • Synapse SQL Serverless での Azure Cosmos DB 分析ストアへのアクセスはプライベートプレビュー • プロビジョニング済み Synapse SQL でのアクセスは未対応 • 2020/9 以降は、Azure Synapse Link について以下の課⾦が発⽣する予定 • Azure Cosmos DB 分析ストアの課⾦ #JSSUG #msdevjp
- 11. Azure Synapse Link の設定 構築 #JSSUG #msdevjp
- 12. 設定は 4 ステップ Azure Synapse ワーク スペース環境を作成 Spark プールを追加 02 Synapse ワー クスペースを作成 Azure Cosmos DB の データエクスプローラーから Synapse Link を有効 化 03 Synapse Link 有効化 Synapse ワークスペース から Linked Services を設定 04 接続 Azure Cosmos DB ア カウント (SQL API) を 作成 01 Cosmos DB 作成 #JSSUG #msdevjp
- 13. 詳細な解説は ブログ記事にて https://qiita.com/ymasaoka/items/3caac5045f0e5349504f #JSSUG #msdevjp
- 14. Demo
- 15. Azure Cosmos DB 分析ストアへの接続 操作 #JSSUG #msdevjp
- 16. GitHub サンプル 本家 (English): Azure-Samples/Synapse ⽇本語訳 (Japanese): ymasaoka/Synapse ※⽇本語訳は、独⾃で⽇本語訳を⾏った内容であり、Microsoft ⾮公式の内容です。 #JSSUG #msdevjp
- 17. Demo
- 18. 詳細な解説は ブログ記事にて https://qiita.com/ymasaoka/items/c177152672a8280ff4f7 #JSSUG #msdevjp
- 19. まとめ • 構造化データ、⾮構造化データ関係なく同じように活⽤できる時代が⽬の前に︕ • Synapse Link を使⽤して、Azure Synapse Analytics で既存データをさらに活⽤ • Synapse Link を試すなら、Synapse Analytics のリンクサービスとして Cosmos DB を登録 • パプリックプレビューは SQL API のみ • MongoDB API および、Cassandra API については、プライベートプレビュー • Azure Cosmos DB データエクスプローラーでも有効化設定が必要 • 2020/08/31 までは無料で利⽤可能 (試すなら今︕) • Synapse Link でデータアクセスするには、Synapse Spark もしくは Synapse SQL を利⽤ • 2020/08/22 現在は Synapse Spark でアクセス • Synapse SQL Serverless でのアクセスはプライベートプレビュー • プロビジョニング済み Synapse SQL でのアクセスは未対応 #JSSUG #msdevjp