Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
0 likes574 views
「製造リファレンス・アーキテクチャをベースとしたシステム構築を行うための基盤技術トレーニング」と題して実施した一連の勉強会スライド。 こちらのスライドの説明動画は、前編 - https://aka.ms/mfgra4mpn010a / 後編 - https://aka.ms/mfgra4mpn010b から参照できます。 Microsoft Partner Network参加パートナー様は、こちらのスライドのPDFファイルを、 https://assetsprod.microsoft.com/mpn/ja-jp/resource-205 よりダウンロード可能です。
![Overview
Uses OPENROWSET function to access data
Benefits
Ability to read CSV File with
- no header row, Windows style new line
- no header row, Unix-style new line
- header row, Unix-style new line
- header row, Unix-style new line, quoted
- header row, Unix-style new line, escape
- header row, Unix-style new line, tab-delimited
- without specifying all columns
SQL On Demand – Querying CSV File
SELECT *
FROM OPENROWSET(
BULK 'https://XXX.blob.core.windows.net/csv/population/populat
ion.csv',
FORMAT = 'CSV',
FIELDTERMINATOR =',',
ROWTERMINATOR = '¥n'
)
WITH (
[country_code] VARCHAR (5) COLLATE Latin1_General_BIN2,
[country_name] VARCHAR (100) COLLATE Latin1_General_BIN2,
[year] smallint,
[population] bigint
) AS [r]
WHERE
country_name = 'Luxembourg'
AND year = 2017](https://image.slidesharecdn.com/020datanaimfgra4mpn20200720-200803055319/85/Part-2-Data-AI-136-320.jpg)
![分析 / AI の活用レベル
診断的分析
[Interactive Reports &
Machine Learning]
処方的分析
[Automation]
予測的分析
[Machine Learning]
記述的分析
[Reports]
What should
I do?
What will
happen?
Why did it
happen?
What
happened? Insight](https://image.slidesharecdn.com/020datanaimfgra4mpn20200720-200803055319/85/Part-2-Data-AI-180-320.jpg)
![Cognitive Servicesの一例
Computer Vision API
画像分析(10K+のオブジェクトを認識)
– オブジェクト、前景、背景カラー、
画像/絵、アウトライン化
– 顔: 年齢/性別/表示位置
画像から文字データの読み取り
(OCR: Optical Character Recognition)
手書き文字の読み取り（プレビュー）
(現在 英語のみ) JPEG, PNG, BMP, PDF, TIFF
著名人、ランドマークの認識
Object Detection A GOAL WITHOUT
A PLAN IS
JUST A WISH
Analyze image
Category People; 1 face found
Adult False
Black & White? No
Dominant colors
Accent color
OCR OCR Handwriting
chapter
Mr. Sherlock Holmes
In the year 1878 I took my degree of Doctor
of medicine of the university of London
and proceeded to Netley to go through…
{ "categories": [
{ "name": "Satya Nadella", "confidence":
0.99727016687393188 } ]}
{ "categories": [
{ "name": "Colosseum", "confidence":
0.94450044631958008 } ] }
Object Detection](https://image.slidesharecdn.com/020datanaimfgra4mpn20200720-200803055319/85/Part-2-Data-AI-209-320.jpg)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
- 1. Azure 2020年7月 (MPNパートナー様向け配布用) Tech Briefing: 製造リファレンス・アーキテクチャをベースとした システム構築を行うための基盤技術トレーニング 福原 毅 ( tfukuha ) 日本マイクロソフト株式会社 パートナー事業本部 パートナー技術統括本部 第二アーキテクト本部 シニア クラウド ソリューション アーキテクト ( Azure Data & AI ) ～ Part 2: Data & AI 基盤
- 2. Part 0: 製造リファレンスアーキテクチャについて Part 0.5: 事例を中心としたユースケース Part 1: IoT 基盤 Part 2: Data & AI 基盤 Part 3: サーバーレスとシステム間連携基盤 Part 4: Power Platform / Dynamics 365 概説 Part 5: “製品の変革” を支える基盤サービス 製造リファレンス・アーキテクチャをベースとした システム構築を行うための基盤技術 トレーニング (座学)
- 3. 製造リファレンス・アーキテクチャの技術要素のうち、 Data & AI 基盤の概要を理解する 本セッションの目的
- 4. インテリジェント クラウド + インテリジェント エッジ による デジタル フィードバック ループ・フレームワーク THINGS – データ収集 INSIGHTS – データ蓄積・分析 ACTIONS – 業務適用 Power BI Surface 他 各種スマートデバイス 業務デバイス • 共通の データ モデル • 構造化・非構造化 データ格納 • Azure AD による認 証・アクセス制御 機械学習モデル 開発・管理 Azure Machine Learning 業務アプリケーション Power Automate Cognitive Services • IoT データ収集 • デバイス管理・プ ロビジョニング • 通信規格対応 (HTTP, AMQP, MQTT) データ蓄積 (データレイク) 人 各種スマート デバイス データ保護 - ID / Security 機器/ センサー GitHub Azure Active Directory ユーザー管理・認証・アクセス制御 データ収集・ 連携 DB Azure IoT Hub Azure Data Factory (Synapse Pipeline) 学習済み AI モデル Microsoft Teams Azure Data Lake Storage Gen2 PowerApps 外部データ (非構造化) Azure Security Center 脆弱性チェック、脅威検出・レポート • ノンコーディングで アプリ・ビジネス ロジック・レポート作成 • デバイスをを問わないビジネス チャット、オンライン 会議、ファイル共有 • 現場や人に関連するデータ収集 Dynamics 365 Azure Logic Apps Azure Functions Azure App Service Azure Kubernetes Service • Serverless とPaaS、コンテナー オーケストレーター データ処理・ 分析 Azure Synapse Analytics Azure Cosmos DB Azure DevOps Bonsai Azure Sphere セキュア MCU セキュア OS 10 年間 セキュリティ更新 組み込み IoT デバイス • OPC- UA 接続 • リアルタイム データ処理 • 機械学習モデル による推論実行 • 継続セキュリティ 保護 Azure IoT Edge
- 5. アジェンダ クラウド スケールの分析基盤 • 蓄積: Azure Data Lake Storage • 収集 ( & 前処理 ): Azure Data Factory • 前処理: Azure Databricks • 分析: Azure Synapse Analytics • 共有: Azure Data Catalog と、Azure Data Share • 見える化: Power BI AI 基盤 • 機械学習: Azure Machine Learning • 学習済モデル: Cognitive Service • AIの民主化: Power Platform Azure Storage の基本 • なぜ、クラウド ストレージなのか？ • Azure Storageのアーキテクチャ • Azure Blob Storage / Azure Data Lake Storage オペレーショナル データベース基盤 • SQL Server: Azure SQL Database • オープンソースRDBMSサービス: Azure Database for PostgreSQL / MySQL / Maria DB • NoSQLサービス: Azure Cosmos DB Appendix 1. Dynamics 365 Customer Insights & Azure Synapse Analytics 2. SAP上のデータとの連携
- 6. アジェンダ クラウド スケールの分析基盤 • 蓄積: Azure Data Lake Storage • 収集 ( & 前処理 ): Azure Data Factory • 前処理: Azure Databricks • 分析: Azure Synapse Analytics • 共有: Azure Data Catalog と、Azure Data Share • 見える化: Power BI AI 基盤 • 機械学習: Azure Machine Learning • 学習済モデル: Cognitive Service • AIの民主化: Power Platform Azure Storage の基本 • なぜ、クラウド ストレージなのか？ • Azure Storageのアーキテクチャ • Azure Blob Storage / Azure Data Lake Storage オペレーショナル データベース基盤 • SQL Server: Azure SQL Database • オープンソースRDBMSサービス: Azure Database for PostgreSQL / MySQL / Maria DB • NoSQLサービス: Azure Cosmos DB Appendix 1. Dynamics 365 Customer Insights & Azure Synapse Analytics 2. SAP上のデータとの連携
- 7. アジェンダ クラウド スケールの分析基盤 • 蓄積: Azure Data Lake Storage • 収集 ( & 前処理 ): Azure Data Factory • 前処理: Azure Databricks • 分析: Azure Synapse Analytics • 共有: Azure Data Catalog と、Azure Data Share • 見える化: Power BI AI 基盤 • 機械学習: Azure Machine Learning • 学習済モデル: Cognitive Service • AIの民主化: Power Platform Azure Storage の基本 • なぜ、クラウド ストレージなのか？ • Azure Storageのアーキテクチャ • Azure Blob Storage / Azure Data Lake Storage オペレーショナル データベース基盤 • SQL Server: Azure SQL Database • オープンソースRDBMSサービス: Azure Database for PostgreSQL / MySQL / Maria DB • NoSQLサービス: Azure Cosmos DB
- 10. コスト効果: 信頼性: ストレージのタイプ: Azure Data Storage vs オンプレミスストレージ
- 11. Azure Storage のアーキテクチャ インテリジェント クラウド Azure Data Box ファミリー データのインポートとエクスポート Azure APIs on the edge Azure Backup Azure Site Recovery Azure File Sync Azure とデータセンターの統合 ハイブリッド ストレージ バックアップと災害対策 長期アーカイブ ストレージ パートナー エコシステム インテリジェント エッジ Azure Stack ファミリー Azure IoT Edge Azure IoT Sphere 単一のストレージ アーキテクチャ 耐久性、保管時の暗号化、強い一貫性のあるレプリケーション、耐障害性、自動ロードバランシングアーキテクチャ― ADLS Gen 2 (File Namespace) ストレージ サービス Azure Blob Storage Azure Disk Storage Azure File Storage Object REST HDFS SMBBlock NFS Temperature tiers Ultra / Premium から Archive までのストレージ階層 Azure HPC Cache データのワークロード Backup & Archive Application & User Analytics HPC, IoT, AI NFS
- 12. Data Workloads Applications High Scale Web & Mobile CDN – Web & Video Interactive (low- latency) Analytics Spark (Databricks) & Hive Hadoop Ecosystem (HDFS) Machine Learning Data Warehouse HPC Autonomous Driving Oil & Gas Genomics EDA Cloud Burst Media transcoding Finserv & Insurance Cold Backup & DR Logs Media Archives Medical Imaging
- 13. Storage services Blobs REST経由でアクセスする オブジェクト ストレージ ストリーム及びランダムな オブジェクトアクセスの シナリオ Files SMB/REST経由で アクセスする ファイル ストレージ リフト & シフトの シナリオ Tables REST経由でアクセスする NoSQLストレージ KeyValue ストア Queues REST経由でアクセスする 信頼性の高い メッセージング 非同期タスクを スケジューリング Disks REST経由で、IaaS 仮想マシンVHDディスク アクセス 仮想マシン用 永続ディスク Premium オプション
- 15. Temperature tiers ストレージのアクセス層 Premium ストレージ: 頻繁にアクセスするデータ 向けの、高いパフォーマンスのハードウェアを提供 ホット ストレージ: 頻繁にアクセスするデータを保 存するために最適化 クール ストレージ: 少なくとも30日間は保存し、 それほど頻繁にアクセスされないデータを保存す るために最適化 アーカイブ ストレージ: 柔軟な遅延要件 (数時 間の単位)で、少なくとも180日間 は保存し、 稀にしかアクセスされないデータの保存に最適 化
- 16. Temperature tiers アーカイブ ストレージ Point ストレージ料金は非常に安価 ホット、クール、アーカイブの3層間で移動可能 最低180日以上保持 用途 長期間のバックアップやセカンダリバックアップ 長期間保存が必要で、かつアクセスされることがないコン プライアンスやアーカイブデータ 利用する上での注意 アーカイブストレージのデータ読み取りのためには、一度 ホットかクールに変更する必要があります（リハイドレート 処理）。最大15時間かかる場合もあります。 アクセス層を変更する場合に課金が発生します。 ホット クール アーカイブ 最初の 50 テラバイト (TB)/月 ¥2.24/GB ¥1.68/GB ¥0.28/GB 次の 450 TB/月 ¥2.16/GB ¥1.68/GB ¥0.28/GB 500 TB 超/月 ¥2.07/GB ¥1.68/GB ¥0.28/GB 移行元と移行先 課金 よりクール層 への移動 ホット→クール ホット→アーカイブ クール→アーカイブ 移動先のアクセス層への書き込 み操作課金 よりホット層へ の移動 アーカイブ→ホット アーカイブ→クール クール→ホット 移動元のアクセス層からの読み 取り操作課金
- 17. Architecture 冗長性とレプリケーション LRS ( Locally Redundant Storage ) 99.9% の Read / Write SLA ※クールアクセスレベルでは99％ リージョン内3レプリカ ディスク、ノード、ラックレベル障害 への保護 全レプリカがコミットでACK データ耐久性 99.999999999 (11ナイン) GRS ( Geo-Redundant Storage ) 99.9% の Read / Write SLA ※クールアクセスレベルでは99％ 2 リージョン、6 レプリカ 広域災害の保護 セカンダリへの非同期書き込み ( ペア リージョン間でコピー作成 ) データ耐久性 99.99999999999999 (16ナイン) RA-GRS ( Read Access – Geo-Redundant Storage ) 99.99 ％ の Read SLA ※クールアクセスレベルでは99.9％ GRS + セカンダリの読み取り機能 セカンダリエンドポイントの分離 ゾーン 1 ZRS ( Zone-Redundant Storage ) 99.9% の Read / Write SLA ※クールアクセスレベルでは99％ 3 ゾーン、3 レプリカ ディスク、ノード、ラック、ゾーンレベル障 害への保護 3つのゾーンへの同期書き込み データ耐久性 99.9999999999 (12ナイン) ゾーン 2 ゾーン 3 ※耐久性とSLAは異なります。
- 18. Azure Storage API on the Edge シナリオに合わせて、適切な利用環境を選択可能 Azure Storage Blob REST APIセンサー Azure Storage SDK によるカスタムモジュール Azure IoT Edge デバイス Azure Blob Storage on IoT Edge データ処理 エッジ側の ローカル blob 記憶域 https://docs.microsoft.com/ja- jp/azure/iot-edge/how-to-store-data-blob➔
- 20. 現代のデータ資産 Azure Data Services Azure Data Services データウェアハウス オペレーショナルデータベース データレイクと分析 リレーショナルデータ用 Azure SQL Database どんなサイズ、形状、速度の データも処理し、分析できる Azure Data Lake 非リレーショナル/NoSQLデータ用 Azure Cosmos DB オープンソース Azure Database for MySQL、 PostgreSQL、およびMariaDB ビッグデータ分析および AIソリューション用 Azure Databricks オープンソースベースの分析 Azure HDInsight セキュリティとパフォーマンス選択の柔軟性 その場所でデータを 利用する理由に合わせて展開 ペタバイトのデータに対する複雑なクエリ用 Azure Synapse Analytics ( Formerly Azure SQL Data Warehouse )
- 21. Azure SQL Database 既存のSQL Server のクラウド化では最適で最も経済的 シームレス及び 互換性 競争力の高い TCO ビルトインされた インテリジェンス 画期的な 生産性と パフォーマンス 業界トップクラス のセキュリティ
- 23. Azure SQL Database マネージドインスタンス SQL Serverの優れた機能と、フルマネージドでインテリジェントなサービスの利点を融合
- 24. Azure SQL Edgeプレビュー 一貫性のあるデータ & 分析エンジンをエッジに提供 SQL Server Azure SQL Database新製品 既存の Azure IoT Edge サービスを補完 接続状態またはオフラインで実行される、 省スペース、ターンキー、ML 対応を特長とするエッジ向けの データ エンジン ミッション クリティカルなワークロードに 対応する、完全な AI/ML 機能を備えた、 業界をリードするデータ エンジン
- 25. Azure SQL Edgeプレビュー フットプリントが小さく、エッジ向けに最適化され、AI が組み込まれている プラットフォームの選択肢 AI の組み込み エッジ 時系列の組み込み データ センター/ クラウド アプリを一度開発すれば、任意の場所に展開可能 フットプリントが 小さいエンジン (500 MB) 組み込みの 時系列ストリーミング および分析 待ち時間の短い分析の ための機械学習 ターンキー管理 1 つの管理画面で 展開 & 更新 比類ないパフォーマンスとセ キュリティ 最高のセキュリティと 業界をリードする パフォーマンス オールインワンのローカル ストリーミング、 ストレージ、分析 SQL 時系列 0 20 40 60 80 100 120 140 160 180 200 1 2 3 4 5 6 脆弱性(2010～2018) ARM64 x64
- 26. エッジ コンピューティング導入以前は、クラウドでの分析が問題を指摘した時 点で、応答時間と、場合によっては製品を無駄にしていました。Azure SQL Edgeにより、応答時間と必要なサイクル数の両方を削減します。 MAXIMILIAN STUETZ IT Solutions Manager, ZEISS 従業員の 働き方支援 製品の 変革 オペレーション の最適化
- 28. 光学系メーカーのZeissは、生産ラインのマシンで Azure SQL Edgeを使用して IoT テレメトリ データを処理および保存します。 推論アルゴリズムは、モデルとストリーム データを使用して、異常 を自動的に検出して警告し、生産パラメータを調整し、必要な メンテナンスを予測します。
- 29. 各工場にビッグ データ クラスターを展開し、すべての Azure SQL Edgeの データベースからのデータを処理および格納します。 データ仮想化により、生産ラインのマシンからのデータとビジネス アプリケー ション データベースのデータをダッシュボードに簡単に結合できます。 予測分析の機械学習モデルは、Spark を使用してこれらの結合されたデー タ ソース全体でトレーニングされます。
- 30. Azure SQL Edgeを利用したアーキテクチャ エッジ-クラウド-オンプレミス データセンターが接続されている場合
- 31. SQL Server 2019 ビッグ データ クラスター SQL Server、PolyBase、HDFS、Spark、機械学習の組み合わせを 1 つのソリューションで提供 構造化データと非構造化データの 両方を管理 データ間の障壁を取り除く 組込みの機械学習機能 SQL Server マスター インスタンス … ストレージ プールを使用するデータ レイク コンピューティング プールによるパフォーマンスのスケーリング …SQL コンピューティング ノード SQL コンピューティング ノード SQL コンピューティング ノード HDFS SQL Server Spark 分析カスタム アプリ BI 外部データソース HDFS SQL Server Spark HDFS SQL Server Spark … ツール Kubernetes データ プールによる データマートのスケールアウト PolyBase
- 32. SQL Server 2019 業界をリードするパフォーマンスとセキュリティ、すべてのデータについてのインテリジェンス 0 20 40 60 80 100 120 140 160 180 200 1 2 3 4 5 6 脆弱性(2010～2019) Power BI Report Server による Power BI と SQL Server Reporting Services の長所 No.1 の OLTP パフォーマンス1 1 TB2、10 TB3、および 30 TB4 において No.1 の DW パフォーマンス インテリジェントなデータベース プライベート クラウド パブリック クラウド 最も一貫性のあるデータ プラットフォームすべてのワークロード間でインメモリ Oracle の 10 分の 1 のコスト T-SQL Java C/C++ PHP Node.js C#/VB.NET Python Ruby あらゆるデバイスで 洞察を数分で取得 好みのプラットフォーム、 言語、およびコンテナー 過去 9 年間にわたり5 最も安全 業界をリードする パフォーマンスと可用性 すべてのデータについての インテリジェンス SQL と Spark の力を利用したすべ てのデータでの AI および機械学習 エッジ すべての TPC データは 2019 年 9 月 23 日現在のものです。 1 http://www.tpc.org/4081、2 http://www.tpc.org/3331、3 http://www.tpc.org/3336、4 http://www.tpc.org/3337、5 米国国立標準技術研究所 (NIST) Comprehensive Vulnerability Database
- 34. 現代のデータ資産 Azure Data Services Azure Data Services データウェアハウス オペレーショナルデータベース データレイクと分析 リレーショナルデータ用 Azure SQL Database どんなサイズ、形状、速度の データも処理し、分析できる Azure Data Lake 非リレーショナル/NoSQLデータ用 Azure Cosmos DB オープンソース Azure Database for MySQL、 PostgreSQL、およびMariaDB ビッグデータ分析および AIソリューション用 Azure Databricks オープンソースベースの分析 Azure HDInsight セキュリティとパフォーマンス選択の柔軟性 その場所でデータを 利用する理由に合わせて展開 ペタバイトのデータに対する複雑なクエリ用 Azure Synapse Analytics ( Formerly Azure SQL Data Warehouse )
- 35. Azure Database Services for MySQL、PostgreSQL、およびMariaDB Azureのエコシステムとサービスへのさらなる選択肢と完全な統合 マネージドなコミュニティ版 MySQL、PostgreSQL、 およびMariaDB 組み込み済みの高可用性、 秒単位のスケール セキュリティとコンプライアンスお好みの言語とフレームワーク 業界トップクラスの グローバルリーチ 容易なリフト＆ シフト エンタープライズで 利用可能 My
- 36. データベースではなく、 アプリケーションに集中 エンタープライズ クラスで、クラウド ネイティブな、 PostgreSQL / MySQL / MariaDB の マネージド サービス オンプレミス PostgreSQL IaaS Azure VM PostgreSQL PaaS Azure Database for PostgreSQL, MySQL, MariaDB データセンター管理 Hardware オペレーティングシステムの 展開と更新 データベースの展開、 更新、スケーリング Virtualization データ アプリケーション 高可用性、災害対策、 バックアップ データセンター管理 Hardware 仮想化 オペレーティングシステム データベースの展開、 更新、スケーリング データ アプリケーション 高可用性、災害対策、 バックアップ データ アプリケーション データセンター管理 Hardware 仮想化環境 オペレーティングシステム データベースの展開、 更新、スケーリング 高可用性、災害対策、 バックアップ インテリジェント パフォーマンス Microsoft による運用 お客様による運用 機械学習による機能 インテリジェント セキュリティ
- 37. 標準で99.99%のSLA レプリカを作る必要のない高可用性 … Azure Storage MySQL or PostgreSQL Server セキュアなコンテナー XMySQL or PostgreSQL Server セキュアなコンテナー X PostgreSQL: 5432 MySQL: 3306 クライアント Azure データの冗長化のために 3つのコピーを保持 コンピュータの冗長化
- 38. 標準で、クィックにスケーリング 従来の仮想マシンによるスケーリングの先を行く柔軟なスケーリングを実現 メリット • 秒単位でコンピューターを スケールアップ、スケールダウン • ストレージを瞬時に拡張 PostgreSQL: 5432 MySQL: 3306 Azure Storage MySQL or PostgreSQL Server MySQL or PostgreSQL Server セキュアなコンテナー セキュアなコンテナー クライアント Azure
- 39. Oracle から PostgreSQL | なぜ？ • この2年間で、私たちは多くの顧客がOracle によるアプリケーションのホスティングから離れ、他の RDBMS データストアに移行するケースを目にしています • お客様がOracleから遠ざかっている理由は当然のことながら、ライセンスコストとサポートコストの節約が最も 大きなトリガーです • PostgreSQLはオープンプラットフォームであり、そしてOracleをはるかに上回るオープンソースのメリットを享受 できます 一般的に、Oracle の代替データベースとして PostgreSQL を推奨する理由は 5 つあります。 I. PostgreSQLは機能豊富なデータベースであり、エンタープライズ対応の信頼性を高めています II. 総所有コスト(TCO)を削減できます III. オープンソースへの移行を促します IV. OracleとPostgreSQLの類似点により、移行作業は容易です V. Azure では、Azure Database for PostgreSQL を使用した柔軟なスケーリングと組み込みの HA を 提供しています
- 40. • Ora2pgツールで Oracle から Postgre に移行 • ora2pg は Oracle カタログを読み取り、同等の Postgres オブジェクト (テーブル、ビュー、シーケン ス、インデックス) を作成し、ユニーク、プライマリ、外部キー、およびチェック制約を文法的な落とし 穴にはまらないように作成します • データ移行にも使用する場合、ora2pgはOracleに接続し、Postgres互換フォーマットでデータをダ ンプします (高度に設定可能で、Postgresに接続し、その場ですべてを移行します) • Azure DMS はもう一つのデータ移行方法（オンライン）です https://docs.microsoft.com/ja-jp/azure/dms/tutorial-oracle-azure-postgresql-online • Ora2pg は移行評価レポートを提供します • Ora2pg は移行プロジェクトを作成します • すべてのトリガー、関数、プロシージャー、およびパッケージがエクスポートされ、PLPGSQL に変換され ます • 複雑なプロシージャは手動で変換する必要があるかもしれません • Oracle固有のコードは常に書き換える必要があります • 外部モジュール (DBMS、UTL、.) • CONNECTED BY (CTE “WITH RECURSIVE" を使用) • OUTER JOIN (+) • DECODE • Oracle Spatial から PostGis へのエクスポート • Ora2Pg のインストール手順と構成のサンプルは以下のリンクから 移行 | Ora2pg を使用してアセスメントとスキーマを移行 http://ora2pg.darold.net/
- 41. • https://docs.microsoft.com/ja- jp/azure/sql-database/ • https://docs.microsoft.com/ja- jp/azure/postgresql/ • https://docs.microsoft.com/ja- jp/azure/mysql/ • https://docs.microsoft.com/ja- jp/azure/mariadb/ /Docs について
- 43. クラウドのイノベーションを保護するために Microsoft Azure IP Advantage (AIPA) Azure 上のお客様のアプリケーションMicrosoft* Online Services 特許の選択 Patent Pick 特許ライセンスの提供 Springing License + LOT 上限なしの補償 Uncapped Indemnification ⚫ 知財リスクに対する業界トップレベルの保護 ⚫ マイクロソフトによってAzureサービスに組み 込まれたOSSもカバー 1 ⚫ 既定でMicrosoft Cloudのすべてのお客様が対 象 ⚫ 特許訴訟を抑止して防ぐ ⚫ マイクロソフトの1万件の特許から1件の特許を 選択 ⚫ Azureを使用されているすべてのお客様が利 用可能 2 ⚫ 将来的な特許の保護によって安心を確保 ⚫ 将来的にマイクロソフトがNPEに特許を販売し た場合でも、お客様にライセンスを提供 ⚫ Azureを使用されているすべてのお客様が利 用可能 3 https://azure.microsoft.com/en-us/overview/azure-ip-advantage/ 1. ご契約条件が適用されます 2. (i) 過去3か月にわたってAzureを1か月あたり1,000ドル利用していること、(ii) 過去2年間以内にAzureの他のお客様に対してそのお客様のAzureワークロードに関する特許侵 害訴訟を起こしていないこと、(iii) Microsoft Azure Advantageの開始後に発生した現行の特許訴訟に関する証拠を提示すること 3. (i) 過去3か月にわたってAzureを1か月あたり1,000ドル利用していること * 中国では、21Vianetが運 営し、上限なしの補償を提 供しています
- 44. Azure Hybrid Azure であらゆる場所を革新 Management | Security + Identity | App + Data Services | Dev Tools + DevOps New! Microsoft Azure
- 46. Azure Arc: アーキテクチャ Management experiences Azure Portal Azure CLI Azure SDK Azure Arc technologies: Azure Identity RBAC Policy Index Groups Etc. Azure Resource Manager Azure Arc data RP Container registry Azure Arc K8s RP Azure Arc server RP Azure Data Services Wave 1 • SQL • PostgreSQL Azure Arc data controller Kubernetes Azure PaaS Control K8s Cluster Azure Arc data agent GitOps Manager Azure Arc K8s agent Servers Linux Windows Server Azure Arc server agent Resource specific tools Azure Data Studio Cluster provisioning Cluster upgrade and patch management Cluster lifecycle management Cluster monitoring K8s Native Tools Server Admin Tools Customer locations
- 47. Azure Arc: Azure data services anywhere Azure data services anywhere: https://azure.microsoft.com/ja-jp/services/azure-arc/hybrid-data-services/
- 48. Azure Arc: Azure data services anywhereプレビュー 今後、他の Azure Data Services も追加の予定 Azure Arc上の Azure Database for PostgreSQL Hyperscale Azure Arc上の Azure SQL Database
- 49. Azure Arc: Azure data services anywhere – 全体像 アプリケーションと BI カスタム アプリ 分析BI AKS … あらゆる Kubernetes あらゆる ハードウェア Azure Data Services Microsoft Azure Site Recovery OEM ハードウェア Azure Arc による管理 Kubernetes OPENSHIFT Azure Site RecoveryAzure MonitorAzure Security 展開 HA/DR スケーリング アップデート バックアップ 診断 Azure Stack
- 50. Azure Arc data controller バックアップ監視とログ 制御 API Azure Arc 統合 HA/DR スケーリング パッチ適用とアップデート 展開 永続ストレージ ノード ノード ノード ノード ノード ノード Azure Data Studio ID Azure RBAC & Policy 高度なデータ セキュリティ 展開 リソースのインベントリー ログとテレメトリー バックアップと保持期間 利用 azdata CLI kubectl CLI Microsoft Container Registry SQL DB SQL DB (HA付) Azure ポータル Azure Data Studio CLI サードパーティ Kubernetes API PostgreSQL Hyperscale* データベース サービス 分析サービス Azure Arc: Azure data services anywhere アーキテクチャ
- 51. オンプレミスとハイブリッドのデータをモダナイズ Azureによる、あらゆる場所での革新 Azure SQL DB Edge データ インテリジェンスをエッジに拡張 SQL Server 2019 オンプレミスのデータ資産のハブ エ ッ ジ ハ イ ブ リ ッ ド オ ン プ レ ミ ス Azure Arc あらゆる場所でAzure Data Services
- 52. 現代のデータ資産 Azure Data Services Azure Data Services データウェアハウス オペレーショナルデータベース データレイクと分析 リレーショナルデータ用 Azure SQL Database どんなサイズ、形状、速度の データも処理し、分析できる Azure Data Lake 非リレーショナル/NoSQLデータ用 Azure Cosmos DB オープンソース Azure Database for MySQL、 PostgreSQL、およびMariaDB ビッグデータ分析および AIソリューション用 Azure Databricks オープンソースベースの分析 Azure HDInsight セキュリティとパフォーマンス選択の柔軟性 その場所でデータを 利用する理由に合わせて展開 ペタバイトのデータに対する複雑なクエリ用 Azure Synapse Analytics ( Formerly Azure SQL Data Warehouse )
- 53. Azure Cosmos DB グローバル分散型のマルチモデル データベース サービス MongoDB テーブル API ターンキー グローバル分散 ストレージとスループットの弾力的なスケールアウト 99thパーセンタイルでの低レイテンシーの保証 包括的なSLA 明確に定義された5つの整合性モデル ドキュメントカラムファミリ キー値 グラフ コア（SQL） API
- 54. グローバルソリューション Azure Cosmos DB は、最新のアプリパターンとユースケースをサポート これにより、業界をリードする組織はデータの価値を解放し、グローバルな顧客や変化するビジネスダイナミクスに リアルタイムで対応できるようになります 世界中に分散され、 利用可能なデータ ユーザーがいる場所にデータ を配置します リアルタイムのカスタマー エクスペリエンスの構築 遅延の影響を受けやすい パーソナライゼーション、入札、 および不正検出を可能に します。 ゲーム、IoT、eコマースに 最適 トラフィックが急増した場合 でも予測可能で高速な サービス サーバーレスアーキテクチャ による開発の簡素化 柔軟なコンピューティング 能力を備え、フルマネージ ドでイベント駆動型の マイクロサービス オペレーショナルデータに 対するSpark 分析の 実行 高速でグローバルなデータ に対してすばやくインサイト を提供 NoSQL データのリフト& シフト MongoDBおよび Cassandraのワークロード のリフト＆シフト
- 55. 高可用性 自動および手動フェールオーバー マルチホームAPI により、アプリケーションの再デプロイが不要に 低レイテンシー（世界中どこでも） パケットは光の速度よりも速く移動できません 理想的なネットワーク条件下でも世界中にパケットを送信するには、 100ミリ秒かかります データの局所性を利用して、光の速度の制限を乗り越えることができます • CDN は、静的コンテンツに対して解決します • Azure Cosmos DB は、動的コンテンツに対して解決します グローバル分散
- 56. 一貫性と信頼性のある グローバル サービス ユーザーのいる場所にデータを配置し、すべて の製造とオペレーションのイベントを透過的に、 リアルタイムに提供 あらゆる 世界のAzure リージョンにわたる、 ターンキーのデータ レプリケーショ 低遅延のエクスペリエンスを世界中のユーザーに保証 高可用性と障害復旧のための回復性 Cosmos DBの一般的なユースケース: https://docs.microsoft.com/ja-jp/azure/cosmos-db/use-cases
- 59. IoT テレメトリを活用し、差別化されたエクスペリエンスを構築 予測できないほど大量のリアルタイムデータを、 ビジネスを中断することなしに処理 • テレマティクスは、正確な診断のためにリアルタイム クエリとインデ キシング機能を提供 • 書き込みの多いワークロードを扱うために、瞬時の柔軟なスケーリ ング • SLAによって保証された推測可能なパフォーマンス Azure Cosmos DB (Telemetry & device state) Apache Storm on Azure HDInsight Azure Storage (archival) Azure Web Jobs (Change feed processor) Logic apps Azure IoT Hub Azure Cosmos DB was chosen due to its ability to ingest data at massive scale with high availability guarantee.
- 61. サーバーレス アーキテクチャ で、イノベーションを加速 市場投入までの時間を短縮し、 スケーラビリティを強化し、 さらに、イベント駆動型マイクロサービスにより、 開発者をフレームワークの管理から解放 あらゆるデータの出力、もしくはデータ量をシームレスに処理 データをすぐに利用可能にし、自動的にインデックス付け 安定した収集とクエリー パフォーマンスを提供しつつ、毎秒、多量の 書き込み リアルタイムで、回復性のある変更フィードを継続的に記録し、いつ でもアクセス可能 Azure Functionsとネイティブに統合 ドキュメント
- 62. スマートでスケーラブルな SCM 高いスケーラビリティと 回復性のあるアーキテクチャにより、 適切な部品を適切なタイミングで生産 適切な一貫性、可用性、およびパフォーマンスを Azure Cosmos DB が提供 コンポーネントを独立してスケール 信頼性を高めるイベントベースのマイクロサービス ドキュメント
- 63. NoSQL データの リフト& シフト NoSQLワークロードをシームレスにクラウドへ移 行することで、簡単にデータ モダナイゼーション 現在稼働中のNoSQLからアプリケーションデータを移動し、Cosmos DB APIs が、MongoDB, Cassandra, および SQL (Core) によるア クセスを提供 既存ツール、ドライバー、およびライブラリを活用し、既存アプリケー ションの現在のSDKsを継続して利用 ターンキーのジオ レプリケーション インフラも仮想マシンの管理も不要 MongoDB Couchbase CouchDB Neo4j HBase Cassandra DynamoDB Cosmos DBの一般的なユースケース: https://docs.microsoft.com/ja-jp/azure/cosmos-db/use-cases
- 64. 世界に広がる採用事例
- 65. Azure Cosmos DBを使用する10の理由 異なる形式のデータ マルチ テナントとエンタープ ライズ グレードのセキュリ ティ ターンキーのグローバル分 散機能 ミッション クリティカル 大規模なストレージとスケー ラビリティのあるスループット スピードとコ ストを最適化 5つの明確に定義された整 合性モデル 分析に対応し、イベ ント駆動型アーキテクチャ 世界の99%のパーセンタイ ルで、一桁ミリ秒の遅延 高可用性と信頼性と共に、 ビッグ データ
- 67. アジェンダ クラウド スケールの分析基盤 • 蓄積: Azure Data Lake Storage • 収集 ( & 前処理 ): Azure Data Factory • 前処理: Azure Databricks • 分析: Azure Synapse Analytics • 共有: Azure Data Catalog と、Azure Data Share • 見える化: Power BI AI 基盤 • 機械学習: Azure Machine Learning • 学習済モデル: Cognitive Service • AIの民主化: Power Platform Azure Storage の基本 • なぜ、クラウド ストレージなのか？ • Azure Storageのアーキテクチャ • Azure Blob Storage / Azure Data Lake Storage オペレーショナル データベース基盤 • SQL Server: Azure SQL Database • オープンソースRDBMSサービス: Azure Database for PostgreSQL / MySQL / Maria DB • NoSQLサービス: Azure Cosmos DB
- 68. 現代のデータ資産 Azure Data Services Azure Data Services データウェアハウス オペレーショナルデータベース データレイクと分析 リレーショナルデータ用 Azure SQL Database どんなサイズ、形状、速度の データも処理し、分析できる Azure Data Lake 非リレーショナル/NoSQLデータ用 Azure Cosmos DB オープンソース Azure Database for MySQL、 PostgreSQL、およびMariaDB オープンソースベースの分析 Azure HDInsight セキュリティとパフォーマンス選択の柔軟性 その場所でデータを 利用する理由に合わせて展開 ビッグデータ分析および AIソリューション用 Azure Databricks ペタバイトのデータに対する複雑なクエリ用 Azure Synapse Analytics ( Formerly Azure SQL Data Warehouse )
- 69. クラウド スケールの分析基盤 蓄積 前処理 提供収集 ( & 前処理 ) Azure Data Factory Azure Data Lake Storage Azure Databricks クラウド上のデータ SaaS 上のデータ オンプレミス上のデータ デバイスからのデータ Power BI Azure Machine Learning Azure Synapse Analytics (Formerly Azure SQL DW)
- 70. クラウド スケールの分析基盤 “Gartner Magic Quadrant for Analytics and Business Intelligence Platforms” で、12年連続リーダーポジション https://info.microsoft.com/ww-landing-gartner-mq-bi-analytics-2019.html?LCID=JA-JP
- 71. サブシナリオ2: 見える化 / サブシナリオ3: 工程間情報統合 Factory of the Future クラウド スケールの分析基盤 • Azure Data Lake Storage ( Azure Storage ) • Azure Databricks • Azure Synapse Analytics (旧SQL DWH) • Azure Data Factory • Power BI • Azure Data Share / Azure Data Catalog 2 Data Lake 3 データ加工 4 Synapse Analytics / BIツール
- 72. リファレンスアーキテクチャ Factory of the Future: 2. 工場モニタリング (見える化) 3. 簡易工場デジタルツイン作成 Expectation for Partners • 装置ログなどから有意なデータ構造を見出すデータ加工（❸） • 分散処理PaaS等を利用した大規模データ処理ソリューション（❸） • 工程横断データ分析ソリューション（❹） IoT Hubから受け取った製造記録（装置ログ・検査結果など）を時系列データの まま格納する。 格納の時点では対象装置や検査工程ごとのデータであり、製造対象品ごとに紐づ いていない。 Data Lake2 データ加工結果をBIツールで見える化し、不良要因分析や傾向分析を行う。 Synapse Analytics / BIツール4 Edge PC / Gateway Device1 製造装置のログやセンサデータ、検査結果を時系列で取得し、IoT EdgeからIoT Hubに送信する。 Data Lake に蓄積された大規模データを Synapse Analytics 上の Apache Spark で分散処理することにより、高速に構造化データに加工できる。 データ加工の例 • 正規化: 手入力データやアナログ値データを整形し、データ間の比較を可能に する。 • 変化点検出: 時系列データが変化するタイミングに対してイベントを定義する。 • 工程別データの紐付け: 製造対象品毎に工程、検査などのデータを紐付け、 トレーサビリティ管理が可能なデータ構造にする。 データ加工3 RFID/QRリーダ 装置ログ/ センサデータ 製造・組立装置 Power BI テレメトリ 製造履歴 装置設定 検査実施 Azure Data Lake StorageAzure Stream Analytics 生技 品管 IoT Hub センサデータ ストリーム 1 製造指示・指図 テレメトリ 検査結果 製造ログ BOM/BOP 2 4 X X X X : 時刻 加工前データ A 工程1 A B B : 型番 a 工程2 a a b : 合格 検査結果 OK NG 可 : X X X X : 加工後データ A 工程1 A B B : 型番 a 工程2 a a b : OK 検査結果 OK NG OK : 変化点 変化点 IoT Hub Gateway Device IoT Edge Runtime / Agent OPC Twin & Proxy OPC Publisher On-premise data gateway IoT Hub Gateway Device Azure Synapse Analytics Azure Synapse SQL Azure Synapse Pipeline 3
- 73. リファレンスアーキテクチャ Factory of the Future: 2. 工場モニタリング (見える化) 3. 簡易工場デジタルツイン作成 品管担当者などが不良要因分析を実施 適正温度範囲 各Edge PCから データ収集 検査結果／センサデータを蓄積 工程別の時系列データや 検査結果データなどを 製造業の標準的データモデルに あてはめて一連のデータセットに 紐づける BIツールで 不良要因分析の データアクセス手段を提供 S/N 1 S/N 2 S/N 3 不良 検査結果検査画像 リフロー炉 温度 不良画像
- 74. サブシナリオ3: 工程間情報統合 – 補足 品質管理が抱える課題 歩留まり 熟練工 AI & IoTの活用 Factory of the Future
- 75. サブシナリオ3: 工程間情報統合 – 補足 データがバラバラだと... 工程1 工程2 工程3 工程N・・・原材料 データソース ? ? どこの工程が原因か わからない...データがバラバラで 関係性がすぐにわからない... Factory of the Future
- 76. サブシナリオ3: 工程間情報統合 – 補足 統合データ Factory of the Future 工程1 工程2 工程3 統合データ 工程N・・・ 各工程データを上手に結合することで、 工程をまたがった品質把握が可能に！ 原材料 運転条件 外部環境 作業員特性 `
- 77. サブシナリオ3: 工程間情報統合 – 補足 結合データの例 ID 品質 工程1-温度 工程2-粘度 工程2-外気温 1111 OK 23.2 89 30 1112 NG 24.3 86 29 1113 OK 23.3 75 31 1114 OK 25.6 79 31 1115 OK 23.0 88 29 1116 NG 23.0 80 31 1117 OK 22.6 90 28 工程3-振動数 1200 1197 1220 1201 1173 1185 1233 ※分析要件やデータの特性によって作成方法は異なります。 Factory of the Future
- 78. サブシナリオ3: 工程間情報統合 – 補足 品質管理のロードマップ Factory of the Future データ可視化 1変数の解析 多変数の解析 予測 最適化・自動化 工程能力指数 コスト(クレーム、人件費、欠品) 稼働率 箱ひげ図 ヒストグラム 検定 回帰分析 相関分析 主成分分析 外観検査 品質特性値予測 製造工程 自動化 リソース最適化 Mixed Reality ソフトセンサー クレーム率 製造プロセスの統合データがあれば、 要因探索から最適化までスムーズに ステップアップが可能に 統合データ
- 79. 1. Connected Sales Product as a Service クラウド スケールの分析基盤 • Azure Data Lake Storage ( Azure Storage ) • Azure Databricks • Azure Synapse Analytics (旧SQL DWH) • Azure Data Factory • Power BI • Azure Data Share / Azure Data Catalog 3 顧客情報の集約
- 80. リファレンスアーキテクチャ Product as a Service: 1. Connected Sales Expectation for Partners • 営業情報や製品利用状況を活用したマーケティングエンジン（❶❷❸） • マーケティングオートメーションやSFA、最適レコメンデーションなどの既存ソリュー ションとMSプラットフォームとの連携強化（❹❺） コアとなる顧客情報は Dynamics 365 の DB で管理し、顧客との関係構築を行 いつつ営業情報を管理する。また、Workplace Analytics や Teams を組み合わ せ、提案資料や製品設計情報などの関連資料の共有やチーム活動の加速を行う。 営業支援・ナレッジシェアリング2 顧客環境での製品稼働状況や営業情報、営業関連資料を収集すると共に、顧 客の外部情報をパブリックDMPなどから収集し、顧客を軸として集約・紐付けする ことによって、顧客の購買・利用行動をデータ上で表現する。 顧客情報集約3 一元管理された多数の顧客行動データを Customer 360 によって分析することに より、顧客のセグメンテーションやモデル化を行う。 外部システムと連携しつつ、製品リストと顧客モデルのマッチングやダイナミックプライ シングを行うことで、顧客ごとの推薦商品、推薦時期を計算する。 顧客のモデル化と最適提案4 計算された推薦商品や時期などの提案計画を顧客へのアクションに結びつけるた め、適切な関連システムへのインプットを行う。例えば、Dynamics 365 を経由して 営業担当の活動に結びつける、顧客に製品案内を送信する、などのアクションが 考えられる。 営業活動の計画自動化5 顧客に提供したコネクテッドプロダクトから稼働状況を収集・蓄積する。 製品からの稼働状況収集1 SharePoint Power Platform Office 365 Teams SQL Server Dynamics 365 IoT Hub 2 Azure Data Lake Storage Logic AppsAzure Machine Learning 分析者 Customer 360 営業顧客 設計営業 営業計画 営業活動実績・製品情報製品稼働 状況 製品稼働 状況 パブリック DMP (顧客情報など) 外部システム (ダイナミック プライシングなど) 1 3 4 5 Azure Synapse Analytics Apache Spark PipelineSQL Dynamics 365 Customer Insights
- 81. リファレンスアーキテクチャ Product as a Service: 1. Connected Sales 顧客における製品の利用状 況をIoT Hubで収集・蓄積。 利用状況に応じたOne2One の提案のインプットにする。 数多くの商品から構成されるソリューション商材であっても、CPQエンジンの自動見積・価格決定機 能と連携することで、営業担当者の手間を最低限に抑えながら、合理的・かつ高速に自動で見積 もり作成と価格の決定を行うことができる。 結果、従来日本企業が苦手としていた、見積もりの短期提出が可能になり、外資系競合に対する 競争力がアップする。 前回訪問時のメモなども共有 されており、チーム内で案件進 捗・顧客の反応は共有済。 推奨製品と提案タイミングを Dynamics365に登録し、営 業担当に通知 これまでの提案状況（SFA）、 DMPから得られる顧客/業種 の関心仮説等を一元化し、 顧客軸でデータを紐づける Teamsに蓄積・共有されてい る提案書や営業活動実績か ら、担当している企業に似た 案件での成約事例を抽出し ておく。
- 82. リファレンスアーキテクチャ Product as a Service: 1. Connected Sales 顧客における製品の利用状 況をIoT Hubで収集・蓄積。 当該製品の実動における稼 働環境（温度・稼働時間な ど）を把握する。 アフターセールスや製品利用状況から、顧客への提案タイミングを検知。 類似顧客の関心のある製品群や対象顧客の製品稼働環境に合わせ、リーズナブルな製品構成を 自動的に推定。 提案書や営業活動実績を Teamsで共有。 関連製品の他社向け営業担 当者との情報連携を行う 推奨製品と提案タイミングを Dynamics365に登録し、営 業担当に通知 提案状況や製品利用状況を 顧客を軸に紐付け管理。 さらに、DMPを活用して類似 顧客が関心のある製品情報 を収集。
- 83. Intelligent Supply Chain クラウド スケールの分析基盤 • Azure Data Lake Storage ( Azure Storage ) • Azure Databricks • Azure Synapse Analytics (旧SQL DWH) • Azure Data Factory • Power BI • Azure Data Share / Azure Data Catalog 2 サプライチェーンデータの一元管理(データオーケストレーション)
- 84. リファレンスアーキテクチャIntelligent Supply Chain: Azure Machine Learning 外 部 最 適 化 エ ン ジ ン 生産計画 分析モデル開発者 Cognitive Text Analytics Cognitive Text Logic AppsAzure Machine Learning 分析モデル SQL Azure Logic AppsAzure API Management Azure Blockchain Service Azure Security Center Azure Active Directory 設計情報 生産計画 システム サプライヤーの 物流・調達 システム 調達 システム Dynamics 365SharePoint サプライヤ 調達 販売計画 1 2 3 4 5 Azure Data Lake Storage Azure Synapse Analytics Azure Functions Expectation for Partners • サプライチェーンプラットフォームを利用する各種サービスの開発（❶） • サプライチェーンプラットフォームの開発・インプリ（❷） • SCMにおける最適計画立案・最適化エンジンの開発（❸） • ブロックチェーン等によるSCM技術の確立（❹） 各システムから収集した調達・出荷に関するデータをスケーラブルなデータベースに格納す る。長期に渡って格納されたデータはサイズが肥大化するが、Synapse Analytics の Apache Spark や Pipeline の組み合わせなどにより、高速な紐付けや整形を行うこと でサプライチェーンデータとして構造化できる。 サプライチェーンデータの一元管理(データオーケストレーション)2 分析モデルの開発者が Azure ML 上で蓄積データを参照し、最適在庫量計算などの 元となる分析モデルを作成する。作成された分析モデルに基づいて Azure ML で定常 的かつ自動的にデータ分析を実行する。需要予測や在庫水準最適化など様々な分 析が考えられ、必要に応じて Logic Apps で外部の最適化エンジンと連携することで 実現する。 分析モデルの作成／最適計画立案（アナリティクス）3 一元管理されているサプライチェーンデータや最適化計画は既存システムへの反映の他、 必要に応じて権限管理しながら外部のサプライヤ等と連携するアプリや API を公開す る。また、Blockchain 上のスマートコントラクトと組み合わせると厳密な契約／履歴管 理を行うことができる。 ワークフロー実行／スマートコントラクト4 これらのシステムをAzure上に構築することで、Azure Active Directory による社内外 のユーザアクセス権やシステム間連携の権限管理、Azure Security Center等による挙 動監視が可能となり、多要素認証へも対応したセキュアなプラットフォームを構築できる。 セキュリティ5 生産計画や調達など既存の関連システムからデータを収集する。また、最適計画の立 案結果などを各システムに配信する。 Function Appsや Logic Apps と Azure API Management を活用し、柔軟なインタフェース構築が可能となる。業務上不適切な 発注を行うAPI呼び出しなどを検知するために、すべてのAPI Management を経由し たAPI 呼び出しをストリームすることも可能。 関連システムとのデータインタフェース（インターフェース）1 Spark Pipeline Azure Service Bus
- 85. クラウド スケールの分析基盤 蓄積 前処理 提供収集 ( & 前処理 ) Azure Data Factory Azure Data Lake Storage Azure Databricks クラウド上のデータ SaaS 上のデータ オンプレミス上のデータ デバイスからのデータ Power BI Azure Machine Learning Azure Synapse Analytics (Formerly Azure SQL DW)
- 86. Azure Data Lake Storage Gen2 – 蓄積 Object Tiering と Lifecycle Policy Management AAD 統合, RBAC, ストレージアカウントセキュリティ ZRS と RA-GRS による HA/DR サポート Common Blob Storage Foundation Blob API Gen2 API サーバー バックアップ, アーカイブ ストレージ, 半構造化データ 非構造化 オブジェクトデータ Hadoop ファイルシステム, ファイルとフォルダーの階層, 粒度の高い POSIX準拠のACL, ファイル トランザクション 分析データ
- 87. Azure Data Lake Storage Gen2 – 蓄積 Preview Coming Soon: Public Cloud Object storage access through NFS v3 is an industry first Object Tiering と Lifecycle Policy Management AAD 統合, RBAC, ストレージアカウントセキュリティ ZRS と RA-GRS による HA/DR サポート Common Blob Storage Foundation Blob API NFS v3 サーバー バックアップ, アーカイブ ストレージ, 半構造化データ 非構造化 オブジェクトデータ HPC データ、規模の大きいシーケンシャル リード データセットをNFS v3で利用する アプリケーション ファイル データ Hadoop ファイルシステム, ファイルとフォルダーの階層, 粒度の高い POSIX準拠のACL, ファイル トランザクション 分析データ Gen2 API
- 89. クラウド スケールの分析基盤 蓄積 前処理 分析収集 ( & 前処理 ) Azure Data Factory Azure Data Lake Storage クラウド上のデータ SaaS 上のデータ オンプレミス上のデータ デバイスからのデータ Power BI Azure Machine Learning Azure Synapse Analytics (Formerly Azure SQL DW) Azure Databricks
- 90. Azure Databricks – 前処理 Azure 上の Apache Spark の位置づけ 最大の制御 簡単に使える インストールベース。 カスタマイズされたインフラ 運用負荷の少ない、 最適化された Spark クラスター Azure Databricks IaaS クラスター 管理されたクラスター Azure Virtual Machine (VMSS, VNet, 他) ワークロードに最適化された マネージド クラスター Azure HDInsight 管 理 の 削 減 Azure Data Lake Store Azure Storage ス ト レ ー ジ 層 分 析 層
- 91. Apache Spark on Azure – 前処理 Azure HDInsight
- 92. を利用するモチベーション 従来のアプローチ: 複雑なMapReduceジョブ、対話型のクエリー、(遅い)ディスクI/Oを多く含んだ、オンラインイベントハブ処理 HDFS Read HDFS Write HDFS Read HDFS Write CPU Iteration 1 Memory CPU Iteration 2 Memory
- 93. を利用するモチベーション HDFS Read HDFS Write HDFS Read HDFS Write CPU Iteration 1 Memory CPU Iteration 2 Memory HDFS Read Input CPU Iteration 1 Memory CPU Iteration 2 Memory ネットワークやディスク より10～100倍速い Minimal Read/Write Disk Bottleneck Chain Job Output into New Job Input 解決策: 新しい分散処理エンジンで、データをメモリー内に保持 従来のアプローチ: 複雑なMapReduceジョブ、対話型のクエリー、(遅い)ディスクI/Oを多く含んだ、オンラインイベントハブ処理
- 94. Apache Spark on Azure – 前処理 Azure Databricks Azure リソース マネージャ ワークスペース、リソース、ロックさ れたリソース グループの作成 VM の作成/削除
- 95. Apache Spark on Azure – 前処理 Azure Databricks: Unified Analytics Platform Databricks Workspace Collaborative Notebooks, Production Jobs Databricks Runtime Databricks Cloud Service Transactions Indexing ML Frameworks Blob Storage Data Lake Store AZURE DATA SOURCES Event Hub IoT Hub SQL DB / DW Cosmos DB Azure Data Factory
- 97. クラウド スケールの分析基盤 蓄積 前処理 提供収集 ( & 前処理 ) Azure Data Factory Azure Data Lake Storage Azure Databricks クラウド上のデータ SaaS 上のデータ オンプレミス上のデータ デバイスからのデータ Power BI Azure Machine Learning Azure Synapse Analytics (Formerly Azure SQL DW)
- 98. Azure Data Factory – 収集 & 前処理 Azure Database File Storage NoSQL Services and Apps Generic Azure Blob Storage Amazon Redshift SQL Server Amazon S3 Couchbase Dynamics 365 Salesforce HTTP Azure Data Lake Store Oracle MySQL File System Cassandra Dynamics CRM Salesforce Service Cloud OData Azure SQL DB Netezza PostgreSQL FTP MongoDB SAP C4C ServiceNow ODBC Azure SQL DW SAP BW SAP HANA SFTP Oracle CRM Hubspot Azure Cosmos DB Google BigQuery Informix HDFS Oracle Service Cloud Marketo Azure DB for MySQL Sybase DB2 SAP ECC Oracle Responsys Azure DB for PostgreSQL Greenplum MariaDB Zendesk Oracle Eloqua Azure Search Microsoft Access Drill Zoho CRM Salesforce ExactTarget Azure Table Storage Hive Phoenix Amazon Marketplace Atlassian Jira Azure File Storage Hbase Presto Megento Concur Impala Spark PayPal QuickBooks Online Vertica Shopify Xero GE Historian Square Web table • サポートされるファイルフォーマット: CSV, AVRO, ORC, Parquet, JSON • サポートされる圧縮形式: GZip、Deflate、BZip2、ZipDeflate 90を超えるコネクター (随時追加) https://docs.microsoft.com/ja-jp/azure/data-factory/copy-activity-overview
- 99. Azure Data Factory – 収集 & 前処理 Mapping Data Flow と Wrangling Data Flow • Mapping Data Flow (データフローの変換) を使用すると、コードを記述しなくても、グラフィカルなデータ変換ロジックを作成可能。 • Wrangling Data Flow を使用すると、 Power Query Online との統合で、コードなしのデータ準備をクラウド規模で繰り返し実行。 • 生成されたデータ フローは、スケールアウトされた Spark クラスターを使用し、Azure Data Factory パイプライン内でアクティビティとして実行。 https://docs.microsoft.com/ja-jp/azure/data-factory/concepts-data-flow-overview https://docs.microsoft.com/ja-jp/azure/data-factory/wrangling-data-flow-overview
- 100. Azure Data Factory – 収集 & 前処理 Mapping Data Flow • Mapping Data Flow (データフローの変換) を使用すると、コードを記述しなくても、グラフィカルなデータ変換ロジックを作成可能。 • 生成されたデータ フローは、スケールアウトされた Apache Spark クラスターを使用し、Azure Data Factory パイプライン内でアクティビティとして実行。 GUI を利用して、 結合・集計等のデータ処理を作成 処理自体は Spark の並列分散処理基盤で実行 https://docs.microsoft.com/ja-jp/azure/data-factory/concepts-data-flow-overview
- 101. Azure Data Factory Service クラウドアプリケーション サービスとデータ オンプレミス アプリケーションとデータ ユーザー インターフェイス Azure Data Factory – 収集 & 前処理
- 102. Azure Data Factory での CI/CD と Git https://docs.microsoft.com/ja-jp/azure/data-factory/continuous-integration-deployment https://github.com/devlace/datadevops
- 104. クラウド スケールの分析基盤 蓄積 前処理 提供収集 ( & 前処理 ) Azure Data Factory Azure Data Lake Storage Azure Databricks クラウド上のデータ SaaS 上のデータ オンプレミス上のデータ デバイスからのデータ Power BI Azure Machine Learning Azure Synapse Analytics (Formerly Azure SQL DW)
- 105. Azure Synapse Analytics ( Formerly Azure SQL DW ) – 提供 Compute Optimized Gen2 Architecture ComputeRemoteStorageControl Azure Storage ・・・
- 106. Azure Synapse Analytics ( Formerly Azure SQL DW ) – 提供 価格対性能比 @ 30TB価格対性能比のリーダー • Redshift よりも 25% 低コスト • BigQuery よりも 94% 低コスト GigaOm が総所有コストを複合クエリで除算した TPC-H メトリックとして計算した値。 結果は GigaOm が 2019 年 1 月に発表した TPC-H の結果に基づく。 $0 $10 $20 $30 $40 $50 $60 $550 $600 $40 $33 $47 $54 $48 $51 $564 $103 $110 $152 $80 $100 $120 $140 https://azure.microsoft.com/ja-jp/blog/analytics-in-azure-is-up-to-14x-faster-and-costs-94-less-than-other-cloud-providers-why-go-anywhere-else/ より抜粋
- 107. Azure Synapse Analytics ( Formerly Azure SQL DW ) – 提供 ワークロード管理の概要 リソースを管理し、リソースを効率的に利用する ことを保証し、投資対効果 ( ROI ) を最大化 ワークロード管理の3つの概念 1. ワークロードの分類: ワークロード グループに要求を割り当て、重 要度のレベルを設定するという概念 2. ワークロードの重要度: リソースへのアクセス リクエストの順序に影 響 3. ワークロードの分離: ワークロード グループにリソースを予約 ワークロード管理の概念 分 類 重 要 度 分 離
- 108. Azure Synapse Analytics ( Formerly Azure SQL DW ) – 提供 セキュリティ: 多層防御
- 109. 包括的な セキュリティ 転送中のデータ保護 データ暗号化 (サービス管理による鍵とユーザー管理による鍵) データの検出と分類 行レベル セキュリティ テーブルとビューのセキュリティ (許可 / 拒否) 列レベル セキュリティ 動的データ マスク SQL 認証 Azure Active Directory 認証 統合認証 多要素認証 仮想ネットワーク (VNET) SQL ファイヤーウォール ( サーバー ) ExpressRoute SQL 脅威の検出 SQL 監査 脆弱性評価 データ保護 カテゴリー 機能 AZURE SYNAPSE ANALYTICS Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes
- 110. 企業は重要でありながら独立した2つの分析システムを 維持することを余儀なくされてきた 実験 高速な検索 セミ構造化データ ビッグデータ もしくは 実証済みのセキュリティと プライバシー 信頼性の高いパフォーマンス 運用データ リレーショナル データ データ レイク データ ウェアハウス
- 111. Azure は、これら 2 つの世界を 1 つのサービスにまとめて、 制限のない分析環境を提供します ようこそ、制限のない世界へ 簡単に使える 高速な検索 直ぐに始められる 実証済みのセキュリティ 気密性の高いプライバシー 信頼性の高いパフォーマンス データ ウェアハウスとビッグ データ 分析を1つのサービスへ
- 112. Azure は、これら 2 つの世界を 1 つのサービスにまとめて、 制限のない分析環境を提供します ようこそ、制限のない世界へ データ ウェアハウスとビッグ データ 分析を1つのサービスへ Azure Synapse Analytics
- 113. Azure Synapse Analytics 2019年11月4日、米国オーランドにて発表 データ ウェアハウスとビッグデータ分析システム 全体のあらゆるデータから、驚異的なスピードで インサイトを提供する無制限の分析サービス 簡単に言うと、Azure Synapse は、Azure SQL Data Warehouse の進化系です 業界最高水準のデータ ウェアハウスを手に入れ、 同時に全く新しいレベルのパフォーマンスと機能レ ベルに進化させました
- 114. クラウド スケールの分析基盤 蓄積 前処理 提供収集 ( & 前処理 ) Azure Data Factory Azure Data Lake Storage Azure Databricks クラウド上のデータ SaaS 上のデータ オンプレミス上のデータ デバイスからのデータ Power BI Azure Machine Learning Azure Synapse Analytics (Formerly Azure SQL DW)
- 115. Azure Synapse Analytics 比類なき処理能力を持つ、制限のないデータウェアハウス 2 蓄積 Azure Data Lake Storage Azure Synapse Analytics Power BI Azure Machine Learning クラウド上のデータ SaaS 上のデータ オンプレミス上のデータ デバイスからのデータ
- 116. Azure Synapse Analytics BI、AI、継続的なインテリジェンス向けの統合データプラットフォーム プラットフォーム Azure Data Lake Storage Common Data Model Enterprise Security Optimized for Analytics メタ ストア セキュリティ 管理 監視 データ統合 分析ランタイム プロビジョン型 サーバーレス型 展開方法 SQL 開発言語 Python .NET Java Scala R エクスペリエンス Synapse Analytics Studio AI / Machine Learning / IoT / Intelligent Apps / BI をシングルサービスで提供
- 117. Synapse Studio は、Activity ハブに分けています これらのハブは、分析ソリューションを構築する為に必要なタスクに整理 Synapse Studio Overview Data Monitor Manage Quick-access to common gestures, most-recently used items, and links to tutorials and documentation. Explore structured and unstructured data Centralized view of all resource usage and activities in the workspace. Configure the workspace, pool, access to artifacts Develop Write code and the define business logic of the pipeline via notebooks, SQL scripts, Data flows, etc. Orchestrate Design pipelines that that move and transform data.
- 118. Synapse Studioプレビュー
- 119. Data Hub Azure ストレージアカウント (非構造化データ)、 Synapse データセット (準構造化データ) 、Synapse データベース (構 造化データ) をシングルウィンドウで表示し、データ探索を行うことができます。
- 120. Data Hub – Storage accounts Azure Data Lake Storage Gen2 アカウントとファイルシステムの表示 – Explorer のようにデータを見ることが出来ます ADLS Gen2 Account Container (filesystem) Filepath
- 121. Data Hub – Storage accounts 簡単なアクションで、SQL スクリプトや Notebook を使った分析を開始できます T-SQL や PySpark コードを自動生成します
- 122. Data Hub – Databases １つのワークスペースに存在している異なる複数のデータベース (SQL pool, SQL on-demand, Spark SQL) を１つのウィンドウで探索できます SQL pool SQL on-demand Spark
- 123. Data Hub – Databases テーブルの SQL メタデータから T-SQL スクリプトを簡単に生成 できます テーブルから DataFrame にロードする PySpark コードを簡単に生成する ことができます
- 124. Data Hub – Datasets Synapse Orchestrate データセットを用いて、永続化されたデータを定義でき、パイプラインにおけるソースデータ、シンクデータとして利 用することができます。
- 125. 概要 • クエリ、分析、データモデリングに対する 開発者エクスペリエンスを提供 利点 • １つのウィンドウで、データ分析に必要な 複数の言語をサポート • コンテンツを見失うことなく、Notebook と スクリプトを切り替えが可能 • インテリセンスによって、高品質のコード開発 をサポート • 洞察に満ちたビジュアル化が可能 Develop Hub
- 126. SQL スクリプトを開発 プロビジョニング型の SQL Pool やオンデマンド型の SQL on- demand 上で、SQL スクリプト を実行 個々の SQL スクリプトや複数 の SQL スクリプトをパブリッシュ (Publish) 可能 SQL 構文チェック、インテリセン スによるコード補完 Develop Hub - SQL scripts
- 127. １つの Notebook 内で、複数言語の記 述が可能 %%<言語名> 言語を横断した一時テーブルを利用可能 構文の強調表示、構文エラー、構文コード 補完、 スマートインデント、コード折りたた みなどの言語サポート機能を提供 実行結果のエクスポートが可能 開発者によるセッションの設定が可能で、 Notebook の実行に必要なリソースを調 整 Develop Hub - Notebooks
- 128. Develop Hub – Power BI Synapse ワークスペースから Power BI Service ワークスペースに編集済みレポートをパブリッシュ可能 Synapse ワークスペース内で、Save ボタン をクリックするだけで、変更がパブリッシュ
- 129. Azure Synapse Analytics BI、AI、継続的なインテリジェンス向けの統合データプラットフォーム プラットフォーム Azure Data Lake Storage Common Data Model Enterprise Security Optimized for Analytics メタ ストア セキュリティ 管理 監視 データ統合 分析ランタイム プロビジョン型 サーバーレス型 展開方法 SQL 開発言語 Python .NET Java Scala R エクスペリエンス Synapse Analytics Studio AI / Machine Learning / IoT / Intelligent Apps / BI をシングルサービスで提供
- 130. Azure 統合ランタイム コマンドと制御 凡例 データ トリガー パイプライン アクティビティ アクティビティ アクティビティ アクティビティ アクティビティ Self-hosted 統合ランタイム Linked Service Orchestration @ Scale Azure Data Factory を統合
- 131. Azure Synapse Analytics BI、AI、継続的なインテリジェンス向けの統合データプラットフォーム プラットフォーム Azure Data Lake Storage Common Data Model Enterprise Security Optimized for Analytics メタ ストア セキュリティ 管理 監視 データ統合 分析ランタイム プロビジョン型 サーバーレス型 展開方法 SQL 開発言語 Python .NET Java Scala R エクスペリエンス Synapse Analytics Studio AI / Machine Learning / IoT / Intelligent Apps / BI をシングルサービスで提供
- 132. 類似点 分散型 Analytics Engine T-SQL のサポート データ ウェアハウス機能 相違点 サーバーレス クエリ データはデータレイクに存在し、データロード不要 管理オーバーヘッドが無い 適用領域 データレイクに対するダイレクト クエリ SQL Analytics – プロビジョン型とサーバーレス型 サーバーレス型: SQL on-demandプロビジョン型: SQL pool 類似点 分散型 Analytics Engine T-SQL のサポート データ ウェアハウス機能 相違点 プロビジョニングされている ロードデータに対するガバナンスが有効 ワークロードに特化した最適化 先進的なワークロード マネジメント 適用領域 ロードデータに対する最適化されたワークロード
- 133. SQL On-Demand: 機能上の5つの柱 SQL クエリを実行するだけ, 管理インフラは不要 ! データは、Azure Storage に配置するだけ, コピーやロードは不要 ! Spark で定義したテーブルが自動的に利用可能, データの 2 重保持は不要 ! SQL のスキルと好みのツールを利用, 新たな学習は不要 ! SQL グレードのセキュリティ, 妥協の必要はなし !
- 134. SQL On-Demand: アーキテクチャの5つの柱 Data Lake 上のあらゆるデータをペタバイト スケールでクエリ可能 ステートレス型のサービス アーキテクチャ – 状態とコンピューティングの分離 同一形態のサービスとしては、最高レベルの性能 自己チューニング型のワークロード マネジメント：キャパシティ プランニング, アクセス制御, リソース ガバナンス リソース状況認識型タスクスケジューラーによる高い同時実行性
- 135. Overview An interactive query service that provides T-SQL queries over high scale data in Azure Storage. Benefits Serverless No infrastructure Pay only for query execution No ETL Offers security Data integration with Databricks, HDInsight T-SQL syntax to query data Supports data in various formats (Parquet, CSV, JSON) Support for BI ecosystem SQL On-Demand Azure Storage SQL On Demand Query Power BI Azure Data Studio SSMS Read and write data files Curate and transform data Sync table definitions Read and write data files
- 136. Overview Uses OPENROWSET function to access data Benefits Ability to read CSV File with - no header row, Windows style new line - no header row, Unix-style new line - header row, Unix-style new line - header row, Unix-style new line, quoted - header row, Unix-style new line, escape - header row, Unix-style new line, tab-delimited - without specifying all columns SQL On Demand – Querying CSV File SELECT * FROM OPENROWSET( BULK 'https://XXX.blob.core.windows.net/csv/population/populat ion.csv', FORMAT = 'CSV', FIELDTERMINATOR =',', ROWTERMINATOR = '¥n' ) WITH ( [country_code] VARCHAR (5) COLLATE Latin1_General_BIN2, [country_name] VARCHAR (100) COLLATE Latin1_General_BIN2, [year] smallint, [population] bigint ) AS [r] WHERE country_name = 'Luxembourg' AND year = 2017
- 137. Azure Synapse Analytics 提供機能 無限のスケール 一般提供 プレビュー プロビジョニング済みコンピューティング (データ ウェアハウス) ✔ マテリアライズド ビュー ✔ ワークロードの重要度 ✔ ワークロードの分離 ✔ オンデマンド クエリ ✔ 強力な分析情報 一般提供 プレビュー Power BI 統合 ✔ Azure Machine Learning 統合 ✔ データ レイクの探索 ✔ ストリーミング分析 (データ ウェアハウス) ✔ Apache Spark 統合 ✔ 比類のないセキュリティ 一般提供 プレビュー 列レベルおよび行レベルのセキュリティ ✔ 動的データ マスキング ✔ プライベート エンドポイント ✔ 統合されたエクスペリエンス 一般提供 プレビュー ハイブリッド データ インジェスト ✔ Azure Synapse スタジオ ✔ https://azure.microsoft.com/ja-jp/services/synapse-analytics/ より抜粋
- 138. - T-SQL ベースのエクスペリエンス (対話型/バッチ型 スコアリング) - 他の場所で構築されたその他のモデルとの相互運用性 - データが存在する場所で、スコアリングを実行 機械学習が有効化されたデータウェアハウスプレビュー --T-SQL syntax for scoring data in SQL DW SELECT d.*, p.Score FROM PREDICT(MODEL = @onnx_model, DATA = dbo.mytable AS d) WITH (Score float) AS p; モデルの アップロード T-SQL Language Data Warehouse Data + モデルの 実行 Model モデルの 作成 Predictions = SQL Analytics
- 139. 蓄積 可視化収集 前処理 変換とエンリッチ 提供 AZURE SYNAPSE ANALYTICS クラウド スケールの分析基盤
- 142. データ変革; 予測された知見が主導する組織になるための、 ユニリーバの歩みを加速 販売とブランド パフォーマンス デジタル化された工場とサプライ チェイン AI/IoTを活用して工場のデジタル化を行い、予測 メンテナンス+エネルギーコストの削減+廃棄物削減 +歩留まりの改善を実現。工場労働者にセルフサ ービスの知見を提供 ユニリーバ フード ソリューション アップセルでの売り上げ向上のため、DTC チャネルを介したデータ駆動型マーケティング に対するデータ サイエンスを導入 人事 従業員の業務簡素化、従業員の手にデータを配置し、会話 型AI(Una)を介して手動反復タスクのコストを削減することで、 Employee 2020ビジョンを実現 財務 法務 デジタル化された研究開発 科学的な知見の改善を可能にするビッグ サイエンスの 取組 ( プロセス分析、統合生物学 ) に向けて、ビッグ データのモデリングとイノベーションの高速化により、市 場投入までのコストと時間を削減 マーケティング 資産のデジタル化 コネクテッドコーヒー自動販売機、浄水器、アイスクリー ムキャビネットにIoT/AIを活用した新しいビジネスモデル と消費者体験の向上を実現。在庫/資産の損金処 理を削減 Microsoft Ignite 2019 BRK3051より抜粋: https://myignite.techcommunity.microsoft.com/sessions/81055?source=sessions
- 143. モダン データウェアハウスの論理的な構成 Universal Data Lake (UDL) Business Data Lake (BDL) Business Data Lake (BDL) Business Data Lake (BDL) Product Product Product Product Product • Implemented using ADLS • Implemented using ADLS • Each product will have its own resource group for cataloguing and cross-charging purposes • Generally implemented using SQL DW, AAS, PBI, but flexibility based on requirements ADFADF Orchestration • Implemented using Azure Databricks Microsoft Ignite 2019 BRK3051より抜粋: https://myignite.techcommunity.microsoft.com/sessions/81055?source=sessions
- 144. Azure Synapse Analyticsプレビュー (旧 Azure SQL DW) Microsoft Ignite 2019 BRK3051より抜粋: https://myignite.techcommunity.microsoft.com/sessions/81055?source=sessions
- 145. 3か月以下のプレビュー期間 データ統合、データ・ウェアハウス、ビッグデータ処理機能を大規模に統合 BI、AI、インテリジェントアプリケーションの提供を加速 単一のワークスペース内の 1 か所で、収集から BI レポートの作成までの 分析ソリューションを構築 容易な管理 統合された DevOps 環境 容易な展開 セキュアな環境 集中監視とアラート 追加機能 Unilever と Azure Synapse Analyticsプレビュー Microsoft Ignite 2019 BRK3051より抜粋: https://myignite.techcommunity.microsoft.com/sessions/81055?source=sessions
- 147. クラウド スケールの分析基盤 蓄積 Azure Data Lake Storage Azure Synapse Analytics Power BI Azure Machine Learning クラウド上のデータ SaaS 上のデータ オンプレミス上のデータ デバイスからのデータ
- 148. Power BI 概要
- 149. Power BI ファミリー
- 151. (ご参考までに) ビッグ データ と 可視化のアーキテクチャ https://github.com/Microsoft/MCW-Big-Data-and-Visualization External Data (CSV Files) Historical Data (CSV Files) Azure Data Factory Azure Databricks (Spark SQL) Power BI Visualize Predictions Azure Web Apps Web Portal 3rd Party API Azure Kubernetes Service Containerized AI Services ( Predictions ) Create, train, & export ML model Azure Machine Learning Store and operationalize trained ML model Operationalize ML model Copy data to blob storage Execute Databricks Notebook for batch scoring Integration Runtime Move on-premises data to Azure Storage Azure Synapse Analytics ( Formerly Azure SQL DW ) Azure Data Lake Storage / Azure Blob Storage
- 152. アジェンダ クラウド スケールの分析基盤 • 蓄積: Azure Data Lake Storage • 収集 ( & 前処理 ): Azure Data Factory • 前処理: Azure Databricks • 分析: Azure Synapse Analytics • 共有: Azure Data Catalog と、Azure Data Share • 見える化: Power BI AI 基盤 • 機械学習: Azure Machine Learning • 学習済モデル: Cognitive Service • AIの民主化: Power Platform Azure Storage の基本 • なぜ、クラウド ストレージなのか？ • Azure Storageのアーキテクチャ • Azure Blob Storage / Azure Data Lake Storage オペレーショナル データベース基盤 • SQL Server: Azure SQL Database • オープンソースRDBMSサービス: Azure Database for PostgreSQL / MySQL / Maria DB • NoSQLサービス: Azure Cosmos DB
- 154. Azure Data Shareによる、分析基盤の拡張 強化 • パートナーと顧客からのデータを使用して、 最新のデータ ウェアハウスの洞察を強化 • コラボレーション • 業界固有のコンソーシアムを形成し、 メンバー間でデータを共有 • 革新 • カスタム ソリューションに統合: 新しいサービス機能を通じて市場を拡大 • Azure Synapse Pipeline Azure Databricks (データの前処理) Azure Data Lake Storage Azure Synapse SQL (Provisioned) Power BI 収集と前処理 蓄積 提供 見える化 Azure Data Share A企業 Azure Data Share 共有 Azure Data Share B企業 Azure Data Share C企業 Azure Data Share Azure Data Share Azure Machine Learning 機械学習
- 155. オンプレミス中心の従来のデータ共有方法 データ利用者 #1 データ利用者 #2 データ利用者 #3 電子メール、もしくは USBでの送付 FTP サーバーへコピー API もしくは、 Webアプリケーション データ抽出 データ提供者 運用や追跡が難しく、ビッグ データには不向き
- 156. テナントを越えて データ共有 データ提供者が 共有を開始 • 何を共有するか？ • 誰と共有するか？ • 利用規約 • スナップショットか、インプレースか？ データ利用者が 共有を承諾 • どこで受け取るか？ Azure Blob、Azure Data Lake Storage、Azure SQL DB、Azure Synapse Analytics、Azure Data Explorer、にて提供 Azure Data Shareの動作 ソースの ストア ターゲット のストア データ提供者 データ利用者 招待メール インプレースでアクセス スナップショット
- 157. サポートされる Azure Data Store 共有するソースとターゲット間で、異種のストレージ リソースをサポート ソース ターゲット Blob Storage ADLS Gen1 ADLS Gen2 Azure SQL DB Azure Synapse Analytics Azure Data Explorer Blob Storage Snapshot Snapshot ADLS Gen1 Snapshot Snapshot ADLS Gen2 Snapshot Snapshot Azure SQL DB Snapshot (public preview) Snapshot (public preview) Snapshot (public preview) Snapshot (public preview) Azure Synapse Analytics Snapshot (public preview) Snapshot (public preview) Snapshot (public preview) Snapshot (public preview) Azure Data Explorer In-place (sign up for preview)
- 158. Azure Data Catalog セルフ サービスでデータ ソースを 検出可能にする、企業全体の メタデータ カタログ 情報資産を管理し、検索性を 向上し、見つけたデータ資産を 理解し、これらのデータ資産に 接続できるように設計 洞察の時間を短縮し、データ活 用を促進
- 160. アジェンダ クラウド スケールの分析基盤 • 蓄積: Azure Data Lake Storage • 収集 ( & 前処理 ): Azure Data Factory • 前処理: Azure Databricks • 分析: Azure Synapse Analytics • 共有: Azure Data Catalog と、Azure Data Share • 見える化: Power BI AI 基盤 • 機械学習: Azure Machine Learning • 学習済モデル: Cognitive Service • AIの民主化: Power Platform Azure Storage の基本 • なぜ、クラウド ストレージなのか？ • Azure Storageのアーキテクチャ • Azure Blob Storage / Azure Data Lake Storage オペレーショナル データベース基盤 • SQL Server: Azure SQL Database • オープンソースRDBMSサービス: Azure Database for PostgreSQL / MySQL / Maria DB • NoSQLサービス: Azure Cosmos DB
- 161. サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) サブシナリオ5: 処理の自動化 ( ワークフロー / アラート ) Factory of the Future • Azure Machine Learning • Cognitive Services • Power Platform による、AIの民主化 1 Edgeでの装置監視・アラート 2 機械学習/AIのモデル作成 3 予測・最適化
- 162. リファレンスアーキテクチャ Factory of the Future: 4. 最適値算出/分析自動化(アナリティクス、ML、AI) 5. 処理の自動化 ( ワークフロー / アラート ) Expectation for Partners • Edgeでのリアルタイム異常検知ソリューション（❶） • MLやCognitiveによる工場特化型分析ソリューション（❷） • ERPなど周辺システムと連携する生産最適化ソリューション（❹） Edgeでの装置監視・アラート（Hot path）1 装置からのセンサデータストリームに対して、機械学習モデルで異常判定を行い、異 常時は警報イベントを発報する。異常判定時の静止画をAzure Blob on Edgeと Azure Blob Storageの同期機能で送信することで、クラウド側での学習に使用で きる。機械学習モデルについては、クラウド側で作成されたものをIoT Hubから配布 し、IoT Edge デバイスにデプロイすることで、多数のEdge PCに同時に適用できる。 分析モデルの開発者が Azure ML 上で、Data Lake や Synapse Analytics の蓄 積データを使用して分析モデルを作成する。 機械学習/AIのモデル作成（Cold path）2 Logic AppsのコネクタでERPから生産計画・調達計画を参照し、Azure Machine Learningで作成したモデルが算出する最適値と比較を行う。比較および通知の ワークフローを Logic App で自動実行して Teams への通知を行う。 作業指示4 Synapse SQL に格納された製造履歴を参照し、Machine Learning により機械 学習モデルを作成。モデルを Kubernetes へ展開し、品質予測や在庫最適値を 算出する。 予測・最適化3 Teamsやモバイルアプリから各担当のモバイル端末へ通知を行う。 Surface Hub をアンドンとして使用し、通知を表示する。 通知5 モバイル製造・組立装置 製造履歴 画像 Azure Kubernetes Service Azure Data Lake Storage Azure Stream Analytics Power Apps IoT Hub カメラ 動画 センサデータ メッセージ 通知 4 5 Logic Apps model テレメトリ Stream Analytics on Edge 警報装置 発報 model Model deploy ERP Teams 予測値・最適値 通知 分析モデル 開発者 Azure Machine Learning Cognitive Custom Vision 1 計画値・ 実績値 32 画像 Azure Synapse Analytics Azure Blob Storage Blob on Edge Azure Container Registry IoT Edge Runtime / Agent ML Model (ONNX)
- 163. リファレンスアーキテクチャ Factory of the Future: 4. 最適値算出/分析自動化(アナリティクス、ML、AI) 5. 処理の自動化 ( ワークフロー / アラート ) リフロー炉 温度 装置故障の 可能性がある急激な 温度変動を リアルタイムに検出 監視カメラ 映像 作業員の転倒や 不適切なエリアへの 侵入を映像から リアルタイムに検知 パトライトなど ラインサイドで 警告表示 各Edge PCからデータ収集 作成した分析モデルを 各エッジに配布 検査結果／センサデータを蓄積 蓄積した製造データを横断的に 分析する環境を提供 データ分析担当者によって 故障予兆や異常検知の 分析モデルを作成 定時バッチなどで 分析モデルを元に 故障予測を計算 既存システムと連携して 現在の保全計画・実績と 故障予測を比較し、 保全計画を最適化する 最適化した保全計画に 基づいて 担当者に作業指示を通知
- 164. サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) – 補足 設備保全のレベル Factory of the Future 故障発生の都度 メンテナンスを行う 故障する前に メンテナンスを行う 故障の予兆を検知 制約条件を考慮した 最適なアクション自動化
- 165. サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) – 補足 メンテナンスの適切なタイミングを知る Factory of the Future Time Quality 劣化発生 メンテナンス 最適時期 オーバーメンテナンス 予測
- 166. サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) – 補足 異常検知の基本的なアプローチ方法 Factory of the Future 振動数 回転数 稼働日数
- 167. サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) – 補足 設備保全モデルの考え方 Factory of the Future
- 168. サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) – 補足 設備保全モデル Factory of the Future 回帰 分類 クラスタリング時系列予測
- 169. サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) – 補足 高度な設備保全イメージ Factory of the Future ! モデルデプロイ エッジデバイスで故障の 予兆を検知しアラート On-Premise Cloud ! クラウド分析基盤
- 170. サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) – 補足 LSTMによるRULの予測の例 Factory of the Future ? お客様に納入した機械は いつまで使えるだろうか.... 無駄な部品交換は 避けたい... 200日 320日 250日 あと何日使える
- 171. 1. Connected Sales Product as a Service • Azure Machine Learning • Cognitive Services • Power Platform による、AIの民主化 4 顧客のモデル化と最適提案
- 172. リファレンスアーキテクチャ Expectation for Partners • 営業情報や製品利用状況を活用したマーケティングエンジン（❶❷❸） • マーケティングオートメーションやSFA、最適レコメンデーションなどの既存ソリュー ションとMSプラットフォームとの連携強化（❹❺） コアとなる顧客情報はDynamics 365 のDBで管理し、顧客との関係構築を行い つつ営業情報を管理する。また、Workplace AnalyticsやTeamsを組み合わせ、 提案資料や製品設計情報などの関連資料の共有やチーム活動の加速を行う。 営業支援・ナレッジシェアリング2 顧客環境での製品稼働状況や営業情報、営業関連資料を収集すると共に、顧 客の外部情報をパブリックDMPなどから収集し、顧客を軸として集約・紐付けする ことによって、顧客の購買・利用行動をデータ上で表現する。 顧客情報集約3 一元管理された多数の顧客行動データを Customer 360 によって分析することに より、顧客のセグメンテーションやモデル化を行う。 外部システムと連携しつつ、製品リストと顧客モデルのマッチングやダイナミックプライ シングを行うことで、顧客ごとの推薦商品、推薦時期を計算する。 顧客のモデル化と最適提案4 計算された推薦商品や時期などの提案計画を顧客へのアクションに結びつけるた め、適切な関連システムへのインプットを行う。例えば、Dynamics 365を経由して 営業担当の活動に結びつける、顧客に製品案内を送信する、などのアクションが 考えられる。 営業活動の計画自動化5 顧客に提供したコネクテッドプロダクトから稼働状況を収集・蓄積する。 製品からの稼働状況収集1 SharePoint Power Platform Office365 Teams SQL Server Dynamics 365 IoT Hub 2 Azure Data Lake Storage Logic AppsAzure Machine Learning 分析者 Customer 360 営業顧客 設計営業 営業計画 営業活動実績・製品情報製品稼働 状況 製品稼働 状況 パブリック DMP (顧客情報など) 外部システム (ダイナミック プライシングなど) 1 3 4 5 Azure Synapse Analytics Synapse Spark Synapse PipelineSynapse SQL Product as a Service: 1. Connected Sales
- 173. ＜例＞最適提案の立案（ソリューション営業的シナリオ） Expectation for Partners • 営業情報や製品利用状況を活用したマーケティングエンジン（❶❷❸） • マーケティングオートメーションやSFA、最適レコメンデーションなどの既存ソリュー ションとMSプラットフォームとの連携強化（❹❺） コアとなる顧客情報はDynamics 365のDBで管理し、顧客との関係構築を行いつ つ営業情報を管理する。また、Workplace AnalyticsやTeamsを組み合わせ、提 案資料や製品設計情報などの関連資料の共有やチーム活動の加速を行う。 営業支援・ナレッジシェアリング2 顧客環境での製品稼働状況や営業情報、営業関連資料を収集すると共に、顧 客の外部情報をパブリックDMPなどから収集し、顧客を軸として集約・紐付けする ことによって、顧客の購買・利用行動をデータ上で表現する。 顧客情報集約3 一元管理された多数の顧客行動データをCustomer360によって分析することによ り、顧客のセグメンテーションやモデル化を行う。 外部システムと連携しつつ、製品リストと顧客モデルのマッチングやダイナミックプライ シングを行うことで、顧客ごとの推薦商品、推薦時期を計算する。 顧客のモデル化と最適提案4 計算された推薦商品や時期などの提案計画を顧客へのアクションに結びつけるた め、適切な関連システムへのインプットを行う。例えば、Dyamics365を経由して営 業担当の活動に結びつける、顧客に製品案内を送信する、などのアクションが考え られる。 営業活動の計画自動化5 顧客に提供したコネクテッドプロダクトから稼働状況を収集・蓄積する。 製品からの稼働状況収集1 SharePoint Power Platform Office365 Teams SQL Server Dynamics365 IoT Hub 2 Azure Data Lake Storage Logic AppsAzure Machine Learning 分析者 Customer360 営業顧客 設計営業 営業計画 営業活動実績・製品情報製品稼働 状況 製品稼働 状況 パブリック DMP (顧客情報など) 外部システム (ダイナミック プライシングなど) 1 3 4 5 Azure Synapse Analytics Apache Spark Azure Data FactorySQL 顧客における製品の利用状 況をIoT Hubで収集・蓄積。 利用状況に応じたOne2One の提案のインプットにする。 数多くの商品から構成されるソリューション商材であっても、CPQエンジンの自動見積・価格決定機 能と連携することで、営業担当者の手間を最低限に抑えながら、合理的・かつ高速に自動で見積 もり作成と価格の決定を行うことができる。 結果、従来日本企業が苦手としていた、見積もりの短期提出が可能になり、外資系競合に対する 競争力がアップする。 前回訪問時のメモなども共有 されており、チーム内で案件進 捗・顧客の反応は共有済。 推奨製品と提案タイミングを Dynamics 365に登録し、営 業担当に通知 これまでの提案状況（SFA）、 DMPから得られる顧客/業種 の関心仮説等を一元化し、 顧客軸でデータを紐づける Teamsに蓄積・共有されてい る提案書や営業活動実績か ら、担当している企業に似た 案件での成約事例を抽出し ておく。 Product as a Service: 1. Connected Sales
- 174. ＜例＞最適提案の立案（CPQ連携版） Expectation for Partners • 営業情報や製品利用状況を活用したマーケティングエンジン（❶❷❸） • マーケティングオートメーションやSFA、最適レコメンデーションなどの既存ソリュー ションとMSプラットフォームとの連携強化（❹❺） コアとなる顧客情報はDynamics 365のDBで管理し、顧客との関係構築を行いつ つ営業情報を管理する。また、Workplace AnalyticsやTeamsを組み合わせ、提 案資料や製品設計情報などの関連資料の共有やチーム活動の加速を行う。 営業支援・ナレッジシェアリング2 顧客環境での製品稼働状況や営業情報、営業関連資料を収集すると共に、顧 客の外部情報をパブリックDMPなどから収集し、顧客を軸として集約・紐付けする ことによって、顧客の購買・利用行動をデータ上で表現する。 顧客情報集約3 一元管理された多数の顧客行動データをCustomer360によって分析することによ り、顧客のセグメンテーションやモデル化を行う。 外部システムと連携しつつ、製品リストと顧客モデルのマッチングやダイナミックプライ シングを行うことで、顧客ごとの推薦商品、推薦時期を計算する。 顧客のモデル化と最適提案4 計算された推薦商品や時期などの提案計画を顧客へのアクションに結びつけるた め、適切な関連システムへのインプットを行う。例えば、Dyamics365を経由して営 業担当の活動に結びつける、顧客に製品案内を送信する、などのアクションが考え られる。 営業活動の計画自動化5 顧客に提供したコネクテッドプロダクトから稼働状況を収集・蓄積する。 製品からの稼働状況収集1 SharePoint Power Platform Office365 Teams SQL Server Dynamics365 IoT Hub 2 Azure Data Lake Storage Logic AppsAzure Machine Learning 分析者 Customer360 営業顧客 設計営業 営業計画 営業活動実績・製品情報製品稼働 状況 製品稼働 状況 パブリック DMP (顧客情報など) 外部システム (ダイナミック プライシングなど) 1 3 4 5 Azure Synapse Analytics Apache Spark Azure Data FactorySQL 顧客における製品の利用状 況をIoT Hubで収集・蓄積。 当該製品の実動における稼 働環境（温度・稼働時間な ど）を把握する。 アフターセールスや製品利用状況から、顧客への提案タイミングを検知。 類似顧客の関心のある製品群や対象顧客の製品稼働環境に合わせ、リーズナブルな製品構成を 自動的に推定。 提案書や営業活動実績を Teamsで共有。 関連製品の他社向け営業担 当者との情報連携を行う 推奨製品と提案タイミングを Dynamics 365に登録し、営 業担当に通知 提案状況や製品利用状況を 顧客を軸に紐付け管理。 さらに、DMPを活用して類似 顧客が関心のある製品情報 を収集。 Product as a Service: 1. Connected Sales
- 175. Intelligent Supply Chain • Azure Machine Learning • Cognitive Services • Power Platform による、AIの民主化 3 分析モデルの作成／最適計画立案（アナリティクス）
- 176. リファレンスアーキテクチャ Expectation for Partners • 営業情報や製品利用状況を活用したマーケティングエンジン（❶❷❸） • マーケティングオートメーションやSFA、最適レコメンデーションなどの既存ソリュー ションとMSプラットフォームとの連携強化（❹❺） コアとなる顧客情報はDynamics 365 のDBで管理し、顧客との関係構築を行い つつ営業情報を管理する。また、Workplace AnalyticsやTeamsを組み合わせ、 提案資料や製品設計情報などの関連資料の共有やチーム活動の加速を行う。 営業支援・ナレッジシェアリング2 顧客環境での製品稼働状況や営業情報、営業関連資料を収集すると共に、顧 客の外部情報をパブリックDMPなどから収集し、顧客を軸として集約・紐付けする ことによって、顧客の購買・利用行動をデータ上で表現する。 顧客情報集約3 一元管理された多数の顧客行動データを Customer 360 によって分析することに より、顧客のセグメンテーションやモデル化を行う。 外部システムと連携しつつ、製品リストと顧客モデルのマッチングやダイナミックプライ シングを行うことで、顧客ごとの推薦商品、推薦時期を計算する。 顧客のモデル化と最適提案4 計算された推薦商品や時期などの提案計画を顧客へのアクションに結びつけるた め、適切な関連システムへのインプットを行う。例えば、Dynamics 365を経由して 営業担当の活動に結びつける、顧客に製品案内を送信する、などのアクションが 考えられる。 営業活動の計画自動化5 顧客に提供したコネクテッドプロダクトから稼働状況を収集・蓄積する。 製品からの稼働状況収集1 SharePoint Power Platform Office365 Teams SQL Server Dynamics 365 IoT Hub 2 Azure Data Lake Storage Logic AppsAzure Machine Learning 分析者 Customer 360 営業顧客 設計営業 営業計画 営業活動実績・製品情報製品稼働 状況 製品稼働 状況 パブリック DMP (顧客情報など) 外部システム (ダイナミック プライシングなど) 1 3 4 5 Azure Synapse Analytics Synapse Spark Synapse PipelineSynapse SQL Product as a Service: 1. Connected Sales
- 177. ＜例＞最適提案の立案（ソリューション営業的シナリオ） Expectation for Partners • 営業情報や製品利用状況を活用したマーケティングエンジン（❶❷❸） • マーケティングオートメーションやSFA、最適レコメンデーションなどの既存ソリュー ションとMSプラットフォームとの連携強化（❹❺） コアとなる顧客情報はDynamics 365のDBで管理し、顧客との関係構築を行いつ つ営業情報を管理する。また、Workplace AnalyticsやTeamsを組み合わせ、提 案資料や製品設計情報などの関連資料の共有やチーム活動の加速を行う。 営業支援・ナレッジシェアリング2 顧客環境での製品稼働状況や営業情報、営業関連資料を収集すると共に、顧 客の外部情報をパブリックDMPなどから収集し、顧客を軸として集約・紐付けする ことによって、顧客の購買・利用行動をデータ上で表現する。 顧客情報集約3 一元管理された多数の顧客行動データをCustomer360によって分析することによ り、顧客のセグメンテーションやモデル化を行う。 外部システムと連携しつつ、製品リストと顧客モデルのマッチングやダイナミックプライ シングを行うことで、顧客ごとの推薦商品、推薦時期を計算する。 顧客のモデル化と最適提案4 計算された推薦商品や時期などの提案計画を顧客へのアクションに結びつけるた め、適切な関連システムへのインプットを行う。例えば、Dyamics365を経由して営 業担当の活動に結びつける、顧客に製品案内を送信する、などのアクションが考え られる。 営業活動の計画自動化5 顧客に提供したコネクテッドプロダクトから稼働状況を収集・蓄積する。 製品からの稼働状況収集1 SharePoint Power Platform Office365 Teams SQL Server Dynamics365 IoT Hub 2 Azure Data Lake Storage Logic AppsAzure Machine Learning 分析者 Customer360 営業顧客 設計営業 営業計画 営業活動実績・製品情報製品稼働 状況 製品稼働 状況 パブリック DMP (顧客情報など) 外部システム (ダイナミック プライシングなど) 1 3 4 5 Azure Synapse Analytics Apache Spark Azure Data FactorySQL 顧客における製品の利用状 況をIoT Hubで収集・蓄積。 利用状況に応じたOne2One の提案のインプットにする。 数多くの商品から構成されるソリューション商材であっても、CPQエンジンの自動見積・価格決定機 能と連携することで、営業担当者の手間を最低限に抑えながら、合理的・かつ高速に自動で見積 もり作成と価格の決定を行うことができる。 結果、従来日本企業が苦手としていた、見積もりの短期提出が可能になり、外資系競合に対する 競争力がアップする。 前回訪問時のメモなども共有 されており、チーム内で案件進 捗・顧客の反応は共有済。 推奨製品と提案タイミングを Dynamics 365に登録し、営 業担当に通知 これまでの提案状況（SFA）、 DMPから得られる顧客/業種 の関心仮説等を一元化し、 顧客軸でデータを紐づける Teamsに蓄積・共有されてい る提案書や営業活動実績か ら、担当している企業に似た 案件での成約事例を抽出し ておく。 Product as a Service: 1. Connected Sales
- 178. ＜例＞最適提案の立案（CPQ連携版） Expectation for Partners • 営業情報や製品利用状況を活用したマーケティングエンジン（❶❷❸） • マーケティングオートメーションやSFA、最適レコメンデーションなどの既存ソリュー ションとMSプラットフォームとの連携強化（❹❺） コアとなる顧客情報はDynamics 365のDBで管理し、顧客との関係構築を行いつ つ営業情報を管理する。また、Workplace AnalyticsやTeamsを組み合わせ、提 案資料や製品設計情報などの関連資料の共有やチーム活動の加速を行う。 営業支援・ナレッジシェアリング2 顧客環境での製品稼働状況や営業情報、営業関連資料を収集すると共に、顧 客の外部情報をパブリックDMPなどから収集し、顧客を軸として集約・紐付けする ことによって、顧客の購買・利用行動をデータ上で表現する。 顧客情報集約3 一元管理された多数の顧客行動データをCustomer360によって分析することによ り、顧客のセグメンテーションやモデル化を行う。 外部システムと連携しつつ、製品リストと顧客モデルのマッチングやダイナミックプライ シングを行うことで、顧客ごとの推薦商品、推薦時期を計算する。 顧客のモデル化と最適提案4 計算された推薦商品や時期などの提案計画を顧客へのアクションに結びつけるた め、適切な関連システムへのインプットを行う。例えば、Dyamics365を経由して営 業担当の活動に結びつける、顧客に製品案内を送信する、などのアクションが考え られる。 営業活動の計画自動化5 顧客に提供したコネクテッドプロダクトから稼働状況を収集・蓄積する。 製品からの稼働状況収集1 SharePoint Power Platform Office365 Teams SQL Server Dynamics365 IoT Hub 2 Azure Data Lake Storage Logic AppsAzure Machine Learning 分析者 Customer360 営業顧客 設計営業 営業計画 営業活動実績・製品情報製品稼働 状況 製品稼働 状況 パブリック DMP (顧客情報など) 外部システム (ダイナミック プライシングなど) 1 3 4 5 Azure Synapse Analytics Apache Spark Azure Data FactorySQL 顧客における製品の利用状 況をIoT Hubで収集・蓄積。 当該製品の実動における稼 働環境（温度・稼働時間な ど）を把握する。 アフターセールスや製品利用状況から、顧客への提案タイミングを検知。 類似顧客の関心のある製品群や対象顧客の製品稼働環境に合わせ、リーズナブルな製品構成を 自動的に推定。 提案書や営業活動実績を Teamsで共有。 関連製品の他社向け営業担 当者との情報連携を行う 推奨製品と提案タイミングを Dynamics 365に登録し、営 業担当に通知 提案状況や製品利用状況を 顧客を軸に紐付け管理。 さらに、DMPを活用して類似 顧客が関心のある製品情報 を収集。 Product as a Service: 1. Connected Sales
- 179. クラウド スケールの分析基盤 蓄積 Azure Data Lake Storage Azure Synapse Analytics Power BI Azure Machine Learning クラウド上のデータ SaaS 上のデータ オンプレミス上のデータ デバイスからのデータ
- 180. 分析 / AI の活用レベル 診断的分析 [Interactive Reports & Machine Learning] 処方的分析 [Automation] 予測的分析 [Machine Learning] 記述的分析 [Reports] What should I do? What will happen? Why did it happen? What happened? Insight
- 181. Smart Factory のステップ例
- 182. Microsoft AI プラットフォーム全体像 オンプレミス クラウド エッジ Vision Language Azure Search Azure Machine Learning ONNX Speech 人気のフレームワーク 高度なディープラーニングソリューションを構築する 生産的なサービス データサイエンティスト / 開発チームの生産性を向上する 柔軟な展開 クラウドとエッジに、モデルを展開/管理する 洗練された事前学習済みモデル ソリューション開発を簡素化する 強力なインフラストラクチャ 高速な環境を提供する Keras CPU GPU FPGA Azure Databricks Machine Learning vm TensorFlowPytorch Cognitive Services
- 183. Azure Machine Learning 企業における機械学習プロジェクトを支えるプラットフォーム インフラ管理 スケジューリング、オートスケール、バックアップ データセット管理 プロファイル、バージョン、ラベリング、ドリフト検知 推論環境 (Cloud & Edge) リアルタイム & バッチ、No Code Deploy 分析機能 機械学習、深層学習、強化学習 (private preview) (Python & R SDK、 Estimator、 自動チューニング) モデル管理 バージョン 実験管理 メトリック、ログ、履歴 民主化 AutoML、 Designer、 Azure ML studio エンタープライズ対応 セキュリティ、ガバナンス、モニタリング、モデル解釈 MLOps 再現性、自動化、Azure DevOps連携、CLI、REST IoT エッジ セキュリティ、管理、デプロイ 機械学習モデル Power BI Data warehouses ONNX + App データソース ライブラリ 開発ツール
- 184. Azure Machine Learning 4つの特徴
- 185. Azure Machine Learning 誰でも利用できる機械学習プラットフォーム 1. Automated Machine Learning 2. Azure Machine Learning Designer 3. Azure ML Python & R SDK
- 186. Automated Machine Learning データセット 目標設定 学習の一貫性 出力入力 アンサンブル モデル 仮想マシンの自動起動・オートスケール モデルの説明性 (解釈性) ベストなモデルの選択 Optimized model 分類、回帰、時系列予測 ONNX サポート
- 187. Automate ML をあらゆるサービスから “Automated ML” LightGBM
- 188. Azure Machine Learning Designer 機械学習パイプライン構築、テスト、デプロイするためのビジュアルワークフロー • 直感的なマウス操作によるパイプライン構築 • 特徴量エンジニアリング • モデル学習 (回帰、分類、クラスタリング) • 推論 (リアルタイム & バッチ推論) • カスタムモデル・スクリプト (Python, R) # 従来の Azure Machine Learning Studio (Classic) の最新版
- 189. Azure ML Python & R SDK 分析業務の生産性の向上 クラウドの便利な機能を享受し、分析作業を劇的に効率化 ✓ Prepare Data ✓ Build Models ✓ Train Models ✓ Manage Models ✓ Track Experiments ✓ Deploy Models Preview
- 190. 機械学習モデルの生産性向上とライフサイクル管理 Azure Machine Learning Azure AML service workspace Data Scientist SDK Operate Blob (Data Lake) Provision data VM with GPUs Cluster Mount Model Kubernetes Cluster Training Serving
- 191. Azure ML と Azure Databricks との連携 ✓ モデルのトレーニング ✓ モデルの評価 ✓ トレーニング履歴管理 ✓ モデル管理 Azure Databricks Azure Machine Learning Azure Kubernetes Service / Azure Container Instance Docker IoT Edge IoT Edge
- 192. スケーラブルに機械学習モデルを展開 Azure Machine Learning Azure Machine Learning
- 193. Open & Interoperable オープンなテクノロジーを採用し、生産性を向上 フレームワーク開発ツール 言語 SDK LightGBM Preview 連携可能な プラットフォーム & サービス ONNX Notebook
- 194. 推論環境への展開 推論用Dockerイメージを簡単にデプロイ Web service IoT Module Azure IoT Edge Azure Container Instances Azure Kubernetes service FPGA Azure Stack Edge
- 195. ONNX による AI モデルの相互運用性の実現 業界標準の機械学習モデルフォーマット 機械学習フレームワーク ONNX Microsoft と Facebook で立ち上げたコミュニティ。 現在は数多くのテクノロジー企業が参画している。
- 196. ONNXモデルの推論環境を構築 Frameworks Azure Machine Learning Operations Services オンプレミス Azure Machine Learning Ubuntu VM Windows Server 2019 VM Azure Custom Vision Service ONNX Model アプリケーション(C#, C, Javascript) エッジ & IoT デバイズ ONNX Runtime is open source ML.NET Automated Machine Learning
- 197. エッジでのAIの、エンド-ツウ-エンドのパイプライン アーキテクチャ: テレメトリー エッジ IoT Hub Web Service Stream Analytics Azure SQL ビデオ ストレージ カメラ1 カメラ2 カメラ3 10 Mb/s ダッシュボード AML Service IoT Edge
- 198. エッジでのAIの、エンド-ツウ-エンドのパイプライン アーキテクチャ: 再トレーニング エッジ IoT Hub Web Service Stream Analytics Azure SQL 10 Mb/s 場所 Data Box Disk もしくは、直接データを アップロード 物理的な転送 ダッシュボード 外部ストレージ AML Service IoT Edgeビデオ ストレージ カメラ2 カメラ1 カメラ3
- 199. Azure Data Box ファミリー
- 200. エッジでのAIの、エンド-ツウ-エンドのパイプライン アーキテクチャ: モジュールのアップデート エッジ IoT Hub Web Service Stream Analytics Azure SQL 10 Mb/s ダッシュボード AML Service IoT Edgeビデオ ストレージ カメラ2 カメラ1 カメラ3
- 201. MLOps による機械学習ライフサイクルの自動化 Azure DevOps Model reproducibility Model retrainingModel deploymentModel validation モデルを 学習 モデルの検証 モデルの 展開 モデルの 監視 アプリのビルドコラボレーション アプリのテスト アプリのリリース アプリの監視 Azure DevOpsを利用する アプリケーション開発者 Azure Machine Learningを 利用するデータ サイエンティスト モデルの再学習 コード データセットと 環境の バージョニング
- 203. Azure DevOps Model reproducibility Model retrainingModel deploymentModel validation Train model Validate model Deploy model Monitor model Build appCollaborate Test app Release app Monitor app App developer using Azure DevOps Data scientist using Azure Machine Learning Retrain model Code Dataset & environment versioning Azure Machine Learning extension for Azure DevOps
- 204. Jabil Challenge Jabil は、リードタイムを速め、コスト を削減するために、組み立てフロア の不具合や障害をより早期に予 測したいと考えていた。 Solution Jabil は、Microsoftの機械学 習ソリューションをベースにした 高度な分析を実施し、製造ラ インを変革することができた。 Benefits • 機械から収集した数百万のデータから 品質不良を 80% 精度で早期に予測 • 予測結果に基づいて、早めにリワーク& 対処することで、廃棄物や再作業のコ ストを 17% 削減 • エネルギーコスト 10% 削減 • 外観検査を自動化してコスト削減 予測分析とリアルタイム製造の統合 「私たちは効率を改善し、コストを削減し、リードタイムを短縮することができる。 これらの要素は、柔軟性を高めることを目指すお客様の要件と直接結びついている。」 Matt Behringer Jabil、 エンタープライズ オペレーションおよび品質システム、CIO
- 206. アジェンダ クラウド スケールの分析基盤 • 蓄積: Azure Data Lake Storage • 収集 ( & 前処理 ): Azure Data Factory • 前処理: Azure Databricks • 分析: Azure Synapse Analytics • 共有: Azure Data Catalog と、Azure Data Share • 見える化: Power BI AI 基盤 • 機械学習: Azure Machine Learning • 学習済モデル: Cognitive Service • AIの民主化: Power Platform Azure Storage の基本 • なぜ、クラウド ストレージなのか？ • Azure Storageのアーキテクチャ • Azure Blob Storage / Azure Data Lake Storage オペレーショナル データベース基盤 • SQL Server: Azure SQL Database • オープンソースRDBMSサービス: Azure Database for PostgreSQL / MySQL / Maria DB • NoSQLサービス: Azure Cosmos DB
- 207. Microsoft AI プラットフォーム全体像 オンプレミス クラウド エッジ Vision Language Azure Search Azure Machine Learning ONNX Speech 人気のフレームワーク 高度なディープラーニングソリューションを構築する 生産的なサービス データサイエンティスト / 開発チームの生産性を向上する 柔軟な展開 クラウドとエッジに、モデルを展開/管理する 洗練された事前学習済みモデル ソリューション開発を簡素化する 強力なインフラストラクチャ 高速な環境を提供する Keras CPU GPU FPGA Azure Databricks Machine Learning vm TensorFlowPytorch Cognitive Services
- 208. Computer Vision API Content Moderator Bing Spell Check QnA Maker Bing Auto Suggest Face API (Emotion) Video Indexer Speaker Recognition API Text Analytics API Translator Text API Bing Visual Search Bing News Search Bing Video Search Bing Web Search Bing Entity Search Custom Decision Gesture Local Insights And more… Anomaly Detector Knowledge Exploration Event Tracking Custom Vision Language Understanding Bing Custom Search Answer Search Custom Translator Custom Voice Speech to Text, Text to Speech Standard Voice Text to Speech Neural Voice Speech Translator, Custom Speech Ink Recognizer URL Preview Bing Local Business Search Conversation Learner Personality Chat Anomaly Finder Form Recognizer Content Moderator Personalizer Bing Image Search Ink Analysis Cognitive Services 一部サービスは、エッジ デバイス側でも利用可能
- 209. Cognitive Servicesの一例 Computer Vision API 画像分析(10K+のオブジェクトを認識) – オブジェクト、前景、背景カラー、 画像/絵、アウトライン化 – 顔: 年齢/性別/表示位置 画像から文字データの読み取り (OCR: Optical Character Recognition) 手書き文字の読み取り（プレビュー） (現在 英語のみ) JPEG, PNG, BMP, PDF, TIFF 著名人、ランドマークの認識 Object Detection A GOAL WITHOUT A PLAN IS JUST A WISH Analyze image Category People; 1 face found Adult False Black & White? No Dominant colors Accent color OCR OCR Handwriting chapter Mr. Sherlock Holmes In the year 1878 I took my degree of Doctor of medicine of the university of London and proceeded to Netley to go through… { "categories": [ { "name": "Satya Nadella", "confidence": 0.99727016687393188 } ]} { "categories": [ { "name": "Colosseum", "confidence": 0.94450044631958008 } ] } Object Detection
- 210. 製造業での画像認識の事例 カメラ製造メーカーでの、カメラ出荷時の検品 • デジタルカメラの出荷時に、バッテリー・充電器・ストラップが同梱されていることを確認する検品作業。 • 単純作業ゆえに担当者の疲労が大きく、効率の低下やミスが出やすい工程。 • AIによる自動検品を導入。 AIは個々の同梱物の位置や形状、大きさ、色等も一瞬で認識できる 《 大幅な時間短縮》
- 211. 製造業での画像認識の事例 大手楽器メーカーでの、楽器出荷時の検品 • 楽器出荷時の画像でComputer Vision APIを利用して画像中の品番を取得、その品番に紐付いた該当の 各部品をCustom Vision Serviceを利用して検知 • 楽器出荷時の検品を自動化し，検品ミス防止，検品効率向上の見込み Custom 482 WW2771-7-CA YCLCSGA-3L 001649 DOODD YCL-CSGAIIIL . ともに要求以上の検出 精度が得られた Computer Vision APIで 取得した文字列 typeA typeC typeD typeE 品番 Custom Vision Serviceで 検知したオブジェクト
- 212. 製造業での画像認識の事例 大手楽器メーカーでの、楽器の木目部品の官能検査 • Custom Vision の画像分類機能を使用し，楽器の木製部品の官能検査でOK/NG判定を実施 • 少ない画像数（OK/NG画像各20枚）で高い分類精度を確保 OK画像の例 NG画像の例 OK画像判定の例 NG画像判定の例 平均適合率：OK画像判定=79.2%, NG画像判定=81.3%という高い判定精度が得られた
- 213. エッジ デバイスで利用可能な Cognitive Services 例: Cognitive Service for Azure IoT Edge Export https://www.customvision.ai/ 24
- 216. アジェンダ クラウド スケールの分析基盤 • 蓄積: Azure Data Lake Storage • 収集 ( & 前処理 ): Azure Data Factory • 前処理: Azure Databricks • 分析: Azure Synapse Analytics • 共有: Azure Data Catalog と、Azure Data Share • 見える化: Power BI AI 基盤 • 機械学習: Azure Machine Learning • 学習済モデル: Cognitive Service • AIの民主化: Power Platform Azure Storage の基本 • なぜ、クラウド ストレージなのか？ • Azure Storageのアーキテクチャ • Azure Blob Storage / Azure Data Lake Storage オペレーショナル データベース基盤 • SQL Server: Azure SQL Database • オープンソースRDBMSサービス: Azure Database for PostgreSQL / MySQL / Maria DB • NoSQLサービス: Azure Cosmos DB
- 217. Microsoft Power Platform Office 365, Azure, Dynamics 365, およびスタンドアローン アプリケーションにまたがる、コーディングの少ないプラットフォーム Power BI ビジネス分析 Power Apps アプリケーション開発 Power Automate プロセスの自動化 Power Virtual Agents インテリジェントな仮想エージェント Common Data Service Data connectors AI BuilderPortals Common Data Service
- 218. Power BI による AI の民主化 データ サイエンティストとの連携: カスタム ビジュアル ( R, Python )
- 219. Power BI による AI の民主化 外部モデルの呼び出し Data Scientist Power BI 予測値 Call
- 220. Power BI による AI の民主化 Automated Machine Learning in Power BI 1. 目的変数選択 2. モデルの種類選択 3. 説明変数選択 分類 回帰 時系列予測 (Coming Soon)
- 222. 組み込み型機械学習：AI Builder AI Builder. AI機能を様々なアプリに AI機能をより業務で利用 Common Data Service AI Builder Power Apps アプリケーション開発 Power Automate プロセス自動化
- 223. 蓄積したデータからインサイト（洞察）を取得 • 複雑なAI機能の理解の排除 • 容易なアプリへの導入 • データを入れて、学習させる だけで使える、AI機能 • 用途にあわせた、様々な洞察 情報の取得 • 画像解析による、入力の簡便化
- 225. アジェンダ クラウド スケールの分析基盤 • 蓄積: Azure Data Lake Storage • 収集 ( & 前処理 ): Azure Data Factory • 前処理: Azure Databricks • 分析: Azure Synapse Analytics • 共有: Azure Data Catalog と、Azure Data Share • 見える化: Power BI AI 基盤 • 機械学習: Azure Machine Learning • 学習済モデル: Cognitive Service • AIの民主化: Power Platform Azure Storage の基本 • なぜ、クラウド ストレージなのか？ • Azure Storageのアーキテクチャ • Azure Blob Storage / Azure Data Lake Storage オペレーショナル データベース基盤 • SQL Server: Azure SQL Database • オープンソースRDBMSサービス: Azure Database for PostgreSQL / MySQL / Maria DB • NoSQLサービス: Azure Cosmos DB Appendix 1. Dynamics 365 Customer Insights & Azure Synapse Analytics 2. SAP上のデータとの連携
- 226. インテリジェント クラウド + インテリジェント エッジ による デジタル フィードバック ループ・フレームワーク THINGS – データ収集 INSIGHTS – データ蓄積・分析 ACTIONS – 業務適用 Power BI Surface 他 各種スマートデバイス 業務デバイス • 共通の データ モデル • 構造化・非構造化 データ格納 • Azure AD による認 証・アクセス制御 機械学習モデル 開発・管理 Azure Machine Learning 業務アプリケーション Power Automate Cognitive Services • IoT データ収集 • デバイス管理・プ ロビジョニング • 通信規格対応 (HTTP, AMQP, MQTT) データ蓄積 (データレイク) 人 各種スマート デバイス データ保護 - ID / Security 機器/ センサー GitHub Azure Active Directory ユーザー管理・認証・アクセス制御 データ収集・ 連携 DB Azure IoT Hub Azure Data Factory (Synapse Pipeline) 学習済み AI モデル Microsoft Teams Azure Data Lake Storage Gen2 PowerApps 外部データ (非構造化) Azure Security Center 脆弱性チェック、脅威検出・レポート • ノンコーディングで アプリ・ビジネス ロジック・レポート作成 • デバイスをを問わないビジネス チャット、オンライン 会議、ファイル共有 • 現場や人に関連するデータ収集 Dynamics 365 Azure Logic Apps Azure Functions Azure App Service Azure Kubernetes Service • Serverless とPaaS、コンテナー オーケストレーター データ処理・ 分析 Azure Synapse Analytics Azure Cosmos DB Azure DevOps Bonsai Azure Sphere セキュア MCU セキュア OS 10 年間 セキュリティ更新 組み込み IoT デバイス • OPC- UA 接続 • リアルタイム データ処理 • 機械学習モデル による推論実行 • 継続セキュリティ 保護 Azure IoT Edge
- 227. Microsoft Platform デジタル フィードバック ループを支えるMicrosoft Platform GitHub Trust and security “Part 0: 製造リファレンスアーキテクチャについて” 振り返り
- 228. © 2020 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION. Be future ready Build on your terms Operate hybrid seamlessly Trust your cloud
- 229. アジェンダ クラウド スケールの分析基盤 • 蓄積: Azure Data Lake Storage • 収集 ( & 前処理 ): Azure Data Factory • 前処理: Azure Databricks • 分析: Azure Synapse Analytics • 共有: Azure Data Catalog と、Azure Data Share • 見える化: Power BI AI 基盤 • 機械学習: Azure Machine Learning • 学習済モデル: Cognitive Service • AIの民主化: Power Platform Azure Storage の基本 • なぜ、クラウド ストレージなのか？ • Azure Storageのアーキテクチャ • Azure Blob Storage / Azure Data Lake Storage オペレーショナル データベース基盤 • SQL Server: Azure SQL Database • オープンソースRDBMSサービス: Azure Database for PostgreSQL / MySQL / Maria DB • NoSQLサービス: Azure Cosmos DB Appendix 1. Dynamics 365 Customer Insights & Azure Synapse Analytics 2. SAP上のデータとの連携
- 230. © Microsoft Corporation Dynamics 365 カスタマー エンゲージメントに 欠けているもの 1. あらゆる角度から お客様を把握できる環境 2. あらゆるソースの 顧客データの格納先となる、 信頼できる単一のリポジトリ 3. セルフサービス式の スケーラブルな分析機能と AI 機能
- 231. © Microsoft Corporation Dynamics 365 カスタマー エンゲージメント分析をめぐる現在の状況 エンタープライズ データ ウェアハウス 集計データ エンタープライズ レポート Dynamics 365 (CRM) トランザクション データ オムニチャネル CRM プロセスの実行 Web モバイル ソーシャル イベント メール SMS POS IoT コール センター サービス ポータル
- 232. © Microsoft Corporation Dynamics 365 エンタープライズ データ ウェアハウス 集計データ エンタープライズ レポート Dynamics 365 (CRM) トランザクション データ オムニチャネル CRM プロセスの実行 Web モバイル ソーシャル イベント メール SMS POS IoT コール センター サービス ポータル カスタマー エンゲージメント分析をめぐる状況の進化 Dynamics 365 Customer Insights
- 233. © Microsoft Corporation Dynamics 365 1 McKinsey 5 ～ 10% 収益の増大1 15 ～ 25% コストの削減1 データを活用して インサイトを取得し ギャップを解消
- 234. © Microsoft Corporation Dynamics 365 Dynamics 365 Customer Insights を使用する理由 すぐに利用を開始できる AI を活用したインサイト 安心して投資 Microsoft Azure ベース 実装期間が短く TCO が低い 事前構築済み コネクタで 顧客データを統合 顧客データの 制御を維持 自動化された プロセスと お客様中心の エクスペリエンスで、 やり取りを カスタマイズ 構成可能、 拡張可能、 法令準拠 細かなセグメント化 と AI を活用した インサイトでお客様 の意向を先取り
- 235. © Microsoft Corporation Dynamics 365 信頼できるインテリジェンスに基づくカスタマー インサイト エンゲージメント チャネル プロセスの 最適化と自動化 社内 社外 コネクタ データ アクションインサイト 分析 AI と ML 一元化 合成 補強 取り込み マッピング/マッチング Microsoft Power BI Microsoft Power Automate Microsoft PowerApps 3rd Party integration Microsoft Dynamics 365
- 236. © Microsoft Corporation Dynamics 365 利用レイヤー Customer Insights アプリ 埋め込み Power BI Power BI Power Apps Flow 連絡先カード (営業) API レイヤー 監視とデバッグ インテリジェンス エンティティ データ/ エクスポート セグメント化 構成 統合プロファイル コントロール プレーン 検索 エンティティ メタデータ 測定 エンリッチメント 統一された アクティビティ 処理レイヤー 統合 構成 セグメント ビルダー KPI、測定ビルダー エンリッチメント Azure ML 統合 プロファイル ビルダー 検索 取り込んだデータ Customer Insights エンティティ Azure ML Azure CosmosDB Azure Search 取り込んだ データ 一元化された お客様 セグメント 測定 エンリッチ メント インテリ ジェンス モデル モデル 統一された アクティビティ 検索インデックス 詳細なアーキテクチャ
- 237. © Microsoft Corporation Dynamics 365 Optimize the customer lifecycle Dynamics 365 Customer Insights Azure Synapse Analytics ENTERPRISE DATA Economic IoT Streaming Supplier Operations R&D Business Development Industry FinanceLabor CUSTOMER DATA Publisher Mobile ERP Location DMP Broadcast Website ecommerce CRM Paid Search adsPOS Social Loyalty Video Email
- 238. © Microsoft Corporation Dynamics 365 ENTERPRISE DATA CUSTOMER DATA Economic IoT Streaming Supplier Labor Operations R&D Business Development Industry Finance Unify your data estate to work as one organization Publisher Mobile ERP Location DMP Broadcast Website ecommerce CRM Paid Search adsPOS Social Loyalty Video Email
- 239. © Microsoft Corporation Dynamics 365 Get a comprehensive view of your customers and business CUSTOMER DATA + ENTERPRISE DATA Economic IoT Streaming Supplier Labor Operations R&D Business Development Industry Finance Publisher Mobile ERP Location DMP Broadcast Website ecommerce CRM Paid Search adsPOS Social Loyalty Video Email Azure Data Lake Storage Common Data Model
- 240. Ingest data with just a few clicks Azure Online Services Database Power Platform File Other • Azure Data Lake Storage • Azure Synapse Analytics • AzureHDInsight Spark • Azure Blobs • Azure SQL database • AzureTables • Exchange Online • Salesforce reports • Salesforce objects • SharePoint Online List Common Data Service • Text/CSV • Excel • JSON • PDF • XML • Access • Folder • SharePoint folder • OData • Odbc • Spark • Blank table • Active Directory • SharePoint list • Web API / Web page • Blank query Dynamics 365 Customer Insights Bring your own data lake or use ours – connect to a CDM folder Dynamics 365 users Can also be used if no other connectors exist for your data Import Azure Synapse Analytics data from a CDM folder
- 241. Ingestion – no code experience to connect and transform • To connect to files, databases, 3rd party sources, and Azure services, simply select: Add data source -> Import data • Thereby, name your data source and click the desired connector. No code required. • If using an Azure data lake, or accessing data from Azure Synapse Analytics, connect to a Common Data Model folder • If not using an Azure data lake, use the desired connector • Connect to a Common Data Model folder • Available data sources • Common Connectors Specify folder or connector Transform your data Review data (Entities) DESCRIPTION IMPLEMENTATION LEARN MORE Select from any data source Once connection is specified, Power Query provides a code-free way to add, review, and transform your data
- 242. Customer Insights data available to Azure Synapse Analytics Customer Insights data available in Azure Synapse Analytics • Azure Synapse Analytics FAQ LEARN MORE • Use Synapse Studio to import data from Customer Insights • Customer Insights data becomes a new storage folder available for quick analysis with both serverless and provisioned resources IMPLEMENTATION • Exporting data to Azure Synapse Analytics allows data professionals to combine customer data from Customer Insights with operational data already found in Azure Synapse • Completed analyses can be sent back to Customer Insights to enrich customer profiles DESCRIPTION Azure Synapse Analytics can apply advanced analytics to Customer Insights data, while also adding real-time streaming data as a data source for Customer Insights Import into Azure Synapse Analytics Analyze in Azure Synapse Analytics
- 243. Use Azure Synapse Analytics to bring in additional data Data professionals can configure connections in Orchestrate Hub, while business users can opt no-code features to easily get started Orchestrate Hub includes 90+ connectors – including Dynamics 365 • Experienced users can utilize Orchestrate Hub to easily configure and manage sources • Business users can bring in data using using the Linked services feature in Manage Hub – no knowledge of connection strings required • Ingest, transform, and load data using connectors • Both, Orchestrate Hub and Manage Hub, allow users to link services, thus accessing content from a variety of sources in Azure Synapse Analytics • Announcing Azure Synapse Analytics DESCRIPTION IMPLEMENTATION LEARN MORE Use Manage Hub to define connections
- 244. Develop Hub provides development experience to query, analyze, model data • View SQL scripts, export to multiple formats • Notebooks support multiple big data languages with integrated Spark and SQL engines • Leverage Data Flows to transform data with code-free experience • Make data accessible in both Dynamics 365 Customer Insights or Microsoft Power BI directly from Azure Synapse • Announcing Azure Synapse Analytics DESCRIPTION IMPLEMENTATION LEARN MORE Code free experience Native integration with Microsoft Power BI Built in Microsoft Power BI authoring Using Azure Synapse Analytics to transform data and activate insights
- 245. Dynamics 365 Customer Insights Azure Synapse Analytics Common Data Model Unified Profile No “cliffs” extensibility Customer DataOperational and Big Data
- 246. Technical building blocks Internal External On-premises data Cloud data Streaming data Microsoft Graph Enrichment Data SaaS data Process optimization and automation LoB Apps Microsoft Power BI Microsoft Power Apps Channels of Engagement Mobile Web Social Bots In-Person Azure Data Lake Storage Common Data Model Customer Insights Azure Synapse Analytics Time to value Business Driven/ No code Data Science driven IT Managed Unify Enrich AISegmentMeasures Data Integration / Power Query Customer Data Platform Integration Management SecurityMonitoring Data Integration Customer Data Platform SQL
- 248. アジェンダ クラウド スケールの分析基盤 • 蓄積: Azure Data Lake Storage • 収集 ( & 前処理 ): Azure Data Factory • 前処理: Azure Databricks • 分析: Azure Synapse Analytics • 共有: Azure Data Catalog と、Azure Data Share • 見える化: Power BI AI 基盤 • 機械学習: Azure Machine Learning • 学習済モデル: Cognitive Service • AIの民主化: Power Platform Azure Storage の基本 • なぜ、クラウド ストレージなのか？ • Azure Storageのアーキテクチャ • Azure Blob Storage / Azure Data Lake Storage オペレーショナル データベース基盤 • SQL Server: Azure SQL Database • オープンソースRDBMSサービス: Azure Database for PostgreSQL / MySQL / Maria DB • NoSQLサービス: Azure Cosmos DB • 時系列データ基盤: Azure Time Series Insights Appendix 1. Dynamics 365 Customer Insights & Azure Synapse Analytics 2. SAP上のデータとの連携
- 249. Azure SaaS / PaaS との連携、開発ツールの連携 Azure Active Directory SAP Fiori Apps Self-service BI Information Worker Productivity Tools Microsoft Intune Azure Active Directory Microsoft Intune HANA Enterprise Cloud (HEC) SAP Cloud Platform (SCP)
- 250. SAP on Azure のデータ活用の流れ 2 3 41 Migrate Transform IntegrateExtend and Enrich Business Apps AI/ML Bot /RPA IoT Data/Analytics KPI/Visuals Office Workflows Backup Services Telemetry HA/DR SecurityLift & Shift To HANA To S/4HANA To BW on HANA Infrastructure HoloLens Mobile Apps Combine SAP Data with non-SAP Data for new Insights-driven use cases meant to drive both top-line and bottom-line growth
- 251. デジタル トランスフォーメーションの中核を担う、Azure AI & Analytics Data Governance | Data Stewardship | Master Data Management | Data Quality | Data Catalog | Common Data Model | DevOps Devices Diet/Fitness/Environment Social Media Providers/Payers External Data Sources Security Active Directory Kerberos / SAMLSSO Sales Supply Chain Manufacturing CRM PLM ERP Hana SAPAI & Analytics DatabricksHDInsight Machine Learning Analysis Services Logic AppsOffice 365Power BI Dynamics 365 Workflows and Visualizations IoTGateway&DataAcquisition Data Lake Key Vault SQL DW Data Explorer Data FactoryData CatalogStream Insight IOT Hub / Event Hub Cognitive Services Cognitive Search Bot & RPA Data Share App and Data Modernization Mobile, APIs & Web Apps Containers Kubernetes Service Fabric Functions Security Center SQL, Cosmos and Open Source DBs
- 252. Principles of a Data Driven Organization FAMILIAR LEGACY ENTERPRISE MODEL EVOLUTION OF DATA TRANSFORMATION Data Silos Data sets are stored in disparate silos that are difficult to aggregate, limiting the ability to respond quickly with a consolidated view React to the Past Critical decisions are based on historical trends with little to no insight based on forward looking patterns from predictive analytics Limited Data Expertise Data is not widely available to all employees, and is only surfaced in static dashboards to select employees with specialized expertize Data Aggregation Aggregate and store data sets from multiple and diverse sources, improving access to critical information required for a holistic view across the business Proactive Decision Support Predictive analytics capabilities determine the intelligent action that is either automated or used by decision makers to provide real-time responses Data Democratization Employees are empowered with decision making capabilities based on the right data at the right time with dynamic dashboards
- 253. SAP on Azureの進化
- 254. Power BI Connector to SAP Solution File Database Azure Online Services Other • Excel • CSV • XML • Text • JSON • SharePoin t Folder • SQL Server • Access • SQL Server Analysis Services • SAP HANA • SAP BW • Oracle • IBM DB2 • MySQL • PostgreSQL • Sybase • Teradata • SQL Database • SQL Data Warehouse • Marketplace • HDInsight • Blob Storage • Table Storage • HDInsight Spark • CosmosDB • Data Lake Store • MailChimp • Marketo • QuickBooks Online • Smartsheet • SQL Sentry • Stripe • SweetIQ • Twilio • Zendesk • Spark • Dynamics CRM Online • Facebook • Google Analytics • Salesforce • appFigures • GitHub • SparkPost • tyGraph • Webtrends • SharePoint Online • Exchange Online • Web • SharePoint List • OData Feed • Hadoop File (HDFS) • Active Directory • Microsoft Exchange • ODBC • R Script • Blank Query BW • HANA Calculation Views • HANA Analytic Views • BW InfoCubes • BW MultiProviders Azure Active Directory インフォメーションワーカー レポート/ダッシュボードに 様々なデバイスからセキュアにアクセス レポート作成者 レポート/ダッシュボードを作成 クラウドで共有 HANAやBWを 含む様々なデータ をマッシュアップ
- 255. • Private NetworkからData Gateway経由でPower BIに連携 • Power BIサービスから各種クライアントでレポートを表示 • Azure Active Directoryによりセキュアに接続 Power BI アーキテクチャ ダイアグラム
- 256. • Power BIのレポート/ダッシュボードを Sharepoint や Teamsに簡単に統合可能 • 普段の業務に基幹システム（SAP）のデータを埋め込んで 業務生産性向上を実現 SAP + Power BI -> Office 365 Integration 259
- 257. LogicApps とは • マネージド iPaaS (サービスとしての統合プラットフォーム) • インフラ、可用性、運用管理をクラウド側で管理 • 負荷状況に合わせて自動スケールアップ可能 Office 365/SalesForce/Google/SAP SaaS製品 など様々なサービスと連携 GUI・ノンコーディングで処理フローを作成 Webサービス・オンプレ連携 繰り返しや条件分岐などの制御フロー 例） • SalesForceでパイプラインが作成されたらSAPにデータを同期 • 特定のトピックに関するツイートを監視し、感情を分析 フォローアップが必要な場合に アラートやタスクを発行 Logic Apps Integration of SAP Solution
- 259. Scale Out Data Estate Platform 95 3:00PM 25%humidity 70preset
- 260. SAPのデータを、実行可能な洞察へ変える
- 261. クラウドベースのデータ統合サービス • データの転送と変換の自動化とオーケストレーションを 可能にする • オンプレミスおよびクラウドの25以上のデータストアをサ ポート SAP HANA及びSAP BWから、様々な Azure上のデータストアへの転送が可能 • Azure Blob、Azure Data Lake、Azure Synapse Analytics ( 旧 Azure SQL DWH ) など • AzureのAIサービスや機械学習プラットフォーム、 PowerBIなどと連携が可能 Azure Data Factory ( ADF )
- 262. SAP HANA connectorはHANAのInformation View(Analytic , Calculation View)およ び行テーブル、列テーブルからのデータコピーが可能 • 接続のためにはVersion 2.8以降のData Management Gatewayのセットアップと、SAP HANA ODBC driverが必要 • SAP HANA supported versions and installation SAP BW ConnectorはBW 7.x以降のインフォキューブとBexクエリからのコピーを、MDXクエリ で実行 • 接続のためにはVersion 2.8以降のData Management Gatewayのセットアップと、SAP Netweaver Libraryが必要 • SAP BW supported versions and installation OData Gateway 経由でSAP ERPとの連携も可能 SAP ADF Connectivity
- 263. Copy data to SAP Hana • https://docs.microsoft.com/ja-jp/azure/data-factory/connector-odbc#sap-hana-sink Copy data from SAP Hana • https://docs.microsoft.com/ja-jp/azure/data-factory/connector-sap-hana Copy data from SAP BW • https://docs.microsoft.com/ja-jp/azure/data-factory/connector-sap-business-warehouse Copy data from SAP ECC • https://docs.microsoft.com/ja-jp/azure/data-factory/connector-sap-ecc SAP ADF 詳細情報
- 264. Microsoft Finance 部門の事例: Machine Learningによる取り組み 267 リスクの極めて低い顧客まで対応 妥当 なインサイトを得られない データに基づく回収リスク判定 機械 学習モデル化 クラウドに置くことへの不安 基準を満たすことを確認
- 265. SAP + Azure 連携 Azure ソリューション PowerBI Services/Desktop ( Business Intelligence) - SAP BW Cube/Multi provider connector Link - SAP HANA Infomation View connector Link Azure Logic Apps ( Integration Platform ) Link - SAP Netweaver(Incl. ECC, BW , SCM etc) Action (RFC/BAPI/IDoc) support (Preview) - SAP Netweaver incoming Idoc message trriger support(Preview) Azure Data Factory (ETL Tool) - SAP HANA Connector(via ODBC) Link - SAP BW Connector(Cube or Bex Query) Link - SAP ECC Connector(via OData Gateway) Link Azure Analysis Services ( Data base for analysis) Link - SAP BW Cube/Multi provider connector - SAP HANA Infomation View connector Azure Data Catalog ( Information Catalog ) Link - SAP HANA connector Azure Backup ( Backup Service) - SAP HANA Backup (private preview) Azure Active Directory Link - SAP ERP SSO Support - SAP SaaS (ex. Concur/SuccessFactor) SSO Support BI EAI ETL DataMart MetaData Backup Authentication
- 266. • Perfect example of why „Microsoft runs SAP“ makes a difference! • Microsoft IT needed to consolidate lots of individual projects to consume Azure services from SAP (ABAP) • ABAP SDK for Azure • Published on GitHub • Adopted AbapGit • LOTS OF POSITIVE FEEDBACK from ABAP community https://github.com/Microsoft/ABAP-SDK-for-Azure ABAP SDK for Azure
- 267. Open Data Initiative Common Data Model https://aka.ms/opendatainitiative CDM folders
- 268. Decision Makers, Business analysts No code, low code Data scientists, Data engineers Low to high code CDM folders Power BI dataflows Dynamics 365 Common Data Service Power BI Azure Data Services data ingest, data prep, AI, machine learning, data warehousing ISV partners (e.g. Informatica) Custom LOB + Developer resources Office 365 Adobe Customer Experience Platform SAP C/4HANA S/4HANA Azure IoT