SAP Inside Track Tokyo 2019 Data Intelligence の展望とMLプロジェクト事例
1 like591 views
TechEd 2019 で発表されたDAT300セッションの紹介
SAP Inside Track Tokyo 2019 Data Intelligence の展望とMLプロジェクト事例
- 1. 関口 恭子 SAPジャパン株式会社 SAP Data Intelligence の展望とMLプロジェクト事 例 SAP Inside Track 2019 TOKYO SNS投稿 写真撮影 動画撮影 資料公開 ハッシュタグ 〇 〇 〇 一部可 Slide Share #sitTokyo #chillSAP
- 2. 2 自己紹介 ✓ 名前： 関口恭子 ✓ 会社： SAP ✓ 部門： SAP Digital Business Services ✓ 役割： Senior Consultant, SAP Technology Ambassador ✓ 参加目的：参加者（TAハンズオンサポート講師） ✓ 来歴：1997年SAP入社以来、コンサル部門：Basis/ABAPコンサルタントおよび製品管理。営業部門： NetWeaver MDM ソリューションオーナー、医薬業界事業開発としてプランニングと遂行、営業活動、パー トナー育成を実施。開発部門：ローカルプロダクトマネジャーとして複数製品の日本向けローカライズ要件 の収集と開発へのロールイン活動を行う。複数の製品の日本市場導入、難解な日本の法要件の説明を行うな ど開発との交渉に絶対的な強みを持っている。現在、コンサル部門にてLeonardo製品のデリバリとローカリ ゼーション支援を行っている。
- 3. 3 SAP Inside Track Tokyo 2019 スポンサーのご紹介 ご協賛いただきありがとうございます 企業/団体 株式会社KYOSO 様 コベルコシステム株式会社 様 株式会社NTTデータ グローバルソリューションズ 様 SAP PRESS 様 ESPRESSO TUTORIALS 様 株式会社ワールドシステムコンサルタント 様 SAP Leonardo Experience Center Tokyo 様 SAPジャパン株式会社 様 個人 株式会社BeeX 代表取締役社長 広木 太(@baborin) 様 SAPジャパン株式会社 エヴァンジェリスト 吉越 輝信(@teru4454) 様 #sitTokyo #chillSAP
- 4. 4 1. SAP Data Intelligent 概要 2. SAP Data Intelligent を活用したMLプロジェクト事例 3. ロードマップ 内容
- 5. 5 以下の５つの機能が SAP Data Intelligence Platform 上に統合されます SAP Leonardo ML Foundation Deep Learning (text, image, video, audio) SAP Predictive Analytics Operationalization and automation SAP HANA ML In-database Machine Learning SAP Data Hub Data sharing, pipelining, and orchestration. Including data preparation and cleaning. SAP連携された ライフサイクル管理する データサイエンスのフロン トエンドとして 単一のソリューション Open Source Languages and Libraries R, Python, Sci-kit, Tensorflow
- 6. 6 エンタープライズアプリケーションとインテリジェントテクノロジーの統合 課題と機会 多種多様なデータソース エンタープライズア プリ ERP, CRM, HR BI と 可視化 AI クラウドアプリ メタデータ管 理 エンタープライズアプリケー ション コーポレートの課題に対して持続的 な手段で解決を支援するインテリ ジェントエンタープライズアプリ ケーションの、業務活用とメンテナ ンス インテリジェントテクノロ ジー Hインテリジェントテクノロ ジーが新しいエンタープライズ アプリケーションの創出と充実 させるハーネス データマネジメント 以下を実現します。 • 異なるデータ型 • データガバナンス • データ統合 • データプロセスのオーケスト レーション ビジネス IT
- 7. 8 SAP Data Intelligence アーキテクチャ 外部接続 データレイク / ク ラウドストア SAP HANA オンプレミスシス テム SAP S/4HANA 3rd パーティデータ ベース SAP BW/4HANA マシンラーニングコンテンツ SAP Data Intelligence Jupyter Lab データガバナンス Metadata Management Data Preparation & Labeling Access Governance インテグレーション /オーケストレーション Pipeline Modeling Data Workflows API Access ML Operations Cockpit ML Scenario Manager パイプライン SAP Connectors ABAP Integration Messaging / Streaming Cloud Data Integration ML Operators Custom Code アプリケーションプラットフォーム / システムアプリケーション プロセッシングランタイ ム Tenant Management Monitoring & Logging システムマネジメント Content Lifecycle Repository Internal HANA Queryable Data Lake Warm Data Cache
- 8. 9 SAP Data Intelligence エンドツーエンドのデータ連携と処理 SAP アプリケーション 分散 / 外部データシステム SAP Data Intelligence (OP, aaS) SAP HANA Integration Cloud Data Integration ABAP Integration Workflows BW Process Chains Data Services Jobs HANA Flowgraphs … SAP NetWeaver + DMIS Addon BW Integration SAC Push API SAP BWSAP BW/4 HANA SAP Analytics Cloud (on-premise, cloud, multi cloud) Standard Connectors (open & native protocols) Cloud Storages Hadoop / HDFS Databases 3rd Party Applications Streaming (e.g. IoT) Public Clouds SCI for process integration SAP Open Connectors SAP API Business Hub REST APIs SAP Cloud Platform Connectors 3rd Party Connectors ML Deployment Automate / Scale / Serve Exploration Identify / Data preprocessing Model Design Creation / Training / Validation Data Pipelining & Processing Data ingestion / Data Processing / Data Enrichment Data Orchestration & Monitoring Connection Management / Workflows / Scheduling Data Governance Data Discovery / Data Profiling / Metadata Cataloging
- 9. 10 Connectivity: Connectivity via Flowagent: Data Quality: Leonardo MLF: 非 SAP データ連携 ビルトイン標準コネクター - Azure Data Lake (ADL) - Google Cloud Storage (GCS) - HDFS - Amazon S3 - Azure Storage Blob (WASB) - Local File System (file) - SAP Semantic Data Lake - WebHDFS SAP Vora: Spark / Hadoop: - Spark - Spark SQL - PySpark - Hive …
- 10. 11 ABAPベースの SAP System連携はSAP Data Hub既存機能 双方向の SAP Data Hub と ABAPベースのSAPシステムの統合シナリオ ABAP メタデータ を SAP Data Hub Metadata Explorer に提供 SAP Data Hub operator として ABAP ファンクション実行をトリガー SAP Data Hub にデータ転送 ( ABAP データプロビジョニン グ） 機能 Integration requires certain system level, planned at least SAP S/4HANA 1909, SAP S/4HANA cloud 1908, SAP NetWeaver 7.00 with DMIS 2011/2018 Q4/2019 version. Certain functionality can only be made available for certain release levels. SAP Data Hub SAP Business Warehouse SAP Business Suite
- 11. 12 ▪ SAP 内の リードToキャッシュシナリオ: Understand デマンド管理からディールメンテナンスに 至る非効率的な内部プロセスを SAP Data Hub を活用して Celonis プロセスマイニングにデー タを提供して理解する ▪ 必要なステップ 1. 購買に関連するアクティビティをERPシステムから収集 (SAP S/4HANA) 2. 個人データの匿名化、アクティビティをプロセスマイニングに必要なイベントログ構造の形式に変換、イベントログを Celonis Cloud にアップロード(SAP Data Hub + 3rd Party Adapter from Celonis) 3. プロセスマイニングの実行 (Celonis Cloud) データ統合とプロセスの例 Celonis プロセスマイニングの例 SAP Data Hub Celonis Intelligent Business Cloud 1 32 Data Uploadデータ抽出 パイプラインの トリガーと HANA 上で SELECT SQL 実 行 IBC インプット情 報のためのプッ シュジョブの作成 SQL クエリ実行とプ ロシージャによる バッチデータ出力 データのかたまり （チャンク）を データプッシュ ジョブでプッシュ と最終チャンク後 サブミット 最終チャンク送信後 にパイプラインの停 止 個人情報の匿名化 データパイプライ ン
- 12. 13 SAP Data Intelligence を使用したデータサイエンスプロセス データ検索 ／照会 接続 /スト レージ管理 データ準備 データ処理 モデル作成 モデル評価モデル訓練 自動化とメン テナンス アプリケー ションに統合 モデルデプ ロイメント
- 13. 14 SAP Data Intelligence Jupyter Notebook を統合 Notebookを使用したインタラクティブな開発環境 でのコーディングとデータ加工。テキストエディ タ、ターミナル、データファイルビューアとその 他カスタムコンポーネントをサイドBYサイドで Notebookのタブ領域で使用できます 試作段階での利用 試作段階との統合 Jupyter Notebook を使用することによって、デー タドリブンなアプリケーションは、JupyterLab 環 境とパイプラインモデラ―アプリケーションの シームレスな統合によって恩恵を受けます
- 14. 15 データサイエンスプロジェクトの典型的なワークフロー Data from Multiple Sources (Structured and/or Unstructured) Metadata, Exploration, Profiling and Indexing Data Integration, Wrangling and Storage Data Preprocessing Model Training Model Evaluation Deployment Onetime/Periodic Inference (mostly on a structured dataset) REST API Realtime Inference (within an app) Further Analysis (enriched data) Iteration
- 15. 16 SAP Data Intelligence によって支援されるデータサイエンスプロジェクト例 Data from Multiple Sources (Structured and/or Unstructured ) Metadata, Exploration, Profiling and Indexing Data Integration, Wrangling and Storage Data Preprocessing Model Training Model Evaluation Deployment Onetime/Periodic Inference (mostly on a structured dataset) REST API Realtime Inference (within an app) Further Analysis (enriched data) Iteration SAP Data Intelligence
- 16. 17 Data Science Workflow Aided by SAP Data Intelligence Data from Multiple Sources Access any data source: cloud, on premise, IoT, SAP, or non-SAP. Automatically index and crawl any available data asset to find it with ease
- 17. 18 Data Science Workflow Aided by SAP Data Intelligence Metadata, Exploration, Profiling and Indexing Enrich data assets with metadata information so that everyone in your organization can find what they need and minimize duplication of data wrangling tasks
- 18. 19 Data Science Workflow Aided by SAP Data Intelligence Data Integration, Wrangling and Storage Utilize a rich set of operators to transform multiple data connections in a usable data set for AI modeling. Save and reuse these data sets across your organization
- 19. 20 Data Science Workflow Aided by SAP Data Intelligence One single tool for experimentation and productization of ML artifacts. Data Preprocessing Model Training Model Evaluation Iteration Deployment Onetime/Periodic Inference REST API Realtime Inference
- 20. 21 Data Science Workflow Aided by SAP Data Intelligence Further Analysis
- 21. パッケージ情報はさまざまな書式 がある 分類品目マスタの作成が必要 EVONIK 社POC 事例 マニュアル処理の多いパッケージ情報 マニュア ル作業 マニュア ル作業 ~ 8.000 packaging materials = 160.000 lines Attributes are derived manually by experts
- 22. EVONIK, CAMELOT & SAP の協業による PoC +Business know-how +Problem statement +Data science expertise +Domain know-how +Platform solution provider +Domain, data science know- how 1. Feasibility check for automated data extraction of semi-structured documents 2. Enterprise integration concept SAP Data Intelligence Platform 3. Playbook for internal mobilization PoC outcomes
- 23. SAP ERP PoC スコープ: AI モデルを SAP Data Intelligence にデプロイ PoC scope Feedback LoopSAP Data Intelligence X XOCR NLP based extraction Map to classification attributes All features mapped? Add new attributes to classification Validation No Yes Data pipeline Data integration Out of PoC scope Trigger Extraction Domain Expert pdf documents documents images Storage Visualization prototype
- 24. 結果: エンドユーザはマニュアル処理を回避できるようになり、処理速度が向上 End-user work steps ✓ Fields are prepopulated ✓ Values and annotations are displayed in a clear interface ✓ Can easily apply corrections into the ERP system ✓ Corrected annotations are played back into the system = System continuously converges to it’s best possible state メリット Validate & correct extraction Validate & correct annotations 1. 2.
- 25. Enterprise roll-out 概要: SAP Data Intelligence プラットフォームの利用による将来のユースケース Domain-specific extraction has been accomplished and SAP Data Intelligence proven Data Intelligence +Use cases +Governance +Org. design Additional value cases and implications for the organization & governance to be tackled
- 27. 28 2020 – Product direction1Recent innovations 2019 – Planned innovations1 2021 – Product vision1 1. This is the current state of planning and may be changed by SAP at any time without notice. SAP Data Intelligence 1911 Product road map overview – Key innovations https://www.sap.com/assetdetail/2019/07/dec223ed-5c7d-0010-87a3- c30de2ffd8ff.html?assetCheck=60b34af71361e21a1d8af8a4db92c4d0 ML & Data Science Tooling • End-2-end data delivery to ML model creation, training, consumption including holistic lifecycle • Jupyter Notebook integration out of the box Data Pipelining • Data transfer SAP BW/4 & SAP HANA • Predefined anonymization, data masking & data quality operations • SQL processing of streaming data Metadata Governance • Embedded data preparation capabilities • Business rules including Data Quality KPIs • Visual data lineage for catalog objects Application Integration and Content • Replication of SAP S/4HANA data • Unified API for integration with SAP cloud solutions (e.g. Fieldglass, Concur), • Integration with SAP CP-CPI Deployment • Offered as service in SAP Cloud Platform with consumption-based pricing • Including all SAP Data Hub functionalities ML & Data Science Tooling • Auto ML on structured data & texts • Embedding SAP Machine Learning Foundation Services (e.g. OCR, translation..) • Versioning & management of data sets • Integration of Jupyter Notebook with Connection Management etc. Metadata Governance • Hierarchical tagging mechanism • Local file Uploads into Data Catalog • Enhancement of Rules (data types, operations) Data Pipelining • Templates to speed up pipeline modeling • Content marketplace scenarios for SAP S/4HANA, SAP C/4HANA as well as IoT • Delta data transfer for SAP BW (via ODP) • Replication for SAP S4/HANA and ECC Deployment & Connectivity • On-premise deployment incl. core ML services • Availability on Azure and Alicloud • Connectivity to on-premise Data Center • Security enhancements & fine grained policies • Management of API endpoints ML & Data Science Tooling • Automated labeling & annotations of data assets • Enhanced multi-tenancy capabilities including metering • Operations Dashboard to monitor productive execution Metadata Governance • Information policy management compliance dashboard • Terms & Glossary with an integration to SAP Information Steward • Self-learning metadata management • Semantical data extraction for SAP systems (e.g. SAP S/4HANA, SAP ECC) Data Pipelining • Suggest complementary dataset to the ones currently considered by users • Proactive tuning and self-correcting Application Integration and Content • Expand native connectivity driven by market • Provide templates & pre-defined/extendable content for on-premise and cloud Industry models and applications • Predefined partner content delivery Enable the intelligent enterprise • Enable data-driven and completely automated intelligent enterprise applications • Support new application paradigms • Enabling a simple, holistic data management view Evolution of enterprise information management • Unify existing capabilities • Simplify data integration portfolio • Comprehensive landscape management End-to-end business application and processes • Delivery of applications for business scenarios and industry use cases
- 28. 29 DAT300 How to Build an Intelligent Application with SAP Data Intelligence DAT302 Introduction to SAP Data Intelligence and SAP Data Hub Reference