AWS と Denodo で実現するデータ活用基盤 - データ民主化を加速するクラウド活用のポイント
0 likes84 views
Watch full webinar here: https://bit.ly/3cmIaGj データドリブン経営の推進やデジタル戦略の加速には、あらゆるデータソースから情報を効率よく収集し、それらをユーザーの様々な分析ニーズに合わせて、安全かつ高速に提供できるデータ基盤が必要不可欠です。本セッションでは、データ活用に対する AWS のアプローチや、代表的なサービスの概要、Denodo と AWS サービスの連携方法についてご紹介します。
![AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント
© 2022, Amazon Web Services, Inc. or its affiliates.
新しい要件︓AI や機械学習の活⽤
7
77%
of the devices
we use
ライドシェア (例: Uber, Lyft)
待ち時間、需要予測、価格設定
オンラインショッピング
検索結果、商品レコメンド
2023年の世界
80億個以上の AI/ML 搭載デジタルアシスタント
⾦融機関
書類（⼩切⼿等）の認識
クレジット・デビットカードの不正取引検知
101 Artificial Intelligence Statistics [Updated for 2022]
DIGITAL VOICE ASSISTANTS IN USE TO TRIPLE TO 8 BILLION BY 2023, DRIVEN BY SMART HOME DEVICES](https://image.slidesharecdn.com/fdsvsj04techpartnerkeynoteawsjapan-220719130653-3b3b8cb9/95/AWS-Denodo-7-638.jpg)
AWS と Denodo で実現するデータ活用基盤 - データ民主化を加速するクラウド活用のポイント
- 1. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. AWS と Denodo で実現するデータ活⽤基盤 データ⺠主化を加速するクラウド活⽤のポイント 吉⽥ 成利 アマゾン ウェブ サービスジャパン合同会社 ISV パートナー本部 データベースパートナーソリューションアーキテクト FAST DATA STRATEGY VIRTUAL SUMMIT 2022 JAPAN
- 2. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. 2 吉⽥ 成利 | Michitoshi Yoshida ISV パートナー本部 データベースパートナーソリューションアーキテクト データベースを専⾨に、パートナー様の トレーニングや技術⽀援を担当 好きな AWS のサービス : Amazon Relational Database Service Amazon Aurora, Amazon S3
- 3. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. 本セッションでお話しする内容 3 • クラウド時代のモダンデータ戦略 • AWS サービスと Denodo で実現するクラウドデータ活⽤基盤
- 4. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. クラウド時代の モダンデータ戦略 4
- 5. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. 5 20 年前の 1 年間で⽣成されるデータ量と⽐較し 現在の 1 時間あたりに⽣成されるデータ量の⽅が多い (Source: IDC Seagate Rethink Data Survey, January 2020)
- 6. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. 新しい要件︓リアルタイム分析 6 Source: Mike Gualtieri, Forrester, Perishable Insights Real time Seconds Minutes Hours Days Months Value of data to decision-making Preventive / predictive Actionable Reactive Historical この時点で返信することで, お客様にとって価値の⾼い提案となる この時点では既に関⼼が 失われているかもしれない 例︓クリックストリーム分析における速度の価値
- 7. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. 新しい要件︓AI や機械学習の活⽤ 7 77% of the devices we use ライドシェア (例: Uber, Lyft) 待ち時間、需要予測、価格設定 オンラインショッピング 検索結果、商品レコメンド 2023年の世界 80億個以上の AI/ML 搭載デジタルアシスタント ⾦融機関 書類（⼩切⼿等）の認識 クレジット・デビットカードの不正取引検知 101 Artificial Intelligence Statistics [Updated for 2022] DIGITAL VOICE ASSISTANTS IN USE TO TRIPLE TO 8 BILLION BY 2023, DRIVEN BY SMART HOME DEVICES
- 8. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. 今のデータ活⽤基盤に求められる要素 8 デプロイしやすく セルフサービスで ⾃動スケーリングが可能な データ活⽤基盤により、 多様なユーザーが データをより効果的に活⽤する データエンジニア データの取り込みと準備 デベロッパー データアナリスト データサイエンティスト アプリケーションのビルドと データ分析 ビジネスリーダー ビジネス上の意思決定と成果 データ活⽤ 基盤 運⽤効率の向上、より多くの情報に基づく意思決定、イノベーションの加速
- 9. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. クラウド時代のモダンデータ戦略 9 NoSQL データベース 機械学習 データ ウェアハウス ログ分析 ビッグデータ 処理 リレーショナル データベース Data lake スケーラブルなデータレイク ニーズに最適化された分析サービス シームレスなデータ連携 統合されたデータアクセスとガバナンス AI/機械学習との統合
- 10. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. 事例 10 10
- 11. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. AWS サービスと Denodo で 実現するクラウドデータ活⽤基盤 11
- 12. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. データ活⽤基盤を AWS クラウドで構築すべき理由 12 包括的な ポートフォリオ セキュリティ 構築の 容易さ ⾼い コスト効果 豊富な顧客事例と パートナー ソリューション
- 13. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. データ活⽤基盤を AWS クラウドで構築すべき理由 13 包括的な ポートフォリオ セキュリティ 構築の 容易さ ⾼い コスト効果 豊富な顧客事例と パートナー ソリューション
- 14. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. 14 NoSQL データベース 機械学習 データ ウェアハウス ログ分析 ビッグデータ 処理 リレーショナル データベース Data lake スケーラブルな データレイク
- 15. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. AWS のデータレイク = Amazon S3 15 Amazon S3 ⾼い耐久性、可⽤性、 スケーラビリティ オブジェクトレベル の アクセス制御 Intelligent Tiering 機能 を⽤いたコスト最適化 セキュリティ、 コンプライアンス、監査 に対応 数多くの⽅法で データを取込み可能 様々な分析サービスに対応 アーカイブを含む コールドストレージ に対応
- 16. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. 16 NoSQL データベース 機械学習 リレーショナル データベース Data lake ニーズに最適化された 分析サービス データ ウェアハウス ログ分析 ビッグデータ 処理
- 17. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. データ分析の代表的なユースケースと利⽤ツール 17 ビジネスユーザー プロダクト／ サービス担当者 データアナリスト データ サイエンティスト 定型的な分析の結果を確認し、⾃分の仕事 に活かす 例︓⾃分の担当している製品の地域ごとの 売上を確認して、次のアクションを決める サービスのログやメトリックを分析し、 ⾃⾝の担当しているプロダクト／サービス の改善に活かす 例︓障害やパフォーマンス劣化の原因調査、 機能の利⽤傾向の調査 データを基にしたトレンド分析や 仮説検証を⾏い、意思決定の⽀援を⾏う 例︓マーケティング施策の効果検証 ⾼度な分析⼿法を⽤い、複雑な意思決定の ⽀援や、業務システム／サービスに 組み込む機械学習モデルの開発を⾏う 例︓オンライン広告の⾼精度な効果測定、 レコメンデーションアルゴリズムの開発 BI ツール CLI/SQL プログラミング⾔語 利⽤ツール データの集計／分析に使⽤する、 GUI ベースの専⽤ツール 直感的に扱え、結果を簡単にグラ フに表現できるものが主流。 データベースに対して、操作や問 い合わせを直接⾏う際に使⽤。 BI ツールやプログラミング⾔語か らも利⽤可能。 統計解析や機械学習に関するライ ブラリを⽤いて、複雑な分析やモ デルの開発を⾏う。ライブラリの 充実さから、Python や R の利⽤が 多い。 ユースケース
- 18. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. 18 ビジネスユーザー プロダクト／ サービス担当者 データアナリスト データ サイエンティスト 定型的な分析の結果を確認し、⾃分の仕事 に活かす 例︓⾃分の担当している製品の地域ごとの 売上を確認して、次のアクションを決める サービスのログやメトリックを分析し、 ⾃⾝の担当しているプロダクト／サービス の改善に活かす 例︓障害やパフォーマンス劣化の原因調査、 機能の利⽤傾向の調査 データを基にしたトレンド分析や 仮説検証を⾏い、意思決定の⽀援を⾏う 例︓マーケティング施策の効果検証 ⾼度な分析⼿法を⽤い、複雑な意思決定の ⽀援や、業務システム／サービスに 組み込む機械学習モデルの開発を⾏う 例︓オンライン広告の⾼精度な効果測定、 レコメンデーションアルゴリズムの開発 BI ツール CLI/SQL プログラミング⾔語 データの集計／分析に使⽤する、 GUI ベースの専⽤ツール 直感的に扱え、結果を簡単にグラ フに表現できるものが主流。 データベースに対して、操作や問 い合わせを直接⾏う際に使⽤。 BI ツールやプログラミング⾔語か らも利⽤可能。 統計解析や機械学習に関するライ ブラリを⽤いて、複雑な分析やモ デルの開発を⾏う。ライブラリの 充実さから、Python や R の利⽤が 多い。 ツールを使った シンプルな集計や可視化 複数種類のデータに対する アドホック／探索的な分析 リアルタイム分析 定常的に実⾏される 複雑な集計処理 Python や R を使った 応⽤的な分析、機械学習 分析基盤で実⾏されるワークロード ユースケース データ分析の代表的なユースケースと利⽤ツール
- 19. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. ニーズに最適化された分析サービス 19 Amazon Athena 対話的なクエリ Amazon EMR ビッグデータ処理 Amazon Kinesis and Amazon MSK リアルタイム分析 Amazon Redshift データウェアハウス マネージドサービス パフォーマンス、コスト、スケール、ユースケースに沿った最適な分析サービスを選択
- 20. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. データウェアハウス : Amazon Redshift 20 Analyze all your data オペレーショナルデータベース、データレイク、データウェア ハウスにまたがる複雑でスケーリングされたデータに対して、 リアルタイムの予測分析を実⾏ Best price performance at any scale Easy analytics for everyone インフラストラクチャを気にすることなく、 数秒でデータからインサイトを得ることに集中 他のクラウドデータウェアハウスに⽐べて最⼤ 3 倍の コストパフォーマンスを実現し、動的にスケーリングして 複雑で重要なワークロードのクエリ速度を向上 誰でも簡単に 分析できる 全てのデータを 分析する コストパフォーマ ンスの⾼さ 数万の顧客を抱え、最も広く使⽤されているクラウドデータウェアハウス
- 21. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. 21 Federated Query Spectrum query Data lake export オペレーショナル データベース BI および 各種専⽤の分析ツール Amazon S3 データレイク SQL 3rd パーティーデータ Data Lake query AWS Glue Elastic Views AWS Data Exhange のデータを サブスクリプション利⽤ ライブデータへも 事前データコピーなく シームレスにアクセス Data Share オープンフォーマットデータ利⽤ AWS ネイティブ連携サービスや 3rdパーティツールのコネクタ連携 API サービスなど Lambda UDF 外部サービス連携⽤の AWS Lambda カスタム関数を SQL クエリの⼀部として使⽤ Amazon Redshift ML 機械学習 SQL ベースのモデル開発と利⽤ カスタムモデルのインポート Amazon Redshift
- 22. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. Amazon Redshift Serverless 22 ノードタイプ、ノード数、ワークロード管理、 スケーリングなどを制御する必要はなく、サービスが ⾃動実⾏。データを投⼊してすぐに分析処理を開始で きる 従来の Redshift クラスターと同じ SQL が実⾏可能 処理能⼒はワークロードに応じて⾃動的にスケール アウト・ダウンし、⾮アクティブのときは⾃動停⽌ 利⽤量に応じた従量課⾦で利⽤できる 東京、バージニア、オハイオ、オレゴン、 フランクフルト、アイルランドでプレビュー開始 Amazon Redshift Data API JDBC/ODBC Analytics Tools Your applications Amazon S3 data lake Amazon Redshift Serverless Intelligent and dynamic compute management ML-based workload monitoring Automatic tuning Automatic scaling Automatic workload management Pay for use Performance at scale Automatic maintenance AWS Lambda, AWS Cloud9, Java, Go, PowerShell, Node.js, C#, Python, and Ruby Amazon Redshift managed storage Amazon Aurora/ RDS databases P r e v i e w クラスターの管理が不要となる新しい選択肢
- 23. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. リアルタイム分析 : Amazon Kinesis, Amazon MSK 23 メディアからの ストリームデータを キャプチャ、処理、保存し、 再⽣や分析、機械学習に活⽤ リアルタイムにデータ ストリームを収集して、 データストアと 分析サービスにロード SQL, Apache Flink, Apache Beamを 使⽤してストリー ムデータを分析 ストリーミングデータを スケーラブルに収集、 保存してリアルタイム 分析に活⽤ Amazon Kinesis Video Streams Amazon Kinesis Data Streams Amazon Kinesis Data Firehose Amazon Kinesis Data Analytics Apache Kafkaを使⽤して ストリーミングデータを 処理するアプリケーション を構築、実⾏ Amazon MSK ビデオやストリームデータをリアルタイムで簡単に収集、処理、分析
- 24. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. 24 NoSQL データベース 機械学習 リレーショナル データベース Data lake データ ウェアハウス ログ分析 ビッグデータ 処理 シームレスな データ連携
- 25. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. 複数データストア間でのデータ移動 25 データストア データパイプライン ターゲット 複雑なアプリケーション コーディング リトライ処理の考慮 データパイプライン の管理 ETL の専⾨家が必要
- 26. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. AWS Glue 26 AWS Glue サーバーレス スケジューラーと ワークフロー コードに集中 データソースの メタデータ管理 VPC 内からのアクセス 他の AWS サービスと 容易に連携 Notebook での開発 セキュア シンプルでスケーラブルなサーバーレスデータ統合プラットフォーム
- 27. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. AWS Glue Databrew 27 • GUI でインタラクティブに前処理を記述できるデータ加⼯ツール • データのプロファイリングや分布、カラム同⼠の相関等も確認可能 • サンプリングデータで記述した処理を、⼤規模データにジョブとして適⽤ ビ ジ ネ ス ア ナ リ ス ト デ ー タ サ イ エ ン テ ィ ス ト リッチなビジュアルインターフェイスでデータを整形
- 28. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. 機械学習 28 NoSQL データベース リレーショナル データベース データ ウェアハウス ログ分析 ビッグデータ 処理 Data lake 統合された データアクセスと ガバナンス
- 29. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. データレイク構築から分析までの流れ 29
- 30. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. AWS Lake Formation 30 Databases Logs Streams On-premises Amazon S3 AWS Glue Data Catalog Amazon Redshift Spectrum AWS Glue ETL Amazon Athena Amazon EMR Amazon SageMaker データ收集 信頼性の⾼いデータ 收集パイプラインを 数クリックで簡単に構築 データ管理 S3データレイク上のデータの 保存⽅法の最適化 セキュリティとガバナンス ⼤規模なデータレイクの 複雑な権限管理をシンプルに実現 データ共有 アカウントや組織を超えた データ共有の実現 セキュアなデータレイクを迅速にセットアップ
- 31. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. データ活⽤基盤を AWS クラウドで構築すべき理由 31 包括的な ポートフォリオ セキュリティ 構築の 容易さ ⾼い コスト効果 豊富な顧客事例と パートナー ソリューション
- 32. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. Denodo Platform for AWS 32 オンプレミス／クラウドのすべてのデータを統合する、 データ仮想化ソリューション AWS 上のデータと、オンプレミ スのデータを ETL なしで仮想的 に統合することで、データのリ アルタイム分析を容易に実現 統合されたデータのカタログや、 アクセス権限を⼀元的に管理 AWS Marketplace からワンクリ ックでデプロイ、従量課⾦または BYOL で利⽤可能
- 33. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. BI ⽤ AWS アカウント 33 CRM データ分析⽤ AWS アカウント オンプレミス Amazon S3 基幹アプリ⽤ AWS アカウント Amazon Aurora （基幹アプリ） Web サービス⽤ AWS アカウント Amazon DynamoDB （Web サービス） Amazon AppFlow データ仮想化⽤ AWS アカウント 機械学習⽤ AWS アカウント Amazon SageMaker Amazon S3 AWS Glue Amazon Redshift Amazon QuickSight 新サービス⽤ AWS アカウント Amazon ECS オンプレミス／AWS 上の データを仮想的に集約 データのカタログや 権限を Denodo で ⼀元的に管理 BI サービスで リアルタイム可視化 機械学習⽤のデータセットを抽出、 推論の結果を S3 経由で他組織に共有 Denodo 上で作成した API 経由でデータにアクセス Denodo Platform と AWS サービスの連携例
- 34. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. © 2022, Amazon Web Services, Inc. or its affiliates. まとめ 34
- 35. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. まとめ 35 • クラウド時代のデータ活⽤基盤には、多様な分析ニーズに対応できる 柔軟性や拡張性に加え、利⽤者が好きなタイミング／形式／ツールで データを利⽤できるセルフサービス性、アクセス量の変化に ⾃動で対応できるスケーラビリティが求められている • ユースケースに応じて、⽬的に合わせた分析サービスを選択することが重要。 データを安全に、容量制限なく保存できる Amazon S3 を中⼼に、 AWS、パートナーが提供する周辺サービスを組み合わせる • クラウド／オンプレミス問わず、組織のあらゆるデータを仮想的に統合する Denodo Platform for AWS を利⽤することで、データ管理の負荷を最⼩限に、 リアルタイム分析や AI/機械学習との統合を実現
- 36. AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント © 2022, Amazon Web Services, Inc. or its affiliates. Thank you! © 2022, Amazon Web Services, Inc. or its affiliates.