Big Data Architecture 全体概要
0 likes490 views
Big Data Developerに贈る ～ Microsoft Azure による Big Data Architecture と、Elasticsearch、Databricks 解説 [セミナー] 東京開催 https://www.microsoftevents.com/profile/form/index.cfm?PKformID=0x8311627abcd
Big Data Architecture 全体概要
- 1. モダンな BIG DATA ARCHITECTURE ～ AZURE で ビッグデータを 活用する枠組み 日本マイクロソフト株式会社 シニア AZURE DEVELOPER PMM 太田 寛
- 2. 自己紹介日本マイクロソフト株式会社 エバンジェリスト Twitter @embedded_george 前職は組込みSW技術者 Azure全般、特にIoTを普及啓発！ http://aka.ms/IoTKitHoLV4 IoT ALGYAN（開発者コミュニティ）支援 http://algyan.connpass.com Big Data Stream系も今後力を入れていきます！ http://aka.ms/letsbegin - MS Learnもよろしく 歴オタ、御朱印集め、ギター好き
- 8. クラウドによる モダナイゼー ション クラウドアプリケーションは、モノリシックではなく、 小さな分散サービス群で構成される。 小さな分散サービス群で構成することにより、需要に 応じた新しいインスタンスの追加や拡張が可能に 必要十分な最低限のリソースでの実行と、システムの 柔軟な機能アップデートが可能に 結果として 分散されたアプリケーションが、APIや非同期メッ セージングを通じて、並行かつ、非同期に実行される モノリシックなソリューションにはなかった、新しい 課題への対応が必要
- 9. ソリューション構築に関する課題の違い 従来のオンプレミス モノリシック、集中管理 予測可能なスケーラビリティの設計 リレーショナル データベース 強力な一貫性 直列および同期の処理 障害 (MTBF) を回避する設計 不定期の大規模な更新 手動管理 スノーフレーク サーバー 先進的なクラウド 分解、分散化 柔軟なスケーラビリティの設計 多機種の持続性 (記憶域テクノロジの混在) 最終的な一貫性 並列および非同期の処理 障害 (MTTR) のための設計 頻繁な小規模の更新 自動自己管理 イミュータブル インフラストラクチャ
- 11. アーキテクチャ 駆動型開発 開発するシステム、ソリューションの特徴から アーキテクチャスタイルを選択し、開発を進める 方法 • アーキテクチャスタイル • 特定の性質を持つアーキテクチャのグループ • 各スタイルには次の内容が含まれる • スタイルの説明と論理図 • スタイルの選択が推奨されるケース • 利点、課題、および、ベストプラクティス • 関連するAzureサービスを使用する推奨デプロイ
- 14. アーキテクチャ スタイルからの 構築 アーキテクチャスタイルによる制約 構成要素や、要素間で許容される関係など 基本原則と制約の正しい理解 適切なスタイルの選択 課題と利点の検討 – 課題 ＜ 利点となるように 複雑さ 非同期メッセージングと最終的な一貫性 サービス間の一貫性 管理のしやすさ …
- 15. ビッグデータ アーキテクチャ ビッグ データ アーキテクチャは、従来のデータベース システムには多すぎる、または複雑すぎるデータのイン ジェスト、処理、分析を扱うために設計 大きなデータセットを小さなチャンクに分割し、 ローカ ル データセットを並列処理 バッチおよびリアルタイムのデータ分析。 ML を使用し た予測分析
- 16. 適したシーン 従来のデータベースには多すぎる、大量のデータを保存 および処理 分析とレポートのために非構造化データを変換 リアルタイムで、または短い待機時間で、バインドされ ていないデータ ストリームを取得、処理、分析 AIの活用 - Azure Machine Learning または Microsoft Cognitive Services を使用
- 17. メリット テクノロジの選択 HDInsight クラスター内で Azure の管理されたサービスと Apache テクノロ ジを組み合わせて適合させることで、既存のスキルやテクノロジへの投資を 有効に活用可能 並列処理によるパフォーマンス 並列処理の強みを活かして、大量のデータをスケーリングする高パフォーマ ンスのソリューションが実現可能 柔軟なスケール すべてのコンポーネントで、スケールアウトのプロビジョニングがサポート される ご自分のソリューションをワークロードの規模に合わせた調整でコストを最 適化 既存のソリューションとの相互運用性 ビッグ データ アーキテクチャのコンポーネントは、IoT 処理および企業向け の BI ソリューションでも使用可 お客様がすべてのデータ ワークロードにわたる統合されたソリューションの 作成が可能
- 18. 課題 複雑さ 多数のコンポーネントで複数のデータ ソースからの データ インジェストを処理 プロセスの構築、テスト、トラブルシューティングは、 困難を伴う場合あり パフォーマンス最適化のため、大量かつ複数のシステ ムにわたって設定する必要になる可能性あり スキルセット 多くのビッグ データ テクノロジは、非常に専門化さ れており、一般のソリューションではあまり使用され ていないフレームワークと言語を使用 ビッグ データ テクノロジは、確立されたより多くの 言語を基に構築され、新しい API を発展させた各種デ ファクトのサービスあり
- 19. 課題 ～ 続き テクノロジの成熟度 Hive や Pig などの主要な Hadoop テクノロジが安定 しているのに対して、Spark などの新興テクノロジで は、大幅な変更と改良が生じる場合あり Azure Data Lake Analytics や Azure Data Factory な ども、他の Azure サービスと比べて比較的新しく、時 間と共に進化する可能性あり セキュリティ 一元化された Data Lake へのすべての静的データの保 存に頼っているため、複数のアプリケーションとプ ラットフォームで共有する場合、データへのアクセス を保護することが課題となる可能性
- 20. ベストプラク ティス 並行処理の活用 大部分のビッグ データ処理テクノロジでは、複数の処理単位にわたり、 ワークロードが分散されるため、分割可能な形式で静的なデータ ファイ ルを作成し保存することが必要 HDFS などの分散ファイル システムをつかうことにより、読み取りと書 き込みのパフォーマンスが最適化され、複数のクラスター ノードで並列 的に実行することで、全体的なジョブの時間を短縮 データのパーティション分割。 定期的なスケジュールで実行するバッチ処理はで、 処理スケジュールに 一致するテンポラルの期間に基づいて、データ ファイルや、テーブルな どのデータ構造をパーティションに分割 読み取り時のスキーマのセマンティクスの適用 Data Lake の使用で、構造化、半構造化、非構造化のいずれであるかに 関係なく、ストレージを結合可能 データ保存時ではなくデータ処理時にデータにスキーマを投影 このことで、ソリューションに柔軟性が組み込まれ、データ検証と型 チェックによって起こる、データ インジェスト中のボトルネックを防止
- 21. ベストプラク ティス ～ 続き 適所でのデータの処理 データは分散データ ストア内で処理され、必要な構造に変 換されてから分析データ ストアに移動することにより、大 量のデータと様々なな種類の形式のデータに柔軟に対応 使用率と時間的なコストの均衡化 バッチ処理ジョブの場合は、コンピューティング ノードの 単位あたりのコストと、それらのノードを使用してジョブ を完了する 1 分あたりのコストという、2 つの要因を考慮 することが重要 総コストと処理時間のトレードオフの検討 クラスター リソースの分離 ワークロードの種類ごとに別個のクラスター リソースを プロビジョニングしてパフォーマンスを向上を検討
- 22. ベストプラク ティス～ 続き データ インジェストの調整。 既存のビジネス アプリケーションが、バッチ処理のための データ ファイルを Azure Storage Blob コンテナーに直接書 き込むことができれば、そのデータ ファイルをそのまま HDInsight または Azure Data Lake Analytics で使用可能 しかし、多くの場合、オンプレミスまたは外部のデータ ソースから Data Lake へのデータのインジェストを調整す る必要あり Azure Data Factory や Oozie でサポートされているような オーケストレーション ワークフローまたはパイプラインを 使用し、予測可能、かつ、一元的な管理が実現可能 機密性の高いデータの早期の除外 データ インジェスト ワークフローでは、プロセスの早い 段階で機密性の高いデータを除外して、Data Lake に保存 しないようにする必要あり
- 24. ビッグデータアーキテクチャの構成要素 データソース データストレージ バッチ処理 リアルタイム メッセージ取込み ストリーム処理 分析データストア 分析とレポート オーケストレー ション
- 30. 利用シーン 単純なデータ変換からより完全なETL(抽出ー変換ー 読み込み）パイプラインに至るまで、様々なシナリオ で使用 ※ビッグデータのコンテキストでは、非常に大きなデータセット を操作する可能性があり、計算にかなりの時間がかかる 対話型での調査 機械学習用モデル化の準備 分析とビジュアル化用に最適化された データストアへのデータ書き込み フラットな半構造化ファイル（CSV、JSONなど） の大規模セットを構造化された形式に変換 …
- 31. 課題と構成要素 課題 • データ形式とエンコード • タイムスライスの調整 構成要素 • データストレージ • バッチ処理 • 分析データストア • 分析とレポート • オーケストレーション
- 33. テクノロジーの選択 – 分析データストア SQL Data Warehouse Spark SQL Hbase Hive
- 34. テクノロジーの選択 – 分析とレポート Azure Analysis Service Power BI Microsoft Excel
- 35. テクノロジーの選択 – オーケストレー ション Azure Data Factory Oozie Sqoop
- 36. No SQL データベース 従来のRDBとは異なり、行と列のテーブルスキーマを使 用しないデータベース 格納されているデータの種類に固有の要件に合わせて、 最適化されたストレージモデル トランザクション管理が必要な場合には適していない 多くの場合、SQL互換のクエリーをサポートしているが、 実行戦略は従来のRDBMSとは異なる https://docs.microsoft.com/ja-jp/azure/architecture/guide/technology-choices/data-store-overview
- 37. NO SQL データベースの種類と利用可能なサービス・OSS ドキュメントデータストア 単票形式データストア キー/バリューデータストア グラフデータストア 時系列データストア オブジェクトデータストア 外部インデックスデータストア
- 38. クラウドを利用したモダナイズされたOSSの利用 従来 ○○の問題には◇◇と□□の組み合わせがいいらしい ◇◇と□□の調査（ぐぐる？） 定常運用のための仕組みを自作 実行環境（HW）構築 運用開始 運用状況の監視 OSSの更新と自作部分のメンテナンス/アップデート 実行環境（HW）のメンテナンス/拡張 クラウド利用（モダナイズ） ○○の問題には◇◇と□□の組み合わせがい いらしい ◇◇と□□の調査（ぐぐる？） Managed OSS をクラウド上に配置 運用開始 Managed機能を使った運用状況の監視 利用状況の把握とスケール
- 40. 課題と アーキテクチャ 課題 大量のメッセージにおいて、取り込み、処理、格納を リアルタイムで行う 取り込みパイプラインのブロック阻止 大量のデータの書き込みサポート リアルタイムでのアラート生成やダッシュボードでの データ表示 アーキテクチャ リアルタイムメッセージ取り込み ストリーム処理 分析データストア 分析とレポート https://docs.microsoft.com/ja-jp/azure/architecture/data-guide/big-data/real-time-processing
- 41. Analytics and reporting で利用可能なサービス Azure Analysis Service Power BI Microsoft Excel Jupyter Notebook Zeppelin Notebook Azure Notebooks https://docs.microsoft.com/ja-jp/azure/architecture/data-guide/technology-choices/analysis-visualizations- reporting
- 42. 参照アーキテクチャ
- 43. SQL Datawarehouse を用いた Azure の エンタープライズ向け BI https://docs.microsoft.com/ja-jp/azure/architecture/reference-architectures/data/enterprise-bi-sqldw
- 47. ソフトウェアの 重要な品質要素 スケーラビリティ 可用性 回復性 管理 セキュリティ https://docs.microsoft.com/ja-jp/azure/architecture/guide/pillars
- 49. 開発者が選べる4つの道 VM/Container 運用・管理のための仕組み OSS やりたいこと • OSSをManaged Serviceで使い、アプリの開発者 に • 独自の運用・管理を開発し、クラウドベンダーと 組んで、Managed Serviceの提供者に • 新たなOSSの開発者・あるいはOSSのContributor に • 別の技術領域にチャレンジ
- 50. まとめ クラウドによるモダナイゼーション アーキテクチャ駆動型開発 アーキテクチャスタイル Big Dataを扱うアーキテクチャスタイル PaaS利用の推奨 開発者の道
- 51. Q&A