クラウド運用のためのストリームマイニング
- 2. 柗本 真佑 themes ソフトウェア工学 データマイニング SOA クラウド interested in ○ 設計・開発・テスト △ 要求・運用・保守
- 3. 概要 • データという観点からクラウド運用を考える • 思考・調査のあしあと • まとまりなし，結論なし • 議論の種・思考の種に 2
- 4. クラウドとWeb API • システムの機能をAPIとして公開 • • • • Web経由で プラットフォームに依らず ソフトウェアから （自動的に） 単純な手続きで，利用できる ・launchVM() ・attachVolume() ・tweet() ・listTweets() IaaS API API PaaS/SaaS 3
- 5. 運用・保守のためのWeb API • システムの機能（ 本質 ・ 計測 ・ 運用 ）をAPIとして公開 • • • • Web経由で プラットフォームに依らず ソフトウェアから （自動的に） 単純な手続きで，利用できる Functional API Measuring API Management API IaaS Functional API Measuring API PaaS/SaaS Management API 4
- 6. 何を計測するか？ Functional API • IaaS • • • • • # of running VMs CPU usage Disk usage Memory swap rate I/O latency • Common Measuring API Management API • # of API calls • Avg/Max response time • # of timed out requests • PaaS/SaaS • # of registered users • # of active users • # of transactions （# of tweets, # of photos, …） 5
- 7. 何を計測するか？ Functional API • IaaS • • • • • # of running VMs CPU usage Disk usage Memory swap rate I/O latency • Common Measuring API Management API • # of API calls • Avg/Max response time • # of timed out requests • PaaS/SaaS • # of registered users • # of active users • # of transactions 何を計測するか？ 何のために計測するか？ （# of tweets, # of photos, …） 6
- 8. 何のために計測するか？ Past Present Future • What • 現状分析，異常検出，障害究明，アクセス集中・・・ • How リクエスト数 レスポンス時間 • 基本的な統計分析，見える化，外れ値検出・・・ リクエスト 時間 7
- 9. 何のために計測するか？ Past Present Future • What • 予測保守，障害予測，デマンド予測，API先読み実行・・・ • How • パターン検出，機械学習，共起関係分析，予測・・・ リクエスト数 月 火 水 木 金 土 日 API Y API X others 8
- 11. 何のために計測するか？ Past Present Future • 米Amazonの“Anticipatory shipping” Personalized ユーザレベルでのきめ細やかな 運用・保守 Personalized O&M http://blogs.wsj.com/digits/2014/01/17/amazon-wants-to-ship-your-package-before-you-buy-it/ 10
- 12. 何のために計測するか？ Past Present Future • 米Amazonの“Anticipatory shipping” Personalized ユーザレベルでのきめ細やかな 運用・保守 Personalized O&M 計測データをどう役立てるか？ 可視化より強力な方法は？ http://blogs.wsj.com/digits/2014/01/17/amazon-wants-to-ship-your-package-before-you-buy-it/ 11
- 13. 計測データ活用のためには？ • 詳細な計測 高度なデータマイニング 高度な運用・保守，品質改善 • 技術的にどうやって？ How？ 詳細な計測 運用・保守への適用 要件1: 大量のデータを MapReduce 要件2: リアルタイムに 時系列データ 要件3: 高度なデータマイニング 12
- 14. ストリームマイニング （SM） • データストリームをマイニングする手法・アルゴリズム • データストリーム： 時間的に変化しながら終わりなく到着するデータ （取引履歴，通信ログ，ニュース，・・・） 通常のデータマイニング ストリームマイニング data streams mine store knowledge t mine knowledge 13
- 15. ストリームマイニング概要 • 膨大なデータストリームに対し， • 利用者の要求に即応して， • 小さな計算機資源で， • 近似解を返す，手法・アルゴリズムのこと* • 特定の手法を指す言葉ではない • One-path制約付きのデータマイニング手段の総称 • （基本的には） 厳密な解を求めない • 粗視化・データ要約・確率計算など • マイニング目的に応じて興味のない部分を捨てる ※ 最近では厳密解を求められる方法も登場しつつある *有村 博紀, 喜田 拓也, “データストリームのためのマイニング技術”, 情報処理, 2005, vol.46, no.1 14
- 16. SMで何ができるか？ • 基本的な統計量 • 集計，平均，分散 • クラスタリング • 機械学習 • トレンド分析 • 一般的なデータマイニングと同等 15
- 17. SMの実現手段は？ • Apache S4 （Simple Scalable Streaming System） S4 is a general-purpose, distributed, scalable, fault-tolerant, pluggable platform that allows programmers to easily develop applications for processing continuous unbounded streams of data. http://incubator.apache.org/s4/ • 処理の流れ key: null val: “#s4, a distributed #stream processing” • twitterのハッシュカウント key: topic=“s4” val: count=1 PE key: topic=“stream” val: count=1 PE PE PE: Processing Element val: topic=“s4”, count=4 PE http://oss.infoscience.co.jp/s4/docs.s4.io/examples/ twitter_topic_counter.html 16
- 18. 他にも色々 • Storm Storm is a free and open source distributed realtime computation system. http://storm-project.net/ • Storm + Hadoop • Lambda architecture* Speed layer (Storm) Stream processing New data stream Realtime view Batch layer (Hadoop) All data Precompute views query Batch view Batch view *Big Data: Principles and best practices of scalable realtime data systems, Manning Publications Co, 2012 17
- 19. 運用・保守へどう適用するか？ • S4, Storm ＝ 汎用リアルタイム処理フレームワーク • 「リアルタイムMapReduce」 「ストリーミングMapReduce」 • 運用・保守に特化させたクラウドシステムへ • PaaS型，Cloud Ops. as a Service Wikipedia, Image:060428-bagger288-garzweiler.jpg; Bearbeitung von Snorky 18
- 20. 運用・保守へどう適用するか？ • S4, Storm ＝ 汎用リアルタイム処理フレームワーク • 「リアルタイムMapReduce」 「ストリーミングMapReduce」 • 運用・保守に特化させたクラウドシステムへ • PaaS型，Cloud Ops. as a Service 発掘技術 （How） は豊富 何をするか （What） が重要 Wikipedia, Image:060428-bagger288-garzweiler.jpg; Bearbeitung von Snorky 19
- 21. * 「捨てる技術」 *長尾 • データは際限なく増える • googleは10，20年後どうなるか？ • 供給電力の問題も 真, “捨てる技術”, 情報処理, 2014, vol.55, no.1 ストレージ 生産速度 情報 生産速度 • 捨てる技術 • 20年～30年使われなかったデータが本当に必要か？ • 必要なデータだけを残す技術が必要になるのでは？ レスポンス時間 レスポンス時間 • 実例は捨てる．パラメタだけを残す． リクエスト リクエスト 20
- 22. * 「捨てる技術」 *長尾 • データは際限なく増える • googleは10，20年後どうなるか？ • 供給電力の問題も 真, “捨てる技術”, 情報処理, 2014, vol.55, no.1 ストレージ 生産速度 情報 生産速度 • 捨てる技術 • 20年～30年使われなかったデータが本当に必要か？ • 必要なデータだけを残す技術が必要になるのでは？ • 実例は捨てる．パラメタだけを残す． レスポンス時間 レスポンス時間 「必要なデータ」とは？ ゴミ山か？ 金鉱か？ 本当に捨てて良いのか？ リクエスト リクエスト 21
- 23. 何を計測するか？ Past 何のために計測するか？ Present Functional API • IaaS • • • • • • Common Future Measuring API • 米Amazonの“Anticipatory shipping” Management API • # of API calls • Avg/Max response time • # of timed out requests # of running VMs CPU usage Disk usage Memory swap rate I/O latency Personalized ユーザレベルでのきめ細やかな 運用・保守 Personalized O&M • PaaS/SaaS • # of registered users • # of active users • # of transactions 何を計測するか？ 何のために計測するか？ 計測データをどう役立てるか？ 可視化より強力な方法は？ （# of tweets, # of photos, …） 12 「捨てる技術」* 運用・保守へどう適用するか？ *長尾 • S4, Storm ＝ 汎用リアルタイム処理フレームワーク • 「リアルタイムMapReduce」 「ストリーミングMapReduce」 • 運用・保守に特化させたクラウドシステムへ • PaaS型，Cloud Ops. as a Service 22 http://blogs.wsj.com/digits/2014/01/17/amazon-wants-to-ship-your-package-before-you-buy-it/ • データは際限なく増える • googleは10，20年後どうなるか？ • 供給電力の問題も 真, “捨てる技術”, 情報処理, 2014, vol.55, no.1 ストレージ 生産速度 情報 生産速度 • 捨てる技術 • 20年～30年使われなかったデータが本当に必要か？ • 必要なデータだけを残す技術が必要になるのでは？ • 実例は捨てる．パラメタだけを残す． Wikipedia, Image:060428-bagger288-garzweiler.jpg; Bearbeitung von Snorky 38 レスポンス時間 「必要なデータ」とは？ ゴミ山か？ 金鉱か？ 本当に捨てて良いのか？ レスポンス時間 発掘技術 （How） は豊富 何をするか （What） が重要 リクエスト リクエスト 42 22