SIOS iQ:機械学習 I T O A VMware仮想環境の性能問題の原因分析 迅速な問題解決と未然防止を実現
- 1. © SIOS Technology, Inc. All rights Reserved. SIOS iQ：機械学習 ITOA VMware仮想環境の性能問題の原因分析 〜迅速な問題解決と未然防止を実現〜 サイオステクノロジー株式会社
- 2. © SIOS Technology, Inc. All rights Reserved. 会社概要 2 社名 サイオステクノロジー株式会社 (SIOS Technology, Inc.) 株式 東京証券取引所 第二部 (証券コード：3744) 本社 東京都港区南麻布2-12-3 サイオスビル 設立 1997年5月23日 資本金 1,481百万円(2013年12月31日現在) 代表 代表取締役社長 喜多 伸夫 従業員数 連結387名 (2015年6月30日現在) URL http://www.sios.com
- 3. © SIOS Technology, Inc. All rights Reserved. サイオステクノロジーについて 3 サイオステクノロジーは、1997年の創業以来、Linuxに代 表されるオープンソースソフトウェア（OSS）の開発と利 用を軸に、OS（基本ソフトウェア）からWebアプリケー ションソフトウェアにかかわる事業を推進し、情報システム のコスト削減に関する取り組みを推進しています。 また、市場が拡大しつつあるクラウドコンピューティング分 野でも、OSSの利活用を通じて、最先端のシステムを提供 しています。 SIOS is Innovative Open Solutions
- 4. © SIOS Technology, Inc. All rights Reserved. 事業概要 4 事業継続事業 Red Hat事業 OSS事業 プロフェッショナルサービス事業 ITサービス/システム継続のための様々な要求に応える製品・サービスをご提供します。 Red Hat Enterprise LinuxやRed Hat JBoss Middlewareなど エンタープライズ向けに最適化されたオープンソースソリューショ ンをRed Hat社とともにご提供します。 エンタープライズ向けOSSソリューションの製品販売をはじめ、OSSを活用した企業 システムの構築や保守サポートをワンストップでご提供します。 クラウドサービス導入、ID統合管理システム、認証（SSO）システムの構築や保守サ ポート、ITコンサルティングサービスを提供します。
- 5. © SIOS Technology, Inc. All rights Reserved. 事業概要 5 BIG DATA事業 SIOS Applications事業 DirectorsGear事業 米国トレジャーデータ社が提供する大規模データ蓄積の為のクラウドサービスと周辺 オープンソースソフトウェア群の導入支援サービスをご提供します。 複合機と連携し、ペーパーレスオフィスの推進、業務の効率化やスピードアップを実 現するサイオス独自開発のアプリケーションをご提供します。 B2Bメディアプラットフォームをベースとした楽曲権利流通支援ビジネスとして、 レコードレーベルから媒体関係者に対して発売前の新譜情報を配信するサービスや 音源提供から放送局が保有するパッケージ検索・放送報告まで実施できる放送番組 制作支援サービスをご提供します。 SIOS iQ 事業 VMware仮想環境の最適化、性能改善、問題の原因分析と未然防止のためのプラット フォーム を提供します。
- 6. © SIOS Technology, Inc. All rights Reserved. About SIOS iQ 6
- 7. © SIOS Technology, Inc. All rights Reserved. SIOS iQが生まれた背景 7 仮想化のメリットが認知され、急速に普及 柔軟性、俊敏性、TCOの削減 仮想化により、新たな課題の発生 複雑さの増加、不可視な相互作用・相互依存関係 より高度な専門性と広範囲な知識が必要 専門知識・専門家が不足、解析に時間がかかる 人手による解析の限界 ビジネスの成長を支えるシステムでは、 深刻な課題 AppNW Host DB Storage VM
- 8. © SIOS Technology, Inc. All rights Reserved. SIOS iQとは？ 仮想環境で稼働するクリティカルなアプリケーションの 「環境と性能の最適化」「問題の原因分析と予測」 のためのプラットフォーム 機械学習搭載で、しきい値やポリシーを使わない 8 し き い 値 ポ リ シ ー 常態学習 原因分析 アノマリ検出 問題発生予測 パフォーマンス分析 信頼性分析 効率性分析 キャパシティ分析
- 9. © SIOS Technology, Inc. All rights Reserved. エディション 9 VMware仮想環境をご利用のシステム ・開発環境 ・実験・評価用 ・ワークロードが安定 ・処理性能が要求されない SIOS iQ Free Edition SIOS iQ Standard Edition ・ミッション・クリティカル ・ユーザやデータが急速に増加 ・新サービスのリリースが頻繁 ・高い安定性が要求される ・高い処理性能が要求される ・ピークの差が激しい
- 10. © SIOS Technology, Inc. All rights Reserved. SIOS iQ：仮想環境分析プラットフォーム サイロ化の壁を取り除く サイロ化されたデータを集約し、 正規化 全てのデータを時系列で蓄積 データ間の関連・依存関係、シ ステムの振る舞いを分析 分析されたデータを学習し、ナ レッジを蓄積 専門家集団が結集するよりも、 速く・綿密に分析 行動可能な提案 分析するだけでなく、課題の解 決策を導出し、提案 10 機械学習 時系列で関連性分析 サイロデータを収集し 正規化 ダッシュボード アプリ ケーショ ン コ ンピュ ート スト レージ ネッ ト ワーク C P U メ モリ W EB ERP DB アプリ ケーショ ン 監視 サーバ 監視 スト レージ 監視 ネッ ト ワーク 監視
- 11. © SIOS Technology, Inc. All rights Reserved. SIOS iQの特徴 機械学習により実現するシンプルさ 学習結果に基づく分析により、閾値やポリシーを使わない 原因分析と提案 監視ツールと違い、問題の根本原因や具体的な改善策を提案 エージェント・レス 情報収集用エージェントのインストールは不要 簡単セットアップ SIOS iQは、OVA仮想マシン・イメージとして提供 24時間×365日、無停止連続学習・分析 セットアップ完了後、直ちに情報収集・学習を開始 コンパクト 過去のデータは、要約・圧縮して保存 24時間→７日間→１ヶ月間→１年間 11
- 12. © SIOS Technology, Inc. All rights Reserved. PERCダッシュボード 環境全体を俯瞰する統合ビュー サービス品質や最適化の度合いを示す４つの指標 12
- 13. © SIOS Technology, Inc. All rights Reserved. インテリジェンスに裏付けされたシンプルさ 限りなくシンプルなUIで、確認する必要がある事だけを 確認するために、最適化されたビューを提供 13
- 14. © SIOS Technology, Inc. All rights Reserved. 指先ひとつでドリルダウン 14
- 15. © SIOS Technology, Inc. All rights Reserved. 問題発生箇所の特定 15
- 16. © SIOS Technology, Inc. All rights Reserved. 問題発生箇所の特定 16
- 17. © SIOS Technology, Inc. All rights Reserved. 全ての必要な情報をひとまとめに 17 ・問題種別 ・問題の症状 ・問題検出レイヤ ・発生・収束時刻 ・原因を作ったオブジェクト ・推奨される対応策 ・影響を受けたオブジェクト ・受けた影響の詳細 ・現象
- 18. © SIOS Technology, Inc. All rights Reserved. SIOS iQ 3.0の主な機能 性能問題の原因分析と予測 常態学習に基づいたアノマリ検出 問題発生時の原因分析、問題発生予測 フラッシュ・リード・キャッシュの最適値分析 システムの振る舞いを学習し、フラッシュ・ストレージなど 高速ローカルストレージへのキャッシュの設定値の最適値を 分析し、設定値を提案 無駄なリソースの検出 活動していない仮想マシンや仮想マシンに割り当てられた無 駄なリソースを検出し、浪費削減を提案 18 常態学習 原因分析 問題の未然防止 性能改善 リソース最適化 アノマリ検出
- 19. © SIOS Technology, Inc. All rights Reserved. Inside SIOS iQ 19
- 20. © SIOS Technology, Inc. All rights Reserved. 機能ダイアグラム Big Raw Data Machine Learning Analytics Engine Knowledge vGraph Solution 収集した生データを vGraphでノード間の 相関関係をモデル化 目的に応じた機械学習 アルゴリズムで分析し、 知識として蓄積 目的に応じた分析アルゴ リズムで、蓄積された知 識とライブデータを分析
- 21. © SIOS Technology, Inc. All rights Reserved. SIOS iQを支える３つの技術 • vGraph™グラフ理論 • システムの構成要素間の隠 れた関係性を自動検出 • 振る舞いと現象の関連捕捉 • 機械学習エンジン • 継続的なモニタと学習 • 常態の識別と異常の検出 • 知識の継続的な最適化 • 最適値の導出 • 変更のシミュレーション • PERCダッシュボード • システム全体のサービスレ ベルを鳥瞰できる統合 ビューと詳細情報へのドリ ルダウン 21 機械学習 エンジン PERC ダッシュボード vGraph™ グラフ理論
- 22. © SIOS Technology, Inc. All rights Reserved. vGraph 環境から抽出した構成情報 各種IOの情報（時間・量・場所） システムイベント 2 裏側の相関関係 インフラストラクチャ上のリソースをグラフのノードとし、 それらの繋がりをエッジとして表現。 静的な繋がりは、設定等を解析し、モデル化。 動的な繋がりは、 ・ネットワークの通信内容 ・同時に発生したイベントや現象 エラーログ パフォーマンスの遅延 などを解析し、モデル化。 モデル化されたグラフからは、 各種アルゴリズムを使用して、 目的情報を抽出することができる。
- 23. © SIOS Technology, Inc. All rights Reserved. 機械学習 機械学習 vGraphによって抽出された情報を各種アルゴリズム で分析・蓄積 機械学習アルゴリズムの例 k-means（クラスタ化）：データのクラスタ化 SVM（境界線抽出）：グループ間の境界線を導き出す Regression（回帰分析）：説明変数、目的変数、式の導出 分析 学習で蓄えた知識ベースを目的に応じて分析に使用 分析アルゴリズムの例 Mahalanobis 多変数間の相関に基づき、類似性によって、新たな標本と既知 の標本との関係を明らかにする 23
- 24. © SIOS Technology, Inc. All rights Reserved. vGraph Machine Learning k-means SVM Regression etc Training normalization retention Provider Clusters Mahalanobis Machine Learning Algorisms Variety of Cluster Definitions Live Data anomaly detection Anomaly Analysis 異常検出(Anomaly Detection)の例
- 25. © SIOS Technology, Inc. All rights Reserved. 異常検出における閾値利用時との差 閾値による判定 常態学習に基づくアノマリ検出 学習によって得た知識 ライブ・データライブ・データ 判定結果の差異 閾値
- 26. © SIOS Technology, Inc. All rights Reserved. アノマリー検出と原因分析・影響分析 アノマリー検出 長期間にわたるモニタリングにより得られたデータを、 k-means法に代表される機械学習により、システムの通常運 用時のサイクルで発生しうる状態を学習した上で、常態とし てあり得ない数値や振る舞いを検出 原因からの影響分析 アノマリーと検出された振る舞い（原因）が、インフラスト ラクチャ上のどの要素に、どんな影響を及ぼしたかを分析 症状からの原因分析 アノマリーと検出された症状（影響）が、インフラストラク チャ上のどの要素の振る舞いにより、発生したかを分析 26
- 27. © SIOS Technology, Inc. All rights Reserved. SIOS iQ 3.0の性能問題検出機能 ストレージ性能 アプリケーション・ストレージ競合 特定仮想マシンの異常な動作により、全体に影響 ストレージ競合 ストレージ故障の予兆、過度な数の仮想マシン CPU/メモリ性能 アプリケーションのCPU/メモリ不足 特定仮想マシンの異常な動作により、全体に影響 物理ホスト・レベルのCPU/メモリ不足 過度な数の仮想マシンで、物理CPU/メモリ不足 アプリケーション・インパクト 仮想マシン・アプリケーションの異常な動作 27
- 28. © SIOS Technology, Inc. All rights Reserved. フラッシュ・リード・キャッシュの最適値分析 課題 キャッシュの設定に関する明確な指針が無い 個々のシステムの設定値はネットでは調べられない 機能 vFRCや各種ベンダーが提供するRAMやローカル・フラッシュ・ス トレージを使用したローカル・リードキャッシュの設定の最適値を 提案 特長 システムの振る舞いを観察・学習し、個々のシステムのキャッシュ の最適な設定を導出 具体的な設定値の提案と改善効果の予測 設定： 対象仮想マシン、データストア、ストレージ、 キャッシュサイズ、ブロックサイズ 予測：改善後のIOPS、レイテンシ、ヒット率の予測値 効果 リードキャッシュの効果を最大化 フラッシュストレージへの投資対効果を最大化 28
- 29. © SIOS Technology, Inc. All rights Reserved. 効率性分析 機能 アイドルVMの検出 使用されていない仮想マシンを特定する 無駄に多く割り当てられたリソースの検出（Coming Soon） 不要なスナップショットの検出 バックアップで取得されたスナップショットから、不要 なスナップショットを特定する 特長 24時間365日、休むことなく、システムの振る舞い や通信内容を分析して、実際に使用されているか・ いないかを分析 効果 人手をかけずに的確に分析でき、既存ストレージを 有効活用 29
- 30. © SIOS Technology, Inc. All rights Reserved. SIOS iQ 3.0の動作環境 SIOS iQ OVA（仮想マシン）の動作要件 4vCPU、16GBメモリ、132GBディスク 分析対象サポート環境 仮想化ソフトウエア・ハイパーバイザ VMware ESXi + vCenter OS：VMwareでサポートされている任意のOS クラウド IBM SoftLayer ベア・メタル・サーバ ESXiとvCenterが必要 SoftLayer仮想サーバは、未サポート ※今後、順次、サポート範囲を拡大予定 30
- 31. © SIOS Technology, Inc. All rights Reserved. ロードマップ 31 インテリジェンスに裏付 けされたサンプルさの デモンストレーション 性能上の問題を解決 最適化 プランニング支援 問題の未然防止 2015年Q1 – SIOS iQ Freeview PERCダッシュボード 無駄な仮想マシン 不要バックアップ検出 2015年7月 – SIOS iQ Standard Edition 性能上の問題の検出 - 原因分析 ストレージ性能の最適化 - ホスト・キャッシュ分析 2015年第４四半期〜 効率性 – 過度なリソース割り当て最適化 信頼性 – 回復性、弾力性の向上 キャパシティ – 予測、シミュレーション
- 32. www.sios.jp