09 hinemos deepdive_mission critical function_public documentation_20191106
- 1. © 2019 NTT DATA INTELLILINK Corporation Hinemos Deep Dive ～ ミッションクリティカル機能 on クラウド ～ NTTデータ先端技術株式会社
- 2. © 2019 NTT DATA INTELLILINK Corporation 2 はじめに クラウド利用もスタンダードになってきた昨今でも、 運用管理製品のクラウド上の可用性構成は非常に大きな課題 です。 本セクションでは、クラウド環境上で可用性構成の難しさと その解決方法を解説します。 それにより、先日AWS 東京リージョンで発生したようなAZ の大規模障害時でも安心して運用継続できることを説明しま す。
- 3. 3© 2019 NTT DATA INTELLILINK Corporation 1. パブリッククラウド上の 運用管理マネージャを 高可用性構成にするには？ 2. ～障害発生時の挙動～ AWS大規模障害中の Hinemosは？
- 4. © 2019 NTT DATA INTELLILINK Corporation 4 パブリッククラウド上の 運用管理マネージャを 高可用性構成にするには？
- 5. © 2019 NTT DATA INTELLILINK Corporation 5 クリアすべき３つの課題 ①クラスタミドルの課題 ②共有ディスクの課題 ③仮想IP（FIP）の課題
- 6. © 2019 NTT DATA INTELLILINK Corporation 6 ①クラスタミドルの課題 一般的な運用管理製品 共有ディスク エー ジェン ト クラスタミドル クラスタミドル 運用管理 マネージャ 運用管理 マネージャ ハートビード 一般的な運用管理製品の可用性構成 ？ クラウドでは ：SIP ：FIP 1. クラスタミドルは 組み合わせに対応できるか？ ・運用管理製品に対応？ ・クラウドに対応？ ・その両方に対応？ 2. クラスタミドルは 目的の障害に対応できるか？ ・NWセグメント障害は？ （VPC等） ・データセンタ障害は？ （AZ等）
- 7. © 2019 NTT DATA INTELLILINK Corporation 7 ①クラスタミドルの課題 Hinemosによる解決 エー ジェン ト ClusterContoller ClusterContoller Hinemos マネージャ Hinemos マネージャ ハートビード Hinemosマネージャの可用性構成 内部DB 内部DB 同期 Hinemos MC機能は クラスタミドルの機能も組み 込み済み 組み合わせや動作クラウドの 確認は不要 AZ障害まで対応 ：SIP ：FIP
- 8. © 2019 NTT DATA INTELLILINK Corporation 8 ②共有ディスクの課題 一般的な運用管理製品 共有ディスク クラスタミドル クラスタミドル 運用管理 マネージャ 運用管理 マネージャ ハートビード 一般的な運用管理製品の可用性構成 1. 共有ディスクには 何を代替にするのか？ ・ブロックストレージ？ （EBS等） ・DBサービス？ （RDS等） 2. 共有ディスクの代替は 目的の障害に対応できるか？ ・NWセグメント障害は？ （VPC等） ・データセンタ障害は？ （AZ等） ？ クラウドでは エー ジェン ト ：SIP ：FIP
- 9. © 2019 NTT DATA INTELLILINK Corporation 9 ②共有ディスクの課題 Hinemosによる解決 ClusterContoller ClusterContoller Hinemos マネージャ Hinemos マネージャ ハートビード Hinemosマネージャの可用性構成 内部DB 内部DB 同期 Hinemos MC機能は 内部DBが自分自身で同期を実施 AZ障害まで対応 エー ジェン ト ：SIP ：FIP
- 10. © 2019 NTT DATA INTELLILINK Corporation 10 ③仮想IP（FIP）の課題 一般的な運用管理製品 クラスタミドル クラスタミドル 運用管理 マネージャ 運用管理 マネージャ ハートビード 一般的な運用管理製品の可用性構成 1. AWSでは次のNW間で 仮想IPへ接続できません ・VPC Peer間 ・Direct Connect間 2. AzureではIP関連処理で 次の問題があります ・IP付け替え処理が遅い API操作で数分レベル ・ロードバランサ方式推奨 SIが必ず発生する クラウドでは × エー ジェン ト ：SIP ：FIP VPCのRouteTableはVPC内 からの通信にしか効かない 共有ディスク az network nic ip-config delete -g <リソースグループ名> -n <IP構成名> --nic-name <旧MasterサーバのNIC名> az network nic ip-config create -g <リソースグループ名> -n <IP構成名> --nic-name <新MasterサーバのNIC名> --private-ip- address <FIP>
- 11. © 2019 NTT DATA INTELLILINK Corporation 11 運用管理製品が故の課題 運用管理マネージャは、 あらゆるＮＷセグメントのエージェントと通信が必須 同一サブネット間 別サブネット間 別VPC間
- 12. © 2019 NTT DATA INTELLILINK Corporation 12 ③仮想IP（FIP）の課題 Hinemosによる解決 ClusterContoller ClusterContoller Hinemos マネージャ Hinemos マネージャ ハートビード Hinemosマネージャの可用性構成 内部DB 内部DB 同期 自動切換え ・Hinemosは静的IPに対応 ・障害発生ノードから正常 ノードへ自動で切替 ・VPC間、Direct Connect間 も問題なし エー ジェン ト ：SIP ：FIP
- 13. © 2019 NTT DATA INTELLILINK Corporation 13 ３つの課題のまとめ ①クラスタミドルの課題 ②共有ディスクの課題 ③仮想IP（FIP）の課題 クラスタ機能を 内包 自身で内部DB を同期する機構 静的IPベースで シンプルな切替 一般的な運用管理製品の可用性構成 Hinemosの可用性構成
- 14. © 2019 NTT DATA INTELLILINK Corporation 14 Hinemosの可用性構成のポイント • Hinemosというソフトウェアで可用性構成を実現 • クラスタミドル不要 • 共有ディスク不要 • 可用性構成のトラブルもソフトウェアの範疇で対応 • 製品の組み合わせによる切り分けが不要 • オンプレ・仮想化・クラウドで同じ可用性構成 • どの環境でも可用性構成は同じアーキテクチャ • クラウドの仮想IP問題も意識する必要なし • 運用管理製品特有の問題も簡単にクリア
- 15. © 2019 NTT DATA INTELLILINK Corporation 15 ～障害発生時の挙動～ AWS大規模障害中の Hinemosは？
- 16. © 2019 NTT DATA INTELLILINK Corporation 16 2019.8.23のAWSの東京リージョン大規模障害 ・2019年8月23日12時30分～ ・6～10時間前後 ・AWSの東京リージョン AP-NORTHEAST-1 ・EC2、EBS、RDSの一部 ・データセンタ規模の障害 ・マルチAZ構成における デファクトALBでもエラーが 発生し回避不可 規模 対象 ポイント
- 17. © 2019 NTT DATA INTELLILINK Corporation 17 AWSの東京リージョン大規模障害中のHinemos？ データセンタ規模の障害 マルチAZ構成における デファクトALB クラウドの状態管理 AZ対応 ALBを使わず 自身で振り分け クラウドサービス監視 でいち早く検知 東京リージョン大規模障害中のポイント Hinemosの可用性構成
- 18. © 2019 NTT DATA INTELLILINK Corporation 18 AWSの東京リージョン大規模障害中のHinemos？ データセンタ規模の障害 マルチAZ構成における デファクトALB クラウドの状態管理 AZ対応 ALBを使わず 自身で振り分け クラウドサービス監視 でいち早く検知 東京リージョン大規模障害中のポイント Hinemosの可用性構成
- 19. © 2019 NTT DATA INTELLILINK Corporation 19 クラウドサービス監視 2019.8.23時点のAWS Health dashboard EC2障害 RDS障害 Hinemosが自動的にAWS Health dashboardからRSSで情 報を取得し、システムの障害かクラウドの障害かを判別可能 RSS
- 20. © 2019 NTT DATA INTELLILINK Corporation 20 まとめ
- 21. © 2019 NTT DATA INTELLILINK Corporation 21 まとめ • Hinemos クラウド環境下でも可用性を簡易に実現 • AWS大規模障害でも安心して運用を継続 • それを支えるのは、ソフトウェアで実現するシンプルな可 用性構成のミッションクリティカル機能 クラウド上で安心した監視・ジョブ運用を実現したい場合、 是非Hinemosをご検討ください
- 22. © 2019 NTT DATA INTELLILINK Corporation