devsummit_nifcloud_vmware
1 like2,621 views
Developers Summit 2018 VMware 運用を10年続けてきた今だから言えること ～VMware vSphere ベースのパブリッククラウドが乗り越えた壁～
![Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED
ニフクラのファイアウォール機能
ハイパーバイザーのカーネルモジュール
でパケットを処理するアーキテクチャ
• ネットワーク性能をほとんど落とさない
22
以前利用していた製品が EoS になったため
同様のアーキテクチャを持つ NSX を採用
• ニフクラは NSX のデザインパートナーに認定していただき
リリース当初から VMware とディスカッションを行ないました
new
活性移行
FW スループット
[%]
NSX 59%
以前の製品 50%
なし 100%](https://image.slidesharecdn.com/devsumi-180216080457/85/devsummit_nifcloud_vmware-22-320.jpg)
devsummit_nifcloud_vmware
- 1. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED Developers summit 2018 VMware運用を10年続けてきた今だから言えること ～VMware vSphereベースのパブリッククラウドが乗り越えた壁～ 富士通クラウドテクノロジーズ株式会社 樋口 茂幸 ヴイエムウェア株式会社 福本 薫
- 2. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED 自己紹介 ー 樋口 茂幸 富士通クラウドテクノロジーズ株式会社 インフラSRE部 エンジニア 2013年からニフクラ IaaS 担当 主な今までの業務 • 仮想化やネットワークサービスの企画・運用 • ニフクラ IaaS への NSX 導入 2
- 3. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED 自己紹介 – 福本 VMware Cloud Solutions Strategist, Global Cloud Practice, VCPP Tech Services ドットコムバブル真っ盛りだったシリコンバレーで11年間プログラマーと して勤務 2007年に帰国後VMwareに入社して以来、プロフェッショナルサービスの コンサルタントとして一台の物理サーバの仮想化から複数データセンター にまたがるクラウド基盤構築まで様々なプロジェクト支援に従事 直近３年間は、グローバルのクラウド事業者パートナーの支援を担当
- 4. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED アジェンダ ニフクラの変遷 ユーザーが知らない間に IaaS の裏側で起きていた3つのこと • データセンター間マイグレーション • 安全なストレージファームアップ • NSX 分散ファイアウォールマイグレーション 自動化のいままでと最近の取り組みについて • 今までの取り組みと効果 • 現在の課題とインフラの CI/CD ニフクラのこれから 4
- 5. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED Confidential ｜ 5 ニフクラの変遷
- 6. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED 富士通クラウドテクノロジーズ（株） 6
- 7. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED NIFCLOUD サービスの変遷 7 パソコン通信事業 ISP事業 Webサービス事業 クラウド事業開始 2010年 1987年 「NIFTY-SERVE」 1996年 1999年 数百万人のインターネットライフを支える ＠niftyのサービス運用から誕生した国産パブリッククラウド 2017年2007年
- 8. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED VMware の賞を受賞しました 2016 VMware Partner Innovation Award でアジア・太平洋 および日本の「VMware Regional Cloud Provider of the Year」を受賞いたしました。 ヴイエムウェア製品を使用した革新的なソリューションを提供した クラウドプロバイダーとして受賞しました。 8
- 9. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED 9 ユーザーが知らない間に IaaS の裏側で起きていた3つのこと
- 10. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED IaaS を提供する上で大切にしていること 10 DNS RDB マルチロード バランサーESSNAS Timer OS インストール済みサーバー NSX Edge IaaS iPaaS ここをユーザーに 意識させないために 頑張っています！ インフラ部分をユーザーに意識させないこと
- 11. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED 11 データセンター間マイグレーション
- 12. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED データセンター間マイグレーション データセンター間での VM のマイグレーションを実施しました。 もしデータセンターがなくなるような事態があっても、ユーザーは気にしなくても大丈夫です 12 移行先DC移行元DC 最新のハードウェアに 変わり性能アップオンラインで移行 今の時代にふさわしい ハードウェア
- 13. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED データセンター間マイグレーション データセンター間での VM のマイグレーションを実施しました。 もしデータセンターがなくなるような事態があっても、ユーザーは気にしなくても大丈夫です 13 移行先DC移行元DC CPU 世代の新しいサーバー フラッシュストレージ NIOC を活用した 新しい構成のネットワーク Cross vSwitch vMotion により vDS を変更しつつ移動 ストレージ vMotion EVC を利用して世代を吸収 オンラインで移行 最新のハードウェアに 変わり性能アップ
- 14. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED 14 安全なストレージファームアップ
- 15. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED 安全なストレージファームアップ 問題 • VM を載せたままファームアップをしていた • 検証をしていても本番で失敗することがあった 15 ファームアップ時のエラーが 直接 VM に影響
- 16. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED 安全なストレージファームアップ いま • ストレージ vMotion でストレージを空にしてからファームアップ 16 ファームアップ時にエラーがあっても VM に影響を与えない ファームアップ時に発生する瞬断もない
- 17. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED 安全なストレージファームアップ 気をつけたところ • ストレージ vMotion 自体の影響は考慮・確認している • 現在も安定してストレージ vMotion を実行できている 17 負荷がかかる時間をなるべく避けながら 余裕のもった流量でも作業が完了するよ うに が 24/365 対応している IO ネットの負荷 VM の IO 性能を秒単位で監視している 異常の可能性がある場合は作業を停止する ストレージ自体への負荷
- 18. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED ストレージ機器監視 秒単位の監視を実施 監視VM slave001 管理用VM Master 管理用VM Backup 監視VM slave002 監視VM slave003 Zookeeper クラスタ Storages Mesosクラスタ(監視拡張性/冗長化を担保) Zabbix Server MariaDB Zabbix(監視データ冗長化 担当) Elastic + Kibana (ストレージ容量関連) ES1 Kibana Influxdb + Grafana + Bosun (保存用) (ダッシュボード) (アラート) Influxdb1 Grafana Bosunデータ取得 ZabbixSender ベンダーA ベンダーB ベンダーC . .
- 19. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED ストレージ機器監視 調査対応で利用する例 • 複数ソースのデータが見えると調査しやすい VMから見たレイテンシ ストレージ機器の性能値情報 ストレージ機器のログ (特定操作のタイミング表示なども)
- 20. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED 高レイテンシの頻度をチェックして、対応が必要か見る • 対応作業ログも同時に見えると、効果が出たか分かりやすい ストレージ機器監視 作業ログ 頻度集計 対象ストレージ作業者 作業内容 対象ストレージ
- 21. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED 21 NSX 分散ファイアウォールへの移行
- 22. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED ニフクラのファイアウォール機能 ハイパーバイザーのカーネルモジュール でパケットを処理するアーキテクチャ • ネットワーク性能をほとんど落とさない 22 以前利用していた製品が EoS になったため 同様のアーキテクチャを持つ NSX を採用 • ニフクラは NSX のデザインパートナーに認定していただき リリース当初から VMware とディスカッションを行ないました new 活性移行 FW スループット [%] NSX 59% 以前の製品 50% なし 100%
- 23. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED ニフクラのファイアウォール機能 23 VMware ESXi 以前のFW VMware ESXi 以前のFW NSX VMware ESXi 以前のFW VMware ESXi 以前のFW NSX VMware ESXi NSX 状態の更新 以下のステップで移行することによりシームレスな移行を実現 NSX 無効状態で インストール ファイアウォール ルールコピー NSX フルオープンで 有効化 以前の FW 無効化 NSX
- 24. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED ニフクラが NSX を導入したことにより ファイアウォールだけではなく 様々なネットワーク機能を提供可能になっています
- 25. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED 25 自動化のいままでと最近の取り組みについて
- 26. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED インフラ運用のノウハウをコード化している 26 コーディング ( pyvmomi, PowerCLI,etc ) コードレビュー Jenkins 登録 利用開始 エンハンス コード共有会 （毎月1回） Gitlab コミット Web開発フローを活用した、ノウハウのコード化と共有・再利用 チケット化
- 27. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED ハード異常時の予防対応と自動化 Service Net. IO Net. IPMIを使用して ハードの予兆アラートを検知 スクリプトでの他サーバへの移行 メンテナンス実施 正常性確認スクリプトの実行 クラスタへの再組み込み 検知→一次対応の自動化により、完全故障前での障害の未然防止 故障が事前に検知可能
- 28. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED ハード異常時の予防対応による効果 0 2 4 6 8 10 12 13/10 13/11 13/12 14/01 14/02 14/03 14/04 14/05 14/06 14/07 14/08 14/09 14/10 14/11 14/12 ハード障害件数 ハード監視による予防交換件数 ハード監視開始 障害前の水際防止に成功
- 29. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED 品質向上のために ツール自体が環境の変化によってうまく動かなくなる事があった ソフトウェア開発はテストによって品質担保 昨今では自動テスト、更には Continuous Integration (CI) も普及 Infastructure as Codeの時代、 弊社でも運用等に用いるものの多くはコード化されている 29 ビルド テスト 開発
- 30. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED Gitlab CI を用いた OS イメージの機能テスト Gitlab CI VMware ESX VMware ESX VMware ESX Test code push Gitlab CI runner ovftool Image build Run test
- 31. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED Gitlab CI を用いた OS イメージの機能テスト Gitlab CI VMware ESX VMware ESX VMware ESX code push Gitlab CI runner ovftool Image build Run test この部分を用意するのが大変
- 32. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED インフラ関連ツールの CI/CD への取り組み 32 Nested ESXi を利用した vSphere 環境を vApp としてまとめて利用している 詳しくは富士通クラウドテクノロジーズ アドベントカレンダー2017にて GitLab ESXiESXiESXi ESXi vCenter Server GitLab CI runner vCenter Server ESXi GitLab CI runner VM VMVM VM テスト 環境 テスト 環境 テスト 環境 開発 環境 1. gitリポジトリへ コードをpush 2. テスト用ジョブ 実行要求 3. 環境初期化用の ジョブをトリガー 4. 環境初期化用の ジョブ実行要求 5. 環境初期化のためのAPI発行 6. テスト環境の初期化 7. テストの実施
- 33. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED インフラ関連ツールの CI/CD への取り組み テスト用インフラ環境構築を含めたデプロイメントパイプラインを準備 33 コミット ビルド 単体テスト パッケージ化 テスト 環境作成 機能テスト リリース 責任者開発者 コードもしくは サポート環境の変更 この時点でインフラを用意した テストを実行する ここでサービス全体のテストを 実行する
- 34. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED おわりに インフラを意識せずに利用できる IaaS 提供を続けます エンタープライズ品質を維持したまま進化を続けます クラウドの世界への「移行しやすさ No1」を目指します これからも をよろしくお願いします 34
- 35. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED 35 最後に
- 36. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED ぜひ公演後にお声掛けください 「ニフクラのステッカーが欲しい」方 「採用の情報を知りたい」方 36 まだまだメンバーが必要なのでぜひよろしくお願いします 採用ページもあります！ 積極的に 採用中です！
- 37. Copyright 2018 FUJITSU CLOUD TECHNOLOGIES LIMITED