vmware-meetup7
- 1. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. 2021年1⽉20⽇ クラウドプラットフォーム本部 技術１ コンピュート 道下 幹也 Yahoo! JAPANのIaaS with VMware
- 2. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. Speaker 2 • 名前 : 道下 幹也 • 所属 : ヤフー株式会社 プライベートクラウドチーム • 仕事 : 社内向けIaaS構築・運⽤、検証 • VMware、GPUが絡む領域を担当
- 3. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. Agenda 3 • Yahoo! JAPANのIaaSとVMware環境について • VMware環境の構成・構築 • VMware環境の運⽤
- 4. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. Agenda 4 • Yahoo! JAPANのIaaSとVMware環境について • VMware環境の構成・構築 • VMware環境の運⽤
- 5. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. 背景/ヤフーのIaaS 5 - OpenStack: IaaS基盤を実現するOSS - 稼働実績: 2013年~ - クラスタ数: 200+ - HV: 21,000+ （ESXi: 1700+） - VM: 170,000+ - 運⽤⼈数: 20+ ( 開発や検証も兼任 )
- 6. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. ヤフーのVMware環境 汎⽤クラスタ OpenStack + QEMU / KVM 基本的なIaaSの構成 ベーシックな仮想化 6 特殊クラスタ OpenStack + VMware 特殊な要件の場合 BackendとしてVMwareを利⽤ （現在 32vCenterほど存在）
- 7. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. なぜVMwareを使うのか︖ 7 管理者 制約 オペレーション 困難 クリティカルに なりにくい 障害対応⾃体が 減る
- 8. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. なぜOpenStackを使うのか︖ 8 OpenStack ユーザ 汎⽤クラスタ vSphere 特殊クラスタ ユーザ
- 9. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. なぜOpenStackを使うのか︖ 9 OpenStack ユーザ 汎⽤クラスタ vSphere 特殊クラスタ ユーザ OpenStack
- 10. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. OpenStack + VMware 10 nova ESXi vCenter glance ESXi vDS DataStore neutron
- 11. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. OpenStack + VMware 11 nova ESXi vCenter glance ESXi vDS DataStore neutron
- 12. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. OpenStack + VMware 12 nova ESXi vCenter glance ESXi vDS DataStore neutron
- 13. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. OpenStack + VMware 13 nova ESXi vCenter glance ESXi vDS DataStore neutron
- 14. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. OpenStack + VMware 14 nova ESXi vCenter glance ESXi vDS DataStore neutron
- 15. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. Agenda 15 • Yahoo! JapanのVMware環境について • VMware環境の構成・構築 • VMware環境の運⽤
- 16. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. OpenStack on k8s with VMware 16 OpenStack コントローラコンテナ Kubernetes 443/tcp 利⽤者／管理者 仮想マシンの起動 ネットワーク構築 SnapShot作成 …etc 仮想マシン起動 PortGoup作成 OVF export + upload …etc ESXi vSphere vCenter ( 参考資料 ) Yahoo! JAPANにおけるOpenStack on Kubernetes導入までの道のり
- 17. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. 環境の⼀元管理 17 OpenStack Kubernetes 管理者 vSphere OpenStack OpenStack … vSphere QEMU / KVM … コントローラが怪しい → k8s側確認 コントローラ以外かも → バックエンド側確認 Controller側 Backend側
- 18. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. 現在の構成 18 namespace: A namespace: B … vSphere OpenStack Charts helm upgrade deploy コントローラ コンテナ コントローラ コンテナ vSphere value value A B 構築 スクリプト
- 19. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. VMware環境の構築の流れ 19 1. vSphereの構築 2. (Optional) Under Cloud （K8s）構築／増強 3. OpenStack Controllerのデプロイ
- 20. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. vSphere構築 20 1. vCenter⽤ESXiの設定（⼿動） 2. vCenterデプロイ（vcsa-deploy）、NTP設定など（⼿動） 3. データセンター、クラスター作成／ホスト追加（スクリプト） 4. vDS作成（⼿動） 5. クラスタ毎にESXi1台設定し、ホストプロファイル抽出（⼿動） 6. ホストプロファイルの全台適⽤（スクリプト） 7. 全ESXiのコンプライアンスチェック（スクリプト） ESXi vSphere vCenter
- 21. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. Under Cloud / OpenStack Controller構築 21 • Under Cloud （k8sクラスタ） • 都度構築が必要なわけではないので今回は省略 • クラスタが増えるとNodeを追加し対応 • Chefにより構築、増強の⾃動化 • OpenStack Controller Container構築 1. 新規構築⽤のHelmのValues（yamlファイル）を記載 2. GitにValuesをpush、merge 3. Jenkinsで⾃動デプロイ OpenStack コントローラコンテナ Kubernetes
- 22. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. デプロイの所要時間 22 • ⼿元に物が揃っていると規模にもよるが数⽇〜1W程度。 • 概ねvSphere側の構築に時間がかかる • OpenStack Controller側は早いと数⼗分で完了 • トラブルが発⽣することもあるが、⾃動化の恩恵で構築 のみを⾒ると所要時間はとても短い。
- 23. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. Agenda 23 • Yahoo! JapanのVMware環境について • VMware環境の構成・構築 • VMware環境の運⽤
- 24. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. VMware環境の監視の構成 24 OpenStack ESXi コントローラコンテナ Kubernetes vSphere vCenter ワークフロー 監視 SmokePing SNMP Syslog snmptrapd Splunk
- 25. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. VMware環境の運⽤ 25 • アラート対応 • 基本的にその⽇のアラート当番の⼈が対応する。 • 既知の事象については対応マニュアルが存在する。 • 多くの場合、このマニュアルで対応可能。 • 運⽤ • 未知のアラートの対応や定常運⽤、関連ツール開発は3⼈。 • VMware環境は安定性が⾼いため問題なく回っている。 • クラスタ数が多いためバージョンアップなどは。。。
- 26. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. まとめ 26 • OpenStack on k8s with VMwareの形で利⽤ • OpenStackのバックエンドとしてVMware • OpenStack Controllerはk8s上で動作 • 全体として障害に強い作り • 構築は極⼒⾃動化 • VMware側の構築時間が課題 • 監視はVMware側の内部監視、外部監視＋OpenStack のワークフロー監視 • 概ねのアラートはマニュアルで機械的に対応可能
- 27. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved. Copyright (C) 2021 Yahoo Japan Corporation. All Rights Reserved.