Alibaba Cloudが1万個のKubernetesクラスタを管理する方法
0 likes1,689 views
2020/12/11 AliEaters Tokyo #16の発表資料。 「Kubernetes as a serviceの謎を解く。Alibaba Cloudが1万個のKubernetesクラスタを管理する方法」
Alibaba Cloudが1万個のKubernetesクラスタを管理する方法
- 1. Kubernetes as a serviceの謎を解く。 Alibaba Cloudが1万個のKubernetesクラスタを 管理する方法 マネージドサービスの裏側の努力を知る。 1 @mosuke5 AliEaters Tokyo #16 (2020/12/11)
- 2. 自己紹介 2 名前 もーすけ (@mosuke5) 仕事 Red HatでKubernetesに関するお仕事とか それまで Alibaba Cloudの日本リージョンの立ち上げ・運営 （いちおう初代MVP。失効寸前ｗｗ） モバイルネットワークの監視システムの開発・運用 Webアプリケーションエンジニア（学生時） 最近のこと 珈琲、自作家系ラーメン、 ブログ https://blog.mosuke.tech
- 5. なにが難しいか 1. Alibaba Cloud Container Service for Kubernetes（以下、ACK）は、世界で 10,000以上のクラスタが利用されている。 2. ひとつのクラスタが大きいのではなく、クラスタ数が多い。 a. 消したり作ったりされる b. 大規模も小規模もある c. 種類もたくさん i. managed, serverless, gpu cluster, edge cluster, windows... d. Kubernetesのバージョン違い e. 20のリージョンで展開
- 6. ① Kube-on-kube and cell-based architecture ACKは、KubernetesクラスタをKubernetes自体を使って管理している。 つまり、顧客のKubernetesクラスタのコントロールプレーンを管理するためにメタ Kubernetesクラスタを用いて 管理している。 セルA セルB セルC meta cluster meta cluster meta cluster Customer clusters Customer clusters Customer clusters
- 9. Operatorとはなにか？ カスタムリソース kind: MyDeployment apiVersion: mosuke5.com/v1 metadata: name: my-application spec: readReplicas: 3 image: my-image configs: - config-1 - config-2 - config-3 Kubernetes 利用者 Deployments StatefulSets Autoscalers Secrets ConfigMaps PersistentVolume K8s API Operator / Custom Controller (Podとして起動) イベント監視 Reconciliation （調整ループ） 別名カスタムコントローラ。ユーザ独自のコントローラを作成す ることで、ネイティブの Kubernetesでできなかった動きを実現 することができる。Go言語等での開発が必要。 独自のロジックで Kubernetesリソースを 作成・削除・調整 9
- 10. Kubernetes管理用のOperator Ant Financial でも同様のKubernetesクラス タ管理用方法を用いており、記事の内容から 推測するに、Kubernetesを生成するための Operator（Kubernetesの拡張）を作って対応 していると思われる。 中国語参考記事: 万级规模 K8s 如何管理？蚂蚁双11核心技术公开 https://developer.aliyun.com/article/726802 カスタムリソース（下記はイメージです） kind: AckCluster apiVersion: aliyun.com/v1 metadata: name: user-a-cluster-01 spec: version: 1.18.0 cluster-type: managed cluster-name: hoge-cluster nodes: - instance-type: ecs.t3.xlarge disk: 50GB ssh-key: hogekey - instance-type: ecs.t3.xlarge disk: 50GB ssh-key: hogekey cni-plugin: terway
- 11. ② Capacity planning for meta cluster API Server etcd controller manager scheduler control plane for userA API Server etcd controller manager scheduler control plane for userB meta kubernetes cluster customer kubernetes cluster ENI kubelet kube-proxy kubelet kube-proxy User work loads meta clusterのリソース使用量や、利 用しているVPCのネットワークリソース などを見て、新しいセルを作るかどう か検討する。 API Server向けSLB (Control Planeはマネージド) ENIでAlibaba Cloud管理側の VPCとコネクト
- 12. ③ Scaling the master components of customer clusters API Server etcd controller manager scheduler control plane for userA API Server etcd controller manager scheduler control plane for userB meta kubernetes cluster customer kubernetes cluster ENI kubelet kube-proxy kubelet kube-proxy User work loads control planeのスケールし なければいけないタイミング がある。ある計算ロジックに 合わせて、3段階でスケー ルする。 API Server向けSLB (Control Planeはマネージド) ENIでAlibaba Cloud管理側の VPCとコネクト
- 13. ACK: professional managed cluster 最近ACKにSLAの高いクラスタモード（Professional Clustere）が追加された。その機 能の内容に下記がある。この機能の内容が、おそらくいま説明したものである。（おそ らくと書いたのは明確にドキュメントに書かれていないので） API Server - Provides the automatic scaling feature. - Monitors availability.
- 14. ④ Evolving customer clusters at scale Kubernetesは3ヶ月に1つマイナーバージョンがあがる。サポート期間は1年間とかなり 速いペースで進化する。また、Kubernetes本体だけでなくその上で動く各種ソフトウェ アもバージョンアップが行われる。 とにかくバージョンアップ追随が大変！！！ CSI CNI Device Plugin Scheduler Plugin Cloud Controller Manager alicloud-monitor-controller alicloud-application-controller kube-flannel-ds Nginx Ingress Controller metrics-server ・・・
- 15. 大量クラスタのバージョンアップに追随するために 1. プラグイン可能なコンポーネントをすべて登録・管理するための一元化されたシス テムの開発 2. 移行前のアップグレードが成功しているかどうかを確認するために、プラグインコ ンポーネントのヘルスチェックシステムを開発。 アップグレードごとのチェックとアップグレード後のチェックを実施。 3. 運用効率化のためのカスタムコントローラ開発 a. Kubernetesの拡張のコントローラを独自開発し、OSS化 → OpenKruise
- 16. ⑤ Global Observability Across Datacenters Edge Prometheus Customer cluster Customer cluster Customer cluster Edge Prometheus Customer cluster Customer cluster Customer cluster Edge Prometheus Customer cluster Customer cluster Customer cluster Cascading Prometheus Cascading Prometheus Central Prometheus China Regions Europe rigions Asia Regions Alert Manager SRE モニタリングは、典型的な多層 アグリゲーションモデルを用い て設計。 DingTalk, etc
- 17. まとめ 1. Alibaba Cloudのサービスを支える側の努力がわかると安心して使えてくる 2. 裏側を知るとサービスの仕様も理解できてくる 3. 中国語や英語で結構いい記事たくさんでているのでチェックすべし 4. アリババは、クラウドネイティブコミュニティへの貢献度もそこそこ高い気がする！ References 1. 【翻訳】Kubernetes as a serviceの謎を解く。Alibaba Cloudが1万個のKubernetesクラスタを管理する 方法 2. 万级规模 K8s 如何管理？蚂蚁双11核心技术公开 3. OpenKruise