![Azure Infrastructure
Hardware Manager
Azure Resource Manager
Compute RPNetwork RP
Regional Network
Manager
Network State
Manager
Software load
balancer
Directory
Service
Compute
Controller
One-fleet Host
Network
Manager Agent
Load balancer
agent
Node Agent
Virtual
Filtering
Platform
Application
Containers
Application
Containers
Application
Containers
CA CA CA
細かい芸風を支える技術
Azure SDN Architecture
• 徹底してAPI/ソフトウェアで制御
できるようにしている
• 各ホストに配置されたVFP(Virtual
Filtering Platform)がカプセル化
/NAT/ACLなど重要な役割を担う
• [ご参考] Azure のネットワークが
さっぱり分からん](https://image.slidesharecdn.com/cloudboost201910208-190208071213/85/Azure-at-boost-24-320.jpg)
![[PR]](https://image.slidesharecdn.com/cloudboost201910208-190208071213/85/Azure-at-boost-32-320.jpg)
インフラ野郎 Azureチーム at クラウド boost
- 1. インフラ野郎 Azureチーム 真壁 徹 日本マイクロソフト株式会社 クラウドソリューションアーキテクト 2019/2/8 at クラウドboost 2019新春「クラウドboost」 ～Azureの集い～
- 2. 自己紹介 { “名前” : “真壁 徹(まかべ とおる)”, “所属” : “日本マイクロソフト株式会社”, “役割” : “クラウド ソリューションアーキテクト”, “経歴” : “大和総研 → HP Enterprise”, “特技” : “クラウド & オープンソース”, “資格” : “CNCF Certified Kubernetes Admin.”, “Twitter” : “@tmak_tw” }
- 4. 熱い話題 世界をつなぐバックボーンネットワーク クラウドベンダー自身が光ファイバーネットワークを持ち、世界中をつなげている バックボーンへのルーティングにはベンダーの色が出る プライベートネットワーク機能の拡充 プライベートネットワークのニーズはとどまるところを知らない 「IaaSだけでなく、PaaSやマネージドサービスもプライベートネットワークに閉じたい」 軽量かつセキュアなアプリ実行基盤 コンテナーやサーバーレスコンピューティングの本格化 リソースを共有してユーザーインスタンスを軽量化 <-> リソース分離 のトレードオフをいかに解決するか Firecracker、gVisor、etc クラウドベンダーの切磋琢磨
- 6. United States United States Canada Mexico Venezuela Colombia Peru Bolivia Brazil Argentina Atlanta Ocean Algeria Mali Niger Nigeria Chad Libya Egypt Sudan Ethiopia Dr Congo Angola Zambia Nambia South Africa Greenland Svalbard Sweden Norway United Kingdom France Poland Ukraine Turkey Saudi Arabia Iran Kazakistan India Russia China Myanmar (Burma) Indian Ocean Indonesia Australia Pacific Ocean Pacific Ocean Data center 所有 敷設中 借用 Edge site Microsoft バックボーンネットワーク
- 7. Microsoft バックボーンネットワークの特徴 可能な限りインターネットを避ける リージョン間通信はバックボーンに閉じ、インターネットに出ない ユーザーからのトラフィックはユーザーに近いエッジサイトからAzureバックボーンにルーティングする 主要な経路は自ら光ケーブルを敷設 まず太平洋と大西洋、米国内 長距離海底経路はコンソーシアム、プロジェクトに参加して敷設 他オンラインサービスで得た経験と資産を活かす Office 365、Windows Update、XBOX、Skype、etc Azure Front Doorはその集大成 IP Anycast、CDN、DDoS Protection、L7ルーティング、etc 安定した帯域、低遅延を目指して
- 9. 検証の概要 東京のMS網外からアメリカ西海岸 (Azure US West 2 – ワシントン州)にある Webサーバーにアクセスする
- 11. アメリカ西海岸のターゲットサイト (Dest) Azure US West 2 (ワシントン州) のAzure Container Instanceに作ったWebサーバー
- 12. では行ってきます
- 13. いま日本 / KDDI網内
- 14. いま日本 / MS網へ入る 太平洋を渡る前にMicrosoft EdgeからMS網へ
- 15. 太平洋横断中 / MS網
- 16. アメリカ上陸 / MS網
- 17. ワシントン州へ / MS網
- 18. データセンターへ
- 19. 到達
- 21. ニーズはとどまるところを知らない Zero Trust Networkとはいえ ネットワーク境界で守る手法に効果がないわけではない 従来のルールや意識を変えるのには時間がかかる 分離した上でアプリケーションレイヤーでも守りましょう IDやクレデンシャルの管理もしっかりと IaaSでは従来から仮想プライベートネットワーク機能が使える Azure Virtual Network (VNet) ユーザーネットワークからAzure VNetへの閉域網/インターネットVPN接続 いま熱いのはPaaS/マネージドサービスのプライベート接続 もともとインターネット相手にスケールすることやマルチテナントを念頭に作られたサービス群を、いかに閉 じ込める/つなげるか Azureでは大きく2つのアプローチ (VNet Injection / VNet Service Endpoint) ネットワーク境界での防御、分離に頼りすぎてもいけないのですが
- 22. VNet Injection ユーザーのVNetに専用のPaaS/マネージドサービスを配置する https://docs.microsoft.com/ja-jp/azure/security/compliance/compliance-tic 代表的なサービス • HDInsight • Batch • Cache for Redis • SQL Managed Instance • API Management • Kubernetes Service • Container Instances • App Service Environment • 今後も続々と
- 23. VNet Service Endpoint PaaSやマネージドサービスをインターネットから遮断し、VNetとのトンネルを作る https://docs.microsoft.com/ja-jp/azure/security/compliance/compliance-tic 代表的なサービス • Key Vault • Database for PostgreSQL • Database for MySQL • Cosmos DB • SQL Database • SQL Data Warehouse • Storage • 今後も続々と
- 24. Azure Infrastructure Hardware Manager Azure Resource Manager Compute RPNetwork RP Regional Network Manager Network State Manager Software load balancer Directory Service Compute Controller One-fleet Host Network Manager Agent Load balancer agent Node Agent Virtual Filtering Platform Application Containers Application Containers Application Containers CA CA CA 細かい芸風を支える技術 Azure SDN Architecture • 徹底してAPI/ソフトウェアで制御 できるようにしている • 各ホストに配置されたVFP(Virtual Filtering Platform)がカプセル化 /NAT/ACLなど重要な役割を担う • [ご参考] Azure のネットワークが さっぱり分からん
- 25. 重要なコンセプト”Delegation”(委任) Azure SDNがPaaS/マネージドサービスの管理機能へ一部機能を委任、連動 Network Control Plane Azure Server Cluster Orchestrator DNC (Delegated Network Controller) Network Host Agent Azure Server Network Host agent CNI/CNS Container 1 Container n OrchAgent … • PaaSやマネージドサービスには、 それぞれのユーザー向けインスタ ンスを管理する仕組みがある • たとえばKubernetesなどのオーケ ストレーター • VNet Injectionするには、Azure SDNとオーケストレーターが連動 し、インスタンスに対してVNetの プライベートIPを割り当てたり、 経路制御、アクセスコントロール する必要がある • コンテナーなどサービスインスタ ンスを作るたびにAPIを呼んでいた ら遅くてイヤーンなので、Azure SDNの一部機能を委任、連動する コンテナー系サービスでのDelegation実装例 Delegationの考え方はAzure Kubernetes Service、Azure Container Instance(*)、App Service WebApp(*)などアプリケーション系だけなく、 Azure NetApp Files(**)などでも応用され、対象サービス追加予定 (*) VNet Injection/Integrationは現在Preview (**) サービスが現在Preview
- 28. Azure OS ざっくり言うと軽量化Hyper-V Windows Server Core & Hyper-V の必要最小限なサブセット 不要なドライバーや言語パックを削除 x86ネイティブコードのみ サーバーの役割も最小限 この上で仮想マシンや コンテナーが動く
- 29. Hyper-V Containerの進化 (Codename: Xenon) コンテナーのサクサクと仮想マシンのカッチリを両立する 現在ハイパーバイザーレベルの分離を 提供しているコンテナーサービスは、 フル機能の仮想マシンを「工夫して」 使っている Hyper-V Containerと軽量なUtility VMの 組み合わせを推進 分離度は仮想マシンと同様 LCOWを絶賛開発中 (Linux Containers on Windows) https://docs.microsoft.com/en-us/virtualization/windowscontainers/deploy- containers/linux-containers
- 32. [PR]
- 33. マイクロソフトのキーマン Brendan Burns Kubernetesの生みの親 (Co- founder) 2016年にマイクロソフトへ加わる いまではコンテナーのみならず、 Azure Resource Manager、Azure Cloud ShellなどAzure Compute関 連サービスの開発を広くリード Brendan Burns Distinguished Engineer, Microsoft
- 34. Kubernetesクラスターの急所 etcd Kubernetesはクラスターの 構成情報をetcdに集約している etcdはオープンソースの 分散データストア etcdに依存する制約は多い (遅延に敏感なため広域で クラスターを組みにくいなど) Kubernetes control API server replication, namespace, serviceaccounts, etc. -controller- manager -scheduler etcd Master node Worker node kubelet kube-proxy Docker Prod Prod Containers Containers Worker node kubelet kube-proxy Docker Prod Prod Containers Containers Internet ここ大事
- 35. Kubernetes on Cosmos DB ひとつの選択肢として API server replication, namespace, serviceaccounts, etc. -controller- manager -scheduler Master node etcd API Cosmos DB 分散DBは設計や実装のみならず 高度な運用が要求される 分散DBサービスとしてノウハウを積んだ Azure Cosmos DBがetcdを話せたら? etcd互換サービスの提供を目指すわけではない (あくまでKubernetesの安定化、可能性を広げる目的) 現在AKS-Engineでプレビュー中
- 37. もっと使ってほしい Azure Feedback/ GitHub 世界中のユーザーのニーズと、中の人の反応が分かる 投票や応援/意思表示もできる Azure Feedback GitHub AKS Engineのようにオープンに開発されているものは、 いま開発中のブツがのぞけるし参加もできる
- 39. © Copyright Microsoft Corporation. All rights reserved.