[Azure Antenna] クラウドで HPC ～ HPC on Azure ～
- 2. アジェンダ • Microsoft Azureのご紹介 • Microsoft AzureにおけるHPC • HPC運用モデル • HPC向けインスタンス • Microsoft Azureを用いたHPC利用シナリオ • Azureが提供するサービスを利用した共同研究を加速させるシナリオ • HPC関連のドキュメント
- 4. 稼働中 アナウンス済み / 構築中 36 の地域でサービス中、42 の地域まで拡大予定 世界最大のインフラストラクチャー 100カ所以上のデータセンター AWS の 2 倍、Google 6 倍の地域サポート 米国 国防総省 (US DoD) も採用 (2017年11月27日現在) https://azure.microsoft.com/en-us/regions/ 4
- 6. Platform Services Infrastructure Services Web Apps Mobile Apps API Management API Apps Logic Apps Notification Hubs Content Delivery Network (CDN) Media Services BizTalk Services Hybrid Connections Service Bus Storage Queues Hybrid Operations Backup StorSimple Azure Site Recovery Import/Export SQL Database DocumentDB Redis Cache Azure Search Storage Tables Data Warehouse Azure AD Health Monitoring AD Privileged Identity Management Operational Analytics Cloud Services Batch RemoteApp Service Fabric Visual Studio App Insights Azure SDK VS Online Domain Services HDInsight Machine Learning Stream Analytics Data Factory Event Hubs Mobile Engagement Data Lake IoT Hub Data Catalog Security & Management Azure Active Directory Multi-Factor Authentication Automation Portal Key Vault Store/ Marketplace VM Image Gallery & VM Depot Azure AD B2C Scheduler The Azure Platform
- 8. AzureにおけるHPC関連テクノロジースタック 8 HPCテクノロジースタック Azure N series VMs Azure VMs Third Party ISV’s
- 9. アプリケーション 9 • Intersect (Schlumberger) • NAMD • LS-DYNA • FLUENT • STAR-CCM+ • RADIOSS • ACU-SOLVE • OPENFOAM • PAM-CRASH • LANDMARK (Halliburton) • ABAQUS • MSC NASTRAN • OPTISTRUCT • 推奨スケジューラー • PBS-PRO/COMPUTE MANAGER • HPC-PACK • サポートするMPI • Intel MPI, Platform MPI • MS-MPI on Windows • サポートするOS • SLES 12 SP1, CENTOS 6.5, 7.1 & RedHat, WINDOWS SERVER 2012, R2, 2008 R2, etc. • 並列ファイルシステム • Intel Lustre
- 10. HPCジョブ実行をサポートするテクノロジー ハイパフォーマンス VM • ノード間通信が重要なワークロードに対応した、ハイパフォーマンス、高バンド幅、低レイテンシ のネットワーク(RDMA(InfiniBand)ネットワーク)付のVM • ノード間の通信が必要ない or 非常に少ないワークロードの向けの、高クロックのハイパフォーマ ンスなVM (RDMA(InfiniBand)ネットワークなし) 共有ストレージ • LustreやNFSによる並列ファイルシステム Vnet(仮想ネットワーク)のセットアップ • オンプレミス環境への接続性のため、IPレンジの制御を設定 スケジューラー • 複数ユーザがクラウドのHPCサービスを利用する場合に有効 10
- 12. HPConAzureの発展 時間 2012 クラウド コ ンピューティング 2014 Windows HPC on Azure 2016/12 GPU付き Nシリーズリリース 2016/9 新Hシリーズリリース 2015/7 Linux RDMA (InfiniBand) on Azure Ethernetネットワークの高速化(SR- IOV) 25Gbps 複数のMPI対応 より大規模なクラスター対応
- 13. マイクロソフトのパートナーシップ Hardware & Software Infrastructure Big Compute Marketplace Certified Applications Visualization
- 14. Dv2 Dシリーズ2 CPU進化SSD搭載 D Azure インスタンスラインナップ G 大容量メモリ・ SSD搭載 NC NVIDIA GPU K80 計算用途、 InfiniBand搭載 （NC24r） 最速CPU、 InfiniBand FDR搭載 H ND NVIDIA P40 搭載 Deep Learning InfiniBand 搭載 (ND24rs) A A0-7:低価格・汎用 A8-11: HPC向け NVIDIA P100 搭載 計算用途、 InfiniBand 搭載 （NCv2 24rs） NCv2 NVIDIA GPU M60搭載 可視化用途 NV 14 F 高CPU・低メ モリ計算用途
- 15. Marketplace 上の HPC ソリューション https://azure.microsoft.com/ja-jp/marketplace/
- 17. HPC運用モデル 17
- 22. HPC向けインスタンス 22
- 23. HPC v2 インスタンス: Hシリーズ スペック H16r H16mr H8 H8m H16 H16m コア数 16 16 8 8 16 16 CPU Xeon E5-2667 v3 3.2 GHz - Haswell メモリ DDR 4 112 GB DDR 4 224 GB DDR 4 56 GB DDR 4 112 GB DDR 4 112 GB DDR 4 224 GB 標準データ ディスク 2.0 TB SSD 2.0 TB SSD 1.0 TB SSD 1.0 TB SSD 2.0 TB SSD 2.0 TB SSD フロント ネットワー ク 40G bps Ethernet バックエン ドネット ワーク FDR InfiniBand with RDMA N/A リージョン 米国東部・西部・中北部・中南部、北ヨーロッパ、西ヨーロッパ、東日本など
- 24. 計算用途GPUインスタンス: NCシリーズ スペック NC6 NC12 NC24 NC24r コア数 6 12 24 24 CPU Xeon E5-2690 v3 - Haswell GPU 1 x K80 GPU 1/2 物理カード 2 x K80 GPU (1 物理カード) 4 x K80 GPU (2 物理カード) 4 x K80 GPU (2 物理カード) メモリ 56 GB 112 GB 224 GB 224 GB 標準データ ディスク 380GB SSD 680GB SSD 1.44 TB SSD 1.44 TB SSD フロントエンド ネットワーク Azure Network バックエンド ネットワーク N/A FDR InfiniBand with RDMA 価格※ 91.80円/hour 183.60円/hour 367.20円/hour 403.92円/hour
- 25. 可視化用GPUインスタンス: NVシリーズ スペック NV6 NV12 NV24 コア数 6 12 24 CPU Xeon E5-2690 v3 - Haswell GPU 1 x M60 GPU (1/2 物理カード) 2 x M60 GPU (1 物理カード) 4 x M60 GPU (2 物理カード) メモリ 56 GB 112 GB 224 GB 標準データ ディスク 380GB SSD 680GB SSD 1.44 TB SSD ネットワーク Azure Network Azure Network Azure Network 価格※ 126.48円/hour GRIDライセンス込 252.96円/hour GRIDライセンス込 506.98円/hour GRIDライセンス 込
- 26. Tesla P100を採用: NCv2シリーズ スペック NC6 v2 NC12 v2 NC24 v2 NC24r v2 コア数 6 12 24 24 GPU 1 x P100 GPU 2 x P100 GPU 4 x P100 GPU 4 x P100 GPU メモリ 112 GiB 224 GiB 448 GiB 448 GiB 標準データ ディスク 336GiB 672GiB 1344GiB 1344GiB フロントエン ドネットワー ク Azure Network バックエンド ネットワーク N/A FDR InfiniBand with RDMA 価格※ ¥110.57/hour ¥221.14/hour ¥442.28/hour ¥486.49/hour P100でNC シリーズの 2 倍以上の計算性能 26
- 27. TeslaP40を採用: NDシリーズ スペック ND6 ND12 ND24 ND24r コア数 6 12 24 24 GPU 1 x P40 GPU 2 x P40 GPU 4 x P40 GPU 4 x P40 GPU メモリ 112 GiB 224 GiB 448 GiB 448 GiB 標準データ ディスク 336GiB 672GiB 1344GiB 1344GiB フロントエン ドネットワー ク Azure Network バックエンド ネットワーク N/A FDR InfiniBand with RDMA 価格※ ¥110.57/hour ¥221.14/hour ¥442.28/hour ¥486.49/hour AI やディープ ラーニングのワークロードで必要とされる設計に特化した GPU ファミリ 27
- 29. LINPACK ベンチマーク Azure がベストパフォーマンスを記録 Comparative benchmarking of cloud computing vendors with High Performance Linpack Mohammad Mohammadi, Timur Bazhirov, Exabyte Inc. https://arxiv.org/pdf/1702.02968.pdf Azure A9, H16がトップライン Azure H16がトップライン
- 31. Storage / Workspace CONSUME WorkstationsCompute Source: Alex Herrera, Jon Peddie Research CREATE On the road Main office Satellite officeResearcher Collaboration Collaboration クラウド上でプロジェクト作業すべてが完結する 共同研究をより効率化 データの集約 モバイル利用 作業端末の高機能化 共同研究者との連携 高性能GPUを利用し たHPC計算結果の可 視化 データ転送がなくなることによる時間の短縮 海外の研究者との共同研究では • Azureの専用回線を用いたデータ転送 • 最寄りのデータセンタを利用し快適に作業 高価なWorkStationが必要なくなる(コスト削減) HPC向けVMを 利用し並列計算 計算結果の共有 共同研究者との連携
- 32. HPC関連のドキュメント 32
- 33. HPC/ビッグコンピュート関連リソース 33 https://azure.microsoft.com/ja-jp/solutions/big-compute/ https://simulation.azure.com/ https://blogs.technet.microsoft.com/windowshpc/ https://github.com/Azure/azure-bigcompute-hpcscripts MPI アプリケーション を実行するように Linux RDMA クラス ターを設定する https://azure.microsoft.com/ja-jp/documentation/articles/virtual- machines-linux-classic-rdma-cluster/
- 34. 34 本書に記載した情報は、本書各項目に関する発行日現在の Microsoft の見解を表明するものです。Microsoftは絶えず変化する市場に対応しなければならないため、ここに記載した情報に対していかなる責務を負うものではなく、 提示された情報の信憑性については保証できません。 本書は情報提供のみを目的としています。 Microsoft は、明示的または暗示的を問わず、本書にいかなる保証も与えるものではありません。 すべての当該著作権法を遵守することはお客様の責務です。Microsoftの書面による明確な許可なく、本書の如何なる部分についても、転載や検索システムへの格納または挿入を行うことは、どのような形式または手段（電子的、 機械的、複写、レコーディング、その他）、および目的であっても禁じられています。 これらは著作権保護された権利を制限するものではありません。 Microsoftは、本書の内容を保護する特許、特許出願書、商標、著作権、またはその他の知的財産権を保有する場合があります。Microsoftから書面によるライセンス契約が明確に供給される場合を除いて、本書の提供はこれらの 特許、商標、著作権、またはその他の知的財産へのライセンスを与えるものではありません。 © 2015 Microsoft Corporation. All rights reserved. Microsoft, Windows, その他本文中に登場した各製品名は、Microsoft Corporation の米国およびその他の国における登録商標または商標です。 その他、記載されている会社名および製品名は、一般に各社の商標です。