「スーパーコンピュータとクラウドゲーム」
7 likes2,345 views
2014年9月19日、シンラ・テクノロジーは、「スーパーコンピュータとクラウドゲーム」をテーマにした開発者向けのセミナーを初めて開催しました。
「スーパーコンピュータとクラウドゲーム」
- 1. スーパーコンピューターとクラウドゲーム Shinra Technologies, Inc. Senior vice president Tetsuji Iwasaki 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 1
- 2. 自己紹介 岩崎哲史（いわさきてつじ） 趣味：ビール 明治大学経済学部経済学科卒 1994年株式会社スクウェア入社 主要ゲームタイトル FFT/FFXI/Crysis 2011年株式会社スクウェア・エニックス・ホールディングス 社長付技術企画担当（現職） 2012年Eidosモントリオールディベロップメントディレクター（現職） 2014年Shinra Technologies, Inc. シニアバイスプレジデント（現職） 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 2
- 3. クラウドゲーミングとは Controller Input Internet Streaming Video Data center 「Mini Ninjas」 © 2009 Eidos Interactive Ltd. Co-published by Eidos, Inc. and Warner Bros. Interactive Entertainment, a division of Warner Bros. Home Entertainment Inc. 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 3
- 4. スーパーコンピューターとは 特に明確な定義があるわけではありません（汗 法令で設定された性能がありますが、すぐに時代遅れになってしまいます 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 4
- 5. 皆様どんなイメージでしょうか http://jp.fujitsu.com/about/tech/k/ スーパーコンピュータ「京」より転載2014/9/17閲覧 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 5
- 6. それではＴＯＰ１０を見てみましょう http://www.top500.org/ 1 Tianhe-2 (MilkyWay-2) TH-IVB-FEP Cluster, Intel Xeon E5-2692 12C 2.200GHz, TH Express-2, Intel Xeon Phi 31S1P NUDT China 2 Titan Cray XK7 , Opteron 6274 16C 2.200GHz, Cray Gemini interconnect, NVIDIA K20x Cray Inc. United States 3 Sequoia BlueGene/Q, Power BQC 16C 1.60 GHz, Custom IBM United States 4 K computer SPARC64 VIIIfx 2.0GHz, Tofu interconnect Fujitsu Japan 5 Mira BlueGene/Q, Power BQC 16C 1.60GHz, Custom IBM United States 6 Piz Daint Cray XC30, Xeon E5-2670 8C 2.600GHz, Aries interconnect , NVIDIA K20x Cray Inc. Switzerland 7 Stampede PowerEdge C8220, Xeon E5-2680 8C 2.700GHz, Infiniband FDR, Intel Xeon Phi SE10P Dell United States 8 JUQUEEN BlueGene/Q, Power BQC 16C 1.600GHz, Custom Interconnect IBM Germany 9 Vulcan BlueGene/Q, Power BQC 16C 1.600GHz, Custom Interconnect IBM United States 10 Cray XC30, Intel Xeon E5-2697v2 12C 2.7GHz, Aries interconnect Cray Inc. United States 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 6
- 7. Intel® Xeon® 1 Tianhe-2 (MilkyWay-2) TH-IVB-FEP Cluster, Intel Xeon E5-2692 12C 2.200GHz, TH Express-2, Intel Xeon Phi 31S1P NUDT China 2 Titan Cray XK7 , Opteron 6274 16C 2.200GHz, Cray Gemini interconnect, NVIDIA K20x Cray Inc. United States 3 Sequoia BlueGene/Q, Power BQC 16C 1.60 GHz, Custom IBM United States 4 K computer SPARC64 VIIIfx 2.0GHz, Tofu interconnect Fujitsu Japan 5 Mira BlueGene/Q, Power BQC 16C 1.60GHz, Custom IBM United States 6 Piz Daint Cray XC30, Xeon E5-2670 8C 2.600GHz, Aries interconnect , NVIDIA K20x Cray Inc. Switzerland 7 Stampede PowerEdge C8220, Xeon E5-2680 8C 2.700GHz, Infiniband FDR, Intel Xeon Phi SE10P Dell United States 8 JUQUEEN BlueGene/Q, Power BQC 16C 1.600GHz, Custom Interconnect IBM Germany 9 Vulcan BlueGene/Q, Power BQC 16C 1.600GHz, Custom Interconnect IBM United States 10 Cray XC30, Intel Xeon E5-2697v2 12C 2.7GHz, Aries interconnect Cray Inc. United States 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 7
- 8. IBM® Power® BQC 1 Tianhe-2 (MilkyWay-2) TH-IVB-FEP Cluster, Intel Xeon E5-2692 12C 2.200GHz, TH Express-2, Intel Xeon Phi 31S1P NUDT China 2 Titan Cray XK7 , Opteron 6274 16C 2.200GHz, Cray Gemini interconnect, NVIDIA K20x Cray Inc. United States 3 Sequoia BlueGene/Q, Power BQC 16C 1.60 GHz, Custom IBM United States 4 K computer SPARC64 VIIIfx 2.0GHz, Tofu interconnect Fujitsu Japan 5 Mira BlueGene/Q, Power BQC 16C 1.60GHz, Custom IBM United States 6 Piz Daint Cray XC30, Xeon E5-2670 8C 2.600GHz, Aries interconnect , NVIDIA K20x Cray Inc. Switzerland 7 Stampede PowerEdge C8220, Xeon E5-2680 8C 2.700GHz, Infiniband FDR, Intel Xeon Phi SE10P Dell United States 8 JUQUEEN BlueGene/Q, Power BQC 16C 1.600GHz, Custom Interconnect IBM Germany 9 Vulcan BlueGene/Q, Power BQC 16C 1.600GHz, Custom Interconnect IBM United States 10 Cray XC30, Intel Xeon E5-2697v2 12C 2.7GHz, Aries interconnect Cray Inc. United States 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 8
- 9. Fujitsu® SPARC®64 Villfx 1 Tianhe-2 (MilkyWay-2) TH-IVB-FEP Cluster, Intel Xeon E5-2692 12C 2.200GHz, TH Express-2, Intel Xeon Phi 31S1P NUDT China 2 Titan Cray XK7 , Opteron 6274 16C 2.200GHz, Cray Gemini interconnect, NVIDIA K20x Cray Inc. United States 3 Sequoia BlueGene/Q, Power BQC 16C 1.60 GHz, Custom IBM United States 4 K computer SPARC64 VIIIfx 2.0GHz, Tofu interconnect Fujitsu Japan 5 Mira BlueGene/Q, Power BQC 16C 1.60GHz, Custom IBM United States 6 Piz Daint Cray XC30, Xeon E5-2670 8C 2.600GHz, Aries interconnect , NVIDIA K20x Cray Inc. Switzerland 7 Stampede PowerEdge C8220, Xeon E5-2680 8C 2.700GHz, Infiniband FDR, Intel Xeon Phi SE10P Dell United States 8 JUQUEEN BlueGene/Q, Power BQC 16C 1.600GHz, Custom Interconnect IBM Germany 9 Vulcan BlueGene/Q, Power BQC 16C 1.600GHz, Custom Interconnect IBM United States 10 Cray XC30, Intel Xeon E5-2697v2 12C 2.7GHz, Aries interconnect Cray Inc. United States 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 9
- 10. NVIDIA® tesla®/Intel® phi 1 Tianhe-2 (MilkyWay-2) TH-IVB-FEP Cluster, Intel Xeon E5-2692 12C 2.200GHz, TH Express-2, Intel Xeon Phi 31S1P NUDT China 2 Titan Cray XK7 , Opteron 6274 16C 2.200GHz, Cray Gemini interconnect, NVIDIA K20x Cray Inc. United States 3 Sequoia BlueGene/Q, Power BQC 16C 1.60 GHz, Custom IBM United States 4 K computer SPARC64 VIIIfx 2.0GHz, Tofu interconnect Fujitsu Japan 5 Mira BlueGene/Q, Power BQC 16C 1.60GHz, Custom IBM United States 6 Piz Daint Cray XC30, Xeon E5-2670 8C 2.600GHz, Aries interconnect , NVIDIA K20x Cray Inc. Switzerland 7 Stampede PowerEdge C8220, Xeon E5-2680 8C 2.700GHz, Infiniband FDR, Intel Xeon Phi SE10P Dell United States 8 JUQUEEN BlueGene/Q, Power BQC 16C 1.600GHz, Custom Interconnect IBM Germany 9 Vulcan BlueGene/Q, Power BQC 16C 1.600GHz, Custom Interconnect IBM United States 10 Cray XC30, Intel Xeon E5-2697v2 12C 2.7GHz, Aries interconnect Cray Inc. United States 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 10
- 11. 最近の傾向 汎用プロセッサ TOP500のうち８５．４％がIntel …数えてないけと多分ほとんどXeon Amazon EC2は76位 Amazon EC2 C3 Instance cluster Intel Xeon E5-2680v2 10C 2.800GHz, 10G Ethernet 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 11
- 12. スーパーコンピューターとＧＰＵ TESLA GPU ACCELERATORS FOR SERVERS http://www.nvidia.com/object/tesla-servers.html 2014-9-17閲覧 NVIDIA® Tesla® Intel® Xeon Phi™ Coprocessor インテル® Xeon Phi™ コプロセッサー製品仕様 http://www.intel.co.jp/content/www/jp/ja/processors/xeon/xeon-phi-detail.html 2014-9-17閲覧 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 12
- 13. DEGIMAから受けた衝撃 ＊Tsuyoshi Hamada, Tetsu Narumi, Rio Yokota, Kenji Yasuoka and Keigo Nitadori. 42 TFlops Hierarchical N-body Simulations on GPUs with Applications in both Astrophysics and Turbulence. SC '09 Proceedings of the Conference on High Performance Computing Networking, Storage and Analysis Article No. 62 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 13
- 14. ＊長崎大学GPUクラスタDEGIMA(DEstination for Gpu Intensive MAchine)の紹介https://www.cps-jp.org/seminar/fy2010/2010-12-01/hamada/pub/20101201_hamada_02.pdf page5 2014-9-17閲覧 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 14
- 15. 念のためご注意 スーパーコンピューターの価値は一概に LinPackの実行速度のみでは語れません 計算用途や、使いやすさ、保守性などは TOP500のランキングでは考慮されません でも価格はもうちょっと追求されてもいいような…. 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 15
- 16. 表の見方 1 Tianhe-2 (MilkyWay-2) TH-IVB-FEP Cluster, Intel Xeon E5-2692 12C 2.200GHz, TH Express-2, Intel Xeon Phi 31S1P TH-IVB-FEP Cluster -> システムの名前 Intel Xeon E5-2692 12C 2.200GHz -> CPUの名前 TH Express-2 -> インターコネクションの名前 Intel Xeon Phi 31S1P -> アクセラレーターの名前 京のInter connection “Tofu” 6次元メッシュ/トーラス スーパーコンピュータの高次元接続技術が「恩賜発明賞」を受賞 http://pr.fujitsu.com/jp/news/2014/05/29.html 2014-09-17閲覧 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 16
- 17. 質問タイム 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 17
- 18. 今回お話しする Shinra Systemテクノロジコンポーネント リモートレンダリングアーキテクチャ RDMA/TCP デュアルプロトコルインターコネクション ゲームデザインに応じた分散モデル 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 18
- 19. リモートレンダリングアーキテクチャ 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 19
- 20. リモートレンダリングアーキテクチャ • レンダリングはGPUサー バーで実行 • DirectX11APIのコールは ラップトップで実行されて いる 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 20
- 21. リモートレンダリングアーキテクチャ Game.exe (third-party) … プロセス環境図 Fake Fake … dxgi.dll d3d11.dll dinput.dll dxgi.dll d3d11.dll nvwgf2umx.ws2_32.dll dll nvlddmkm.sys Renderer.exe ws2_32.dll dxgi.dll d3d11.dll nvwgf2umx.dll nvlddmkm.sys Network card Network card 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 21
- 22. リモートレンダリングアーキテクチャ • Separate CPU & GPU Servers • Many users per logical unit • Flexible architecture allows efficient CPU/GPU usage Logical unit of game system Physical unit CPU GPU GPU CPU GPU GPU GPU GPU GPU GPU CPU CPU CPU CPU CPU CPU CPU CPU CPU CPU 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 22
- 23. GPU CPU CPU/GPUパフォーマンスミスマッチ 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 23
- 24. y = 1037.3x-0.826 R² = 0.9055 0.4 0.35 0.3 0.25 0.2 0.15 0.1 0.05 0 値段とパフォーマンスの関係 値段２倍＝パフォーマンス２倍ではない 0 20,000 40,000 60,000 80,000 100,000 120,000 140,000 160,000 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 24
- 25. ゲーム６０個分を１サーバーでレンダリング 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 25
- 26. RDMA/TCP デュアルプロトコルインターコネクション 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 26
- 27. 最近のネットワークカードの性能（ＴＣＰ） Comp01<->GPU01 Effective bandwidth 8.8Gbps loopback(E5-1650@3.2GHz) Effective bandwidth 3.59 Gbps Unit size RTT(μsec) Unit size RTT(μsec) 4 42,09 4 15,080261 8 41,75 8 14,986181 16 42,18 16 15,00307 32 41,86 32 15,097176 64 42,69 64 15,081717 128 42,91 128 15,106041 256 43,35 256 15,17368 512 44,6 512 15,301775 1024 46,6 1024 15,67151 2048 64,19 2048 24,330402 4096 79,87 4096 30,921734 8192 140,06 8192 45,846207 16384 186,85 16384 79,473488 32768 291,19 32768 129,546127 65536 497,89 65536 227,030136 131072 909,93 131072 435,540619 262144 1800,49 262144 929,645325 524288 3483,36 524288 1904,819336 1048576 6841,73 1048576 4009,06958 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 27
- 28. Mellanox Connect X3 -Etherネットの環境でＲＤＭＡが使用可能 -Tianhe-2 (MilkyWay-2)のインターコネクションは ＲＤＭＡを使用 -OSを介さず、リモートに直接メモリ間転送が出来る http://www.mellanox.com/page/products_dyn?product_family=127 2014-9-17閲覧 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 28
- 29. インターコネクション解説 Game.exe (third-party) dinput.dll Fake Fake 00100101000 11101011100 … dxgi.dll d3d11.10011101010 dll nvwgf2umx.dll Renderer.exe ws2_32.dll dxgi.dll d3d11.dll nvwgf2umx.dll nvlddmkm.sys … ws2_32.dll Compression (500μs / Ratio 1:8) Transmission to the Renderer • Using TCP over Gigabit Ethernet (500μs) • Using RDMA over Converged Ethernet (50μs) Decompression (200μs) Delay ≈ 1.2ms Video card 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 29
- 30. ゲームに応じた分散モデル スタンドアローンアーキテクチャ VIRTUAL MMO アーキテクチャ MK アーキテクチャ 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 30
- 31. スタンドアローンアーキテクチャ Compute Server Rendering Server Rendering Commands GPU Game.exe Rendering.exe Input Video internet internet GPU 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 31
- 32. VIRTUAL MMO アーキテクチャ Compute Server Rendering Server Remote Renderer Rendering Commands Server Game Game Game Game internet internet Input GPU GPU 4 x Video Streams 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 32
- 33. MK アーキテクチャ Compute Server Rendering Server Game GPU User User User User Rendering Commands Remote Renderer 4 users in a single process… internet internet GPU 4 x Video Streams Input 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 33
- 34. 募集 ご説明した３アーキテクチャを標準化して提供する予 定です。 1)お持ちのＩＰをShinraプラットフォームに提供 2)お持ちのＩＰをクラウドゲーム用にちょっと改造 3)今までになかったゲーム体験を製作 4)共同研究 5)定期交流会 10/22/2014 © 2014 Shinra Technologies, Inc. All Rights Reserved. 34