NVIDIA 入門

株式会社ネットワールド
SI技術本部
NVIDIA 入門

2Copyright © 2020 Networld Corporation All Rights Reserved.
アジェンダ
1. NVIDIA 会社概要
2. GPU と vGPU
3. もう少し詳しく NVIDIA GRID vGPU
4. NVIDIA GRID vGPU : プロファイル
5. プロファイルの分割具合でどう違うのか
6. 案件で困ったら… とまとめ

今日のゴール
NVIDIA と vGPU を知ろう！
• 若いひとも多いので、そういうひと向けに書き下ろしました。
• ベテランの方はどうでしょうね…。
新しいネタがひとつでも見つかると幸いです。

Copyright © 2020 Networld Corporation All Rights Reserved.
NVIDIA 会社概要

NVIDIA 合同会社会社概要
✓ 本社 : アメリカカリフォルニア州サンタクララ
✓ 国内 : 溜池山王
✓ 創業 : 1993年
✓ 創業者およびCEO : Jen-Hsun Huang
(黃仁勳 : ジェンスンファン)
✓ 従業員 : 14,000 人
✓ 売上高 : 109億ドル (2020 会計年度)

NVIDIA の事業領域
ゲーミング
(世界シェア80%以上)
GEFORCE
JETSON
DRIVE
自動運転車、組込み
インテリジェント機器向け
プラットフォーム
プロフェッショナルグラフィックス
(世界シェア約95%)
QUADRO
データセンター
HPC&クラウド
DGX
Tesla/vGPU

GPU 対応ワークロードの革新
VISUAL
WORKSPACE
Information Workers / Students Designers / ScientistsVisual Computing Spectrum
COLLABORATION
LARGE DATA
INTERACTIVE
HPC
VR PHOTOREALISM AIMOBILITY

GPU と vGPU

まず、GPU とは…
Graphic Processing Unit のこと
• 昔 (1990年代末まで) はこんな気取った名前ではなく、コンピューターで画面を
描画をするためのパーツはグラフィックコントローラーやビデオチップと
呼ばれることが多かったです。
• 1999年に NVIDIA が GeForce 256 という製品をリリースし、
そのとき初めて “GPU” という名前が誕生しました。
• GPU 搭載以前は、ゲームや CAD などのソフトに
おける 3次元の座標計算や光源処理 (光の当て方とか
影の計算) は CPU がその役割を担っていました。
※Transform & Lighting という機能です。
• GeForce 256 からハードウェアで T&L が実行できる
ようになり、パフォーマンスが大幅に向上したため、
当時としては大変画期的な製品でした。
出典 : https://www.nvidia.com/ja-jp/about-nvidia/ai-computing/

で、GPU って何だよ (物理的な意味で)
コイツらです
Let’snote にも搭載 !!
Intel HD Graphics 620
(CPU に内蔵されてます)
https://ark.intel.com/content/www/jp/ja/ark/
products/97472/intel-core-i5-7300u-
processor-3m-cache-up-to-3-50-ghz.html
世界ではじめての元祖 GPU !
NVIDIA GeForce 256
https://pc.watch.impress.co.jp/docs/news/yajiuma/1017774.html
この間発表されたばっかり !!!
NVIDIA A100
https://www.nvidia.com/ja-jp/data-center/a100/

それで、Windows で GPU が使われるときって…？
それを紐解くには Windows の開発環境を知る必要があります…
Windows のアプリの開発環境・実行環境は
.NET Framework です。
.NET Framework のプログラミングモデルのひとつに
Windows Presentation Foundation というものがあります。
これはアプリの UI 画面を作るためのフレームワーク (仕組み) です。
https://docs.microsoft.com/ja-jp/dotnet/framework/wpf/
WPF で開発したアプリの場合、自動的に GPU が利用されます。
つまり、対応したソフトウェアではいつでも使われています。

WPF の [ GPU 利用 ] : アプリのハードウェアレンダリング
https://docs.microsoft.com/ja-jp/dotnet/framework/wpf/advanced/optimizing-performance-taking-advantage-of-hardware
つまり、対応したソフトウェアではいつでも使われます。

この GPU を仮想環境で使えるようにする仕組みが vGPU
vGPU がない環境
物理サーバー
ハイパーバイザー
仮想
アプリケーション
仮想
コンピュート
サーバー
仮想PC 仮想
コンピュート
サーバー
仮想
ワークステーション
仮想
CPU, メモリ, ディスク
仮
想
化
レ
イ
ヤ
ー

vGPU がある環境
この GPU を仮想環境で使えるようにする仕組みが vGPU
物理サーバー
仮想
仮想
コンピュート
サーバー
仮想PC 仮想
コンピュート
サーバー
仮想
仮想
NVIDIA vGPU Manager
vGPU vGPUvGPU vGPU vGPU vGPU
NVIDIA
GPU
HW Encode
仮
想
化
レ
イ
ヤ
ー
NVIDIA
Graphics Driver
Libraries
NVIDIA
Graphics Driver
Libraries
NVIDIA
Quadro Driver
Libraries
NVIDIA
Quadro Driver
Libraries
NVIDIA
Compute Driver
Libraries
NVIDIA
Compute Driver
Libraries
NVIDIA
GPU
HW Encode

ザックリ vGPU を使えるようにするために必要なステップ
物理サーバーに GPU のボードを取り付けます
[ STEP1 ]
GPUの
取り付け
[ STEP2 ]
Manager の
インストール
ハイパーバイザーに
vGPU Manager をインストールします
GPU を使えるようにしたい仮想マシンに
vGPU 設定 (プロファイル) を割り当てます
[ STEP3 ]
vGPU 設定の
割り当て
仮想マシンに vGPU 用のドライバーをインストールします
[ STEP4 ]
ドライバーの
インストール

vGPU の活用例 : Virtual Desktop Infrastructure で使う!!
VDI で仮想環境にユーザーのパソコンを集約
画面情報
キー入力や
マウス操作の情報
Hosts
VDIとは…
• 実際のパソコンでの処理やデータの
配置場所は手元のデバイスではなく、
データセンターやサーバールームに
設置されている仮想環境で行われる
• 画面転送を行うことで、通常の
パソコンを使うことと変わらない
操作感を維持できる (ユーザー視点)
• 物理的なパソコンでは実現できない
メリットがある

そして、一般的な VDI 環境で利用されがちなワークロード
1. ファイルの圧縮・展開
2. ブラウジング
3. Office
4. PDF閲覧
5. 印刷

vGPU があると VDI でどう違うのか (デュアルモニター)

ここまでのまとめ
ハイパーバイザーに vGPU をインストールすると
仮想環境でも GPU が使えて、いろいろ快適になる!!
特にいまは VDI 上で動かす Teams や Zoom も
vGPU でとても快適になる。
※ GPU パススルーとかはいまは置いておこう

もう少し詳しく NVIDIA GRID vGPU

NVIDIA vGPU ソフトウェアの種類 (＝ライセンスの種類)
Apps
GRID vApps
仮想アプリケーション
Server Base Computing の
VMware Horizon RDSH や
Citrix Virtual Apps などで
高性能の
Windows 共有デスクトップ、
アプリケーション配信の
利用が可能となります。
Quadro vDWS
Quadro仮想データセンター
仮想ワークステーションで
どこでも、どんなデバイスでも
プロフェッショナル
アプリケーションの利用が可能
となります。
vCompute Server
仮想コンピュートサーバ
仮想マシンで
HPC / Deep Learning /
AI のワークロードの利用が可
能となります。
GRID vPC
仮想PC
仮想デスクトップで
Windows アプリケーション、
ブラウザ、PDF、動画や
コミュニケーションツールなど
快適なユーザー環境の
利用が可能となります。

vGPU がある環境
NVIDIA ライセンスサーバーというものも必要
物理サーバー
仮想
仮想
コンピュート
サーバー
仮想PC 仮想
コンピュート
サーバー
仮想
仮想
NVIDIA vGPU Manager
vGPU vGPUvGPU vGPU vGPU vGPU
NVIDIA
GPU
HW Encode
仮
想
化
レ
イ
ヤ
ー
NVIDIA
Graphics Driver
Libraries
NVIDIA
Graphics Driver
Libraries
NVIDIA
Quadro Driver
Libraries
NVIDIA
Quadro Driver
Libraries
NVIDIA
Compute Driver
Libraries
NVIDIA
Compute Driver
Libraries
NVIDIA
GPU
HW Encode
NVIDIA
ライセンスサーバー

Web サーバーにライセンスファイルを置く
NVIDIA ライセンスサーバーというものも必要
(ここで急に細かい話)
• Web サーバーは Apache
Tomcat で構成されている！
• 正しいライセンスがないと
めちゃくちゃ遅くなる！
• システムロケールは英語のみ
がサポートされる！
• Java がシステム要件だけど、
64bit の Java を使うと
まったく動かないので、
32bit の Java を使おう！

そもそもライセンスファイルとソフトウェアはどこから？
NVIDIA 検証環境を構築するときの最大の関門
https://nvid.nvidia.com/siteminderagent/forms/login.fcc

そもそもライセンスファイルとソフトウェアはどこから？
現時点で契約しているサブスクリプションと
ダウンロード可能なファイルに [ 厳密な紐付き・管理 ] がある!!
「評価版で使いたいから」って
新しい NVIDIA のアカウントを作ってみたり
以前の案件のアカウントを使い回そうとしてもダメ
ライセンスサーバーは MAC アドレスを
NVIDIA のポータルに登録する

NVIDIA GRID にはライセンスがあって、
ライセンスサーバーの構築が必要
ダウンロード可能なライセンスとソフトウェアは、
契約しているサブスクリプションと厳密に紐付いている
ライセンスの使い分けはこんな感じ
• vApp : VMware Horizon RDSH / Citrix Virtual Apps のときに
• vPC : 事務ユースの VDI を快適にするときに
• vDWS : CAD などのプロユースな VDI を構築するときに
• vCompute : GPUを使ったディープラーニングとかやりたいときに

NVIDIA GRID vGPU : プロファイル

NVIDIA vGPU 対応 GPU カードのラインナップ
V100/V100S QUADRO RTX 8000 QUADRO RTX 6000 T4 P6 P40 M60 M10
1ボード搭載GPU枚数
(GPU世代)
1
(Volta)
1
(Turing)
1
(Turing)
1
(Turing)
1
(Pascal)
1
(Pascal)
2
(Maxwell)
4
(Maxwell)
CUDAコア数
5,120
TENSORコア:640
4,608
TENSORコア:576
RTコア:72
4,608
TENSORコア:576
RTコア:72
2,560
TENSORコア:320
RTコア:40
2,048 3,840
4,096
(2,048/per GPU)
2,560
(640/per GPU)
メモリサイズ 16GB/32GB HBM2 48GB GDDR6 24GB GDDR6 16GB GDDR6 16GB GDDR5 24GB GDDR5
16GB GDDR5
(8GB/per GPU)
32GB GDDR5
(8GB/per GPU)
vGPU Profiles
1GB, 2GB, 4GB,
8GB, 16GB, 32GB
1GB, 2GB, 3GB, 4GB,
6GB, 8GB,12GB, 16GB,
24GB, 48GB
1GB, 2GB, 3GB, 4GB,
6GB, 8GB, 12GB, 24GB
1GB, 2GB, 4GB,
8GB, 16GB
1GB, 2GB,
4GB, 8GB,
16GB
1GB, 2GB, 3GB,
4GB, 6GB, 8GB,
12GB, 24GB
0.5GB, 1GB,
2GB, 4GB, 8GB
0.5GB, 1GB,
2GB, 4GB,
8GB
NVLink Support Yes (SXM2 only) Yes Yes No No No No No
フォームファクター
物理寸法
PCIe 3.0 Dual Slot
/SXM2
PCIe 3.0
Dual Slot
PCIe 3.0
Dual Slot
PCIe 3.0
Single Slot
MXM
PCIe 3.0
Dual Slot
PCIe 3.0
Dual Slot
PCIe 3.0
Dual Slot
消費電力 250W/300W 295W/250W 295W/250W 70W 90W 250W 300W 225W
冷却 passive active/passive active/passive passive bare board passive active/passive passive
利
用
シ
ー
ン
オフィスーーー Office ーーー Office
グラフィックス CAD CAD/RT/RENDERING CAD/RT/RENDERING CAD/RT CAD CAD CAD ー
コンピューティング
単精度/倍精度
CAE/AI/DL/HPC
単精度
CAE/DL
単精度
CAE/DL
INT4/INT8/
半精度/単精度
CAE/AI/DL/HPC
単精度演算
CAE
単精度
CAE/DL
ーー
NVIDIA 認定サーバー：https://www.nvidia.com/object/vgpu-certified-servers.html ※最新サーバー構成、サポート状況は各サーバーメーカー様へご確認ください。

プロファイル : GPU をどれだけ分割するか
GPU は CPU のように動的な分割 (シェア) はできません。
なので、あらかじめ分割数を固定値で指定してあげる必要があります。
その分割の具合を [ プロファイル ] という仕組みで指定してあげます。

NVIDIA vGPUプロファイルリスト (抜粋)
NVIDIA GRID
ソフトウェア
エディション
グラフィックス
メモリ
デ
ィ
ス
プ
レ
イ
数
最大
解像度
TESLA V100/V100S RTX8000 RTX6000 TESLA T4 TESLA P6 TESLA P40 TESLA M60 TESLA M10
搭載GPU数仮想台数搭載GPU数
仮想
台数
搭載GPU数
仮
想
台
数
搭載GPU数
仮想
台数
搭載GPU数
仮
想
台
数
搭載GPU数
仮
想
台
数
搭載GPU数仮想台数搭載GPU数仮想台数
Volta×1
16GB/32GB
16
GB
32
GB
Turing×1
48GB
Turing×1
16GB
Pascal×1
16GB
Pascal×1
24GB
Maxwell×2
16GB
1
物
理
G
P
U
1
ボード
GPU
Maxwell×4
32GB
1
物
理
G
P
U
1
ボード
GPU
Turing×1
24GB
仮想
アプリ
ケーション
1GB
1 1280x1024
V100-1A 16 32 RTX8000-1A 32 RTX6000-1A 24 T4-1A 16 P6-1A 16 P40-1A 24 M60-1A 8 16 M10-1A 8 32
2GB V100-2A 8 16 RTX8000-2A 24 RTX6000-2A 12 T4-2A 8 P6-2A 8 P40-2A 12 M60-2A 4 8 M10-2A 4 16
3GB RTX8000-3A 16 RTX6000-3A 8 P40-3A 8
6GB RTX8000-6A 8 RTX6000-6A 4 P40-6A 4
12GB RTX8000-12A 4 RTX6000-12A 2 P40-12A 2
16GB V100-16A 1 2 RTX8000-16A 3 T4-16A 1 P6-16Q 1
24GB RTX8000-24A 2 RTX6000-24A 1 P40-24A 1
32GB V100-32A 1
48GB RTX8000-48A 1
仮想PC
512MB 1 2560x1600 M60-0B 16 32 M10-0B 16 64
1GB 4 5120×2880
V100-1B 16 32
RTX8000-1B 32 RTX6000-1B 24
T4-1B 16 P6-1B 16 P40-1B 24 M60-1B 8 16 M10-1B 8 32
V100D-1B4 16 32 T4-1B4 16 P6-1B4 16 P40-1B4 24 M60-1B4 8 16 M10-1B4 8 32
2GB 4 5120×2880
V100-2B 8 16
RTX8000-2B 12 RTX6000-2B 12
T4-2B 8 P6-2B 8 P40-2B 12 M60-2B 4 8 M10-2B 4 16
V100D-2B4 8 16 T4-2B4 8 P6-2B4 8 P40-2B4 12 M60-2B4 4 8 M10-2B4 4 16
Quadro
仮想
データ
センター
ワーク
ステーション
1GB
4
5120×2880 V100-1Q 16 32 RTX8000-1Q 32 RTX6000-1Q 24 T4-1Q 16 P6-1Q 16 P40-1Q 24 M60-1Q 8 16 M10-1Q 8 32
2GB V100-2Q 8 16 RTX8000-2Q 24 RTX6000-2Q 12 T4-2Q 8 P6-2Q 8 P40-2Q 12 M60-2Q 4 8 M10-2Q 4 16
5120×2880
7680×4320
Pascal以降
2Q以上
3GB RTX8000-3Q 16 RTX6000-3Q 8 P40-3Q 8
RTX8000-6Q 8 RTX6000-6Q 4 P40-6Q 46GB
RTX8000-12Q 4 RTX6000-12Q 2 P40-12Q 212GB
16GB V100-16Q 1 2 RTX8000-16Q 3 T4-16Q 1 P6-16Q 1
RTX8000-24Q 2 RTX6000-24Q 1 P40-24Q 124GB
32GB V100-32Q 1
48GB RTX8000-48Q 1
パススルー V100 1 1 RTX8000 1 RTX6000 1 T4 1 P6 1 P40 1 M60 1 2
M10-1Bを
例に解説!!

vGPU プロファイルの読み解き方
M10-1BGPU のボードタイプ
M60 P6 RTX8000
M10 T4 RTX8000P
M6 V100 RTX6000
P100 V100S RTX6000P
P40 V100L
グラフィック
メモリ搭載量
8GB
4GB
2GB
1GB
0.5GB
使用目的
Q Quadro
C Compute-intensive
B Business Professional
A Application

vGPU は動的な分割ができないので、
[ プロファイル ] であらかじめ分割数を決めておきます。
プロファイルはこんな要素で決まります。
• どの物理 GPU カードを使うか
• どのライセンスを使うか
• どれだけのグラフィックメモリが必要か

プロファイルの分割具合の違いの一例

Networld .next 2017 で使ったネタ

SPECviewperf 12.1 (最新はSPECviewperf 2020)
業界標準のベンチマークツール
グラフィックス性能を測定する世界標準のツール
仮想デスクトップ（Windows 10）

検証環境（vGPU試験環境）
NX-3175-G5 NX-3175-G5 NX-3175-G5
vGPU=4分割
（4ユーザ同時利用）
vGPU=8分割
vGPU=16分割
2Q 2GB（2048MB）
NVIDIA Quadro 1Q 1GB（1024MB）
NVIDIA Quadro 0Q 512MB
NVIDIA Quadro

検証環境（vGPU試験環境）
Windows 10 Pro
- CPU : 8vCPU
- メモリ : 32GB
- ディスク : 200GB
VDI Client 物理 WorkStation
Xeon E3-1225 v5 3.3GHz（Quad Core）
8GB DDR-4 SDRAM（4GB×2）
256GB SSD +500GB HDD
NVIDIA Quadro K620 2GB
Windows 10 Pro

2Q vGPU=4分割 1Q vGPU=8分割 0Q vGPU=16分割
検証実施内容（vGPU 検証パターン）

2Q
vGPU=4分割
1Q
vGPU=8分割
WorkStation
物理
0Q
vGPU=16分割

WorkStation vs VDI vGPU 検証結果

0Q vGPU=16分割WorkStation（物理）
2Q vGPU=4分割 1Q vGPU=8分割
FPS:51.0
Score:1284
FPS:42.5
Score:1071
FPS:9.9
Score:249
FPS:4.7
Score:120
5倍の性能 4倍の性能
1/2倍の性能基準性能とした場合

0 のプロファイルは使わないでください。
M60-0Q
M10-0B
などなど…。
0 のプロファイルはトラブルが多く、
今後の廃止が予定されています。
512 MB ではグラフィックメモリが足りません!!

案件で困ったら… とまとめ

サポートでケースをオープンしましょう
とりあえず電話で OK っぽいです。

サポートでケースをオープンしましょう
とりあえず電話で OK っぽいです。
自分 (またはお客様) の NVIDIA のアカウントと
発生した事象を伝えると、ケースがオープンされます。

vGPU 搭載 VDI での見落としがちな TIPS
回線の品質と帯域幅が重要
Q : VMware Horizon / Citrix Virtual Apps & Desktop の帯域幅は64kbpsでOK？
A : 設計時の見積には1ユーザーあたり100kbpsの帯域で計算することが多いです
Q : じゃあ、3D VDI を使うときの帯域幅は？
A : 1ユーザーあたり5Mbps以上で遅延のない帯域確保が推奨されます
クライアントのパワーも重要
Q : VDIは仮想基盤側で処理をするからクライアントは何でもOK？
A : 表示・閲覧をするだけならOKですが、反応・操作感を重視するなら
ハイパフォーマンス(2コア以上)のWindows PCが推奨されます

全体的なまとめ
• 仮想環境でも GPU が使えて、GPU があると快適になる
• NVIDIA のライセンス管理はとても厳しい
• プロファイルの 0 は選んではいけない
• 障害だな…と思ったらケースをオープン

NVIDIA 入門

More Related Content

What's hot (20)

Similar to NVIDIA 入門 (20)

More from Wataru Unno (10)

NVIDIA 入門