[GTCJ2018] Optimizing Deep Learning with Chainer PFN得居誠也
6 likes8,214 views
【2018年9月14日 GTC Japan講演資料】 Chainer は、直感的な記述が特徴の深層学習フレームワークです。Define-by-Run 方式によりニューラル ネットの計算過程をそのまま Python で書き下し、CuPy や cuDNN を用いることで GPU の計算力を最大限引き出すことができます。Chainer を用いた深層学習のパフォーマンス特性や高速化の技法、パフォーマンス向上の取り組みなどをご紹介します。
![[GTCJ2018] Optimizing Deep Learning with Chainer PFN得居誠也](https://image.slidesharecdn.com/gtcj2018optimizingdeeplearningwithpfnseiyatokui-181009073509/85/GTCJ2018-Optimizing-Deep-Learning-with-Chainer-PFN-2-320.jpg)
[GTCJ2018] Optimizing Deep Learning with Chainer PFN得居誠也
- 1. GTC Japan, 2018/09/14 得居 誠也, Preferred Networks Chainer における 深層学習の高速化 Optimizing Deep Learning with Chainer
- 3. Chainer のミッション Deep Learning とその応用の研究開発を加速させる • 環境セットアップが速い • すぐ習熟 • 素早いコーディング • 実験の高速化 • 結果をさっと公開・論文化 • モデルをすぐ応用へ 3
- 4. Chainer のミッション Deep Learning とその応用の研究開発を加速させる • 環境セットアップが速い • すぐ習熟 • 素早いコーディング • 実験の高速化 • 結果をさっと公開・論文化 • モデルをすぐ応用へ 4
- 5. Agenda 1. Chainer の基本 2. Chainer での深層学習の高速化 5
- 7. …の前に Deep Learning の基本 7
- 9. 9 訓練 データセット ミニバッチ 取得、前処理 順伝播・逆伝播 𝑊 ← 𝑊 − 𝜆Δ𝑊 パラメータ更新
- 10. 10 Dataset Iterator, converter Link, Variable, FunctionNode 𝑊 ← 𝑊 − 𝜆Δ𝑊 Optimizer Updater
- 11. 誤差逆伝播 11 𝑓𝑤 𝑥 𝑔 𝑦 ℎ 𝑧 1-2-20.5 𝑦 𝑧𝑦 𝑥 𝑥 𝑤
- 12. 誤差逆伝播の実装方法: Define and Run • 計算グラフを作る • データをグラフに流す • グラフを逆方向にたどって、勾配を計算する 12
- 13. 誤差逆伝播の実装方法: Define by Run • 順伝播を計算する Python コードを実行 – 実行中に計算の過程をグラフに記録 • グラフを逆順にたどって、勾配を計算 13
- 14. 14 a = F.linear(x, W1, b1) h = F.relu(a) y = F.linear(h, W2, b2) loss = F.softmax_cross_entropy(y, t) loss.backward()
- 15. Define by Run の利点 順伝播が Python プログラムとして自然に書ける • デバッグが容易 – print デバッグ、デバッガ (pdb) の使用、etc. • Python 制御構文がそのまま使える – 入力に応じて計算を変える、というのが Python プロ グラムとして自然に書ける 15
- 16. Define by Run の実行特性 計算グラフが毎 iteration で構築される → CPU オーバーヘッドを考慮する必要 → グラフ最適化はしづらい → アドホックな高速化はしやすい 16
- 17. Chainer はスケールする • Python は遅いが、GPU の計算コストが十分高ければ オーバーヘッドは隠蔽できる • ChainerMN を使うことで複数 GPU にスケールできる 17
- 18. Google AI Open Images Challenge (Object Detection Track) • 500 クラスのオブジェクト • 1.7M 枚の訓練画像、 12M オブジェクト (bounding box) • Kaggle 上で 7-8 月にかけて開催 18 Mark Paul Gosselaar plays the guitar by Rhys A (https://www.flickr.com/photos/rhysasplundh/5738556102). CC BY 2.0. Annotated image borrowed from https://www.kaggle.com/c/google-ai-open-images-object-detection-track
- 19. Google AI Open Images Challenge PFDet チーム • MN-1b: Tesla V100 x 512枚 • 1回の実験で 33 時間、これをくり返し安定して実施 • 83% のスケーリング効率 T. Akiba, T. Kerola, Y. Niitani, T. Ogawa, S. Sano, S. Suzuki. PFDet: 2nd Place Solution to Open Images Challenge 2018 Object Detection Track https://arxiv.org/abs/1809.00778 19
- 21. まず高速化の前に…… • 究極的に、高い精度のモデルを素早く手に入れるのが目 標であることを忘れない • 学習プログラムの完了が速くなっても、得られるモデル の予測性能が落ちていたら意味がない • （という claim をつけた上で、今日のトークでは予測性 能の話はほとんどしません） 21
- 22. Chainer におけるパフォーマンスの勘所 • GPU の計算が効率的かどうか • GPU カーネルがちゃんと詰まっているかどうか (CPU ボトルネック) 22
- 23. ResNet 50 • Tesla V100 (16GB RAM) • ImageNet • 前処理：random crop + flip • バッチサイズ 32 • SerialIterator, StandardUpdater 23
- 24. GPU 計算の高速化 • cuDNN を使う – で cuDNN 同梱パッケージが入る (92 の部分は使用している CUDA toolkit のバージョンに合わせる) 24
- 25. GPU 計算の高速化 • cuDNN autotune 機能を使う – – 各 convolution の初回実行時に最適なカーネ ルを探す（初回のみオーバーヘッドがある） 25
- 26. GPU 計算の高速化 • FP16 で計算する – メモリ使用量・速度ともに改善する – TensorCore が使えればさらに高速に • 計算精度が落ちるので、最終的なモデルの予測性能が 保たれることを確認する 26
- 27. GPU 計算の高速化 FP16 で精度を上げる手段 • TensorCore を使う（gemm 内の accumulation が fp32） • FP32 update – 勾配をパラメータの fp32 コピーに足し込む – Optimizer の .use_fp32_update() を呼ぶ • Loss scaling – Backprop 時に定数倍されたエラーを扱うことで underflow を防 ぐ – StandardUpdater 等の loss_scale= や Optimizer の set_loss_scale() で設定可能 27
- 28. GPU 計算の高速化 • FP16 モードを使う（beta 版機能） – – or – デフォルトで float16 が使われる – と組合せると TensorCore も有効に 28
- 29. Visual Profiler で見てみる (fp32 mode) データの読み込み・前処理が間に合っていない 29 Iteration: 0.112sec Data load/preprocess: 0.069sec
- 30. Visual Profiler で見てみる (fp16 mode) GPU 側が速くなった分カーネル発行の余裕がなくなり、 ロード・前処理が隠蔽できなくなっている。ロード・前処 理自体にもさらに時間がかかるように。 30 Iteration: 0.079sec Data load/preprocess: 0.138sec
- 31. データ前処理の高速化 • NumPy の float16 計算は遅い • 前処理までは float32 でやることにする 31
- 32. 前処理 fp32 化 カーネル発行の余裕がなくなった分、まだデータ前処理の オーバーヘッドが露出している 32 Iteration: 0.077sec Data load/preprocess: 0.070sec
- 33. データ前処理の高速化 • 前処理を並列化する – MultiprocessIterator を使う – データ間の並列化に加え、 データの先読みも行う 33 参考：FP32
- 34. 34 FP16 FP32
- 35. forward/backward の高速化 (beta 版機能) • 静的グラフ最適化 （今月中にリリース予定） – 計算グラフのうち静的（iteration ごとに 不変）な部分をキャッシュし、Python オーバーヘッドを減らす – モデルの forward メソッドに @static_graph とつけるだけ 35
- 37. 37 Chainer の機能を組合せることでおよそ3.7倍の高速化 修正は 8 行 cuDNN の使用 様々なテクニック
- 38. おまけ：バッチサイズを増やす • メモリに余裕がある場合、バッチサイズを 増やすことで GPU を相対的に重くできる – 学習を速く進めるにはテクニックが必 要（学習率を同じ比率で上げるなど） – FP16 の方がデータあたりのメモリ消 費が少ないのでより大きなバッチサイ ズを使える 38 FP16 (batchsize x8) FP32 (batchsize x4)
- 39. FP16, Large batch (256) 39 カーネルがちゃんと詰まっている
- 40. さらなる高速化 ChainerMN による multi GPU 学習 (次バージョンで Chainer 本体に統合予定) 40
- 41. Chainer 本体のパフォーマンスに対する取り組み • CuPy の CPU オーバーヘッド削減 – Kernel launch の高速化 • Chainer のメモリオーバーヘッド削減 – メモリを削減することで、より大きなモデル・ミニ バッチが使えるようになり、GPU 負荷を上げる • Chainer の CPU オーバーヘッド削減 • （今後）”Static subgraph” の範囲を広げ、グラフ最適化 などを盛り込んでいく 41
- 42. まとめ • cuDNN の様々な高速化機能を Chainer から使う • FP16 + TensorCore を使う • 思い通りに速くならなかったら Visual Profiler • CPU ボトルネックを解消するには – NumPy での fp16 計算を避ける – iterator を並列化する – Static subgraph optimization を有効にする • ChainerMN でさらにスケール • Chainer/CuPy の高速化にも引き続き取り組んでいきます 42