TensorRT Inference Serverではじめる、 高性能な推論サーバ構築
4 likes4,745 views
この資料は 2019 年 10 月 30 日に開催された GPU Deep Learning Community #12 にて、NVIDIAの山崎和博が発表した際のものです。
![13
TRTISに学習済みモデルをデプロイするには？
モデルの配置と設定ファイル (config.pbtxt) の記述
config.pbtxt (例)
name: "resnet"
platform: "tensorflow_savedmodel"
max_batch_size: 64
input {
name: "input"
data_type: TYPE_FP32
format: FORMAT_NHWC
dims: [ 224, 224, 3 ]
}
output {
name: "probabilities"
data_type: TYPE_FP32
dims: 1000
}
default_model_filename: "saved_model"
instance_group [
{
count: 1
kind: KIND_GPU
}
]
dynamic_batching {
preferred_batch_size: [ 16 ]
max_queue_delay_microseconds: 20000
}](https://image.slidesharecdn.com/20191030gdlctrtis-191031011832/85/TensorRT-Inference-Server-13-320.jpg)
![14
パフォーマンスに影響する主な設定項目
同時実行数とリクエストキュー
config.pbtxt (例)
default_model_filename: "saved_model"
instance_group [
{
count: 1
kind: KIND_GPU
}
]
dynamic_batching {
preferred_batch_size: [ 16 ]
max_queue_delay_microseconds: 20000
}
GPU上にモデルを何個
展開するか指定
リクエストを最大いくつ
束ねるかの指定
キューでの最大
待ち時間 (マイクロ秒)](https://image.slidesharecdn.com/20191030gdlctrtis-191031011832/85/TensorRT-Inference-Server-14-320.jpg)
![18
デモ
音声認識モデルを例に
config.pbtxt
name: "jasper"
platform: "tensorrt_plan"
max_batch_size: 1
input [
{
name: "FEATURES"
data_type: TYPE_FP32
dims: [ 64, 3600 ]
}
]
output [
{
name: "LOGITS"
data_type: TYPE_FP32
dims: [ 1800, 29 ]
}
]
default_model_filename: "model.engine"
instance_group [
{
count: 1
kind: KIND_GPU
}
]](https://image.slidesharecdn.com/20191030gdlctrtis-191031011832/85/TensorRT-Inference-Server-18-320.jpg)
TensorRT Inference Serverではじめる、 高性能な推論サーバ構築
- 1. Kazuhiro Yamasaki, Deep Learning Solution Architect, NVIDIA, 10/30/2019 GPU DEEP LEARNING COMMUNITY #12 TENSORRT INFERENCE SERVERではじめる、 高性能な推論サーバ構築
- 2. 2 AGENDA ディープラーニングの推論処理 TensorRT Inference Server (TRTIS) とは？ デプロイに必要なこと パフォーマンスチューニング デモ：音声認識モデルのデプロイ
- 6. 6 推論処理で気をつける指標 トレードオフの関係 スループット (or 同時接続数) 遅延 精度 (accuracy, etc) 量子化 (特にINT8) で高速化 → 何もしないと精度低下の可能性 (calibration 等で対処)
- 8. 8 GPUを使った推論の場合 バッチ的に処理するほうが高速 1 2 3 1,2,3 複数の処理を束ねて実行することで、スループットを改善 (束ねるために待ちすぎると遅延が悪化)
- 10. 10 TENSORRT INFERENCE SERVER (TRTIS) GPUに最適化された推論サーバのOSS実装 Models supported ● TensorRT Plans ● TensorFlow GraphDef/SavedModel ● TensorFlow and TensorRT GraphDef ● PyTorch JIT (.pt) ● ONNX graph ● Caffe2 NetDef (ONNX import) Multi-GPU support Concurrent model execution Server HTTP REST API/gRPC Python/C++ client libraries https://github.com/NVIDIA/tensorrt-inference-server
- 11. 11 TENSORRT INFERENCE SERVER (TRTIS) 特徴的な機能 Concurrent Model Execution 複数モデル (同じモデルを複数個もOK) を同 時にGPU上で実行 CPU Model Inference Execution CPUでの推論実行もサポート Metrics GPU使用率、推論回数、メモリ使用量、実 行時間など Custom Backend 共有ライブラリとして実装された処理を custom backendとして使用可能 Model Ensemble 複数のモデルの入出力をつないでパイプライン 化することも可能 Dynamic Batching 事前定義の最大数および最大遅延を基準 に、推論リクエストをバッチにまとめる Multiple Model Format Support TensorRT Plans TensorFlow GraphDef/SavedModel TensorFlow and TensorRT GraphDef PyTorch JIT (.pt) ONNX graph (ONNX Runtime) Caffe2 NetDef (ONNX import path) CMake build ソースコードからビルドすることで、複数OSへの ポーティング等が容易に Streaming API 音声認識のようなストリーミング等もサポート
- 12. 12 TRTISに学習済みモデルをデプロイするには？ モデルの配置と設定ファイル (config.pbtxt) の記述 models/ +-- resnet/ | +-- config.pbtxt | +-- 1/ | | +-- saved_model.pb | : +-- ssd/ | +-- config.pbtxt | +-- 1/ | +-- model.trtengine : 設定ファイル 学習済みモデル学習済みモデル モデルにバージョンを 定義可能 ディレクトリ構成 trtserver --model-repository=/models 起動コマンド または NGC のコンテナイメージを利用 (本資料末尾参照)
- 13. 13 TRTISに学習済みモデルをデプロイするには？ モデルの配置と設定ファイル (config.pbtxt) の記述 config.pbtxt (例) name: "resnet" platform: "tensorflow_savedmodel" max_batch_size: 64 input { name: "input" data_type: TYPE_FP32 format: FORMAT_NHWC dims: [ 224, 224, 3 ] } output { name: "probabilities" data_type: TYPE_FP32 dims: 1000 } default_model_filename: "saved_model" instance_group [ { count: 1 kind: KIND_GPU } ] dynamic_batching { preferred_batch_size: [ 16 ] max_queue_delay_microseconds: 20000 }
- 14. 14 パフォーマンスに影響する主な設定項目 同時実行数とリクエストキュー config.pbtxt (例) default_model_filename: "saved_model" instance_group [ { count: 1 kind: KIND_GPU } ] dynamic_batching { preferred_batch_size: [ 16 ] max_queue_delay_microseconds: 20000 } GPU上にモデルを何個 展開するか指定 リクエストを最大いくつ 束ねるかの指定 キューでの最大 待ち時間 (マイクロ秒)
- 17. 17 デモ 音声認識モデルを例に Jasper: An End-to-End Convolutional Neural Acoustic Model https://github.com/NVIDIA/DeepLearningExamples/tree/ master/PyTorch/SpeechRecognition/Jasper
- 18. 18 デモ 音声認識モデルを例に config.pbtxt name: "jasper" platform: "tensorrt_plan" max_batch_size: 1 input [ { name: "FEATURES" data_type: TYPE_FP32 dims: [ 64, 3600 ] } ] output [ { name: "LOGITS" data_type: TYPE_FP32 dims: [ 1800, 29 ] } ] default_model_filename: "model.engine" instance_group [ { count: 1 kind: KIND_GPU } ]
- 20. 20 余談: K8Sでオートスケール Prometheusとの連携でさらに高度な監視も apiVersion: autoscaling/v2beta1 kind: HorizontalPodAutoscaler metadata: name: inference-server-v1-hpa namespace: default spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: inference-server-v1 minReplicas: 2 maxReplicas: 5 設定の一例 metrics: - type: Resource resource: name: cpu targetAverageUtilization: 50 スケーリングする基準を設定 (Prometheus経由の metricsも利用可能)
- 23. 23 APPENDIX
- 24. 24 TRTISのDOCKERコンテナイメージ NGCから毎月リリース中 https://ngc.nvidia.com/catalog/containers/nvidia:tensorrtserver docker run --gpus all --rm --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 -p8000:8000 -p8001:8001 –p8002:8002 -v/path/to/model/store:/tmp/models nvcr.io/nvidia/tensorrtserver:19.xx-py3 /opt/tensorrtserver/bin/trtserver --model-store=/tmp/models 起動コマンド一例 (docker CE19.03以降) ↓