Introduction to TFX (TFDV+TFT+TFMA)
1 like944 views
TensorFlow Extend (TFX) の解説資料です。 https://docs.google.com/presentation/d/1R-vsoCKb1XPrMv81tpYddVH8mVunKCFuShHAOfWv9Rs/edit?usp=sharing GIF 動画の部分がレンダリングできないので、気になる方は Google Slide ver. を御覧ください https://d3m.connpass.com/event/98934/ Data Driven Developer Meetup #1 で発表した資料です。 TensorFlow DataValidation, TensorFlow Transformation, TensorFlow Model Analysis の解説を行っています。
Introduction to TFX (TFDV+TFT+TFMA)
- 1. Introduction to TFX Family 1. TFT 2. TFMA 3. TFDV 上田隼也 @hurutoriya 2018/09/01
- 2. $ whoami ● 上田隼也 :: @hurutoriya ● キカイガクシュウエンジニア ● Machine Learning Casual Talks Co-Organizer ● https://shunyaueta.com/
- 3. 機械学習システムの困難性 機械学習モデルができた後に立ちはだかる壁 引用 : Hidden Technical Debt in Machine Learning Systems (NIPS2015)
- 4. 機械学習システムの困難性 ● 継続的再学習 (Continuous Learning) ● システムに必ずヒトが介在する (Human-in-the-loop) ● データは不変の存在ではない (Data is mutable) 引用 : Hidden Technical Debt in Machine Learning Systems (NIPS2015)
- 5. 機械学習システムコンポーネント ● データ収集→特徴量抽出→データ検証 (ETL) ● 各種ワークフロー管理 ● 推論結果のサービング環境 ● マシンリソース管理 ● モデルの精度トラッキング
- 6. プロダクションレベルの機械学習システムとは? ● 最重要: Reliability + Scalability ○ Google が提唱する機械学習基盤の考え ○ TensorFlow Extend ● 機械学習システム各種ワークフロー ● 機械学習エンジニアとユーザーとして捉えた際に 何が必要案件なのかを洗い出してくれてる KDD Link here, KDD Video here, Paper Link here, Author Demo Video here .
- 7. High-level component overview of a machine learning platform.
- 8. 現在リリースされているTFXコンポーネント 1. TensorFlow Data Validation (TFDV) 2. TensorFlow Transformation (TFT) 3. TensorFlow Model Analysis (TFMA) Apache Beam に依存しており、Python2.7環境が必須
- 9. TensorFlow Data Validation ● データ検証を行うコンポーネント ● データパイプラインの定義: Apache Beam ○ 柔軟性 ■ 各種統計値を柔軟に計算可能 ○ 拡張性 ■ 分散処理フレームワークの特性
- 10. TensorFlow Data Validation ● Notebook上で統計値を可視化(Facets を利用)
- 11. TensorFlow Data Validation ● スキーマの推測 ○ データの特性を反映する形でスキーマを推測 ○ データは流動的なものなのでシステム側で適合させる
- 12. TensorFlow Data Validation ● 新データに対する検証
- 13. TensorFlow Data Validation ● 継続的なデータ検証
- 14. TensorFlow Data Validation ● 異なるデータセットに対する検証
- 15. TensorFlow Data Validation ● 学習環境と本番環境間の不均衡検出
- 16. TensorFlow Transformation ● 平均・標準偏差に基づいた正規化 ● (入力データの語彙に基づいた)文字列→数値の変換 ● TensorFlowの計算グラフとしてエクスポート可能
- 17. TensorFlow Model Analysis 機械学習モデルの解析を行う ● TensorBoard との違い ○ TensorBoeard : 学習の判断に必要 ■ モデルの収束など ○ TFMA: モデルリリースの判断に必要 ■ Cross Validationの結果など
- 18. TensorFlow Model Analysis ● One model VS. multiple models ○ TensorBoard: 基本的に単一モデルのメトリクス ○ TFMA: 複数モデルを時系列に沿って評価可能
- 19. TensorFlow Model Analysis ● モデルの評価をセグメントごとに分割
- 20. TensorFlow Model Analysis ● セグメントごとに分割された評価指標の可視化
- 21. Reference ● TFX: A TensorFlow-Based Production-Scale Machine Learning Platform ○ 日本語解説資料 ● Kubeflow ○ 日本語解説資料 ● Applied Machine Learning at Facebook: A Datacenter Infrastructure Perspective ● Introducing FBLearner Flow: Facebook’s AI backbone ● Machine Learning in Uber's Data Science Platforms ● Bighead: Airbnb’s End-to-End Machine Learning Platform ● Rules os ML: EN, JP ● Machine Learning Glossary by Google