MOV お客さま探索ナビの GCP ML開発フローについて
Download as PPTX, PDF0 likes1,615 views
DeNAのAI本部AIシステム部 鈴木隆史 が 2019/10/31 に MOBILITY:dev で 登壇した内容をご紹介します。
MOV お客さま探索ナビの GCP ML開発フローについて
- 1. MOV お客さま探索ナビの GCP ML開発フローについて 鈴木 隆史 AI本部 AIシステム部 MLエンジニアリンググループ 株式会社ディー・エヌ・エー
- 2. 自己紹介 鈴木 隆史 | Takashi Suzuki AI本部 AIシステム部 MLエンジニアリンググループ 前職では新卒でITメガベンチャーに入社し、サーバーサイドエンジニアとしてゲーム開発と ビッグデータを活用したサービス分析をリード。 その後、大規模データ基盤の新規構築と運用保守などのデータエンジニアリング業務と、レ コメンドアルゴリズムの設計開発やチャットボット開発などのMLエンジニアリング業務に 従事していた。 2019年にDeNAに入社し、オートモーティブ事業における機械学習の実験基盤やパイプライ ンの設計開発を行っている。 2
- 4. サービス 4 1
- 7. システム概要 7 2
- 8. 全体システム構成 8
- 9. 9 コンポーネント概要 リアルタイム データ処理 ● 車両データのETL ● DWH ● データ前処理 需要供給予測 ● 特徴量作成 ● MLモデル予測 走行ルート推薦 ● 最適方策の獲得 ● 全体最適化
- 11. ML開発フロー 11 3
- 12. 本番環境 ● 推論パイプライン ● モデル精度監視 12 ML開発フロー 実験環境 ● 分析/モデル開発 ● 実験管理 CI/CD
- 13. 本番環境 ● 推論パイプライン ● モデル精度監視 13 ML開発フロー 実験環境 ● 分析/モデル開発 ● 実験管理 CI/CD
- 15. ユーザ認証Jupyter環境 ● GKE構築でセキュア（SSL、IP制限）でスケールしやすい ● 個人認証（Cloud IAP）をサポート ● Notebookを共有しやすい v.s. Datalab ● セキュア要件への柔軟さ ● 起動の速さ セキュアなクラウド環境：JupyterHub 15
- 16. フルマネージド学習基盤 ● 1分単位の起動時間課金 ● Dockerカスタムイメージの学習をサポート ● ジョブ実行までidle timeが発生する v.s. GKE ● 柔軟なインスタンス変更 ● クラスタ作成不要の手軽さ 学習時のスケール：AI Platform Training Job 16 AI Platform
- 17. 本番環境 ● 推論パイプライン ● モデル精度監視 17 ML開発フロー 実験環境 ● 分析/モデル開発 ● 実験管理 CI/CD
- 19. comet.ml - 豊富な視覚化/比較 - ハイパラ探索 - コード管理 - Git Integration - 有料 各実験パラメータの管理 19 mlflow - 視覚化/比較 - 簡易ハイパラ探索 - 無料 BigQuery - 視覚化はDataPortal - リストはDataConnector - カスタムしやすい
- 20. 本番環境 ● 推論パイプライン ● モデル精度監視 20 ML開発フロー 実験環境 ● 分析/モデル開発 ● 実験管理 CI/CD
- 22. コード・モデルの再現性 ● コミュニケーションギャップの解消 ● 再現性の担保 ● GKEやTraining Jobのコンテナで利用しやすい モデルのロールバック ● DockerのImage Tag/Digestでversion管理 ● 切り戻す際には以前のImageへ 再現性とロールバック：Docker I/F 22
- 23. 動作・検証テスト ● 時間の関係でCircleCIでチェックするのは動作・検証テストのみ ● 小規模データでモデルの有効性と実装エラーを検証 ● 本番条件での連携と評価テストは専用Invoke モデルの簡易テスト：pytest 23
- 24. 本番環境 ● 推論パイプライン ● モデル精度監視 24 ML開発フロー 実験環境 ● 分析/モデル開発 ● 実験管理 CI/CD
- 26. マネージドAirflow ● 複雑な依存関係定義によりヒューマンエラー防止 ● 冪等性なJob実行により再現性を担保 ● 定期的にJobを実行してモデルを更新 ● 重い処理はGKEやTraining Jobを利用 v.s. Kubeflow Pipeline ● 途中Jobから再実行可能 ● 外部トリガー・外部リソースの利用が容易 ● 評価指標は管理できない パイプラインにおける課題：Cloud Composer 26 Cloud Composer
- 27. 本番環境 ● 推論パイプライン ● モデル精度監視 27 ML開発フロー 実験環境 ● 分析/モデル開発 ● 実験管理 CI/CD
- 29. モデル推論の精度を監視 ● モデルの定期更新はComposerで担保 ● モデル精度をカスタムメトリックでMonitoring ● ベースモデルと比較して悪ければ通知 モデルの経年劣化：Stackdriver Monitoring 29 Stackdriver Monitoring
- 30. まとめ 30 4
- 31. MLOpsの立ち位置 ● 業務ごとに専門性が増し、生産性向上のために分業化が進むと、個々人が把握できる コンポーネントは減ってしまう ● 再現性の担保、依存関係の管理、精度やエラー監視する仕組みなどのMLOpsを事前 に準備することで、技術的負債を減らすことができる ● チームごとの課題を把握し、予めI/Fや方針を握っておくことが重要 大事にしていること 31
Editor's Notes
- #7: 乗車予測を立てることで空車となる時間を短縮し、歩合制の契約が多いタクシー運転手の収入を安定させる