Submit Search
machine_learning_failure_apocalypse.pdf
0 likes
38 views
Y
yusuke shibui
My experience of failing machine learning project
Software
Read more
1 of 13
Download now
Download to read offline
1
2
3
4
5
6
7
8
9
10
11
12
13
More Related Content
PDF
MLOps failure(1_108)
yusuke shibui
PDF
失敗から学ぶ機械学習応用
Hiroyuki Masuda
PDF
ブレインパッドにおける機械学習プロジェクトの進め方
BrainPad Inc.
PDF
How to start MLOps
yusuke shibui
PDF
Devsumi 2021 MLOps for Self-driving car
yusuke shibui
PPTX
先駆者に学ぶ MLOpsの実際
Tetsutaro Watanabe
PDF
GOの機械学習システムを支えるMLOps事例紹介
Takashi Suzuki
PPTX
ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ
Tetsutaro Watanabe
MLOps failure(1_108)
yusuke shibui
失敗から学ぶ機械学習応用
Hiroyuki Masuda
ブレインパッドにおける機械学習プロジェクトの進め方
BrainPad Inc.
How to start MLOps
yusuke shibui
Devsumi 2021 MLOps for Self-driving car
yusuke shibui
先駆者に学ぶ MLOpsの実際
Tetsutaro Watanabe
GOの機械学習システムを支えるMLOps事例紹介
Takashi Suzuki
ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ
Tetsutaro Watanabe
Similar to machine_learning_failure_apocalypse.pdf
(12)
PDF
Azure Machine Learning getting started
Masayuki Ota
PDF
機械学習で導入でつまった3つの事
創史 花村
PPTX
東北大学AIE - 機械学習入門編
Daiyu Hatakeyama
PDF
機械学習で泣かないためのコード設計 2018
Takahiro Kubo
PPTX
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
Tetsutaro Watanabe
PPTX
機械学習 - MNIST の次のステップ
Daiyu Hatakeyama
PDF
これから機械学習エンジニアとして戦っていくみなさんへ ~MLOps というマインドセットについて~
MicroAd, Inc.(Engineer)
PDF
Getting started with MLOps
yusuke shibui
PDF
あなたの業務に機械学習を活用する5つのポイント
Shohei Hido
PDF
MLOps Yearning ~ 実運用システムを構築する前にデータサイエンティストが考えておきたいこと
Rakuten Group, Inc.
PDF
Lets start mlops
yusuke shibui
PPTX
MLOpsを機械学習モデル改善の観点から考察.pptx
ssuserbc0688
Azure Machine Learning getting started
Masayuki Ota
機械学習で導入でつまった3つの事
創史 花村
東北大学AIE - 機械学習入門編
Daiyu Hatakeyama
機械学習で泣かないためのコード設計 2018
Takahiro Kubo
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
Tetsutaro Watanabe
機械学習 - MNIST の次のステップ
Daiyu Hatakeyama
これから機械学習エンジニアとして戦っていくみなさんへ ~MLOps というマインドセットについて~
MicroAd, Inc.(Engineer)
Getting started with MLOps
yusuke shibui
あなたの業務に機械学習を活用する5つのポイント
Shohei Hido
MLOps Yearning ~ 実運用システムを構築する前にデータサイエンティストが考えておきたいこと
Rakuten Group, Inc.
Lets start mlops
yusuke shibui
MLOpsを機械学習モデル改善の観点から考察.pptx
ssuserbc0688
Ad
More from yusuke shibui
(20)
PDF
Creative as Software Engineering for GenAI LT
yusuke shibui
PDF
Generative AIと検索を組み合わせた新たな体験の模索
yusuke shibui
PDF
機械学習システム構築実践ガイド
yusuke shibui
PDF
機械学習でテスト実行を効率化するLaunchable.pdf
yusuke shibui
PDF
Reviewing_machine_learning_program.pdf
yusuke shibui
PDF
DevSummit_2022_summer_MLOps.pdf
yusuke shibui
PDF
Launchable and efficient test execution
yusuke shibui
PDF
Rosbag search system
yusuke shibui
PDF
Machine learning CI/CD with OSS
yusuke shibui
PDF
Testing machine learning development
yusuke shibui
PDF
Twillio deadshot made me happy
yusuke shibui
PDF
ML system design_pattern
yusuke shibui
PDF
Machine learning quality for production
yusuke shibui
PDF
Traffic light detection for self driving car
yusuke shibui
PDF
Quality of ml_system
yusuke shibui
PDF
Ml system in_python
yusuke shibui
PDF
TFLite_and_PyTorch_Mobile
yusuke shibui
PDF
Mercari Image search 1st Anniversary
yusuke shibui
PDF
Machine learning and_system_design
yusuke shibui
PDF
Machine learning microservice_management
yusuke shibui
Creative as Software Engineering for GenAI LT
yusuke shibui
Generative AIと検索を組み合わせた新たな体験の模索
yusuke shibui
機械学習システム構築実践ガイド
yusuke shibui
機械学習でテスト実行を効率化するLaunchable.pdf
yusuke shibui
Reviewing_machine_learning_program.pdf
yusuke shibui
DevSummit_2022_summer_MLOps.pdf
yusuke shibui
Launchable and efficient test execution
yusuke shibui
Rosbag search system
yusuke shibui
Machine learning CI/CD with OSS
yusuke shibui
Testing machine learning development
yusuke shibui
Twillio deadshot made me happy
yusuke shibui
ML system design_pattern
yusuke shibui
Machine learning quality for production
yusuke shibui
Traffic light detection for self driving car
yusuke shibui
Quality of ml_system
yusuke shibui
Ml system in_python
yusuke shibui
TFLite_and_PyTorch_Mobile
yusuke shibui
Mercari Image search 1st Anniversary
yusuke shibui
Machine learning and_system_design
yusuke shibui
Machine learning microservice_management
yusuke shibui
Ad
machine_learning_failure_apocalypse.pdf
1.
機械学習実用化失敗黙示録 2022/04/20 しぶい
2.
自己紹介 shibui yusuke ● いろいろ
→ Launchable(いまここ) ● MLOpsとかいろいろエンジニア ● もともとクラウド基盤の開発、運用 ● ここ6年くらいMLOpsとバックエンドとインフラとたまに データ分析とAndroidで仕事 ● Github: @shibuiwilliam ● FB: yusuke.shibui ● Meety: https://meety.net/matches/OPJgijxiEMHE ● 最近の趣味:本の執筆と副業と ARとネコ cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2
3.
MLOps勉強会を毎月開催してます! https://mlops.connpass.com/
4.
ワシの失敗談は百八式まであるぞ ● 成功の裏には多くの失敗が存在する。 ● 成功しなくても多くの失敗は存在する。 ●
機械学習の実用化関係の仕事を続けてきて犯した大小の失敗のうち、 代表的な1個を説明します。
5.
機械学習を実用化するためのエンジニアリング 学習 コード 学習 データ 学習 評価 モデル レポート 推論 コード CI テスト データ 評価 コード CD システム A A/B テスト システム B 負荷 試験 ログ 収集 評価 データ ユニット テスト ユニット テスト 機械学習エンジニアが得意 ソフトウェアエンジニアが得意 SREが得意
6.
機械学習を実用化するためのエンジニアリング 学習 コード 学習 データ 学習 評価 モデル レポート 推論 コード CI テスト データ 評価 コード CD システム A A/B テスト システム B 負荷 試験 ログ 収集 評価 データ ユニット テスト ユニット テスト 機械学習エンジニアが得意 ソフトウェアエンジニアが得意 SREが得意 機械学習のエンジニアリングには 機械学習の知識が必要
7.
0->1 フェーズのよくある失敗 全部できるスーパーエンジニアが全部作る ・・・けど作るだけで終わる 機械学習を実用化するためのエンジニアリング 学習 コード 学習 データ 学習 評価 モデル レポート 推論 コード CI テスト データ 評価 コード CD システム A A/B テスト システム B 負荷 試験 ログ 収集 評価 データ ユニット テスト ユニット テスト 機械学習エンジニアが得意 ソフトウェアエンジニアが得意 SREが得意
8.
機械学習黎明期に謎の機械学習システムが出来上がる コード管理 DWH CI CRD 学習 パイプライン ビルド パイプライン マイクロサービス CRD デプロイ パイプライン CRD 学習 クラスター サービス クラスター cron リソース コントローラ
9.
チームメンバー モチベーション 俺は0->1が得意! 新しいプロダクトを考 えたよ♪ どうにか運用せねば ・・・ 作った人の尻拭いは 嫌だ。無駄に複雑で 不安定だし。 作った人 PdM EM
10.
作り直すことのエンジニアリング ● 目標を立てる:チームメンバーが技術選定して小さな変更でまともな運用を目指す ○ 独自パイプラインCRDをマネージドサービスとサーバレスに寄せる ●
モチベーションを作る:作ったときに存在しなかった新しい技術を取り入れる ○ Vertex AIやMLflowの導入 ● フルスタックを目指さない:エンジニアとして今得たい技術に集中する ○ 機械学習Kubernetesクラスターをインフラチームクラスターに移行 ● 技術的負債をビジネス的に説明する:運用負荷を下げたほうが開発効率は上がる ○ 開発vs運用工数の指標化
11.
開発のチームワークはフェーズによって異なる 機械学習 導入開始 実用化 開発自動化 リリース 自動化 機械学習 エンジニア一人 機械学習 エンジニア複数 機械学習エンジニア + バックエンドエンジニア プロダクト別・事業別 チーム 頑張れ! 一番自由な時期! 阿吽の呼吸で わいわい楽しい ♪ 軋轢が生まれ始める コード品質
vs Jupyter 各チームの独自運用 他チームはあまり知らない スーパーエンジニア レガシー企業は 実はこのステージが多い 動いてるけどメンテナンスが 難しいことが多い バックエンドエンジニアの 支援がありがたいフェーズ 素晴らしいチームワーク!
12.
学び ● 作りたいものや作ってほしいものが、本当に作るべきものとは限らない。 ● 作り直しは必ず発生する。新技術を扱ったプロダクトでは特に。 ●
組織とプロダクトのフェーズによって突破志向と安定志向を使い分ける。
13.
昨年出版した本の宣伝 ● AIエンジニアのための 機械学習システムデザインパターン ● 2021年5月17日発売 ●
https://www.amazon.co.jp/dp/4798169447/ ● 機械学習よりもKubernetesとIstioに詳しくなれる一冊! ● Amazon.co.jp 情報学・情報科学部門 1位! 人工知能部門 1位! ● 韓国語版も発売中! ● 英語版出したい!
Download