Submit Search
AWS + MLflow + SageMakerの環境を動かしてみたお話
0 likes
935 views
I
ItohHiroki
2022/02/16 MLOps勉強会のLT発表資料です。 https://mlops.connpass.com/event/236071/
Engineering
Read more
1 of 13
Download now
Download to read offline
1
2
3
4
5
6
7
8
9
10
11
12
13
More Related Content
PDF
AWSではじめるMLOps
MariOhbuchi
PPTX
MLOps入門
Hiro Mura
PPTX
MLOpsはバズワード
Tetsutaro Watanabe
PDF
分散学習のあれこれ~データパラレルからモデルパラレルまで~
Hideki Tsunashima
PDF
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
NTT DATA Technology & Innovation
PDF
MLflowによる機械学習モデルのライフサイクルの管理
Takeshi Yamamuro
PDF
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
Preferred Networks
PDF
継続的なモデルモニタリングを実現するKubernetes Operator
Yahoo!デベロッパーネットワーク
AWSではじめるMLOps
MariOhbuchi
MLOps入門
Hiro Mura
MLOpsはバズワード
Tetsutaro Watanabe
分散学習のあれこれ~データパラレルからモデルパラレルまで~
Hideki Tsunashima
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
NTT DATA Technology & Innovation
MLflowによる機械学習モデルのライフサイクルの管理
Takeshi Yamamuro
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
Preferred Networks
継続的なモデルモニタリングを実現するKubernetes Operator
Yahoo!デベロッパーネットワーク
What's hot
(20)
PDF
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
NTT DATA Technology & Innovation
PDF
テスト文字列に「うんこ」と入れるな
Kentaro Matsui
PDF
Amazon SageMaker で始める機械学習
Amazon Web Services Japan
PDF
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
Preferred Networks
PDF
ターン制コマンドバトルにおける強化学習効率化
gree_tech
PDF
機械学習で泣かないためのコード設計 2018
Takahiro Kubo
PDF
サイエンス領域におけるMLOpsの取り組み #yjtc
Yahoo!デベロッパーネットワーク
PDF
Machine learning CI/CD with OSS
yusuke shibui
PDF
【メタサーベイ】Video Transformer
cvpaper. challenge
PPTX
DockerコンテナでGitを使う
Kazuhiro Suga
PPTX
「機械学習:技術的負債の高利子クレジットカード」のまとめ
Recruit Technologies
PDF
機械学習で泣かないためのコード設計
Takahiro Kubo
PDF
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
mlm_kansai
PPTX
CatBoost on GPU のひみつ
Takuji Tahara
PPTX
モデル高速化百選
Yusuke Uchida
PDF
失敗から学ぶ機械学習応用
Hiroyuki Masuda
PDF
ゼロから始める転移学習
Yahoo!デベロッパーネットワーク
PDF
DSIRNLP#1 ランキング学習ことはじめ
sleepy_yoshi
PDF
Rustに触れて私のPythonはどう変わったか
ShunsukeNakamura17
PDF
コンテナの作り方「Dockerは裏方で何をしているのか?」
Masahito Zembutsu
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
NTT DATA Technology & Innovation
テスト文字列に「うんこ」と入れるな
Kentaro Matsui
Amazon SageMaker で始める機械学習
Amazon Web Services Japan
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
Preferred Networks
ターン制コマンドバトルにおける強化学習効率化
gree_tech
機械学習で泣かないためのコード設計 2018
Takahiro Kubo
サイエンス領域におけるMLOpsの取り組み #yjtc
Yahoo!デベロッパーネットワーク
Machine learning CI/CD with OSS
yusuke shibui
【メタサーベイ】Video Transformer
cvpaper. challenge
DockerコンテナでGitを使う
Kazuhiro Suga
「機械学習:技術的負債の高利子クレジットカード」のまとめ
Recruit Technologies
機械学習で泣かないためのコード設計
Takahiro Kubo
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
mlm_kansai
CatBoost on GPU のひみつ
Takuji Tahara
モデル高速化百選
Yusuke Uchida
失敗から学ぶ機械学習応用
Hiroyuki Masuda
ゼロから始める転移学習
Yahoo!デベロッパーネットワーク
DSIRNLP#1 ランキング学習ことはじめ
sleepy_yoshi
Rustに触れて私のPythonはどう変わったか
ShunsukeNakamura17
コンテナの作り方「Dockerは裏方で何をしているのか?」
Masahito Zembutsu
Ad
Similar to AWS + MLflow + SageMakerの環境を動かしてみたお話
(20)
PDF
[CTO Night & Day 2019] ML services: MLOps #ctonight
Amazon Web Services Japan
PPTX
AWSで実践する機械学習
Core Concept Technologies
PDF
Amazon SageMaker: 機械学習の民主化から工業化へ(in Japanese)
Toshihiko Yamakami
PDF
UNICORNの機械学習ワークロードにおけるSpot&AWS Batchの活用
Inoue Seki
PDF
JAWSUG20171220
陽平 山口
PDF
AWS SageMaker導入による 機械学習インフラの再構築プロジェクト
SonseShimaoka
PPTX
MLflowで学ぶMLOpsことはじめ
Kenichi Sonoda
PDF
[CTO Night & Day 2019] よくある課題を一気に解説!御社の技術レベルがアップする 2019 秋期講習 #ctonight
Amazon Web Services Japan
PPTX
Amazon SageMaker の紹介 + デモ
recotech
PDF
Asakusaではじめるhadoop sparkプログラミング
Tadatoshi Sekiguchi
PDF
JAWSUG名古屋 AWS勉強会 20180309
陽平 山口
PDF
2016-02-08 Spark MLlib Now and Beyond@Spark Conference Japan 2016
Yu Ishikawa
PDF
JAWS FESTA 2018 OSAKA AHAB
陽平 山口
PDF
localstackによるAWS Lambdaの開発環境を、miniconda上でつくったら簡単便利だった話
真治 米田
PPTX
Japan Wrap Up re:Invent2018
Kameda Harunobu
PPTX
Japan wrapup reinvent2018
Amazon Web Services Japan
PPTX
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
Recruit Lifestyle Co., Ltd.
PDF
AWS Nyantech #2 Nyands-on visual search
MariOhbuchi
PPTX
Sparkにプルリク投げてみた
Noritaka Sekiyama
PDF
JAWSUG20180925
陽平 山口
[CTO Night & Day 2019] ML services: MLOps #ctonight
Amazon Web Services Japan
AWSで実践する機械学習
Core Concept Technologies
Amazon SageMaker: 機械学習の民主化から工業化へ(in Japanese)
Toshihiko Yamakami
UNICORNの機械学習ワークロードにおけるSpot&AWS Batchの活用
Inoue Seki
JAWSUG20171220
陽平 山口
AWS SageMaker導入による 機械学習インフラの再構築プロジェクト
SonseShimaoka
MLflowで学ぶMLOpsことはじめ
Kenichi Sonoda
[CTO Night & Day 2019] よくある課題を一気に解説!御社の技術レベルがアップする 2019 秋期講習 #ctonight
Amazon Web Services Japan
Amazon SageMaker の紹介 + デモ
recotech
Asakusaではじめるhadoop sparkプログラミング
Tadatoshi Sekiguchi
JAWSUG名古屋 AWS勉強会 20180309
陽平 山口
2016-02-08 Spark MLlib Now and Beyond@Spark Conference Japan 2016
Yu Ishikawa
JAWS FESTA 2018 OSAKA AHAB
陽平 山口
localstackによるAWS Lambdaの開発環境を、miniconda上でつくったら簡単便利だった話
真治 米田
Japan Wrap Up re:Invent2018
Kameda Harunobu
Japan wrapup reinvent2018
Amazon Web Services Japan
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
Recruit Lifestyle Co., Ltd.
AWS Nyantech #2 Nyands-on visual search
MariOhbuchi
Sparkにプルリク投げてみた
Noritaka Sekiyama
JAWSUG20180925
陽平 山口
Ad
AWS + MLflow + SageMakerの環境を動かしてみたお話
1.
AWS+MLflow+SageMakerの 環境を動かしてみたお話
2.
自己紹介 ○ 伊藤 弘毅
(いとう ひろき) @highitoh ○ ソフトウェアエンジニア (データサイエンティストではない) ○ MLOpsを始めたきっかけ データサイエンティストじゃないけど、 システム開発の立場でAI技術に関わってみたい! (いまは個人的にいろいろ試している) 2
3.
AWS+MLflow+SageMaker の環境を動かしてみる 3
4.
MLflowとは ○ オープンソースの実験管理ツール ○ MLOps勉強会でも何度か紹介されている ○
MLflow Tracking □ 学習時のパラメータ、メトリクス、モデルを保存できる □ 表やグラフで実験結果を比較できる 4
5.
MLflow Trackingのうれしいところ パラメータやメトリクスを 後から確認できる 5 モデルを後から取得できる 学習結果を比較できる
6.
AWS+MLflow+SageMakerの構成 AWSのサンプルを利用 (https://github.com/aws-samples/amazon-sagemaker-mlflow-fargate) 6 S3にモデルなどを 保存 FargateでMLflowが動作 SageMakerと連携可能 RDSにパラメータな どを保存
7.
Advent Calendar 2021
@ Qiita 7 https://qiita.com/highitoh/items/c063a11981d23978f820
8.
AWSサンプルの環境で遊んでみる 8
9.
システム構成 ○ 信号機の色を認識してロボッ トカーの動きを変える ○ 手元のPCで学習、結果を AWS上のMLflowに登録 ○
PiCar-X □ カメラや各種センサのついたロ ボットカー □ ラズパイで動作する https://www.sunfounder.com/products /picar-x 9
10.
ロボットカーを動かしてみた ←うまくいったときの動き (※モデルは洗練させていない) 10
11.
AWS+MLflowを使ってみた感想 ○ スクリプトにメソッドを埋め込む必要がある、がそこまで手間ではない ○ AWSのエンドポイントへの接続もわりと簡単(今回はset_tracking_uriの設定のみ) ○
いつでもメトリクスを確認できてモデルを復元できる安心感 ○ 固定費として1日$2~$3の課金(RDSなどで掛かっている。工夫すれば減らせるかも) 11
12.
まとめ ○ MLflowをAWS上で動かす環境を作ってみました ○ 詳しくはこちら(https://qiita.com/highitoh/items/c063a11981d23978f820) ○
個人であっても試せる! ○ 今後試してみたいこと ○ IoT Greengrassを使ったモデルのデプロイ ○ パイプライン(ex. AWS Step Functions)をつくる ○ ↑でわかったことを記事にする 12
13.
THANKS!
Download