SlideShare a Scribd company logo
AWS+MLflow+SageMakerの
環境を動かしてみたお話
自己紹介
○ 伊藤 弘毅 (いとう ひろき) @highitoh
○ ソフトウェアエンジニア
(データサイエンティストではない)
○ MLOpsを始めたきっかけ
データサイエンティストじゃないけど、
システム開発の立場でAI技術に関わってみたい!
(いまは個人的にいろいろ試している)
2
AWS+MLflow+SageMaker
の環境を動かしてみる
3
MLflowとは
○ オープンソースの実験管理ツール
○ MLOps勉強会でも何度か紹介されている
○ MLflow Tracking
□ 学習時のパラメータ、メトリクス、モデルを保存できる
□ 表やグラフで実験結果を比較できる
4
MLflow Trackingのうれしいところ
パラメータやメトリクスを
後から確認できる 5
モデルを後から取得できる
学習結果を比較できる
AWS+MLflow+SageMakerの構成
AWSのサンプルを利用 (https://github.com/aws-samples/amazon-sagemaker-mlflow-fargate)
6
S3にモデルなどを
保存
FargateでMLflowが動作
SageMakerと連携可能 RDSにパラメータな
どを保存
Advent Calendar 2021 @ Qiita
7
https://qiita.com/highitoh/items/c063a11981d23978f820
AWSサンプルの環境で遊んでみる
8
システム構成
○ 信号機の色を認識してロボッ
トカーの動きを変える
○ 手元のPCで学習、結果を
AWS上のMLflowに登録
○ PiCar-X
□ カメラや各種センサのついたロ
ボットカー
□ ラズパイで動作する
https://www.sunfounder.com/products
/picar-x
9
ロボットカーを動かしてみた
←うまくいったときの動き
(※モデルは洗練させていない)
10
AWS+MLflowを使ってみた感想
○ スクリプトにメソッドを埋め込む必要がある、がそこまで手間ではない
○ AWSのエンドポイントへの接続もわりと簡単(今回はset_tracking_uriの設定のみ)
○ いつでもメトリクスを確認できてモデルを復元できる安心感
○ 固定費として1日$2~$3の課金(RDSなどで掛かっている。工夫すれば減らせるかも)
11
まとめ
○ MLflowをAWS上で動かす環境を作ってみました
○ 詳しくはこちら(https://qiita.com/highitoh/items/c063a11981d23978f820)
○ 個人であっても試せる!
○ 今後試してみたいこと
○ IoT Greengrassを使ったモデルのデプロイ
○ パイプライン(ex. AWS Step Functions)をつくる
○ ↑でわかったことを記事にする
12
THANKS!

More Related Content

PDF
AWSではじめるMLOps
PPTX
MLOps入門
PPTX
MLOpsはバズワード
PDF
分散学習のあれこれ~データパラレルからモデルパラレルまで~
PDF
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
PDF
MLflowによる機械学習モデルのライフサイクルの管理
PDF
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
PDF
継続的なモデルモニタリングを実現するKubernetes Operator
AWSではじめるMLOps
MLOps入門
MLOpsはバズワード
分散学習のあれこれ~データパラレルからモデルパラレルまで~
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
MLflowによる機械学習モデルのライフサイクルの管理
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
継続的なモデルモニタリングを実現するKubernetes Operator

What's hot (20)

PDF
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
PDF
テスト文字列に「うんこ」と入れるな
PDF
Amazon SageMaker で始める機械学習
PDF
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
PDF
ターン制コマンドバトルにおける強化学習効率化
PDF
機械学習で泣かないためのコード設計 2018
PDF
サイエンス領域におけるMLOpsの取り組み #yjtc
PDF
Machine learning CI/CD with OSS
PDF
【メタサーベイ】Video Transformer
PPTX
DockerコンテナでGitを使う
PPTX
「機械学習:技術的負債の高利子クレジットカード」のまとめ
PDF
機械学習で泣かないためのコード設計
PDF
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
PPTX
CatBoost on GPU のひみつ
PPTX
モデル高速化百選
PDF
失敗から学ぶ機械学習応用
PDF
ゼロから始める転移学習
PDF
DSIRNLP#1 ランキング学習ことはじめ
PDF
Rustに触れて私のPythonはどう変わったか
PDF
コンテナの作り方「Dockerは裏方で何をしているのか?」
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
テスト文字列に「うんこ」と入れるな
Amazon SageMaker で始める機械学習
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
ターン制コマンドバトルにおける強化学習効率化
機械学習で泣かないためのコード設計 2018
サイエンス領域におけるMLOpsの取り組み #yjtc
Machine learning CI/CD with OSS
【メタサーベイ】Video Transformer
DockerコンテナでGitを使う
「機械学習:技術的負債の高利子クレジットカード」のまとめ
機械学習で泣かないためのコード設計
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
CatBoost on GPU のひみつ
モデル高速化百選
失敗から学ぶ機械学習応用
ゼロから始める転移学習
DSIRNLP#1 ランキング学習ことはじめ
Rustに触れて私のPythonはどう変わったか
コンテナの作り方「Dockerは裏方で何をしているのか?」
Ad

Similar to AWS + MLflow + SageMakerの環境を動かしてみたお話 (20)

PDF
[CTO Night & Day 2019] ML services: MLOps #ctonight
PPTX
AWSで実践する機械学習
PDF
Amazon SageMaker: 機械学習の民主化から工業化へ(in Japanese)
PDF
UNICORNの機械学習ワークロードにおけるSpot&AWS Batchの活用
PDF
JAWSUG20171220
PDF
AWS SageMaker導入による 機械学習インフラの再構築プロジェクト
PPTX
MLflowで学ぶMLOpsことはじめ
PDF
[CTO Night & Day 2019] よくある課題を一気に解説!御社の技術レベルがアップする 2019 秋期講習 #ctonight
PPTX
Amazon SageMaker の紹介 + デモ
PDF
Asakusaではじめるhadoop sparkプログラミング
PDF
JAWSUG名古屋 AWS勉強会 20180309
PDF
2016-02-08 Spark MLlib Now and Beyond@Spark Conference Japan 2016
PDF
JAWS FESTA 2018 OSAKA AHAB
PDF
localstackによるAWS Lambdaの開発環境を、miniconda上でつくったら簡単便利だった話
PPTX
Japan Wrap Up re:Invent2018
PPTX
Japan wrapup reinvent2018
PPTX
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
PDF
AWS Nyantech #2 Nyands-on visual search
PPTX
Sparkにプルリク投げてみた
PDF
JAWSUG20180925
[CTO Night & Day 2019] ML services: MLOps #ctonight
AWSで実践する機械学習
Amazon SageMaker: 機械学習の民主化から工業化へ(in Japanese)
UNICORNの機械学習ワークロードにおけるSpot&AWS Batchの活用
JAWSUG20171220
AWS SageMaker導入による 機械学習インフラの再構築プロジェクト
MLflowで学ぶMLOpsことはじめ
[CTO Night & Day 2019] よくある課題を一気に解説!御社の技術レベルがアップする 2019 秋期講習 #ctonight
Amazon SageMaker の紹介 + デモ
Asakusaではじめるhadoop sparkプログラミング
JAWSUG名古屋 AWS勉強会 20180309
2016-02-08 Spark MLlib Now and Beyond@Spark Conference Japan 2016
JAWS FESTA 2018 OSAKA AHAB
localstackによるAWS Lambdaの開発環境を、miniconda上でつくったら簡単便利だった話
Japan Wrap Up re:Invent2018
Japan wrapup reinvent2018
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
AWS Nyantech #2 Nyands-on visual search
Sparkにプルリク投げてみた
JAWSUG20180925
Ad

AWS + MLflow + SageMakerの環境を動かしてみたお話