機械学習の特徴量を管理するAmazon SageMaker Feature Store

機械学習の特徴量を管理する
Amazon SageMaker Feature Store
Online StoreとOffline Storeを同時管理
2022/10/30 第16回勉強会

自己紹介
● 名前: 西岡賢一郎
○ Twitter: @ken_nishi
○ note: 西岡賢一郎@研究者から経営者へ (https://note.com/kenichiro)
○ YouTube: 【経営xデータサイエンスx開発】西岡賢一郎のチャンネル
(https://www.youtube.com/channel/UCpiskjqLv1AJg64jFCQIyBg)
● 経歴
○ 東京大学で位置予測アルゴリズムを研究し博士 (学術) を取得
○ 東京大学の博士課程在学中にデータサイエンスをもとにしたサービスを提供する株式会社ト
ライディアを設立
○ トライディアを別のIT会社に売却し、CTOとして3年半務め、2021年10月末にCTOを退職
○ CDPのスタートアップと株式会社データインフォームドの2つに所属
○ 自社および他社のプロダクト開発チーム・データサイエンスチームの立ち上げ経験

今回のお話
● プロダクションにおける機械学習の課題
● Feature Store
● Amazon SageMaker Feature Store
● デモ

プロダクションにおける機械学習の課題

プロダクションの構成例
● 複数のデータソースを取りまとめたData Lake/Warehouseからオフラインで学習
を実施
● 推論はBatchとオンラインの二種類
学習・推論に使う特徴量はどこから来るのか？

機械学習プロダクトにおけるETL乱立問題
機械学習を用いたプロダクトでは、目的に応じた別々のETLが作成され、構築・運用コストが増大し、業務の多
くがデータ準備に取られてしまう。
● 学習モデルごとのETL
● 学習用ETLと推論ETL
● 同じ特徴量が別々のETLで作成
● プロダクション、ステージング、開発、それぞれのETL
● …
Modelのチューニングをしたい
のにデータの準備ばかり
データサイエンティスト

プロダクションとレイテンシ
● プロダクションでは推論結果をユーザに出来る限り早く返さないといけない
● 事前に計算できるものは出来る限り計算するのが基本
○ 特徴量の準備
○ モデルの学習
○ 推論？
● 事前に計算できないものはレイテンシが少なくなる構成にする
○ Offline Store: レイテンシが大きいためプロダクションに不向き。分散ファイルシステムが使われること
が多い。
○ Online Store: レイテンシが小さいのでプロダクション向き。Key Valueストアなどが使われることが多
い。
Online Store
KV Store
...
Offline Store
DFS
...

Batch Inference vs Online Inference
● 学習時はOffline Storeで十分な事が多い
● 推論は状況に応じてBatch InferenceとOnline Inferenceの使い分けが必要
○ Batch Inference
■ Offline Storeに保存されたFeatureを利用
■ 想定されるスコアをすべて計算しておく必要があり、条件分岐が多いと推論結果を保存するため
の保存容量が指数関数的に増える (推論結果の多くが使われず無駄になる)
○ Online Inference (Online Store)
■ Online Storeに保存されたFeatureを利用
■ 推論はリクエストされたタイミングで実施

Feature Storeとは
● 機械学習の学習・推論のための特徴量を管理するシステム
● Feature Storeの特徴
○ 特徴量が共有されている
○ Feature Engineeringの情報が参照できる
○ データのバージョン管理されている
○ アクセスコントロールができる
○ Online(低レイテンシ)とOffline(高レイテンシ)両方の性質を備える

Feature Storeの重要な3つの要素
● Offline Feature Store
○ 数分以上のレイテンシで提供
○ 分散ファイルシステムやデータウェアハウスで実装
● Online Feature Store
○ 個々の予測のための入力として使われる
○ 数秒から数ミリ秒のレイテンシで提供
○ Key-Valueストアなどで実装
● Featureレジストリ
○ OfflineとOnlineのFeature Storeで使用される、すべての特徴量のメタデータを系統立てて保
存し、どのように特徴量が生成されたかなどの情報を参照できるようにする

主要なFeature Store
● Hopsworks: https://www.hopsworks.ai/
● Feast: https://feast.dev/
● Amazon SageMaker Feature Store:
https://aws.amazon.com/jp/sagemaker/feature-store/

出典: https://aws.amazon.com/jp/sagemaker/feature-store/
● フルマネージドのFeature Store
● Glue Catalogを自動作成したりと、AWSのその他サービスと自動連携
● Online StoreからOffline Storeへ自動で同期 (タイムラグあり)
● Point-in-time Queryでリーケージを防ぐことが可能

Point-in-time Query
出典: https://aws.amazon.com/jp/sagemaker/feature-store/
出典: https://aws.amazon.com/jp/blogs/machine-
learning/build-accurate-ml-training-datasets-using-point-in-
time-queries-with-amazon-sagemaker-feature-store-and-
apache-spark/
● 予測モデルを構築するとき、学習時に本来得られるはずのないデータが混ざるこ
とによるリーケージが発生することがよくある
● 特徴量が生成された時間を管理することで、時間に依存するリーケージを防ぐ

参考: リーケージを避ける方法
https://www.youtube.com/watch?v=vrcai7QvVn0
● 「Leakage in Data Mining: Formulation, Detecting,
and Avoidance」の紹介
○ 著者: Shachar Kaufman, Saharon Rosset,
Claudia Perlich, Ori Stitelman
○ 投稿: Knowledge Discovery and Data Mining (KDD),
2011.
● 論文の内容
○ データマイニングにおいて起こしやすい誤ちのう
ちの1つに"リーケージ"というものがある
○ リーケージ: 本来得られるはずのないデータをモ
デルの学習時に使用してしまうこと。データがも
れるということでリークするともいう。
■ 学習時には精度が高く出るが、本番環境で
は精度が落ちる
○ これは現実世界、機械学習コンペの両方で起きて
いる
○ 深く議論されてこなかったリーケージの定式化を
試み、未然に防ぐ、検出する方法を紹介

デモ
● Amazon SageMaker Feature Storeの基本的な使い方
○ Feature Groupの作成
○ データの格納
○ データの取得
■ Online
■ Offline
○ Online StoreとOffline Storeの違い
● コード: https://github.com/knishioka/machine-learning-
workshop/blob/main/sagemaker/feature_store/feature_group_sample.ipynb

機械学習の特徴量を管理するAmazon SageMaker Feature Store

More Related Content

Similar to 機械学習の特徴量を管理するAmazon SageMaker Feature Store (20)

More from 西岡賢一郎 (9)