DataDrift in Azure Machine Learning
2 likes3,607 views
DataDrift in Azure Machine Learning
- 4. Let’s check Data Drift !
- 6. ML Code Only a small fraction of real-world ML systems is composed of the ML code, as shown by the small blue box in the middle. The required surrounding infrastructure is vast and complex. Configuration Data Collection Data Verification Feature Extraction Machine Resource Management Analysis Tools Process Management Tools Serving Infrastructure Monitoring “Hidden Technical Debt in Machine Learning Systems,” Google NIPS 2015 Monitoring
- 8. Train Models Package & Validate Manage ML Assets MonitorDeploy & Serve CI/CD and model retraining Azure DevOps & GitHub integration
- 15. データ ドリフトの大きさ 0 から 100 の範囲で示されるドリフト係数。0 は “同一” を表し、 1 は ドリフト用分類モデルで ”完全に識別可能” であることを意味する 特徴量ごとのドリフトへの影響 ターゲット データセット内の各特徴量が、 測定されたドリフトの大きさに与える影響
- 18. 分布をある別分布へ移動させるときの距離 # SciPyコード例 from scipy.stats import wasserstein_distance,beta wasserstein_distance(stats.beta.pdf(x,5,5), stats.beta.pdf(x,8,5))
- 19. Azure Machine Learning イベントを使用する (プレビュー) イベント ドリブン Machine Learning ワークフローを作成する (プレビュー) Azure Machine Learning からイベントドリブンなワークフローを作成
- 21. Azure ML Event Grid Logic Apps メール アラート Data Factory AutoML Pipeline 再学習 自動化 Functions Webhook 3rd Party 連携Teams イベント
- 22. + + Azure ML Event Grid Logic Apps
- 24. Data Drift Monitoring for Azure ML Datasets データセットでデータ ドリフトを検出する (プレビュー) Azure Kubernetes Service (AKS) にデプロイされたモデルのデータの誤差 (プレビュー) を検出する Analyze data drift in Azure Machine Learning datasets Monitor data drift on models deployed to Azure Kubernetes Service