Practicing MLOps in hybrid multiclouds
Download as PPTX, PDF0 likes226 views
MLOps 是一種結合機器學習系統開發與運營的工程文化，旨在簡化流程並促進團隊協作。文件中探討了現實中資料科學家和工程師在維護基礎設施上的挑戰，以及如何透過容器化和混合雲架構優化資源管理和提高運營效率。最終，MLOps 提供了一個理想的解決方案，讓團隊能專注於資料科學和軟體開發，並實現持續的模型整合與監控。
Practicing MLOps in hybrid multiclouds
- 1. 在混合多雲裡實踐MLOps Jonathan Chen 陳昭斌 jonathan@geminiopencloud.com
- 2. What is MLOps? MLOps An ML engineering culture and practice that aims at unifying ML system development (Dev) and ML system operation (Ops). 一種旨在結合 ML 系統開發與 ML 系統運營的 ML 工程文化與實踐。 Source: https://youtu.be/6gdrwFMaEZ0
- 3. 從 DevOps 到 MLOps Creation Quality/ Infrastructure Software engineers DevOps ML engineers MLOps AI systems Code Data ＝ ＋ Traditional systems Source: https://youtu.be/06-AZXmwHjo
- 4. 人們以為AI專案要做的事 • Define data • Collect data 收集數據 Collect Data • Training • Error analysis • Iterative improvement 訓練模型 Train Model • Deploy • Monitor • Maintain system 部署生產環境 Deploy in production
- 5. 現實：資料科學家的時間大半花在基礎架構上 資料 科學 2/3 1/3 設定伺服器、網路、儲存與雲端平台 機器學習資源管理調度 協同工作與資源共享 資源排程與分派 Kubernetes和容器的管理 開源工具、plug-ins 和儀表板 版本控制 使用狀態與健康情況的監控 模型的部署、軟體與界面的整合 持續的機器學習與自動化 資料收集 資料驗證 Feature extraction 數據分析 模型⋯⋯ 機器學習 現實世界中只有一小部分系統由ML程式組成，而周圍所需要的基礎設施，是龐大而複雜的 非 資 料 科 學
- 6. 快速部署基建、團隊共享協作 GPU GPU GPU GPU GPU GPU !? GPU GPU GPU GPU GPU GPU AI CONSOLE 資源集群 • 用戶自助，隨需即用，不用相互協調 • 提供MLOps/DevOps團隊協作環境，簡化工作流程 • GPU/CPU資源共享利用最佳化，提升資源利用率 • 眾多軟體與硬體的維運標準化，降低維運成本 • 擴展能力強 • 用戶之間要互相協調資源 • 不易協作，各自為政，生產力低落 • 資源利用不均，利用率低 • 軟體與伺服器的維運困難，維運人力高 • 未來擴展不易
- 7. Demo: 容器與混合多雲的MLOps 工程師 Train Tests 程式碼/模型 版控工具 CI工具 Jenkins Docker Registry DockerHub Package (docker build) Deploy (docker push) Jupyter Notebook Staging Production Dev
- 8. ML Solution Lifecycle Experimentation /Development Continuous Training Model CI/CD Continuous Monitoring Training Serving 實驗與開發 持續訓練 模型的持續整合 持續交付與部署 模型監控 關鍵字：持續 Continuous Source: https://youtu.be/6gdrwFMaEZ0
- 9. Conclusion MLOps 融合機器學習、DevOps、軟體工程的 生命週期與基礎架構，為您的AI專案和軟體開發 團隊提供了理想的方案。讓您的資料科學家專心 在資料科學，讓您的軟體開發人員只需致力於將 程式碼推送至中央的程式碼版本控制庫。 模型與程式碼將被自動地整合、測試、部署、再 次測試、進而發布。發布策略亦有各項品質保證 的手法，發布之後更有持續地數據收集與觀察凖 確性，為你的團隊提供極高的信心來提供客戶滿 意度。 地端 (On-prem) 雲端各有所長，如果猶豫不決， 或許你該考慮混合多雲 (hybrid multiclouds)!! Development Staging Production Quota Quota Quota Marketplace Repository Platform A Platform B Production Platform ON PREM CLOUD
- 10. THANK YOU！ Jonathan Chen 陳昭斌 jonathan@geminiopencloud.com