運用MMLSpark 來加速Spark 上 機器學習專案
7 likes2,031 views
文档介绍了 Microsoft Machine Learning Library (MML Spark)，一个专门为 Apache Spark 设计的机器学习库，旨在简化对大数据的机器学习应用开发。它支持文本分析和深度学习特征化，提供了一致的处理机制以处理不同类型的数据，具有诸如图像处理和文本特征化的功能。文档还包含安装指南和示例，适用于 Scala 和 PySpark 环境。
![DNN Featurization using MML-Spark
cntkModel = CNTKModel().setInputCol("images").
setOutputCol("features").setModelLocation(resnetModel).
setOutputNode("z.x")
featurizedImages = cntkModel.transform(imagesWithLabels).
select(['labels','features'])
model = TrainClassifier(model=LogisticRegression(),labelCol="labels").
fit(featurizedImages)
DNN featurization和SparkML pipeline stage協作。 評估直接在Scala的JVM上進行，
不需要Python UDF!](https://image.slidesharecdn.com/datacon2017-mmlspark-171002093708/85/MMLSpark-Spark-30-320.jpg)
運用MMLSpark 來加速Spark 上 機器學習專案
- 2. 在Apache Spark 架構上使用機器學習的挑戰 •使用者需要寫大量程式碼來準備機器學習演算法所 需要的資料欄位 • Learning 所需要的資料類型和資料結構 • 使用不同Learners 所需要的Conventions •缺少常見應用場景通用的Library: 例如電腦視覺，文 字分析 •模型評估與管理功能有限
- 3. Microsoft Machine Learning Library (MML Spark) 介紹 •針對需處理大量資料的機器學習場景設計 •提供Library來簡化在Apache Spark 上創建機器學習應用的難 度. •協助資料科學家在Apache Spark 環境上專注處理機器學習問 題, 而不是軟體工程問題 •在Apache Spark上可以更易使用深度學習(Deep Learning)相 關演算法, 特別針對電腦視覺, 文字等的應用 •通過在Github 上開源, 通過社區協助可以快速演進
- 7. MMLSpark Requirements 執行環境: Scala 2.11, Spark 2.1+, and either Python 2.7 or Python 3.5+ 環境安裝: Docker Spark Cluster Databricks Cloud STB HDInsight (Azure)
- 9. MMLSpark 安裝 - Docker docker run -it -p 8888:8888 -e ACCEPT_EULA=yes microsoft/mmlspark 打開 htpp://localhost:8888/notebooks/ 查看Jupyter Notebook
- 10. MMLSpark 安裝 – Spark Cluster spark-shell --packages Azure:mmlspark:0.8 pyspark --packages Azure:mmlspark:0.8 spark-submit Azure:mmlspark:0.8 MyApp.jar
- 11. MMLSpark 安裝 – Databricks cloud Create a new library from Maven coordinates in your workspace For the coordinates use: com.microsoft.ml.spark:mmlspark:0.8 under Advanced Options, use https://mmlspark.azureedge.net/maven for the repository Ensure this library is attached to all clusters you create. Finally, ensure that your Spark cluster has at least Spark 2.1 and Scala 2.11. You can use MMLSpark in both your Scala and PySpark notebooks.
- 12. MMLSpark 安裝 – STB Build Tool (Scala) build.sbt: ```scala resolvers += "MMLSpark Repo" at "https://mmlspark.azureedge.net/maven" libraryDependencies += "com.microsoft.ml.spark" %% "mmlspark" % "0.8“ ```
- 13. MMLSpark 安裝 – HDInsight Go to Script actions → Submit new in the Overview section of your cluster blade. In the Bash script URI field, input the script action URL https://mmlspark.azureedge.net/buildartifacts/0.8/install-mmlspark.sh
- 14. Microsoft Machine Learning Library (MML Spark) 設計原則 • 可執行在任何Apache Spark 支援的平臺跟語言 • 相容於 SparkML pipeline 模型. MML-Spark 由Spark 評估器 (Estimators) 及轉換器 (Transformer) 所組成, 可以將既有 SparkML 組件整合到pipelines中. • 使用 SparkML DataFrames. 可以使用已有Spark 功能來讀取資料 到機器學習模型中. • 針對不同演算法的不同的資料類型(text, categorical, image)有一 致的處理機制 . 不需要做底層的資料處理 (type coercion, encoding or vector assembly.)
- 16. MML Spark 與 PySpark 程式碼比較
- 17. 預測Amazon 上書籍 Review的內容是正面還是負面 dataFile = "BookReviewsFromAmazon10K.tsv"
- 18. 預測Amazon 上書籍 Review的內容是正面還是負面 PySpark MMLSpark
- 22. 預測Amazon 上書籍 Review的內容是正面還是負面 PySpark MMLSpark
- 24. Text Analytics • 目標: 提供One-Step文本featurization能力，讓使用者可以把自由格式 的文本記錄轉換成ML演算法需要的特徵向量： • Tokenization, stop-word removal, case normalization • N-Gram creation, feature hashing, IDF weighing. • 未來: 多語言支援, 更多高級的文本處理和DNN特徵化能力.
- 26. Deep Neural Net Featurization • 基本概念：預訓練好的DNN模型的隱層有關於特徵的高階資訊 • 使用“headless”預訓練DNN模型能夠抽取圖像的精准特徵，從而訓練 更傳統的模型，比如random forests, SVM, logistic regression等等. • 預訓練DNN模型通常是ImageNet, MSCoco或者CIFAR資料集上的模型，比如 Resnet (Microsoft), GoogLeNet (Google), Inception (Google), VGG, 等等. • 轉移學習(Transfer learning) 能夠針對資料不足、計算能力不足、或者 缺少專業知識的場景訓練有效的模型 • 性能隨著executor擴展而變好 High-order features Predictions
- 27. Image Processing Transforms DNNs 通常對於輸入資料格式和正則化有嚴格要求。 我們提供與OpenCV影像處理操作相關的綁定, 暴露為 SparkML PipelineStages: tr = ImageTransform().setOutputCol("transformed") .resize(height = 200, width = 200) .crop(0, 0, height = 180, width = 180) smallImages = tr.transform(images).select("transformed")
- 28. DEMO MML Spark 展示 – Image DNN Featurization & Processing Transforms
- 29. Virtual network 結合GPU 與 Spark 進行深度學習訓練 • GPUs 適合用來進行深度學習訓練, 但是整個Spark Cluster 都採用GPU 機器不僅昂 貴而且沒有必要 • 透過CPU Spark cluster載入大量資料並進行預處理, 然後將處理完資料透過GPU Node 來訓練. 最後訓練完的模型可以發布到CPU Node 來做Evaluation. Raw data Processed data as DataFrame Trained DNN as PipelineStage GPU VMSpark Cluster learner = CNTKLearner(brainScript=brainscriptText, dataTransfer='hdfs-mount', =‘my- gpu-gpuMachinesvm’, workingDir=‘file:/tmp/’).fit(trainData) predictions = learner.setOutputNode(‘z’).transform(testData) Eg. Azure Environment GPU Setup: http://azuremlbuild.blob.core.windows.net/pysparkapi/azure-setup.html
- 30. DNN Featurization using MML-Spark cntkModel = CNTKModel().setInputCol("images"). setOutputCol("features").setModelLocation(resnetModel). setOutputNode("z.x") featurizedImages = cntkModel.transform(imagesWithLabels). select(['labels','features']) model = TrainClassifier(model=LogisticRegression(),labelCol="labels"). fit(featurizedImages) DNN featurization和SparkML pipeline stage協作。 評估直接在Scala的JVM上進行， 不需要Python UDF!
- 33. MML for Spark應用場景 •Image Ingestion, processing and featurization 從HDFS中獲取圖片資料到Spark DataFrame 使用OpenCV的transforms預處理圖片 在使用預訓練的CNTK-DNN上特徵化圖片 •Text Analytics 在SparkML上通過單個transformer便捷地featurize free-form text data • GPU and CPU environment configuration 使用Azure上的N-Series GPU VMs 訓練基於DNN的圖像分類模型 •Training and evaluation simplification 簡便地訓練分類和回歸模型 計算豐富的評估指標，甚至是per-instance metrics
- 35. MMLSpark PySpark Library • http://mmlspark.azureedge.net/docs/pyspark/
- 36. MMLSpark Scala Library • http://mmlspark.azureedge.net/docs/scala
- 37. CNTK Pre-trained Image Models • AlexNet • AlexNet for ImageNet 1K • GoogLeNet • InceptionV3 for ImageNet 1K • BN-Inception for ImageNet 1K • VGG • VGG16 for ImageNet 1K • VGG19 for ImageNet 1K https://github.com/Microsoft/CNTK/blob/master/PretrainedModels/Image.md • ResNet • ResNet18 for ImageNet 1K • ResNet34 for ImageNet 1K • ResNet50 for ImageNet 1K • ResNet20 for CIFAR-10 • ResNet110 for CIFAR-10 • ResNet101 for ImageNet 1K • ResNet152 for ImageNet 1K