深度學習(Deep learning)概論- 使用 SAS EM 實做

Copyr ight © 2012, SAS Institute Inc. All rights reser ved.
ENTERPRISE MINER DEEP LEARNING
WITH PYTHON WORKSHOP

NOTE FOR SPEAKER 環境設定
• 本教學專案檔EM_Deep_Learning_Tutorial請放至於C槽底下，否則會有路徑
設定的問題
• 教學前強烈建議環境必須先設定好
1. JAVA(含程式語言本身與環境變數)
2. Python(含程式語言本身與環境變數)
3. SAS JAVA binding
• 設定請參考 C:EM_Deep_Learning_TutorialTutorial環境設定用環境設
定.pptx
• 環境測試
• 請直接執行C:EM_Deep_Learning_TutorialEM_Deep_Learning中my_flow_1的模型
比較
• 如果可以執行，代表環境有設定成功
• 如果不能執行，又沒有時間找出問題: 請改成使用my_flow_2進行教學，跳過python的
demo

• What is Deep Learning
• 分類問題介紹
• 資料採礦工具Enterprise Miner(EM)介紹
• 資料採礦流程SEMMA介紹
• 分類模型建置
• Q&A
Agenda

WHAT IS DEEP
LEARNING
目標
• Wikipedia: Deep learning (deep structured learning, hierarchical learning or
deep machine learning) is a branch of machine learning based on a set of
algorithms that attempt to model high-level abstractions in data by using
multiple processing layers, with complex structures or otherwise, composed
of multiple non-linear transformations
• Deep learning並不是解決特定問題的方法，而是試圖去model data中的概念

WHAT IS DEEP
LEARNING
起源
• 人腦是採分層的方式在進行認知
• 以人看到物體為例，當人在看到人臉時
大腦會先認出臉的邊(edge)
再認出臉的輪廓(object part)
接著再認出整個臉(object model)
• 這樣的認知過程，是一個不斷的進行迭代，抽象的過程
• Deep Learning受到人腦運作模式的啟發，模仿人腦的運作過程來進行學習
圖片來源：ANDREW NG
圖片來源：ANDREW NG

WHAT IS DEEP
LEARNING
DEEP LEARNING架構 & 困境
• Deep Learning可以說是多層(multi-layer)的
neural network
• 每一層由許多的神經元(節點)組成，象徵著人
腦一個層次的學習
• 上一層的學習效果將會影響到下一層
• 然而經過一層又一層的學習，抽象化的結果代
表資訊必然會流失，因此訓練過程中，我們會
希望這些資訊的流失能夠受到掌控
• 然而掌控的代價就是訓練模型時的複雜度太高，
要將model訓練出來需要耗費的時間相當大
• 此外由於層跟層之間都是數字
因此要解釋deep learning的model也是相當困
難的
Input
Layer
Hidden
Layer
Output
Layer

WHAT IS DEEP
LEARNING
突破 & 熱潮再起
• 突破: 過去就有Neural Network，為何現在又紅起來呢?
• 過去的Neural Network受到訓練複雜度的影響，都是淺層(少數層次)間的訓練
• 然而，2006年時，由於新的訓練演算法的提出，大大降低了訓練複雜度
這才使得深層的訓練變得實際
• 熱潮再起
• 2012年，Google建立了含10億個節點的深層網路，在只輸入了大量圖片且未加入任何
人工標示的情況下，系統辨識出了人臉，以及貓
• 2016年，Google Alphago擊敗了韓國的圍棋大師李世乭
• Deep Learning由於優異的應用效果，因此被大量的應用在各個領域上
• Ex: computer vision, automatic speech recognition, natural language processing, audio
recognition and bioinformatics … etc.

分類問題介紹 SUPERVISED LEARNING PROBLEM
• 分類問題是一種監督式學習問題(Supervised
Learning Problem)
• 監督意即學習時必須要有正確答案或稱標籤(label)
• Feature Extraction
• 而在進行學習時，我們還必須要知道輸入的資料
的特徵(feature)
• EX 香蕉是黃的，尾端有黑色的蒂
太陽花是黃的，中間有花蕊
• 在有了資料，label，feature之後，實際幫我
們進行分類的角色即為分類器(classifier)
• 藉由這些feature，分類器便能夠知道，有黑色蒂
的是香蕉，有花蕊的是太陽花
• 而這時，黃色就是一個對分類幫助不大的feature
香蕉太陽花

分類問題介紹藉由DEEP LEARNING來進行圖片分類
• Feature Extraction的困難點
• 一張圖片我們若要拿來產生feature，通常來說，我們不太會使用”末端的蒂”，或是”中
心有花蕊”來當作feature
• 對於一張圖片，我們通常會想用數字去表達他
• 目前用來表達圖片的feature很多，有的看色彩分布，有的看紋路走向
• 然而這些方法都有些缺點，因此如何善用這些feature相當的吃重經驗
• Feature Extraction with Deep Learning
• Deep Learning可以使用的應用很多，其中一個
即是更自動的產生data(ex 圖片)的feature
• 因此，如下圖假如輸入一張圖片的各個pixel值
我們可以拿各個神經元(ex. h1 ~ h4)中的值
來當作一張圖片的feature
Input
Layer
Hidden
Layer
Output
Layer
h1 h2 h3 h4
(0,1,255,…214,…210)
32
32
Pixel Representation
R: 32X32
= 1024
G: 32X32
= 1024
B: 32X32
= 1024
(0.99,-0.72,0.55,0.88)
h1 h2 h3 h4
Extracted Feature by
Deep Learning

分類問題介紹分類流程
• 因此，對於一個分類的問題，我們通常會有以下幾大步驟
Data Collection
Preprocessing
Feature Extraction
Classification
收集要分析的資料
對資料進行調整，像是
去除品質不好的資料
雜訊的處理
遺失值的處理…
產生資料的feature
建立分類的模型
Evaluation 進行效果的評估

資料採礦工具
ENTERPRISE
MINER(EM)介紹
SAS EM採礦流程
• SAS Enterprise Miner(EM)是一個資料採礦工具
• EM不僅可以進行分類問題的處理，還可以對各種類型的問題進行處理
• SAS EM對於常見的分析流程切出了5大採礦流程
Data Collection
Preprocessing
Feature Extraction
Classification
收集要分析的資料
對資料進行調整，像是
去除品質不好的資料
雜訊的處理
遺失值的處理…
Sample
Explore
Modify
Model
Assess
產生資料的feature
建立分類的模型
Evaluation 進行效果的評估
SAS EM 5大採礦流程

SAS® ENTERPRISE
MINER™ INTERFACE
功能表及捷徑圖示

SAS® ENTERPRISE
MINER™ INTERFACE
專案管理區

SAS® ENTERPRISE
MINER™ INTERFACE
屬性設定區

SAS® ENTERPRISE
MINER™ INTERFACE
屬性說明區

SAS® ENTERPRISE
MINER™ INTERFACE
流程工作區

SAS® ENTERPRISE
MINER™ INTERFACE
流程

SAS® ENTERPRISE
MINER™ INTERFACE
節點

SAS® ENTERPRISE
MINER™ INTERFACE
SEMMA工具

SAS® ENTERPRISE
MINER™ MODEL DEVELOPMENT PROCESS
Sample Explore Modify Model Assess

SAS® ENTERPRISE
MINER™ MODEL DEVELOPMENT PROCESS
Utility Applications Time Series

SAS® ENTERPRISE
MINER™ HELP

資料採礦流程SEMMA介
紹
SEMMA METHDOLOGY
• Sample
• Mining a representative sample instead of the whole volume reduces
the processing time required
• Explore
• Searching for unanticipated trends and anomalies in order to gain
understanding and ideas
• Modify
• Imputing missing values, transforming variables, and filtering outliers
to focus the model selection process
• Model
• Allowing the software to search automatically for a combination of data
that reliably predicts a desired outcome
• Assess
• Evaluating the usefulness and reliability of the findings from the
process

SAS® ENTERPRISE
MINER™ SEMMA IN ACTION – REPEATABLE PROCESS

MODEL
DEVELOPMENT
SEMMA METHDOLOGY
ample
xplore
odify
odel
ssess

MODEL
DEVELOPMENT
SEMMA METHDOLOGY
ample
xplore
odify
odel
ssess
 Descriptive Statistics
 Exploratory Plots

MODEL
DEVELOPMENT
SEMMA METHDOLOGY
ample
xplore
odify
odel
ssess
Outliers Filtering
Missing Values Imputation
Data Transformations
 discretization, categorizations, events
(quantity of values reduction)
 log transformations (skewness reduction)
 standardization/normalization (seasonality
reduction)
Select and reduce numbers of variables

MODEL
DEVELOPMENT
SEMMA METHDOLOGY
ample
xplore
odify
odel
ssess
Frequent modeling techniques
Regression
Neural Network
Decision Tree

MODEL
DEVELOPMENT
SEMMA METHDOLOGY
ample
xplore
odify
odel
ssess
Assess - ROC

MODEL
DEVELOPMENT
SEMMA METHDOLOGY
ample
xplore
odify
odel
ssess
Assess – Lift Chart

MODEL
DEVELOPMENT
SEMMA METHDOLOGY
ample
xplore
odify
odel
ssess
True Positive False Negative
False Positive True Negative
Buyers Non Buyers
Predicted
BuyersNonBuyers
Actual




A B
C D
Assess - Misclassification
正確性
(A+D/All)
捕捉率
(A/A+B)
預期回應率
(A/A+C)

SCENARIO
INTRODUCTION
目標 & 流程
• 接下來，我們將會使用圖片資料來進行二元分類模型的建置
• 流程
1. 新增專案
2. 讀取資料
3. 使用Deep Learning來產生Feature
4. 探勘feature
5. 建立分類器
6. 比較各分類器的效果

SCENARIO
INTRODUCTION
THE CIFAR-10 DATASET
• The CIFAR-10 is labeled subsets of the 80 million tiny images dataset. They
were collected by Alex Krizhevsky, Vinod Nair, and Geoffrey Hinton.
• http://www.cs.toronto.edu/~kriz/cifar.html
• The CIFAR-10 dataset consists of 60000 32x32 colour images in 10 classes.
• 我們將只使用dataset中的1000張automobile(label=1)以及airplane(label=0)圖
片來進行2元的分類
• 由於Dataset只有python,matlab,
binary的格式
• 因此我們將使用python來進行
資料格式的轉換，讓EM可以
讀取資料

分類模型建置
1. 新增專案
2. 讀取資料
3. 使用Deep Learning來產生Feature
4. 探勘feature
5. 建立分類器
6. 比較各分類器的效果

1.新增專案開啟EM & 建立新專案

1.新增專案建立資料館

1.新增專案指定資料館路徑與名稱

1.新增專案完成資料館建立

1.新增專案建立資料來源

1.新增專案選取資料
1
2
3
4

1.新增專案完成資料選取

1.新增專案表格資訊

1.新增專案中繼資料顧問選項

1.新增專案檢視資料變數設定

1.新增專案建立樣本

1.新增專案資料來源特性

1.新增專案確認各項設定，完成新增資料

1.新增專案建立流程圖

2.讀取資料設定節點
1 將資料直接拖曳到流程圖

2.讀取資料設定節點
1 將”SAS程式碼”與”中繼資料”
直接拖曳到流程圖
2 將流程接上

2.讀取資料執行節點並設定資料
1
2
3

2.讀取資料設定資料
1. 將Label的
• 角色設為”目標”，告訴EM我們想預測誰
• 層級設為”二元”，告訴EM我們要做二元的預測
2. 將前5列以下的列選起來，將角色設為”拒絕”
• 這樣我們將只會拿這4個pixel來進行feature extraction
• 由於使用Deep Learning進行feature extraction相當花
時間，因此為了課程的流暢，我們這邊先拿小的資料
進行訓練

2.讀取資料點選SAS程式碼，並開啟程式碼編輯器

2.讀取資料編輯程式碼
請打開Tutorial裡的”EM執
行python_code.txt”並全
選複製貼上到這邊

2.讀取資料執行EM，讓EM去執行PYTHON讀取檔案，並將檔案回傳給EM
• 由於Dataset只有python,matlab,
binary的格式
• 因此我們讓EM透過python來進行
資料格式的轉換，並將結果自動
的回傳給EM1
2
點選中繼資料
3

2.讀取資料設定資料
1. 將Label的
• 角色設為”目標”
• 層級設為”二元”
2. 將前5列以下的列
選起來，將角色設
為”拒絕”
3. 將Label以外的層級
新增為”間隔”

3.使用DEEP LEARNING
來產生FEATURE
新增節點
1
3 2
請注意! 如果EM無法透過Python
將資料讀取的話，可以直接使
用”DATA_BATCH_1”即可

來產生FEATURE
編輯程式碼
• 請打開Tutorial裡的” EM執行
DeepLearning_code”並全選複製
貼上到這邊
• 關於程式碼的細節，請參考
1. Tutoral下的neural.pdf
2. 或
http://support.sas.com/documenta
tion/onlinedoc/miner/em43/neural.
pdf

來產生FEATURE
產生FEATURE
1
2

4.探勘FEATURE 增加探勘用節點

4.探勘FEATURE STAT EXPLORER
Stat Explorer可以快速的幫我們產
生資料的各種敘述性統計
1
3
2
4

4.探勘FEATURE 觀看最有價值的變數與卡方分布

4.探勘FEATURE 圖形勘查
圖形勘查可以讓我們快速的檢視
資料
1
2
3

4.探勘FEATURE 檢視資料

5.建立分類器資料分區
將資料進行分區，可以讓我們把部分
資料拿來訓練/建立model，其餘的用
來驗證model

5.建立分類器建立分類器

5.建立分類器建立決策樹
決策樹是一個容易訓練，並適合拿來
解讀資料的分類器，缺點則是較容易
over fitting

5.建立分類器觀看結果

5.建立分類器 CONFUSING MATRIX
預測結果
結果 = 0 結果 = 1
原始
類別
目標 = 0 A(預測正確) B(預測錯誤)
目標 = 1 C(預測錯誤) D(預測正確)
結果 = 0 結果 = 1
目標 = 0 206 30
目標 = 1 108 107
• 對於二元分類問題我們可以從幾種方向去看分類的效果如何
• 準確率: (A+D) / (A+B+C+D)
• 然而若是D很大，A很小，準確率依然還是很高，因此若要細看各類分的效果如何，我
們應該更仔細的去看目標百分比與結果百分比
• 0:
• 目標百分比(precision): A/(A+C) = 206/(206+108) = 0.656051
• 結果百分比(recall): A/(A+B) = 206/(206+30) = 0.872881
• 1
• 目標百分比(precision): D/(B+D) = 107/(30+107) = 0.781022
• 結果百分比(recall): D/(C+D) = 107/(108+107) = 0.497674

5.建立分類器建立迴歸
迴歸藉由畫出一條最貼近資料分
布的線來描述資料

6.比較各分類器的效果開始模型比較

6.比較各分類器的效果模型比較

6.比較各分類器的效果觀看結果

深度學習(Deep learning)概論- 使用 SAS EM 實做

More Related Content

Similar to 深度學習(Deep learning)概論- 使用 SAS EM 實做 (20)

深度學習(Deep learning)概論- 使用 SAS EM 實做