3. classification and regression

布丁布丁吃布丁
2019年8月9日
WEKA簡介與實作
Chapter 3.
預測性分析：分類

課程大綱 (1/2)
1. 認識Weka
2. Weka的資料來源
3. 準備Weka：
下載、安裝與設定
4. 認識Weka架構
2
Chapter 1.
認識Weka
5. 探索性分析：分群
6. 探索性分析：異常偵測
7. 比較性分析：
關聯規則探勘
Chapter 2.
探索性與比較性分析

課程大綱 (2/2)
8. 預測性分析：分類
9. 預測性分析：迴歸
3
Chapter 3.
預測性分析
10.Weka的進階應用
11.結語
Chapter4.
進階應用與結語

4
預測性分析
Part 8.
分類
如何預測資料
的可能類別？

5
謎の転校生
小呆：「大家好，我剛搬到這區！」

6
「請問我比較適合讀哪所學校呢？」
GP MS

7https://www.indiatoday.in/education-today/gk-current-affairs/story/ai-tells-you-which-medical-treatment-is-better-1391840-2018-11-19
讓人工智慧給你建議吧
AI

8
學生成績資料集
小美：讀GP
阿明：讀MS
讀GP的機率為
13%
讀MS的機率為
87%

9
分類演算法
J48 (Decision Tree)
決策樹
(Quinlan, 1993)
天氣
溼度起風開場
停辦開場停辦開場
晴朗雨天
陰天
高正常有無

10
決策樹
演算法目標 (1/2)
https://medium.com/jameslearningnote/%E8%B3%87%E6%96%99%E5%88%86%E6%9E%90-%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92-%E7%AC%AC3-5%E8%AC%9B-%E6%B1%BA%E7%AD%96%E6%A8%B9-
decision-tree-%E4%BB%A5%E5%8F%8A%E9%9A%A8%E6%A9%9F%E6%A3%AE%E6%9E%97-random-forest-%E4%BB%8B%E7%B4%B9-7079b0ddfbda
決策樹的目標是產生一套
樹狀結構的判斷規則
A. 內部節點：用來判斷的屬性
B. 分支：屬性的值域
C. 葉節點：目標屬性的值
A
B
C

11
決策樹
https://medium.com/jameslearningnote/%E8%B3%87%E6%96%99%E5%88%86%E6%9E%90-%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92-%E7%AC%AC3-5%E8%AC%9B-%E6%B1%BA%E7%AD%96%E6%A8%B9-
decision-tree-%E4%BB%A5%E5%8F%8A%E9%9A%A8%E6%A9%9F%E6%A3%AE%E6%9E%97-random-forest-%E4%BB%8B%E7%B4%B9-7079b0ddfbda
如果
● 溫度介於 120 ~ 125之間
○ (不是 < 120)
○ (不是 > 125)
● 溼度 > 7%
則
● 披薩 = 難吃

決策樹
資訊獲利 (1/7)
● 要先選擇那個屬性
作為內部節點呢？
● 溫度？溼度？
● 需要找尋分割後可以有效
區隔目標屬性的屬性
⇨ 資訊獲利 InfoGain
12
?
?

決策樹
資訊獲利 (2/7)
● 資訊獲利 InfoGain = 分割前的資訊量 - 分割後的資訊量
● 資訊量：熵(entropy, ㄕㄤ)
13
熵越大，表示資訊越混亂，難以區分
熵最小值為0，表示資訊只有唯一結果

年齡
分級
平均月收入
(千)
會員
等級
2 1 低
2 1 低
2 3 低
1 1 高
1 2 高
2 2 高
2 2 高
決策樹
資訊獲利 (3/7)
● 分割前
● 目標屬性會員等級的熵：
E(會員等級) =
- (3/7) * log2(3/7)
- (4/7) * log2(4/7)
= 0.9852
14

年齡
分級
平均月收入
(千)
會員
等級
2 1 低
2 1 低
2 3 低
1 1 高
1 2 高
2 2 高
2 2 高
決策樹
資訊獲利 (4/7)
● 考慮平均月收入屬性時
● 計算平均月收入 = 1 時
目標屬性會員等級的熵：
E(會員等級) =
- (2/3) * log2(2/3)
- (1/3) * log2(1/3)
≃ 0.92
15

年齡
分級
平均月收入
(千)
會員
等級
2 1 低
2 1 低
2 3 低
1 1 高
1 2 高
2 2 高
2 2 高
決策樹
資訊獲利 (5/7)
目標屬性會員等級的熵：0.92
目標屬性會員等級的熵：0
目標屬性會員等級的熵：0
16

年齡
分級
平均月收入
(千)
會員
等級
2 1 低
2 1 低
2 3 低
1 1 高
1 2 高
2 2 高
2 2 高
決策樹
資訊獲利 (6/7)
會員等級在分割後的資訊獲利：
InfoGain (會員等級, 平均月收入) =
0.9852 - (0.92 + 0 + 0)
= 0.0652
17

年齡
分級
平均月收入
(千)
會員
等級
2 1 低
2 1 低
2 3 低
1 1 高
1 2 高
2 2 高
2 2 高
決策樹
資訊獲利 (7/7)
0.0652
● 考慮年齡分級屬性時
0.0142
0.0652 > 0.0142
優先選擇平均月收入作為內部節點
18

足球賽資料集
● 案例數量: 14
● 屬性數量: 5
● 目標屬性：比賽舉行
能夠用天氣、氣溫、
溼度、起風等屬性來預測
是否要舉行比賽嗎？
決策樹舉例 (1/4)
19https://www.saedsayad.com/decision_tree.htm
類別型
目標屬性
天氣氣溫溼度起風比賽舉行
晴朗炎熱高無停止
晴朗炎熱高有停止
陰天炎熱高無停止
雨天溫和高無開場
雨天涼爽正常無開場
雨天涼爽正常有停止
陰天涼爽正常有開場
晴朗溫和高無停止
晴朗涼爽正常無開場
雨天溫和正常無開場
晴朗溫和正常有開場
陰天溫和高有開場
陰天炎熱正常無開場
雨天溫和高有停止

屬性規則錯誤錯誤合計資訊獲利
天氣
晴朗⇨不允許 2/5
4/14 0.247陰天⇨允許 0/4
雨天⇨允許 2/5
氣溫
炎熱⇨不允許 2/4
5/14 0.029溫和⇨允許 2/6
涼爽⇨允許 1/4
溼度
高⇨不允許 3/7
4/14 0.152
正常⇨允許 1/7
起風
無⇨允許 2/8
5/14 0.048
有⇨不允許 3/6

天氣
開場
陰天
氣溫溼度起風比賽舉行
炎熱高無停止
炎熱高有停止
溫和高無停止
涼爽正常無開場
溫和正常有開場
氣溫溼度起風比賽舉行
溫和高無開場
涼爽正常無開場
涼爽正常有停止
溫和正常無開場
溫和高有停止
雨天晴朗

持續分割各個屬性，直到所有案例都被分到葉節點
天氣
溼度起風開場
停止開場停止開場
晴朗雨天
陰天
高正常有無

23
1. 下載與開啟檔案
2. 執行分類：J48
3. 檢視探勘結果
a. 檢視模型
b. 評估整體準確度
c. 評估個別案例預測結果
4. 預測未知資料的分類
預測性分析：分類
實作步驟

24
STEP 1. 下載與開啟檔案 (1/2)
stu-sch-
1 - train.ods
stu-sch-
2 - test.ods
stu-sch-
3 - unknown.ods

預測性分析使用的不同資料集
訓練資料測試資料
25
未知資料
stu-sch-
3 - unknown.ods
stu-sch-
2 - test.ods
stu-sch-
1 - train.ods
● 已知的歷史資料
● 用來建立分類的
規則或迴歸預測
的公式 (模型)
本例共585筆
訓練資料案例
● 用來驗證模型的
正確性
● 測試資料的案例
跟訓練資料不同
本例共64筆
測試資料案例
● 目標屬性為缺失
值 (未知)
● 由模型來預測未
知資料的目標屬
性
本例共64筆
未知資料案例

26
stu-sch-
1 - train.ods

27
STEP 2. 執行分類
a. 設定分類演算法與目標屬性
b. 設定測試選項
c. 設定輸出結果
d. 執行分類

28
STEP 2. 執行分類 (1/12)
1. Attributes: 30
先記得屬性數
量，共30個
2. Classify
切換到
分類面板
2
1

探索器介面說明
分類 (Classify) (1/2)
A. Classifier ⇨ Choose
選擇分類演算法
B. 演算法進階設定
C. Test options
測試選項
D. More options…
輸出結果的進階設定
29
A B
C
D

探索器介面說明
分類 (Classify) (2/2)
E. Class
選擇目標屬性
F. Start 開始執行
G. Result list
探勘結果列表
H. Classifier output
探勘結果
30
E
F
G
H

3. Classifier ⇨ Choose
weka.classifiers
.trees.J48
31
3

4. 選擇目標屬性
預設值已經是最後一個屬性
(Nom) School
32
4

5. Supplied test set
以測試資料來評估探勘結果
6. Set…
開啟進階設定
33
5 6

7. Open file… 開啟檔案
8. 選擇測試資料
stu-sch-2 - test.ods
9. Open 開啟檔案
10.Close 退出進階設定
34
7
10
stu-sch-
2 - test.ods
8
9

11.More options...
開啟輸出結果的進階設定
35
11

12.Output predictions ⇨
Choose
選擇
weka.classifiers.evaluation
.output.prediction.CSV
36
12

13.按粗體字 CSV
開啟進階設定
37
13

14.設定參數
attributes: 1-30
30為屬性數量，
表示輸出結果加上全部屬性
outputDistribution: True
輸出預測機率分佈
outputFile:
stu-sch-2 - test - predict.csv
將預測結果輸出成檔案
14.OK 離開進階設定
38
14
15

39
16

d. 執行分類
17.Start 開始執行
18.ClassifierPanel ⇨ Yes
因為訓練資料和測試資料並
非同一份檔案，資料的值域
不同，所以需要額外做對映
40
17
18

19.Result list
增加新的探勘結果
20.Classifier output
探勘結果細節
41
19
20

STEP 3a. 檢視探勘結果
檢視模型(1/4)
Absences
缺席次數
Address
住家區域
StudyTime
讀書時間
Guardian
監護人
Freetime
自由時間
GoOut
外出程度 MS
GP MS
schoolsup
學校補助
<=4>4
<=3 >3
...
...
...
...
...
42

43
檢視模型(2/4)
1. 在Result list要檢視的探
勘結果上按右鍵
選擇 Visualize tree
檢視決策樹
! 1

檢視模型(3/4)
2. 在TreeView按右鍵
選擇AutoScale
3. Center on Top Node
檢視頂層節點
44
3
2

檢視模型(4/4)
從頂層節點檢視
用滑鼠左鍵拖曳移動畫面
Fit to Screen
縮放到螢幕大小
45

46
STEP 3b. 檢視探勘結果
整體評估：正確率 (1/3)
1. Correctly Classified
Instances: 53
(82.8125%)
正確分類案例有
82.8125%
1

整體評估：混淆矩陣 (2/3)
2. Confusion Matrix
混淆矩陣
47
2
被分為
GP
被分為
MS
41 1 是GP
10 12 是MS

整體評估：F度量 (3/3)
3. F-Measure
F度量，分類成效的
綜合評估指標
● 第一行為第一個出現
的值(GP)的F度量
● 第二行為第二個出現
的值(MS)的F度量
● 最後一列為加權平均
的F度量
48
3

對於GP來說
F-Measure
F度量
● F度量介於0~1之間
● F度量越大，表示該模型
具有以下特色：
a. 模型預測的分類，皆
為正確分類
(精準率高)
b. 對於指定分類，模型
皆能夠正確預測
(召回率高)
49https://baike.baidu.com/item/f-measure
被分為GP 被分為MS
TP=41
(正確分為GP)
FN=1
(未能正確分為GP)
是GP
FP=10
(不是GP
卻被分成GP)
TN=12
(不是GP，
也不分成GP)
是MS
GP的F度量 = 0.882

剛剛在outputFile設定裡
產生了探勘結果檔案
50
STEP 3c. 檢視探勘結果
個案評估 (1/7)
1. 使用LibreOffice
開啟CSV檔案
1
stu-sch-2 - test
- predict.csv

個案評估 (2/7)
2. LibreOffice Calc的
Text Import
按下 OK
51
2

個案評估 (3/7)
A. 測試結果
B. 其他屬性
52
A B

個案評估 (4/7)
● inst# 案例編號
● actual 實際值
● error 是否錯誤
錯誤以+表示
● predicted 預測值
● distribution
每一格表示不同值的
預測機率，機率最大
的值以*表示
53

個案評估 (5/7)
分類錯誤案例
案例編號2
● 實際值: MS
● 預測值: GP
● 錯誤: 是
● 機率分佈:
GP的機率為0.846
54

個案評估 (6/7)
分類正確案例
案例編號5
● 實際值: GP
● 預測值: GP
● 錯誤: 否 (沒有+)
● 機率分佈:
GP的機率為0.865
55

個案評估 (7/7)
分類正確案例
案例編號7
● 實際值: GP
● 預測值: GP
● 錯誤: 否 (沒有+)
● 機率分佈:
GP的機率為1
(100%確定是GP)
56

目標屬性僅各種值1個已知分類
其他空白
測試資料與未知資料的差異
類別型的目標屬性
目標屬性有已知分類
57
stu-sch-
3 - unknown.ods
stu-sch-
2 - test.ods

STEP 4. 預測未知資料的分類 (1/2)
1. 在測試選項中開啟未知資料
(而不是測試資料)
58
stu-sch-
3 - unknown.ods
1
其他步驟如STEP 2操作

59
2. predicted
即是未知資料
的預測結果
stu-sch-2 - test
- predict.csv

60
由AI預測小呆的學校
AI：「小呆，我預測你會去讀MS學校。
這個預測的正確率為83%。」

61
預測性分析：迴歸
Part 9.
迴歸
如何預測資料
的接近數值？

62
考試成績出爐！
（松井優征，2017）

64https://twitter.com/RSMeme_/status/827145594678304768

65
迴歸演算法
Linear Regression
線型迴歸

產生線性迴歸公式
𝑦 = 𝑎 + 𝑏1 * 𝑥1+ 𝑒
● 𝑦 : 數值型目標屬性 (依變項)
● 𝑎 : 截距
● 𝑏1 : 第1個屬性的斜率
● 𝑥1 : 第1個屬性的值
● 𝑒 : 誤差
66
線型迴歸
http://www.sthda.com/english/articles/40-regression-analysis/165-linear-regression-essentials-in-r/
簡單線性迴歸
(由單一屬性𝑥預測數值型目標屬性𝑦)
𝑎

線型迴歸
多變項線性迴歸
(由多個屬性𝑥預測數值型目標屬性𝑦)
產生線性迴歸公式
𝑦 = 𝑎
+ 𝑏1* 𝑥1 + 𝑏2* 𝑥2 … 𝑏𝑖* 𝑥𝑖
+ 𝑒
● 𝑦 : 數值型目標屬性 (依變項)
● 𝑎 : 截距
● 𝑏𝑖 : 第𝑖個屬性的斜率
● 𝑥𝑖 : 第𝑖個屬性的值
● 𝑒 : 誤差
67

68
簡易線性迴歸
舉例
https://www.displayr.com/what-is-linear-regression/
advertising = -6.03 + 0.0417 * (sales)
sales
(屬性x)
advertising
(目標屬性y)
651 23
762 26
856 30
1063 34
1190 43
1298 48
1421 52
1440 57
1518 58

簡易線性迴歸
𝑎與𝑏1的估計量
𝑎 = avg(𝑦) - 𝑏1 * avg(𝑥)
69
𝑏1
最小平方法 (least squares method): 尋找誤差最小的最佳值

𝑏: beta斜率
● 𝑏 = 1
x多1個單位，y就多1個單位
● 𝑏 = -1
x多1個單位，y就少1個單位
● 𝑏= 0
x的增減不影響y
70

71
預測性分析：迴歸
實作步驟
1. 下載與開啟檔案
2. 執行迴歸：LinearRegression
3. 檢視探勘結果
a. 檢視模型
b. 評估整體準確度
c. 評估個別案例預測結果
4. 預測未知資料的分類

72
stu-sch,gra-
1 - train.ods
stu-sch,gra-
2 - test.ods
stu-sch,gra-
3 - unknown.ods

73
stu-sch,gra-
1 - train.ods

● 目標屬性
FinalGrade
數值型期末成績
74

a. 設定迴歸演算法與目標屬性
d. 執行分類
75
STEP 2. 執行迴歸

STEP 2. 執行迴歸 (1/12)
1. Attributes: 31
先記得屬性數量，
共31個
2. Classify
切換到
分類面板
76
1
2

3. Classifier ⇨
Choose
weka.classifiers
.functions
.LinearRegression
77
3

4. 選擇目標屬性
預設值已經是最後一個屬性
(Num) FinalGrade
78
4

5. Supplied test set
以測試資料來評估探勘結果
6. Set…
開啟進階設定
79
5 6

7. Open file… 開啟檔案
8. 選擇測試資料
stu-sch,gra-2 - test.ods
9. Open 開啟檔案
10.Close 退出進階設定
80
stu-sch,gra-
2 - test.ods
10
8
9
7

11.More options...
開啟輸出結果的
進階設定
81
11

12.Output predictions ⇨
Choose
選擇
weka.classifiers.evaluation
.output.prediction.CSV
82
12

83
13 13.按粗體字 CSV
開啟進階設定

14.設定參數
attributes: 1-31
31為屬性數量，
表示輸出結果加上全部屬性
outputFile:
stu-sch,gra-2 - test - predict.csv
將預測結果輸出成檔案
84
14
15

85
16

d. 執行迴歸
17.Start 開始執行
18.ClassifierPanel ⇨ Yes
因為訓練資料和測試資料並非
同一份檔案，資料的值域不同，
所以需要額外做對映
86
17
18

d. 執行迴歸
19.Result list
增加新的探勘結果
20.Classifier output
探勘結果細節
87
20
19

88
檢視模型 (1/2)
● 如果𝑏 > 0
表示該屬性對FinalGrade
有正面影響
● 如果𝑏 < 0
表示該屬性對FinalGrade
有負面影響
※ 𝑏 的數值大小不直接呈現重要性，不
可直接以此排序屬性的重要程度

對FinalGrade
有負面影響的屬性
(𝑏為負值)
● ClassFailures (-1.382)
課程不及格程度
● AlcWorkday (-0.3057)
平日喝酒程度
● AlcWeeken (-0.1386)
週末喝酒程度
● HealthStatus (-0.168)
健康狀況
檢視模型 (2/2)
89

如何判斷哪個屬性對成績影響最大？
90
需使用推論統計的多元迴歸分析
http://blog.pulipuli.info/2017/06/spss-interpreting-multiple-regression.html

91
整體評估
● Mean absolute error
(MAE) 為 2.093
表示每個預測可能會
偏差正負2.093
!

Mean Absolute Error (MAE)
平均絕對誤差
● n 案例數量
● fi 預測值
● yi 實際值
● ei = (fi - yi ) 誤差值
92

93
個案評估 (1/6)
剛剛在outputFile設定裡
產生了探勘結果檔案
1. 使用LibreOffice
開啟CSV檔案
1
stu-sch,gra-2 - test -
predict.csv

個案評估 (2/6)
2. LibreOffice Calc的
Text Import
按下 OK
94
2

個案評估 (3/6)
A. 測試結果
B. 其他屬性
95
A B

個案評估 (4/6)
● inst# 案例編號
● actual 實際值
● predicted 預測值
● error 誤差值
96

個案評估 (5/6)
誤差較大的案例
案例編號7
● 實際值: 6
● 預測值: 11.936
● 誤差: 5.936
97

個案評估 (6/6)
誤差較小的案例
案例編號2
● 實際值: 11
● 預測值: 11.342
● 誤差: 0.342
98

目標屬性設為空白目標屬性有已數值
測試資料與未知資料的差異
數值型的目標屬性
99
stu-sch,gra-
3 - unknown.ods
stu-sch,gra-
2 - test.ods

100
1. 在測試選項中開啟未知資料
(而不是測試資料)
stu-sch,gra-
3 - unknown.ods
1
其他步驟如STEP 2操作

101
(因為排版錯誤問題)
2. 第一個屬性
即是未知資料
的預測結果
stu-sch,gra-2 - test
- predict.csv

102
AI：「小呆，我預測你的期末成績是14分
這個預測誤差大約正負2分之間。」
由AI預測小呆的期末成績

103
⇩
Chapter 4.
進階應用與結語
今天的Weka...沒有極限！
GO

3. classification and regression

More Related Content

Similar to 3. classification and regression (13)

More from Yung-Ting Chen (20)

3. classification and regression

Editor's Notes