Introduction to Feature (Attribute) Selection with RapidMiner Studio 6

Feature Selection  
with RapidMiner Studio 6
(data)3 
base|warehouse|mining
http://www.dataminingtrend.com 
http://facebook.com/datacube.th
Eakasit Pacharawongsakda, Ph.D.
Data Cube: http://facebook.com/datacube.th

(data)3 
http://dataminingtrend.com http://facebook.com/datacube.th
Attribute (Feature) Selection
• ประสิทธิภาพของ Classiﬁcation ขึ้นอยู่กับ แอตทริบิวต์ หรือ feature 
ที่นำมาใช้
• attribute selection เป็นวิธีการคัดเลือกแอตทริบิวต์ (หรือ feature)  
ที่สำคัญในการสร้างโมเดล
• เลือกแอตทริบิวต์ที่มีความสัมพันธ์ (correlation) กับแอตทริบิวต์ลาเบล (label) มาก
• เลือกแอตทริบิวต์ที่มีความสัมพันธ์กันระหว่างแอตทริบิวต์น้อย
• การทำ attribute selection เหมาะกับ
• ช้อมูลที่มีจำนวนแอตทริบิวต์เป็นจำนวนเยอะ เช่น text mining
• ใช้เวลาในการสร้างโมเดลนาน
2

(data)3 
• แบ่งได้เป็น 2 แบบ
• Filter approach เป็นการคำนวณค่าน้ำหนัก (หรือค่าความสัมพันธ์) ของแต่ละ
แอตทริบิวต์และเลือกเฉพาะแอตทริบิวต์ที่สำคัญเก็บไว้
• Wrapper approach เป็นการคำนวณค่าน้ำหนักโดยใช้โมเดล classiﬁcation เป็นตัว
วัดประสิทธิภาพของแอตทริบิวต์
3
ID Free Won Cash Call Service Type
1 Y Y Y Y Y spam
2 N Y Y Y N spam
compute weight
ID Free Won Type
1 Y Y spam
2 N Y spam
แอตทริบิวต์ทั้งหมดใน training data
แอตทริบิวต์หลังจากการเลือก 
(selection) แล้ว
ID Free Won Cash Call Service Type
1 Y Y Y Y Y spam
2 N Y Y Y N spam
ID Free Won Type
1 Y Y spam
2 N Y spam
แอตทริบิวต์ทั้งหมดใน training data
แอตทริบิวต์หลังจากการเลือก 
(selection) แล้ว
classiﬁcation
model
Attribute Selection: Filter Approach
Attribute Selection: Wrapper Approach

(data)3 
• Information Theory คำนวณค่าน้ำหนักของแต่ละแอตทริบิวต์ด้วยค่า
Information Gain
• Chi-Square คำนวณค่าน้ำหนักของแต่ละแอตทริบิวต์ด้วยค่า Chi-Square
• Forward Selection
• Backward Elimination
• Evolutionary Selection
4

(data)3 
Information Theory-based ﬁltering
• คำนวณค่าความสัมพันธ์ของแต่ละแอตทริบิวต์กับแอตทริบิวต์ 
ลาเบลด้วยวิธี Information Gain
• ใช้ได้กับแอตทริบิวต์ที่เป็นนอมินอล (nominal) เท่านั้น
• คำนวณค่า Entropy และ Information Gain (IG)
5
Entropy(c1) = -p(c1) log p(c1)
IG (parent, child) = Entropy(parent) – [p(c1) × Entropy(c1) + p(c2) × Entropy(c2) + ...]

(data)3 
• คำนวณค่า Information Gain (IG) ระหว่างแอตทริบิวต์กับลาเบล
6
ID Outlook Temperature Humidity Windy Play
1 sunny hot high FALSE no
2 sunny hot high TRUE no
3 overcast hot high FALSE yes
4 rainy mild high FALSE yes
5 rainy cool normal FALSE yes
6 rainy cool normal TRUE no
7 overcast mild normal TRUE yes
8 sunny mild high FALSE no
9 sunny mild normal FALSE yes
10 rainy mild normal FALSE yes
11 sunny mild normal TRUE yes
12 overcast mild high TRUE yes
13 overcast hot normal FALSE yes
14 rainy mild high TRUE no
attribute IG
Outlook 0.247
Temperature
Humidity
Windy
ตารางค่า Information Gain

(data)3 
7
attribute IG
Outlook 0.247
Temperature 0.029
Humidity
Windy

(data)3 
8
attribute IG
Outlook 0.247
Temperature 0.029
Humidity 0.152
Windy

(data)3 
9
attribute IG
Outlook 0.247
Temperature 0.029
Humidity 0.152
Windy 0.048

(data)3 
• เลือกแอตทริบิวต์ที่มีค่า IG มากกว่า 0.1
10
attribute IG
Outlook 0.247
Humidity 0.152
Windy 0.048
Temperature 0.029
ID Outlook Humidity Play
1 sunny high no
2 sunny high no
3 overcast high yes
4 rainy high yes
5 rainy normal yes
6 rainy normal no
7 overcast normal yes
8 sunny high no
9 sunny normal yes
10 rainy normal yes
11 sunny normal yes
12 overcast high yes
14 rainy high no

(data)3 
Example 7-11: Weight by IG
• โอเปอเรเตอร์ที่เกี่ยวข้อง
11
โอเปอเรเตอร์ คำอธิบาย
Read CSV ใช้สำหรับอ่านไฟล์ประเภท CSV
Weight by Information Gain
ใช้สำหรับคำนวณค่าน้ำหนักของแอตทริบิวต์ด้วยเทคนิค
Information Gain
Select by weight ใช้สำหรับเลือกแอตทริบิวต์ตามค่าน้ำหนัก (weight)

(data)3 
• ใช้ข้อมูล weather_nominal และโอเปอเรเตอร์ Weight by Information
Gain
12
1
2

(data)3 
• ผลการคำนวณค่า Information Gain ของแต่ละแอตทริบิวต์
13
ค่า Information Gain (IG)

(data)3 
• ใช้โอเปอเรเตอร์ Select by weight เพื่อเลือกแอตทริบิวต์ที่มีค่า weight
มากกว่า 0.1
14
1
2
5
3
6
4

(data)3 
• ผลการคัดเลือกแอตทริบิวต์ที่มีค่า IG มากกว่า 0.1
15
ค่า Information Gain (IG)

(data)3 
• Information Theory คำนวณค่าน้ำหนักของแต่ละแอตทริบิวต์ด้วยค่า Information
Gain
16

(data)3 
Chi-Square-based ﬁltering
• คำนวณค่าความสัมพันธ์ของแต่ละ feature ด้วยวิธี Chi-Square
• ใช้ได้กับแอตทริบิวต์ที่เป็นนอมินอล (nominal) เท่านั้น
• ดูความถี่ที่เกิดขึ้นระหว่างแอตทริบิวต์ต่างๆ เทียบกับแอตทริบิวต์ลาเบล (label)
• ค่า Chi-Square คำนวณได้จาก
• f0 = observed frequency
• fe = expected frequency
17

(data)3 
• คำนวณค่า Chi-Square ระหว่างแอตทริบิวต์ Outlook กับลาเบล
• Expected Frequency ของ Outlook=sunny และ Play=no 
= P(Outlook = sunny) * P(Play = no) * Total Number 
= (5/14) * (5/14) * 14 = 1.785714
18
ID Outlook Play
6 rainy no
14 rainy no
1 sunny no
2 sunny no
8 sunny no
3 overcast yes
7 overcast yes
12 overcast yes
13 overcast yes
4 rainy yes
5 rainy yes
10 rainy yes
9 sunny yes
11 sunny yes
Outlook = sunny overcast rainy Total
Play = no 3 0 2 5
Play = yes 2 4 3 9
Total 5 4 5 14
observed frequency

(data)3 
19
ID Outlook Play
6 rainy no
14 rainy no
1 sunny no
2 sunny no
8 sunny no
3 overcast yes
7 overcast yes
12 overcast yes
13 overcast yes
4 rainy yes
5 rainy yes
10 rainy yes
9 sunny yes
11 sunny yes
Play = no 3 0 2 5
Play = yes 2 4 3 9
Total 5 4 5 14
Play = no 1.786 1.429 1.786 5
Play = yes 3.214 2.571 3.214 9
Total 5 4 5 14
observed frequency
expected frequency

(data)3 
20
Outlook = sunny overcast rainy
Play = no 3 0 2
Play = yes 2 4 3
Outlook = sunny overcast rainy
Play = no 1.786 1.429 1.786
Play = yes 3.214 2.571 3.214
observed frequency
expected frequency
• Chi-Square = (3-1.786)2/1.786 +  
(0-1.429)2/1.429 +  
(2-1.786)2/1.786 + 
(2-3.214)2/3.214 + 
(4-2.571)2/2.571 + 
(3-3.214)2/3.214
= 3.547

(data)3 
• คำนวณค่า Chi-Square ระหว่างแอตทริบิวต์กับลาเบล
21
attribute Chi-Square
Outlook 3.547
Temperature
Humidity
Windy
ตารางค่า Chi-Square

(data)3 
22
Outlook 3.547
Temperature 0.570
Humidity
Windy

(data)3 
23
Outlook 3.547
Temperature 0.570
Humidity 2.800
Windy

(data)3 
24
Outlook 3.547
Temperature 0.570
Humidity 2.800
Windy 0.933

(data)3 
• เลือกแอตทริบิวต์ที่มีค่า Chi-Square มากกว่า 2.0
Outlook 3.547
Humidity 2.800
Windy 0.933
Temperature 0.570
25
ID Outlook Humidity Play
1 sunny high no
2 sunny high no
3 overcast high yes
4 rainy high yes
5 rainy normal yes
6 rainy normal no
8 sunny high no
9 sunny normal yes
10 rainy normal yes
11 sunny normal yes
12 overcast high yes
14 rainy high no

(data)3 
Example 7-12: Weight by CS
26
Weight by Chi-Square
ใช้สำหรับคำนวณค่าน้ำหนักของแอตทริบิวต์ด้วยเทคนิค
Chi-Square
Select by weight ใช้สำหรับเลือกแอตทริบิวต์ตามค่าน้ำหนัก (weight)

(data)3 
• ใช้ข้อมูล weather_nominal และโอเปอเรเตอร์ Weight by Chi-
Square
27
1
4
2
3

(data)3 
• ผลการคำนวณค่า Chi-Square ของแต่ละแอตทริบิวต์
28
ค่า Chi-Square (CS)

(data)3 
• ใช้โอเปอเรเตอร์ Select by weight เพื่อเลือกแอตทริบิวต์ที่มีค่า weight
มากกว่า 2.0
29
7
5
8
6

(data)3 
• ผลการคัดเลือกแอตทริบิวต์ที่มีค่า Chi-Square มากกว่า 2.0
30
ค่า Chi-Square (CS)

(data)3 
Gain
31

(data)3 
Wrapper Approach
• เป็นวิธีการเลือกแอตทริบิวต์ใส่เข้าไปหรือถอดออกมาเพื่อสร้างโมเดล
และเลือก set ของแอตทริบิวต์ทีดีไว้ใช้
• ใช้แอตทริบิวต์ Free อย่างเดียว
32
ID Free Won Cash Type
1 Y Y Y spam
2 N Y Y spam
3 N N N normal
4 N N N normal
5 Y N N spam
6 Y N N spam
7 N N N normal
8 N Y N spam
9 N N N normal
10 N N N normal
ID Free Type
1 Y spam
2 N spam
3 N normal
4 N normal
5 Y spam
6 Y spam
7 N normal
8 N spam
9 N normal
10 N normal

(data)3 
Wrapper Approach
• ใช้แอตทริบิวต์ Won อย่างเดียว
33
1 Y Y Y spam
2 N Y Y spam
3 N N N normal
4 N N N normal
5 Y N N spam
6 Y N N spam
7 N N N normal
8 N Y N spam
9 N N N normal
10 N N N normal
ID Won Type
1 Y spam
2 Y spam
3 N normal
4 N normal
5 N spam
6 N spam
7 N normal
8 Y spam
9 N normal
10 N normal

(data)3 
Wrapper Approach
• ใช้แอตทริบิวต์ Cash อย่างเดียว
34
1 Y Y Y spam
2 N Y Y spam
3 N N N normal
4 N N N normal
5 Y N N spam
6 Y N N spam
7 N N N normal
8 N Y N spam
9 N N N normal
10 N N N normal
ID Cash Type
1 Y spam
2 Y spam
3 N normal
4 N normal
5 N spam
6 N spam
7 N normal
8 N spam
9 N normal
10 N normal

(data)3 
Wrapper Approach
• ใช้แอตทริบิวต์ Free และ Won
35
1 Y Y Y spam
2 N Y Y spam
3 N N N normal
4 N N N normal
5 Y N N spam
6 Y N N spam
7 N N N normal
8 N Y N spam
9 N N N normal
10 N N N normal
ID Free Won Type
1 Y Y spam
2 N Y spam
3 N N normal
4 N N normal
5 Y N spam
6 Y N spam
7 N N normal
8 N Y spam
9 N N normal
10 N N normal

(data)3 
Wrapper Approach
• ใช้แอตทริบิวต์ Free และ Cash
36
1 Y Y Y spam
2 N Y Y spam
3 N N N normal
4 N N N normal
5 Y N N spam
6 Y N N spam
7 N N N normal
8 N Y N spam
9 N N N normal
10 N N N normal
ID Free Cash Type
1 Y Y spam
2 N Y spam
3 N N normal
4 N N normal
5 Y N spam
6 Y N spam
7 N N normal
8 N N spam
9 N N normal
10 N N normal

(data)3 
Wrapper Approach
• ใช้แอตทริบิวต์ Won และ Cash
37
1 Y Y Y spam
2 N Y Y spam
3 N N N normal
4 N N N normal
5 Y N N spam
6 Y N N spam
7 N N N normal
8 N Y N spam
9 N N N normal
10 N N N normal
ID Won Cash Type
1 Y Y spam
2 Y Y spam
3 N N normal
4 N N normal
5 N N spam
6 N N spam
7 N N normal
8 Y N spam
9 N N normal
10 N N normal

(data)3 
Wrapper Approach
• ใช้แอตทริบิวต์ Free, Won และ Cash
38
1 Y Y Y spam
2 N Y Y spam
3 N N N normal
4 N N N normal
5 Y N N spam
6 Y N N spam
7 N N N normal
8 N Y N spam
9 N N N normal
10 N N N normal

(data)3 
Forward Selection
• เพิ่มแอตทริบิวต์ทีละ 1 แอตทริบิวต์และคัดเลือกเฉพาะแอตทริบิวต์ 
ที่มีความสำคัญเก็บไว้
• ถ้าแอตทริบิวต์ที่ใส่เพิ่มเข้าไปให้ค่า performance ดีขึ้นก็จะเก็บแอตทริบิวต์นี้ไว้
• ถ้าแอตทริบิวต์ที่ใส่เพิ่มเข้าไปให้ค่า performance แย่ลงก็จะดึงแอตทริบิวต์นี้ออก
มา
39

(data)3 
Forward Selection
• ใช้แอตทริบิวต์ Free อย่างเดียว
40
accuracy = 80%
ID Free Type
1 Y spam
2 N spam
3 N normal
4 N normal
5 Y spam
6 Y spam
7 N normal
8 N spam
9 N normal
10 N normal
ทดสอบประสิทธิภาพ 
ด้วย Cross-validation

(data)3 
Forward Selection
• ใช้แอตทริบิวต์ Won อย่างเดียว
41
accuracy = 80%
ID Won Type
1 Y spam
2 Y spam
3 N normal
4 N normal
5 N spam
6 N spam
7 N normal
8 Y spam
9 N normal
10 N normal

(data)3 
Forward Selection
• ใช้แอตทริบิวต์ Cash อย่างเดียว
42
accuracy = 50%
ID Cash Type
1 Y spam
2 Y spam
3 N normal
4 N normal
5 N spam
6 N spam
7 N normal
8 N spam
9 N normal
10 N normal

(data)3 
Forward Selection
43
accuracy = 60%
ID Free Won Type
1 Y Y spam
2 N Y spam
3 N N normal
4 N N normal
5 Y N spam
6 Y N spam
7 N N normal
8 N Y spam
9 N N normal
10 N N normal

(data)3 
Forward Selection
44
accuracy = 60%
ID Free Won Type
1 Y Y spam
2 N Y spam
3 N N normal
4 N N normal
5 Y N spam
6 Y N spam
7 N N normal
8 N Y spam
9 N N normal
10 N N normal
ตัดแอตทริบิวต์ Cash ทิ้งเนื่องจากให้ค่าความถูกต้องลดลง

(data)3 
Forward Selection
45
accuracy = 80%
ID Free Cash Type
1 Y Y spam
2 N Y spam
3 N N normal
4 N N normal
5 Y N spam
6 Y N spam
7 N N normal
8 N N spam
9 N N normal
10 N N normal

(data)3 
Forward Selection
46
accuracy = 80%
ID Free Cash Type
1 Y Y spam
2 N Y spam
3 N N normal
4 N N normal
5 Y N spam
6 Y N spam
7 N N normal
8 N N spam
9 N N normal
10 N N normal
ตัดแอตทริบิวต์ Cash ทิ้งเนื่องจากไม่ได้ทำให้ค่าความถูกต้องเพิ่มขึ้น

(data)3 
Example 7-13: Forward Selection
47
Forward Selection ใช้สำหรับคัดเลือกแอตทริบิวต์ด้วยวิธี Forward Selection
X-Validation แบ่งข้อมูลสำหรับสร้างโมเดลและทดสอบโมเดล

(data)3 
48
Neural Net ใช้สำหรับสร้างโมเดล Neural Network
Apply Model ใช้สำหรับ predict ข้อมูลใหม่
Performance 
(Binominal Classiﬁcation) สำหรับแสดงตัวชี้วัดของโมเดล classiﬁcation

(data)3 
• โหลดข้อมูล gold_training.csv ด้วยโอเปอเรเตอร์ Read CSV
49
1
4
2
3

(data)3 
• คลิกปุ่ม ‘Import Conﬁguration Wizard…’
• กำหนดแอตทริบิวต์ Date ให้เป็นแอตทริบิวต์ประเภทไอดี
• กำหนดแอตทริบิวต์ GC Trend ให้เป็นแอตทริบิวต์ประเภทลาเบล
50
5 6

(data)3 
• double click ที่โอเปอเรเตอร์ Forward Selection และใช้โอเปอเรเตอร์ 
X-validation จาก New Building Block เพื่อทดสอบประสิทธิภาพของโมเดล
51
5
7

(data)3 
• double click ที่โอเปอเรเตอร์ X-Validation เพื่อสร้างโมเดล  
Neural Network
52
10
8
9

(data)3 
• ค่านำหนักของแต่ละแอตทริบิวต์
53
ค่าน้ำหนักของแต่ละ
แอตทริบิวต์

(data)3 
• แสดงข้อมูลหลังจากเลือกแอตทริบิวต์
54
เหลือเพียงแค่ 4

(data)3 
• ผลการทดสอบประสิทธิภาพด้วยวิธี Cross-validation
55

(data)3 
Gain
56

(data)3 
Backward Elimination
• เริ่มจากใช้แอตทริบิวต์ทั้งหมดและตัดแอตทริบิวต์ออกไปทีละ 1 ตัว 
เพื่อคัดเลือกเฉพาะแอตทริบิวต์ที่มีความสำคัญเก็บไว้
• ถ้าแอตทริบิวต์ที่ตัดออกไปให้ค่า performance ดีขึ้นก็จะตัดแอตทริบิวต์นี้ทิ้ง
• ถ้าแอตทริบิวต์ที่ตัดออกไปให้ค่า performance แย่ลงก็จะเก็บแอตทริบิวต์นี้ไว้
57

(data)3 
• ใช้แอตทริบิวต์ Free, Won และ Cash
58
accuracy = 60%
1 Y Y Y spam
2 N Y Y spam
3 N N N normal
4 N N N normal
5 Y N N spam
6 Y N N spam
7 N N N normal
8 N Y N spam
9 N N N normal
10 N N N normal

(data)3 
• ใช้แอตทริบิวต์ Won และ Cash (ตัดแอตทริบิวต์ Free ทิ้ง)
59
accuracy = 80%
ID Won Cash Type
1 Y Y spam
2 Y Y spam
3 N N normal
4 N N normal
5 N N spam
6 N N spam
7 N N normal
8 Y N spam
9 N N normal
10 N N normal
ตัดแอตทริบิวต์ Free ทิ้งเนื่องจากทำให้ค่าความถูกต้องเพิ่มขึ้น

(data)3 
Example 7-14: Backward Elimination
60
ใช้สำหรับคัดเลือกแอตทริบิวต์ด้วยวิธี Backward
Elimination

(data)3 
61
Performance 

(data)3 
62
1
4
2
3

(data)3 
63
5 6

(data)3 
• double click ที่โอเปอเรเตอร์ Backward Elimination และใช้โอเปอเรเตอร์ 
X-validation จาก New Building Block เพื่อทดสอบประสิทธิภาพของโมเดล
64
7

(data)3 
Neural Network
65
10
8
9

(data)3 
66

(data)3 
67

(data)3 
68

(data)3 
Gain
69

(data)3 
Evolutionary Selection
• Forward Selection และ Backward Elimination เป็นการทำงานแบบ
greedy ถ้าเจอเซตของแอตทริบิวต์ที่ทำให้ค่าความถูกต้องเพิ่มขึ้นก็จะ
หยุดการค้นหา
• สุ่มเลือกแอตทริบิวต์ขึ้นมา และวัดประสิทธิภาพ
• คัดเลือกแอตทริบิวต์ที่มีประสิทธิภาพและสุ่มเลือกตัวอื่นเพิ่มขึ้นมา
70

(data)3 
Example 7-15: Evolutionary Selection
71
Optimize Selection
(Evolutionary)
ใช้สำหรับคัดเลือกแอตทริบิวต์ด้วยวิธี Optimize
Selection (Evolutionary)

(data)3 
72
Performance 

(data)3 
73
1
4
2
3

(data)3 
74
5 6

(data)3 
• double click ที่โอเปอเรเตอร์ Optimize Selection (Evolutionary)  
และใช้โอเปอเรเตอร์ X-validation จาก New Building Block เพื่อทดสอบ
ประสิทธิภาพของโมเดล
75
7

(data)3 
Neural Network
76
10
8
9

(data)3 
77

(data)3 
78

(data)3 
79

Introduction to Feature (Attribute) Selection with RapidMiner Studio 6

More Related Content

What's hot (20)

Viewers also liked (15)

Similar to Introduction to Feature (Attribute) Selection with RapidMiner Studio 6 (20)

Introduction to Feature (Attribute) Selection with RapidMiner Studio 6