3. data features
0 likes389 views
本文探讨了机器学习中的数据和特征，包括数据收集、数据清洗和特征选择等基本步骤。提到数据可能会遇到的问题如缺失和不一致性，并介绍了特征之间的相关性分析及距离计算的方法。强调了数据预处理对模型准确性和计算效率的重要性。
![Numpy: Inner Product/Dot Product
>>> a = np.array([5, 6, 7])
>>> b = np.array([6, 6, 6])
>>> a.dot(b) #向量內積 inner product=>純數
108
>>> np.dot(a,b)
108
>>> c = np.array([[1,2,3],[4,5,6],[7,8,9]]) #二維陣列
>>> c.dot(a) #二維陣列的每行與㇐維向量計算內積
array([ 38, 92, 146])
>>> c[0].dot(a) #兩個㇐維向量計算內積
38
>>> c[1].dot(a)
92
>>> c[2].dot(a)
146
60](https://image.slidesharecdn.com/2-191217150254/85/3-data-features-18-320.jpg)
3. data features
- 1. 3. 資料與特徵 43
- 2. 機器學習=資料+演算法 1. 沒有資料什麼都不能做 2. 有資料但品質不好 (Dirty Data), 可能造成Garbage In Garbage Out 簡介 44
- 4. 1. 自行收集: 做問卷調查、設置感測器收集、.. 2. 使用Open Data : 政府或研究機構的開放資料 • https://data.gov.tw • Kaggle.com • UCI Machine Learning Repository 3. 各家公司提供的API • Facebook Graph API, YouTube Data API 4. 網頁爬蟲程式 5. 直接向廠商購買 資料去那收集? 46
- 5. 1. 資料不完整 2. 資料格式不一致 3. 資料無效 4. 資料重複 資料可能發生的問題 47 Dirty Data
- 6. Data Cleaning 資料清洗 (去蕪存菁) 48 1.) 插值法 2.) 插值平均值或中位數 3.) 插值空值
- 7. Data Cleaning (cont.) 49 4.) 將名目值量化 5.) 移除異常資料 (remove outlier) three-sigma rule. 68%數值分布在距離平均值有 1個標準差之內的範圍
- 8. 資料的特徵 (或稱為屬性) 是否都是有用?! 能減少不必要或無用的特徵進入模型, 可以提升 準確度並且可以降低模型的計算量以提升預測反 應速度. 如何檢驗特徵與目標(target)或特徵與特徵之間之 間的關聯性? 特徵選擇 50
- 10. 52 1.) 完全正相關為 即 所有 點會全部落在 45度的直線上 2. ) 某特徵與目標的| | 愈高, 表示此特徵對於目標有較大影響力
- 11. 實作練習 53
- 12. 資料間的相似程度 (Similarity)即計算它們的特徵 距離 Distance Metrics: 特徵距離的計算 54 2.) Euclidean Distance: 1.) Manhattan Distance: x = (x1, x2, x3,..., xn) and y = (y1, y2, y3,…, yn) n-number of features xi and yi are the features of vectors x and y respectively, in the two dimensional vector space. 3.) Cosine Distance:
- 13. x1 x2 x3 x4 x5 x6 D1 2 3 4 2 1 15 D2 1 2 2 4 3 51 D3 1 4 5 2 2 35 分別計算 Euclidean Distance 55 d(D1,D2)= d(D2,D3)= d(D1,D3)= 距離會被值域較大的特徵所決定
- 14. Min-Max Normalization • Re-scaling the range of a vector to make all elements lie between 0 and 1 Z-score Standardization • Subtract the mean and divide by the standard deviation Feature re-scaling 56 將每個特徵值的尺度轉成一致 ~(0,1) Min-Max Normalization使用時機, 資料的上下界通常是己知的固定值
- 15. Example 57 x1 x2 x3 x4 x5 x6 D1 1 0 D2 0 1 D3 0 0.5556 x1 x2 x3 x4 x5 x6 D1 2 3 4 2 1 15 D2 1 2 2 4 3 51 D3 1 4 5 2 2 35 After Min-Max Normalization 距離不會被值域特別大的特徵影響太多
- 17. The Cosine metric is a measurement of orientation and not magnitude • Cosine不看magnitude(強度),只在乎2個向量是否具有相 同方向 (且不一定要有相同向量空間).而Euclidean是要是 相同向量空間且magnitude會影響計算的距離. • Cosine Similarity 常用在文章分類, 因為文章出現關鍵詞 種類愈多比較重要,而不是某一個個關鍵詞出現很多次 (因為很有可能出現的很多次, 其實只是這篇文章寫得比 較長而已) Use Euclidean Distance or Cosine Similarity ? 59
- 18. Numpy: Inner Product/Dot Product >>> a = np.array([5, 6, 7]) >>> b = np.array([6, 6, 6]) >>> a.dot(b) #向量內積 inner product=>純數 108 >>> np.dot(a,b) 108 >>> c = np.array([[1,2,3],[4,5,6],[7,8,9]]) #二維陣列 >>> c.dot(a) #二維陣列的每行與㇐維向量計算內積 array([ 38, 92, 146]) >>> c[0].dot(a) #兩個㇐維向量計算內積 38 >>> c[1].dot(a) 92 >>> c[2].dot(a) 146 60
- 19. Python 實作 61 值愈大, 角度愈小 , 表示很有相關 值愈小, 角度愈大 , 表示愈不相關