Data science101
50 likes3,292 views
这是一份关于数据科学的简要介绍，作者是台湾国立清华大学的博士谢宗震。文档涵盖了数据科学的定义、方法论以及在现实生活中的应用案例，例如豪宅房价预测，并探讨了数据科学家的角色与技能。作者还分享了个人的社群经验和举办相关工作坊的信息。
Data science101
- 1. DATA SCIENCE 101 by T. C. Hsieh (謝宗震), Ph.D. 2014.10.23
- 2. About Me Education • National Tsing-Hua University, Ph.D. in Statistics, 2009-2013 Experience • Post-doc, NTHU, 2014 • Lecturer and Hacker, DSP, since 2013 • Officer, TW.R group, since 2013 • Statistics consultant, personal studio, since 2008 Skills • Data manipulation, Data mining and statistical learning, Ecology statistics, R programing Blog • 讀數⼀一格 http://readata.org
- 3. Agenda • 資料科學簡介 • ⽣生活中的資料科學案例 • 資料科學社群經驗分享 http://goo.gl/LC5voZ
- 5. 什麼是資料科學？
- 6. 什麼是資料科學？
- 7. http://commons.wikimedia.org/wiki/File:Scientists_montage.jpg 科學是透過理性辯證， 來接近真理的⼀一種⽅方法。 http://goo.gl/3njGHf
- 8. http://commons.wikimedia.org/wiki/File:Scientists_montage.jpg 科學是透過理性辯證， 來接近真理的⼀一種⽅方法。 科學是透過理性與經驗交互辯證， 來接近真理的⼀一種⽅方法。
- 9. 我認為科學⽅方法可分為以下四個步驟： 1. 觀察現狀，提出問題 2. 將真實問題轉換成科學模型 3. 進⾏行實驗、分析 4. 將結果導回真實問題 http://goo.gl/mFqQN6 在有限的時間下，! 你想怎麼分配資源來學習這四步？
- 11. 1 + 1 = 2？ + = ?
- 12. 1 + 1 = 2？ 數據化的記錄總會喪失部分訊息 ⼀一個問題是否能透過資料解決 和資料的收集與記錄⽅方式有關
- 14. 好像有點複雜，其實．．．
- 18. 資料庫＝冰箱 http://goo.gl/wbozmd 為什麼需要冰箱？ 資料要⽤用什麼形式存放？
- 19. 分析⼯工具＝廚具 http://goo.gl/h9nDzO Math, Statistics, Computer Science, … R, Python, SAS, SPSS IBM, …
- 20. 分析⽅方法＝⻝⾷食譜 http://goo.gl/J6TLsQ A/B Test, Regression, Doe, Classification, Clustering, Data Mining, Machine Learning…
- 21. 資料呈現＝擺盤 http://goo.gl/8eR5IM Data Visualization or Data Presentation, User Interface / User Experience
- 22. 那資料科學家呢？
- 24. 對廚師表⽰示尊敬!!!
- 25. 如果你跟我⼀一樣當不成超⼈人
- 28. Data lifecycle and Data Science Process Raw Data Clean Data Data Model Product by CK Liu - Z > B的資料科學
- 29. Professional Roles of Data Science Data Engineers Data Analysts Raw Data Clean Data Data Model Product Product Managers by CK Liu - Z > B的資料科學
- 30. Machine Learning Data visualization Mathematics Statistics Computer Science Domain Experties Communication Core Skills of Data Analysts
- 31. Viz ML Math Stat CS Com DE Core Skills of Data Science Team by Rachel Schutt - Next-Gen Data Scientists
- 32. 分享⼀一些⽣生活案例
- 35. 內政部不動產實價登錄資料 2012 Aug. - 2013 Sep. 全台灣的租賃、買賣、預售 約47萬筆數據> Open Data Q&A
- 37. 統計模型：Generalized Additive Model (GAM) 重要因⼦子：⾯面積⼤大⼩小、屋齡、⾏行政區、是否購買⾞車位、⾼高低樓層 > gam(log10(總價)~s(⾯面積)+s(屋齡)+⾏行政區+⾞車位+樓層) 得到校正後決定係數 (adjust R square) 93.5% 之房價預測模型
- 38. Web application is available ! http://goo.gl/vT1Smr
- 40. 關於 Generalized Additive Model
- 43. 故事從這裡說起...
- 46. ⽂文播組沒說完的話： 我們是⼀一群對程式幾乎⼀一無所知的⼈人，想做些事情，只是沒 有平台、也不會這些技術。我們不曉得這個夢會不會太⼤大， 但只是想整合資源，⽽而不想讓資料隨⾵風飄，然後就消失了...... 還有就是想要把這個屬於台灣⼈人⾃自⼰己的歷史完完整整記錄下 來，最完整的歷史記錄，留下後讓後⼈人⾃自⼰己來評論。 https://g0v.hackpad.com/ep/pad/static/07KBjTxWEFS
- 47. That is data-driven ! 我問⾃自⼰己⼀一個問題 現場⽂文播資料可以怎麼⽤用？
- 48. 現場情況 V.S. 現場⽂文播
- 49. 現場情況 V.S. 現場⽂文播 V.S. 新聞報導
- 50. 有沒有辦法量化 新聞媒體報導的真實性？ 基本上 沒有完美的辦法
- 51. 不過 媒體的關聯性應該有辦法
- 52. 怎麼量化關聯性？ 先設想 你需要什麼 / 有什麼資料
- 54. 怎麼獲取媒體報導資料？
- 56. 除了堅毅不拔的複製 / 貼上之外... 你還會什麼？
- 58. 特別感謝
- 59. Ronny Wang and NewsDiff
- 64. 這個過程⽤用了以下技術
- 65. Quick references • Statistics with R (Johnson) • slide: http://johnsonhsieh.github.io/study-area-statR/#49 • vod : https://www.youtube.com/watch?v=XbNx-I9fLWQ • Text Mining with R (Jiawei) • slide : https://docs.google.com/presentation/d/ 1IP5vFmBlGPBp32bWDqSpGYLox5QVmenFAfPwcOseQh Q/edit#slide=id.p • vod : https://www.youtube.com/watch?v=ALZaXnzXPg8
- 66. 怎麼計算關聯性？
- 67. Pearson correlation coefficient 最廣為⼈人知的相關性指標 但是本案例中完全⽤用不上
- 69. Ref: Chao, A., Jost, L., Chiang, S. C. Jiang Y.- H. and Chazdon, R. (2008). A Two-stage probabilistic approach to multiple-community similarity indices.Biometrics 64, 1178-1186. (pdf file)
- 71. 這個過程⽤用了以下技術
- 72. 最後得到所謂的媒體關係圖
- 74. 臺北市⻑⾧長選戰觀察
- 76. 譬如說：決策樹 (Classification And Regression Trees)
- 79. 但是，我⽤用統計⽅方法 還原數據 (Gibbs Sampling)
- 80. TVBS⺠民調表格 + 台北市統計資料庫查詢系統， 利⽤用 Gibbs sampling 的概念將⺠民調結果回推原始數據
- 81. TVBS⺠民調表格 + 台北市統計資料庫查詢系統， 利⽤用 Gibbs sampling 的概念將⺠民調結果回推原始數據
- 82. TVBS⺠民調表格 + 台北市統計資料庫查詢系統， 利⽤用 Gibbs sampling 的概念將⺠民調結果回推原始數據
- 85. 負⾯面競選
- 88. 台北市⻑⾧長⺠民調(wikipedia) 利⽤用LOESS法預測 9/16 - 10/16 每⼀一天候選⼈人的⺠民調⽀支持度 (含未表態)
- 90. 整理成以下表格進⾏行作圖
- 92. ⼩小結 • 資料科學主要精神 • Data-driven thinking • 核⼼心技術 • ⽐比⼤大⼩小、⽐比差異 • 找相關、找趨勢 (ex: 新聞關聯性、負⾯面競選) • 做預測 (ex: 豪宅房價) • 做分類 (ex: ⺠民調決策樹) • 做推薦 http://shop.oreilly.com/product/0636920029182.do
- 93. 資料科學相關社群
- 94. TW.R Taiwan R User Group MLDM Monday
- 95. 吳 ⿑齊 軒 張 家 ⿑齊 https://www.facebook.com/twdsconf
- 96. Taiwan R User Group MLDM Monday Free R Online Tutorials is here !!!! Meetup: http://www.meetup.com/Taiwan-R/ YouTube: https://www.youtube.com/user/TWuseRGroup
- 97. Mar 2013, Spider & Crawler 寫作相關主題
- 98. Jul 2013, Joint Meeting
- 99. Jan 2014, OSSF Data Science with R Workshop
- 100. Aug 2014, ETL with R
- 101. May 2014, Data visualization
- 102. Aug 2014, Taiwan Data Science Conference with R tutorial
- 103. 2014.10.20 Taiwan R user group 2nd Year Anniversary
- 104. DSP The Data Science Program 資料科學計劃
- 107. Dec 2013, Team Training #1
- 108. Mar 2014, Team Training #2
- 110. Jan 2014, Data Fiesta
- 111. Jan 2014, Data Fiesta
- 113. 我的社群經驗 Greg Wilson by Vijaysree Venkatraman - When All Science Becomes Data Science 參與參與社群讓我 • 遇⾒見良師益友 • 接觸更多真實問題 (ex: code for Healthcare) • 懂得團隊協作 (ex: R tutorial, DSP training)
- 114. Let DSP ask a question: 如果DSP要舉辦⼀一個 資料科學冬令營 for ⼤大學⽣生 你有什麼建議？
- 115. Joint Us TW.R www.meetup.com/Taiwan-R/ DSP dsp.im Lecturers Mentors Volunteers
- 116. thank you