Self improvement in the big data era
2 likes928 views
本文件探讨了在大数据时代提升数据能力的策略，强调科学方法在数据分析中的重要性。通过具体案例，如火灾风险地图，展示了如何运用数据科学解决实际问题。文件还介绍了结合公益与实践的长远项目，鼓励团队协作与社会影响。
![http://d4sg.org
積極
參與
政府、非營利或是其他公益性組織
成為資料英雄計畫的提案者！
[申請提案] (http://bit.ly/c4proposal)
具備資料工程與分析能力的企業人士或學生
透過團隊合作發揮專業技能做公益，學會一些實用的新技能。
[申請資料英雄] (http://bit.ly/c4fellowship)
欲提升提升品牌曝光度、強化正面形象的企業
強化企業品牌，提昇社群團體、非營利組織與政府單位的肯定。
[贊助D4SG] (http://bit.ly/c4sponsorship)](https://image.slidesharecdn.com/random-161029075804/85/Self-improvement-in-the-big-data-era-41-320.jpg)
![[ 挑戰 1 ] 採購問答機器人 (Chatbot Challenge)
[ 挑戰 2 ] 海闊天空，開放創新 (Open Challenge)
DSP智庫驅動馬上報名 (11/02 公佈錄取隊伍)
https://goo.gl/XjvhYv](https://image.slidesharecdn.com/random-161029075804/85/Self-improvement-in-the-big-data-era-98-320.jpg)
Self improvement in the big data era
- 1. 如何在大數據時代提升資料力 謝宗震 (johnson@dsp.im) DSP 智庫驅動 首席資料科學家 D4SG 計畫共同發起人 2016/10/29 @北護資管 version 4.0
- 2. • 學歷：清華數學、統計碩、統計博 • 2007年開始寫R • DSP 智庫驅動資料科學家 • D4SG 資料英雄計畫主持人 • 「資料力，做公益」的交流與媒合平台 • 農業政策、家庭暴力、社會安全、NPO營運優化 謝宗震 博士 johnson@dsp.im
- 3. 什麼是資料科學？
- 4. 什麼是資料科學？
- 7. 我認為科學方法可以分成四個步驟 1. 觀察現狀，提出問題假設 2. 將真實問題轉換成科學模型 3. 進行實驗、分析、計算 4. 將結果導回真實問題 在有限的時間下，你怎麼分配資源來教學/學習這四個步驟？
- 10. 1 + 1 = 2 ? + = ? 資料的 極限
- 11. 1 + 1 = 2 ? 數據化的記錄總會喪失部分訊息 一個問題是否能透過資料解決 和資料蒐集與記錄的方式有關 資料的 極限
- 16. 歐巴馬競選網站主視覺實驗 價值6000萬美元的AB測試 Original trial VS. Family trial https://goo.gl/77ZwXz
- 17. 歐巴馬競選網站主視覺實驗 Summary Original trait Family trait Visitors 51,794 51,696 Sign-up 4,425 4,996 Conv. Rate 8.54% 9.66% ✔
- 22. Trendsetters Top Tiers Soccer Moms Great Outdoors American Dreamers Downtown Melting Pot
- 23. 火災預防和宣導 資料科學怎麼做
- 26. 紐奧良市的火災風險地圖 http://goo.gl/PUwoQB 火災風險 = (火災致死率 + 煙霧警報器未安裝率) / 2
- 27. 紐奧良市的火災風險地圖
- 33. 台灣怎麼做？
- 34. 結合公益與實務，採用長期專案方式，將實驗性的概念測試， 鍛鍊為完整的資料公益解決方案，甚至能夠被複製使用 D4SG.org 資料英雄計畫 Data for Social Good Fellowship
- 39. 警報器發放指標 村里火災風險比較 ( = 警報器申請數 – 火災發生風險)
- 40. ● 媒合公共服務性組織與民間熱血的資料英雄 ● 選擇高社會影響力與可再利用的資料科學專案 ● 當局主管積極支持、專員參與合作 ● 利用三個月的工作時間共同完成 http://d4sg.org 執行 方式
- 41. http://d4sg.org 積極 參與 政府、非營利或是其他公益性組織 成為資料英雄計畫的提案者！ [申請提案] (http://bit.ly/c4proposal) 具備資料工程與分析能力的企業人士或學生 透過團隊合作發揮專業技能做公益，學會一些實用的新技能。 [申請資料英雄] (http://bit.ly/c4fellowship) 欲提升提升品牌曝光度、強化正面形象的企業 強化企業品牌，提昇社群團體、非營利組織與政府單位的肯定。 [贊助D4SG] (http://bit.ly/c4sponsorship)
- 43. http://d4sg.org • 09/07 (三) 開放資料公益提案 • 10/26 (三) D4SG成果發表會 • 11/08 (二) 提案徵求說明會 (網路星期二) • 11/20 (日) 提案申請截止 • 12/07 (三) 資料英雄申請截止 • 12/14 (三) 公告錄取 (提案主題、資料英雄) • 01/04 (三) 實體媒合會 • 01/07 (六) 正式開始 • 02/25 (六) 期中聚會 • 04/15 (六) 成果發表 重要時程
- 44. 怎麼開始？ 資管背景的你
- 45. 45 • 如何判斷講者的演講是否成功？ • 怎麼判斷一首歌好不好聽？ • 怎麼判斷一部電影好不好看？ • 怎麼測量戰爭？ • 怎麼測量貧窮？ 想像力 不設限
- 46. 46 從資料的角度來解決問題 怎麼度量、怎麼收集、怎麼呈現 • 在Uber之前，大家都認為沒辦法測量計程車載客數據 • 在GA之前，沒人知道怎麼收集Growth Hacking的資料 想像力 不設限
- 47. 47 How to Measure Anything: Finding the Value of Intangibles in Business 3rd Edition by Douglas W. Hubbard
- 48. Customer Journey 48 為賦新詞強說愁 觀察現狀－問對問題－取得資料 從 Design Thinking 看 Data
- 49. Customer journey map 49 Reference:http://www.servicedesigntools.org/ The customer journey map is an oriented graph that describes the journey of a USER by representing the different touchpoints that characterize his interaction with the service. “The goal of the customer journey map is really to get a holistic view of what the customer is going through from their point of view and really what it’s like for them on a personal level, that human level.” (Kerry Bodine, 2014)
- 50. 50
- 51. 51 Healthcare 醫療保健 http://cft.kktix.cc/events/cfh-2014-summer Code for Healthcare 工作坊, Aug. 2014, 高雄醫學大學
- 55. Code for Healthcare: Lex55
- 56. 人員 流程 對應數據、資料 Code for Healthcare: Lex et al.
- 57. Code for Healthcare: Lex et al.
- 60. 立委現形記
- 61. • 資料來源：立法院公報 parser (零時政府) • http://dev.g0v.tw/Project-TWLY.html • 關聯性算法：Jaccard 相似度指標 (Jaccar 1901) • https://en.wikipedia.org/wiki/Jaccard_index • 視覺化呈現：Gephi • https://gephi.org/
- 67. • 資料來源：電子媒體網站 (爬蟲備份) • https://github.com/johnsonhsieh/ecfa • 關聯性算法：Morisita相似度指標 (Morisita 1959) • https://en.wikipedia.org/wiki/Morisita%27s_overlap_index • 視覺化呈現：Gephi • https://gephi.org/
- 69. 電腦賦詩 Mark Chang • Computational Poetry 電腦賦詩 • 藏頭詩產生器
- 81. • 參考資料：Computational Poetry 電腦賦詩 (Mark Chang) • http://www.slideshare.net/ckmarkohchang/computational-poetry • 主要演算法：Recurrent Neural Network • https://en.wikipedia.org/wiki/Recurrent_neural_network • 原始論文與程式碼： Chinese Poetry Generation with Recurrent Neural Networks • http://aclweb.org/anthology/D/D14/D14-1074.pdf • https://github.com/XingxingZhang/rnnpg
- 88. • 參考資料：NeuralArt 電腦作畫 (Mark Chang) • http://www.slideshare.net/ckmarkohchang/a-neural-algorithm-of-artistic-style • 主要演算法：Convolutional Neural Network • https://en.wikipedia.org/wiki/Convolutional_neural_network • 原始論文與程式碼： A Neural Algorithm of Artistic Style • http://arxiv.org/abs/1508.06576 • https://github.com/andersbll/neural_artistic_style
- 89. Try, Learn and Share 如何提升資料素養？
- 90. “If you can’t do, teach.”
- 92. 92
- 93. 93
- 94. 94
- 96. 96 社群參與：Taiwan R User Group https://www.facebook.com/Tw.R.User/
- 98. [ 挑戰 1 ] 採購問答機器人 (Chatbot Challenge) [ 挑戰 2 ] 海闊天空，開放創新 (Open Challenge) DSP智庫驅動馬上報名 (11/02 公佈錄取隊伍) https://goo.gl/XjvhYv
- 99. http://d4sg.org • 09/07 (三) 開放資料公益提案 • 10/26 (三) D4SG成果發表會 • 11/08 (二) 提案徵求說明會 (網路星期二) • 11/20 (日) 提案申請截止 • 12/07 (三) 資料英雄申請截止 • 12/14 (三) 公告錄取 (提案主題、資料英雄) • 01/04 (三) 實體媒合會 • 01/07 (六) 正式開始 • 02/25 (六) 期中聚會 • 04/15 (六) 成果發表 重要時程
- 100. 100 推薦書籍 (科普書) 自學良伴 • 聰明學統計的13又½堂課 (http://www.books.com.tw/products/0010617019) • 統計學，最強的商業武器 (http://www.books.com.tw/products/0010710939?loc=P_asb_004) • 統計學，最強的商業武器：實踐篇 (http://www.books.com.tw/products/0010687439?loc=P_asb_001)
- 101. 101 推薦書籍 自學良伴 • 60本免費的資料科學書籍 (http://dataology.blogspot.tw/2015/09/60.html) • An Introduction to Statistical Learning with Applications in R (2013)
- 102. 102 線上課程 自學良伴 • 慕課 (http://course.cool3c.com) • R語言翻轉教室 (http://datascienceandr.org) • kaggle Tutorial (https://www.kaggle.com/wiki/Tutorials) • Launch Your Career in Data Science (https://www.coursera.org/specializations/jhu-data-science)
- 103. • 對周遭事物保持熱情，不盲從能批判 • 數學很重要，是你發揮創意的基石 • 程式很重要，讓你有具體實作能力 最後，我想說…