洞見未來，用python 與 r 結合深度學習技術預測趨勢
Download as PPTX, PDF4 likes1,848 views
本文件讨论了如何使用 Python 和 R 结合深度学习技术来预测趋势，涵盖了数据分析的必要性、基础知识，以及通过案例展示 R 和 Python 在零售、金融和制造业的应用。文中提到深度学习的框架和方法，如 CNN 和 RNN，同时给出了使用 Keras 库进行时间序列预测的示例。最后，介绍了数据分析平台的架构和功能，强调了大数据在金融和其他领域的重要性。
![31
讀取Google Trend 資料
import pandas
df = pandas.read_csv('multiTimeline.csv',
date_parser=['週'])
df.index = df['週']
df.head()](https://image.slidesharecdn.com/20170929pythonrv2-171118073855/85/python-r-31-320.jpg)
![32
繪製趨勢圖表
%pylab inline
df['燒肉'].plot(kind='line')](https://image.slidesharecdn.com/20170929pythonrv2-171118073855/85/python-r-32-320.jpg)
![33
使用ARIMA 產生預測
from matplotlib import pyplot
from statsmodels.tsa.arima_model import ARIMA
X = df['燒肉'].astype(float).values
size = int(len(X) * 0.66)
train, test = X[0:size], X[size:len(X)]
history = [x for x in train]
predictions = list()
for t in range(len(test)):
model = ARIMA(history, order=(5,1,0))
model_fit = model.fit(disp=0)
output = model_fit.forecast()
yhat = output[0]
predictions.append(yhat)
obs = test[t]
history.append(obs)](https://image.slidesharecdn.com/20170929pythonrv2-171118073855/85/python-r-33-320.jpg)
洞見未來，用python 與 r 結合深度學習技術預測趨勢
- 1. 洞見未來，用Python 與 R 結合深度學習技術預測趨勢 丘祐瑋 – David Chiu EMAIL: david@largitdata.com 網站: www.largitdata.com 電話: +886929094381 1
- 2. 關於我 • 大數軟體有限公司創辦人 • 前趨勢科技工程師 • ywchiu.com • 大數學堂 http://www.largitdata.com/ • 粉絲頁 https://www.facebook.com/largitdata • R for Data Science Cookbook https://www.packtpub.com/big-data-and-business- intelligence/r-data-science-cookbook • Machine Learning With R Cookbook https://www.packtpub.com/big-data-and-business- intelligence/machine-learning-r-cookbook 2
- 3. Machine Learning With R Cookbook (機器學習與R語言 實戰) & R for Data Science Cookbook Author: Yu-Wei (David) Chiu 3
- 5. 5
- 6. 6
- 7. 7
- 8. Kaggle 8
- 9. 9
- 14. 從資料鑒往 從資料知來14
- 15. 數據分析語言 15
- 16. R & Python 資料科學分析工具 16
- 17. 數據分析語言 17
- 18. R 語言 • AT&T貝爾實驗室暨S語言所發展出來的GNU 專案 • 提供統計分析與圖形視覺化功能的開來源程式語言 • 使用C, Fortran 程式設計的函式語言 18
- 19. R 語言 • S 語言的方言 (分支) • 受到函數式程式設計語言Scheme 的啟發，因而 想將 該功能加入到 S 語言當中 • 1992年Ross Ihaka 與 Robert Gentleman 為了 教 授統計，因此開發出了 R語言 • 除了R 以外，還有S-Plus，但兩個分支走向不同 ， 一個走向社群，一個走向商業 19
- 20. R 語言 立即完成統計分析 • 數據處理 • 資料分析 • 報表製作 內建許多數學函式及圖形套件(也可安裝協力廠商套件) • 可以結合其他語言：如Java, C++ • 免費且開源 http://cran.r-project.org/src/base/ 容易擴充和客制化 20
- 21. 21 使用 R 快速預測黃金價格
- 24. 產生預測結果 library(forecast) XAUUSD %>% ets %>% forecast(h=30) %>% autoplot 24
- 25. Python 語言 動態語言 (Dynamic Language) • 於執行時期(Runtime)執行程式碼 (不用編譯) • Dynamic Type: 函式與變數都不需要宣告類型 直譯式語言 (Interpreted Language) 每次執行後可以直接看到結果 物件導向語言 (OOP) 可執行於多平臺 (Python VM) 25
- 26. Guido van Rossum – Python 之父 26
- 27. Python 無所不在 27
- 28. Python 簡單易用 28
- 31. 31 讀取Google Trend 資料 import pandas df = pandas.read_csv('multiTimeline.csv', date_parser=['週']) df.index = df['週'] df.head()
- 33. 33 使用ARIMA 產生預測 from matplotlib import pyplot from statsmodels.tsa.arima_model import ARIMA X = df['燒肉'].astype(float).values size = int(len(X) * 0.66) train, test = X[0:size], X[size:len(X)] history = [x for x in train] predictions = list() for t in range(len(test)): model = ARIMA(history, order=(5,1,0)) model_fit = model.fit(disp=0) output = model_fit.forecast() yhat = output[0] predictions.append(yhat) obs = test[t] history.append(obs)
- 35. 35
- 36. R v.s. Python 36
- 37. 37 R & Python 像萬能的瑞士小刀 用你的想像力才能讓他充分發揮作用
- 38. 深度學習 38
- 41. 41 類神經網路 1. 加總收集到的訊號 2. 非線性轉換 3. 產生一個新的信號
- 42. 42 • 來自同一個觀察的獨 立變數 • 必須要標準化 • 連續型數字 • Binary • 類別資料 • Activation Function 神經元
- 45. 45 類神經網路的轉機 2006 – A fast learning algorithm for deep belief nets 提出用神經網路的非監督式學習來做為神經網路初始權重的指派 GPU 計算 分散式運算架構
- 47. 47 利用 CNN 辨識影像
- 49. RNN 的應用 49
- 50. 50 LSTM
- 51. 51 深度學習框架
- 52. 52 Keras Keras是一個由Python編寫而成高階類神經網路API，可接合 Tensorflow、Theano以及CNTK等深度學習框架後端 Keras 特性 • 簡易、快速設計模型原型（Keras具模組化，極簡，和可擴充性） • 支持CNN和RNN，或二者的結合 • 可無縫切換CPU和GPU版本
- 53. 53 用Keras 預測時間序列 (Python) model = Sequential() look_back = 1 model.add(Dense(8, input_dim=look_back, activation='relu')) model.add(Dense(1)) model.compile(loss='mean_squared_error', optimizer='adam') model.fit(trainX, trainY, epochs=200, batch_size=2, verbose=2)
- 54. 54 用Keras 預測時間序列 (R) model <- Sequential() model$add(LSTM(units = 4, input_shape=c(num_steps, num_features))) model$add(Dense(1)) keras_compile(model, loss='mean_squared_error', optimizer='adam') keras_fit(model, X_train, y_train, batch_size = 1, epochs = 500, verbose = 1)
- 55. 資料分析平台 55
- 56. 統一分析環境架構 56
- 62. 62 搭配 做視覺化呈現
- 63. THANK YOU EMAIL: david@largitdata.com 網站: www.largitdata.com 電話: 0929094381 63