![ビデオ予測技術と応用
利用例
・天気予測[Shi et al., 2015]
・交通流予測[Zhang et al., 2017]
・大気汚染予測
・車などの危険予測
[Zhang et al., 2017] Junbo Zhang, Yu Zheng, and Dekang Qi.
Deep spatiotemporal residual networks for citywide crowd flows prediction. In AAAI, pages 1655–1661, 2017.
[Wang et al., 2017] Yunbo Wang, Mingsheng Long, Jianmin Wang, Zhifeng Gao, and S Yu Philip. Predrnn:
Recurrent neural networks for predictive learning using spatiotemporal lstms. In Advances in Neural Information Processing Systems, pages 879–888, 2017.
[Shi et al., 2015] Xingjian Shi, Zhourong Chen, Hao Wang, Dit-Yan Yeung, Wai-Kin Wong, and Wang-chun Woo. Convolutional lstm network:
A machine learning approach for precipitation nowcasting. In NIPS, pages 802–810, 2015.
予測モデルが対応すべき課題
将来のオブジェクトの
・オーバーラップ
・形状の変化
・スケールの変化
ビデオ予測：現在までの時空間情報（画像データ）
から次のフレームを正確に予測する
→ 空間と時系列を表現する必要がある](https://image.slidesharecdn.com/20180828-180830063521/85/PredCNN-Predictive-Learning-with-Cascade-Convolutions-2-320.jpg)
![MU（Multiplicative Unit：乗法ユニット）
MU[Kalchbrenner et al。、2017]：
LSTMに似た構造を持つ、非リカレント畳み込み構造
MU自体には時系列の表現を学習する能力はないが、空間の特徴抽出能
力が優れている
σ：シグモイド活性化関数
*：畳み込み演算
⊙：要素ごとの乗算
W1〜W4およびb1〜b4：対応する畳み込みゲートの重みおよびバイアス
g1、g2、g3はそれぞれ、入力ゲート、忘却ゲート、出力ゲート
uは入力判断ゲートの役割を果たす
[Kalchbrenner et al., 2017] Nal Kalchbrenner, Aaron van den Oord, Karen Simonyan, Ivo Danihelka, Oriol Vinyals, Alex Graves, and Koray Kavukcuoglu. Video pixel networks. In ICML, 2017.](https://image.slidesharecdn.com/20180828-180830063521/85/PredCNN-Predictive-Learning-with-Cascade-Convolutions-6-320.jpg)
![RMB(Residual Multiplicative Block：
残差乗法ブロック)
RMB[Kalchbrenner et al。、2017]：
MUを重ねてブロックにした構造を持つ
より空間の表現力を得るために深いネットワークにする際、
勾配消失問題が起きるのを緩和する
RMB自体には時系列の表現を学習する能力はない
[Kalchbrenner et al., 2017] Nal Kalchbrenner, Aaron van den Oord, Karen Simonyan, Ivo Danihelka, Oriol Vinyals, Alex Graves, and Koray Kavukcuoglu. Video pixel networks. In ICML, 2017.](https://image.slidesharecdn.com/20180828-180830063521/85/PredCNN-Predictive-Learning-with-Cascade-Convolutions-8-320.jpg)
![関連研究 拡張畳み込みレイヤー
拡張畳み込みレイヤー（the dilated convolution layers） [Yu and Koltun 2016]
各レイヤーが入力として使用できる領域を広げ、パラメータを増やさず学習できる
ある畳み込みレイヤーが ・Cチャンネル、h*wマップ
次の畳み込みレイヤーが ・C’チャンネル、h’*w’マップ
kh,w：マップの幅と高さ（奇数）
η(エータ)：膨張係数（η＝１の時、標準的なCNNになる。拡張する場合η＞１にする）
b：バイアス
xu,v∈RCとyu,v∈RC‘：層の入力と出力の画素成分
Ws,t：C’-C行列
本研究では、１つのRMBに対して[1、2、4、8]の膨張率を用いた](https://image.slidesharecdn.com/20180828-180830063521/85/PredCNN-Predictive-Learning-with-Cascade-Convolutions-10-320.jpg)
![まとめ
・ビデオ予測のためのPredCNNを提案
・従来手法の課題であった勾配消失問題と学習時間、メモリ使用量を改善した
・従来手法より高い精度を示したことから、階層的カスケード構造がフレーム
間の依存関係をうまく捉えることができることを明らかにした
今後の展望
・GAN[Goodfellow et al., 2014] を用いて今回の予測モデルと
敵対的訓練を統合することで予測精度向上に繋がるか検証すべきである
[Goodfellow et al., 2014] Ian J. Goodfellow, Jean Pougetabadie, Mehdi Mirza, Bing Xu, David Warde- farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative adversarial networks. NIPS, 3:2672–2680, 2014.](https://image.slidesharecdn.com/20180828-180830063521/85/PredCNN-Predictive-Learning-with-Cascade-Convolutions-22-320.jpg)
PredCNN: Predictive Learning with Cascade Convolutions
- 1. DLゼミ 2018.08.28 発表者 M2 平間 友大 著者：Ziru Xu†, Yunbo Wang†, Mingsheng Long∗, and Jianmin Wang 所属：KLiss MOE, School of Software, Tsinghua University, China National Engineering Laboratory for Big Data Software Beijing Key Laboratory for Industrial Big Data System and Application 本発表の内容 ・ビデオの次のフレームの予測手法（将来の予測）について 論文”PredCNN: Predictive Learning with Cascade Convolutions”の紹介 発表学会：IJCAI2018 論文URL：https://www.ijcai.org/proceedings/2018/0408.pdf 実装コード：https://github.com/xzr12/PredCNN
- 2. ビデオ予測技術と応用 利用例 ・天気予測[Shi et al., 2015] ・交通流予測[Zhang et al., 2017] ・大気汚染予測 ・車などの危険予測 [Zhang et al., 2017] Junbo Zhang, Yu Zheng, and Dekang Qi. Deep spatiotemporal residual networks for citywide crowd flows prediction. In AAAI, pages 1655–1661, 2017. [Wang et al., 2017] Yunbo Wang, Mingsheng Long, Jianmin Wang, Zhifeng Gao, and S Yu Philip. Predrnn: Recurrent neural networks for predictive learning using spatiotemporal lstms. In Advances in Neural Information Processing Systems, pages 879–888, 2017. [Shi et al., 2015] Xingjian Shi, Zhourong Chen, Hao Wang, Dit-Yan Yeung, Wai-Kin Wong, and Wang-chun Woo. Convolutional lstm network: A machine learning approach for precipitation nowcasting. In NIPS, pages 802–810, 2015. 予測モデルが対応すべき課題 将来のオブジェクトの ・オーバーラップ ・形状の変化 ・スケールの変化 ビデオ予測：現在までの時空間情報（画像データ） から次のフレームを正確に予測する → 空間と時系列を表現する必要がある
- 4. CNN: Predictive Learning with Cascade Convolutio 提案手法：PredCNN（畳み込みビデオ予測モデル） 時間依存性を捉えるリカレントモデルを参考に、ゲート畳み込み演算を適用 したCMU（カスケード乗法ユニット）構造を提案、階層的に積む PredCNN構造の例
- 6. MU（Multiplicative Unit：乗法ユニット） MU[Kalchbrenner et al。、2017]： LSTMに似た構造を持つ、非リカレント畳み込み構造 MU自体には時系列の表現を学習する能力はないが、空間の特徴抽出能 力が優れている σ：シグモイド活性化関数 *：畳み込み演算 ⊙：要素ごとの乗算 W1〜W4およびb1〜b4：対応する畳み込みゲートの重みおよびバイアス g1、g2、g3はそれぞれ、入力ゲート、忘却ゲート、出力ゲート uは入力判断ゲートの役割を果たす [Kalchbrenner et al., 2017] Nal Kalchbrenner, Aaron van den Oord, Karen Simonyan, Ivo Danihelka, Oriol Vinyals, Alex Graves, and Koray Kavukcuoglu. Video pixel networks. In ICML, 2017.
- 7. CMU(Cascade Multiplicative Unit： カスケード乗法ユニット) 提案手法：CMU 空間と時間の変化を同時にモデリングする構造 前のフレーム 現在のフレーム 次のフレーム ：層lのフレームtにおける表現 重み共有
- 8. RMB(Residual Multiplicative Block： 残差乗法ブロック) RMB[Kalchbrenner et al。、2017]： MUを重ねてブロックにした構造を持つ より空間の表現力を得るために深いネットワークにする際、 勾配消失問題が起きるのを緩和する RMB自体には時系列の表現を学習する能力はない [Kalchbrenner et al., 2017] Nal Kalchbrenner, Aaron van den Oord, Karen Simonyan, Ivo Danihelka, Oriol Vinyals, Alex Graves, and Koray Kavukcuoglu. Video pixel networks. In ICML, 2017.
- 10. 関連研究 拡張畳み込みレイヤー 拡張畳み込みレイヤー（the dilated convolution layers） [Yu and Koltun 2016] 各レイヤーが入力として使用できる領域を広げ、パラメータを増やさず学習できる ある畳み込みレイヤーが ・Cチャンネル、h*wマップ 次の畳み込みレイヤーが ・C’チャンネル、h’*w’マップ kh,w：マップの幅と高さ（奇数） η(エータ)：膨張係数（η＝１の時、標準的なCNNになる。拡張する場合η＞１にする） b：バイアス xu,v∈RCとyu,v∈RC‘：層の入力と出力の画素成分 Ws,t：C’-C行列 本研究では、１つのRMBに対して[1、2、4、8]の膨張率を用いた
- 11. 実験 パラメータ • 最適化手法：Adam • 学習率：0.0001 • バッチサイズ：16 • エポック：100 • 損失関数：L2ノルム • 畳み込み層のチャネル：６４ 評価手法 • MSE：平均二乗誤差 • RMSE：MSEの平方根 • MAE：平均絶対誤差 ３つのデータセット”TaxiBJ”、”BikeNYC”、”Moving MNIST”を用いる Deep Learningを用いた手法と、それ以外の従来手法を比較
- 12. 比較手法 Deep Learningを用いた従来手法と比較 •DeepST ： 群衆流量予測タスクに指定された様々な時間特性を考慮したDNNベースの時空間予測モデル •ST-ResNet ： 群遅延予測のために設計された残差構造を持つDeepSTの最新版 •VPN ： ConvLSTMをベースにした適切に設計された予測モデル •PredNet ： 特に1フレーム予測のために設計された効率的かつ効果的な方法 •PredRNN ： デュアルメモリLSTMと同時に、空間的外観と時間的変化をモデリングする最先端の反復構造 。
- 13. 比較手法 Deep Learning以外の従来手法 • ARIMA： Auto-Regressive Integrated Moving Average(自己回帰和分移動平均) • SARIMA： 季節自己回帰和分移動平均、ARIMAに長期的な季節変動を取り入れた • VAR： Vector Auto-Regressive 全てのフローのペアワイズ相関を探索する 通常は多変量時系列分析で用いられる
- 15. 実験：TaxiBJ PredCNNと従来手法の比較と 提案されたカスケード乗法単位（CMU）の有効性を評価 （1Conv2D/ 1Conv2D） MUの代わりに通常のconv層に置き換えた （1MU/ 1MU） 前フレームの特徴抽出を行うMUの数を削減 （2 untying MUs / 1MU） 重み共有をしない
- 16. 実験：TaxiBJ
- 20. 実験：Moving MNIST ・Moving MNIST： １つのシーケンスは２０フレームで構成されており、各フレームは64×64グリ ッドの画像内でバウンスする2個の手書き数字を表す ・実験設定 ： 入力に１０フレーム、予測に１０フレームを割り当てる。学習に１万、テスト に５千のシーケンスに分割した。 エンコーダ：４つのRMB デコーダー：６つのRMB LSTMを用いた先行研究 http://www.cs.toronto.edu/~nitish/unsupervised_video/
- 21. 実験：Moving MNIST
- 22. まとめ ・ビデオ予測のためのPredCNNを提案 ・従来手法の課題であった勾配消失問題と学習時間、メモリ使用量を改善した ・従来手法より高い精度を示したことから、階層的カスケード構造がフレーム 間の依存関係をうまく捉えることができることを明らかにした 今後の展望 ・GAN[Goodfellow et al., 2014] を用いて今回の予測モデルと 敵対的訓練を統合することで予測精度向上に繋がるか検証すべきである [Goodfellow et al., 2014] Ian J. Goodfellow, Jean Pougetabadie, Mehdi Mirza, Bing Xu, David Warde- farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative adversarial networks. NIPS, 3:2672–2680, 2014.
Editor's Notes
- #11: 1つの2DレイヤがCチャネルのh×wマップであり、次のレイヤがC 'チャネルのh'×w ‘マップである場合、拡張された畳み込み演算子は ここでkwとkhはそれぞれカーネルの幅と高さ（奇数）、ηは膨張係数、xu、v∈RCとyu、v∈RC 'は層の入力と出力の画素成分、σ （・）は成分ごとの非線形伝達関数であり、Ws、tはカーネルのC'-C行列、b∈RC'は層バイアスベクトルである。 η= 1の場合、方程式は標準コンボリューション演算になります。