PreadNetの実装と挙動観察
桑田 純哉
2016/6/19
全脳アーキテクチャ
Deep PredNet 研究ハッカソン
目次
•
自己紹介
•
PredNetの実装方法
•
KITTIデータ(車載映像)での挙動観察
•
衛星画像での挙動観察
自己紹介
•
名前:桑田 純哉 (@quadjr)
•
所属:メーカのエンジニア
– 回路、FPGA設計
– 画像処理、映像配信ソフト開発
– アプリ開発
– なんでもやります
•
趣味:電子工作、プログラミング
•
最近DeepLearning 始めました
PredNetの実装
•
Chainer上にPredNetを実装
https://github.com/quadjr/PredNet
•
実装上の都合、論文の処理を一部改変
論文との差異
•
入力のタイミングを変更 (処理はほぼ等価)
Rt t Et
t
Rt+1
t+
1
Et+1
t+
1
Rt t Et
t
Rt+1
t+
1
Et+1
t+
1
論文
予測と入力との誤差が結果
計算途中の予測を取り出す
Rt+2 tEt
t
Rt+1
t+
1
Et+1
t+
1
Rt+2 tEt
t
Rt+1
t+
1
Et+1
t+
1
今回
予測が結果
誤差予測 予測
論文との差異
論文 今回
+ ReLU?
2入力ConvLSTM
•
オリジナルのConvLSTMは1入力1出力
•
今回のPredNetは2入力のため入力を拡張
Rt+2 t Et+1
t+
1 
Rt+2 t Et+1
t+
1 
y
y
y
y
y
y
y
y
1つ目の入力と並列に追加
拡張
KITTIデータでの挙動
•
PredNetのパラメータは論文と同じ
•
対象はKITTIのCity, Residesial, Roadの42,746枚
•
中央の160x128画素を切り出し使用
•
全ての画像を順次PredNetに入力し学習
衛星画像での挙動
•
PredNetのパラメータは論文と同じ
•
対象は日本気象協会の赤外衛星画像 (276x207画素)
 2012/1/1〜2016/6/16 1時間間隔の38,935枚
•
日本周辺の160x128画素を切り出し使用
•
全ての画像を順次PredNetに入力し学習
まとめ
•
Chainer上でPreadNetを実装
•
KITTIデータ及び衛星画像で予測動作を確認
•
とりあえず動いてるっぽい
•
Python楽だ!
•
Chainerすごい!
•
PredNetすごい!
•
紅莉栖ありがとう!

More Related Content

PPTX
物体検出の歴史(R-CNNからSSD・YOLOまで)
PDF
Teslaにおけるコンピュータビジョン技術の調査 (2)
PDF
深層学習によるHuman Pose Estimationの基礎
PDF
【チュートリアル】コンピュータビジョンによる動画認識
PDF
ICLR2020の異常検知論文の紹介 (2019/11/23)
PDF
実装レベルで学ぶVQVAE
PDF
[DL輪読会]AlphaStarとその関連技術
PPTX
【DL輪読会】Reflash Dropout in Image Super-Resolution
物体検出の歴史(R-CNNからSSD・YOLOまで)
Teslaにおけるコンピュータビジョン技術の調査 (2)
深層学習によるHuman Pose Estimationの基礎
【チュートリアル】コンピュータビジョンによる動画認識
ICLR2020の異常検知論文の紹介 (2019/11/23)
実装レベルで学ぶVQVAE
[DL輪読会]AlphaStarとその関連技術
【DL輪読会】Reflash Dropout in Image Super-Resolution

What's hot (20)

PDF
Teslaにおけるコンピュータビジョン技術の調査
PDF
局所特徴量と統計学習手法による物体検出
PPTX
OSS強化学習フレームワークの比較
PDF
SSD: Single Shot MultiBox Detector (ECCV2016)
PPTX
StyleGAN解説 CVPR2019読み会@DeNA
PDF
全力解説!Transformer
PPTX
Pred net使ってみた
PPTX
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
PDF
20190706cvpr2019_3d_shape_representation
PDF
Point net
PDF
最近(2020/09/13)のarxivの分布外検知の論文を紹介
PDF
スパースモデリング入門
PPTX
強化学習 DQNからPPOまで
PDF
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
PPTX
【DL輪読会】An Image is Worth One Word: Personalizing Text-to-Image Generation usi...
PDF
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
PDF
2018/12/28 LiDARで取得した道路上点群に対するsemantic segmentation
PPTX
TalkingData AdTracking Fraud Detection Challenge (1st place solution)
PPTX
SfM Learner系単眼深度推定手法について
Teslaにおけるコンピュータビジョン技術の調査
局所特徴量と統計学習手法による物体検出
OSS強化学習フレームワークの比較
SSD: Single Shot MultiBox Detector (ECCV2016)
StyleGAN解説 CVPR2019読み会@DeNA
全力解説!Transformer
Pred net使ってみた
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
20190706cvpr2019_3d_shape_representation
Point net
最近(2020/09/13)のarxivの分布外検知の論文を紹介
スパースモデリング入門
強化学習 DQNからPPOまで
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
【DL輪読会】An Image is Worth One Word: Personalizing Text-to-Image Generation usi...
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
2018/12/28 LiDARで取得した道路上点群に対するsemantic segmentation
TalkingData AdTracking Fraud Detection Challenge (1st place solution)
SfM Learner系単眼深度推定手法について
Ad

Similar to PreadNet (20)

PDF
Lecture univ.tokyo 2017_okanohara
PDF
[AI08] 深層学習フレームワーク Chainer × Microsoft で広がる応用
PDF
ディープラーニングの産業応用とそれを支える技術
PDF
[Japan Tech summit 2017] MAI 001
PPTX
Sprint ronbunsyoukai
PDF
Tutorial-DeepLearning-PCSJ-IMPS2016
PDF
GRU-Prednetを実装してみた(途中経過)
PDF
Deep Learning Lab: DIMo & Chainer
PDF
IEEE ITSS Nagoya Chapter
PDF
オンライン勉強会「物体検出を体験してみよう!」(PyDATA.Fukui共同開催 )
PDF
研究を加速するChainerファミリー
PDF
東北大学 先端技術の基礎と実践_深層学習による画像認識とデータの話_菊池悠太
PPTX
機械学習応用システムの開発技術 (機械学習工学) の現状と今後の展望
PPTX
Kidoguchi
PDF
CVPR2017/ICCV2017から見た研究動向(名古屋CV・PRML勉強会)
PDF
コンピュータビジョンの研究開発状況
PDF
20180729 Preferred Networksの機械学習クラスタを支える技術
PDF
fpgax #11+TFUG ハード部:DNN専用ハードについて語る会-2019-02-02 MN-coreについて 金子 紘也
PDF
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
PDF
Chainer on Azure 2 年の歴史
Lecture univ.tokyo 2017_okanohara
[AI08] 深層学習フレームワーク Chainer × Microsoft で広がる応用
ディープラーニングの産業応用とそれを支える技術
[Japan Tech summit 2017] MAI 001
Sprint ronbunsyoukai
Tutorial-DeepLearning-PCSJ-IMPS2016
GRU-Prednetを実装してみた(途中経過)
Deep Learning Lab: DIMo & Chainer
IEEE ITSS Nagoya Chapter
オンライン勉強会「物体検出を体験してみよう!」(PyDATA.Fukui共同開催 )
研究を加速するChainerファミリー
東北大学 先端技術の基礎と実践_深層学習による画像認識とデータの話_菊池悠太
機械学習応用システムの開発技術 (機械学習工学) の現状と今後の展望
Kidoguchi
CVPR2017/ICCV2017から見た研究動向(名古屋CV・PRML勉強会)
コンピュータビジョンの研究開発状況
20180729 Preferred Networksの機械学習クラスタを支える技術
fpgax #11+TFUG ハード部:DNN専用ハードについて語る会-2019-02-02 MN-coreについて 金子 紘也
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
Chainer on Azure 2 年の歴史
Ad

PreadNet