introduce to Multimodal Deep Learning for Robust RGB-D Object Recognition
1 like2,139 views
This slideshare introduce to the literature 'Multimodal Deep Learning for Robust RGB-D Object Recognition'. You can easily understand it.
Related topics:1 of 15
Downloaded 15 times
![今回取り上げるのはこれ
[1]A. Eitel, et al.”Multimodal Deep Learning for Robust
RGB-D Object Recognition”, arXiv:1057.06821v2, 2015
CNNを使った教師あり手法でRGB-Dデータから物体認識
を行った！](https://image.slidesharecdn.com/mdlforrgbd-160729193505/85/introduce-to-Multimodal-Deep-Learning-for-Robust-RGB-D-Object-Recognition-2-320.jpg)
![ポイント① モデルの構造
色情報を畳み込むRGB streamと深さ情報を畳み込むdepth streamが
あり、上位層で合体する
RGB stream
[1]のFigure 1よりdepth stream](https://image.slidesharecdn.com/mdlforrgbd-160729193505/85/introduce-to-Multimodal-Deep-Learning-for-Robust-RGB-D-Object-Recognition-4-320.jpg)
More Related Content
Ad
Viewers also liked (17)
Ad
Similar to introduce to Multimodal Deep Learning for Robust RGB-D Object Recognition (20)
More from WEBFARMER. ltd. (19)
Recently uploaded (10)
introduce to Multimodal Deep Learning for Robust RGB-D Object Recognition
- 2. 今回取り上げるのはこれ [1]A. Eitel, et al.”Multimodal Deep Learning for Robust RGB-D Object Recognition”, arXiv:1057.06821v2, 2015 CNNを使った教師あり手法でRGB-Dデータから物体認識 を行った！
- 3. ポイントは３つ ① モデルの構造は、RGB streamとDepth streamに分け、 上位層でこれらを合体させる ② 深さ情報はカラー化して入力する ③ 深さ情報に独自のdata augmentationを行う
- 4. ポイント① モデルの構造 色情報を畳み込むRGB streamと深さ情報を畳み込むdepth streamが あり、上位層で合体する RGB stream [1]のFigure 1よりdepth stream
- 6. 学習の流れ（2） 入力画像XとラベルYで教師あり学習させる X Y min W I ,θI L soft max W I gI di ;θI ( )( ), yi ( )i=1 N ∑
- 7. 学習の流れ（3） depth stream側も同様にCaffeNetのコピペと学習を行う D Y min W D ,θD L soft max W D gD di ;θD ( )( ), yi ( )i=1 N ∑
- 10. 学習の流れ（6） 目標値Yで上位層の部分だけ教師あり学習させる D X Y min W f ,θD ,θI ,θF L soft max W f f gI ,gD⎡⎣ ⎤⎦;θF ( )( ), yi ( )i=1 N ∑ 学習させるのは ここだけ
- 13. 独自のaugmentation（1） ノイズパターンをどっかからK個引っ張ってくる Ρ= Ρ1,!, ΡK{ } Ρ1 ΡK !
- 14. 独自のaugmentation（2） 50%の確率でノイズを含める di = di Ρk !di ⎧ ⎨ ⎪ ⎩⎪ if else p =1 with p ~ Β 0.5{ } k ~U 1,K{ } ○：アダマール積 B：ベルヌーイ分布 U：離散一様分布 ノイズを含 めない場合