Caffeの特徴と最近の動向 -CNN、そしてRNNへ-
3 likes2,978 views
Caffeの特徴と最近の動向 -CNN、そしてRNNへ-
- 2. ・株式会社イーグル CTO ・先端IT活用推進コンソーシアム クラウドテクノロジー活用部会 サブリーダー https://www.facebook.com/yasuyuki.sugai よろしくお願いしまーす ※この資料の内容は、 個人の見解です 自己紹介 菅井 康之 http://www.slideshare.net/yasuyukisugai/deep-learningcaffe ←Caffeを利用したハンズオン勉強会を 過去に開催（細かいことはこっちで。。） 今日は私の特徴量だけでも覚えて帰ってもらえればと。。。 2
- 3. 3
- 4. 4
- 5. 5
- 6. 6
- 7. Σ 7
- 9. x1 x2 Σ φ w1=0.5 w2=0.5 y b=-0.7 x1 x2 y 1 1 1 1 0 0 0 1 0 0 0 0 9
- 10. x1 x2 Σ φ w1=0.5 w2=0.5 y b=-0.2 x1 x2 y 1 1 1 1 0 1 0 1 1 0 0 0 10
- 11. x1 x2 Σ φ w1=-0.5 w2=-0.5 y b=0.7 x1 x2 y 1 1 0 1 0 1 0 1 1 0 0 1 11
- 13. x1 x2 Σ φ w1 w2 y b Σ φ Σ φw3 b w4 w5 w6 b 13
- 14. x1 x2 Σ φ w1=0.5 y b=-0.7 Σ φ Σ φ b=-0.7 w5=0.5 w6=0.5 x1 x2 y 1 1 0 1 0 1 0 1 1 0 0 0 w2=-0.5 w3=0.5 w2=-0.5 OR NAND AND b=0.7 14
- 15. y 良く見るグラフ 15
- 16. x1 x2 Σ φ w1 w2 y b Σ φ Σ φw3 b w4 w5 w6 b 活性化関数 16
- 17. relu <- function(x) sapply(x, function(z) max(0,z)) ggplot(data=data.frame(x=c(-6,6))) + stat_function(fun=step) + xlim(-6,6) step<-function(x){ifelse(x>0,1,0)} ggplot(data=data.frame(x=c(-6,6))) + stat_function(fun=step) + xlim(-6,6) 図を作るのに使ったRのコードを サンプルで掲載 sigmoid <- function(t){ 1/(1+exp(-t)) } ggplot(data=data.frame(x=c(-6,6))) + stat_function(fun=step) + xlim(-6,6) 17
- 18. 18
- 19. x1 x2 Σ φ w1 w2 y b Σ φ Σ φw3 b w4 w5 w6 b 19
- 20. 20
- 21. 21
- 22. 時間がないのでここから 22
- 23. 23
- 25. 25
- 27. 27
- 29. 29
- 30. GoogLeNet: ILSVRC14 winner https://github.com/BVLC/caffe/wiki/Model-Zoo ”Caffe offers the model definitions optimization settings pre-trained weights so you can start right away.” 30
- 31. 31
- 36. 36
- 38. 38 0.1 0.2 0.7 Convolution ReLU Pooling : : : : : : : : : : : : : : : : : : Convolution ReLU Pooling Full-Connected softmax
- 39. -1 -1 -1 -1 -1 -1 -1 1 -1 -1 -1 -1 -1 1 -1 -1 -1 -1 -1 1 1 1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 1 -1 -1 1 -1 -1 -1 1 -1 1 -1 -1 -1 -1 -1 -1 1 -1 1 -1 1 -1 1 1 0.1 0.45 0.45 0.45 -0.33 0.45 0.33 0.33 0.1 0.45 0.33 0.1 -0.1 0.1 0.33 x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x フィルタを1つずつ スライドして スコア算出 左上は全て一致して いるため、1となる 省略省略 39
- 40. 白いところが負数から 0に変化 1 0.1 0.45 0.45 0.45 -0.33 0.45 0.33 0.33 0.1 0.45 0.33 0.1 -0.1 0.1 0.33 x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x 1 0.1 0.45 0.45 0.45 0 0.45 0.33 0.33 0.1 0.45 0.33 0.1 0 0.1 0.33 x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x 40
- 41. x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x : 4x4を2x2に分割 分割した領域ごとに 最大値を算出し、 情報圧縮 省略省略 1 0.45 0.33 0.45 x x x x x x x x : 1 0.1 0.45 0.45 0.45 0 0.45 0.33 0.33 0.1 0.45 0.33 0.1 0 0.1 0.33 41
- 42. 42
- 43. 43
- 44. 44
- 46. 46
- 51. 51
- 53. • • • • • 53
- 57. 57
- 58. • • • • • 58
- 68. おわり。 68