機械学習勉強会2017/5/14

誤差逆伝潘法
機械学習勉強会2017/5/14 Koki Natsume

目次
1.誤差逆伝播法とは
2.理論と方法
3.単純なレイヤの実装
4.おわり、まとめ

誤差逆伝潘法とは
NNの学習を
ザックリ言うと

勾配法を使ってできる
だけ小さい損失関数
（誤差）を探していく

その重みパラメータに
関する損失関数の
勾配の計算を
効率よく求める方法が

誤差逆伝播法

理論と方法
誤差逆伝播法は計算グラフというものを利用するとわかりやすい
計算グラフの例）100円のりんごを2個買う(消費税10%)。
x 2 x 1.1
100 200 220

理論と方法
x 2 x 1.1
100 200 220
複雑な計算も局所的にすることで理解しやすくなる！

理論と方法
x 2 x 1.1
100 200 220
2.2 1.1 1
逆伝播は 1 -> 1.1 -> 2.2 と微分値が伝播されている

理論と方法
x 2 x 1.1
100 200 220
2.2 1.1 1
これはりんごが1円上がったら、支払いが2.2円上がるということ

理論と方法
x 2 x 1.1
100 200 220
2.2 1.1 1
このように各変数の微分値を効率よく計算できる！

sigmoidレイヤ
せっかくだし、sigmoid（活性関数）レイヤで実装してみる。
これね

sigmoidレイヤ
計算グラフだとこうなる。
x exp + /
y =
1/1+exp(-x)1+exp(-x)exp(-x)
1-1
-xx

sigmoidレイヤ
計算グラフだとこうなる。
x exp + /
y =
1/1+exp(-x)1+exp(-x)exp(-x)
1-1
-xx
-
(∂L/∂y)*y^
2
∂L/∂
y
-
(∂L/∂y)*y^
2
-
(∂L/∂y)*y^2*exp
(-x)
(∂L/∂y)*y^2*exp
(-x)

sigmoidレイヤ
doutは渡ってきた微分値、sigmoidは別で定義された関数ってことで

まとめ、おわりに
勾配を効率よく求める方法として誤差逆伝播法があ
る。
誤差逆伝播法は計算グラフを用いると可視化できて
理解しやすくなる。他にも色々と応用できそう。
次はなにやるかまだ考え中。。
学習に関してもっと突っ込むか、別な手法やるか。

機械学習勉強会2017/5/14

More Related Content

Featured (20)

機械学習勉強会2017/5/14