Deep Learning - Forward Propagation
0 likes113 views
Deep Learning - Forward Propagation
- 2. 順伝播型ネットワーク 入力が出力へ、一方向にのみ伝播するネットワーク Deep Learning Forward Propergation 入力層 x1 x3 x2 xn . . . 1 . . . 隠れ層 L-1 . . . 隠れ層 2 y1 y3 y2 yn . . . 出力層 L . . . u1|z1 u2|z2 u3|z3 un|zn u1|z1 u2|z2 u3|z3 un|zn
- 3. 順伝播型ネットワーク 入力が出力へ、一方向にのみ伝播するネットワーク Deep Learning Forward Propergation 入力層 x1 x3 x2 xn . . . 1 . . . 隠れ層 L-1 . . . 隠れ層 2 y1 y3 y2 yn . . . 出力層 L . . . u1|z1 u2|z2 u3|z3 un|zn u1|z1 u2|z2 u3|z3 un|zn ニューロン = 入力値
- 4. 順伝播型ネットワーク 入力が出力へ、一方向にのみ伝播するネットワーク Deep Learning Forward Propergation 入力層 x1 x3 x2 xn . . . 1 . . . 隠れ層 L-1 . . . 隠れ層 2 y1 y3 y2 yn . . . 出力層 L . . . u1|z1 u2|z2 u3|z3 un|zn u1|z1 u2|z2 u3|z3 un|zn 層 = ニューロンの集まり
- 5. 順伝播型ネットワーク 入力が出力へ、一方向にのみ伝播するネットワーク Deep Learning Forward Propergation 入力層 x1 x3 x2 xn . . . 1 . . . 隠れ層 L-1 . . . 隠れ層 2 y1 y3 y2 yn . . . 出力層 L . . . u1|z1 u2|z2 u3|z3 un|zn u1|z1 u2|z2 u3|z3 un|zn 1つ前の層の情報 (x1, …, xn) を使っ て、新しい情報を生成し、それを活性 化関数に与えて、次の層の入力情報を 生成
- 6. 順伝播型ネットワーク 入力が出力へ、一方向にのみ伝播するネットワーク Deep Learning Forward Propergation 入力層 x1 x3 x2 xn . . . 1 . . . 隠れ層 L-1 . . . 隠れ層 2 y1 y3 y2 yn . . . 出力層 L . . . u1|z1 u2|z2 u3|z3 un|zn u1|z1 u2|z2 u3|z3 un|zn 1つ前の層の情報 (x1, …, xn) を使っ て、新しい情報 (u1) を生成し、それを 活性化関数に与えて、次の層の入力 情報を生成
- 7. 順伝播型ネットワーク 入力が出力へ、一方向にのみ伝播するネットワーク Deep Learning Forward Propergation 入力層 x1 x3 x2 xn . . . 1 . . . 隠れ層 L-1 . . . 隠れ層 2 y1 y3 y2 yn . . . 出力層 L . . . u1|z1 u2|z2 u3|z3 un|zn u1|z1 u2|z2 u3|z3 un|zn 1つ前の層の情報 (x1, …, xn) を使っ て、新しい情報 (u1) を生成し、それを 活性化関数に与えて、次の層の入力 情報 (z1) を生成
- 8. ニューロンの出力 Deep Learning Forward Propergation x1 x3 x2 xn . . . 1つ前の層の情報 (x1, …, xn) を使って、新しい情報 (u1) を生成し、 u1 = w11*x1 + w12*x2 + , …, + w1n*xn + b1u1|z1
- 9. ニューロンの出力 Deep Learning Forward Propergation x1 x3 x2 xn . . . 1つ前の層の情報 (x1, …, xn) を使って、新しい情報 (u1) を生成し、それを活性化 関数に与えて、次の層の入力情報 (z1) を生成 u1 = w11*x1 + w12*x2 + , …, + w1n*xn + b1 z1 = f(u1) u1|z1
- 10. ニューロンの出力 Deep Learning Forward Propergation x1 x3 x2 xn . . . 1つ前の層の情報 (x1, …, xn) を使って、新しい情報 (u1) を生成し、それを活性化 関数に与えて、次の層の入力情報 (z1) を生成 u1 = w11*x1 + w12*x2 + , …, + w1n*xn + b1 z1 = f(u1) u1|z1 次の層のニューロンを出力する際には、重み (w11, w12, …, w1n)と、入力情報に依 存しないバイアス(b1)を追加
- 11. ニューロンの出力 Deep Learning Forward Propergation x1 x3 x2 xn . . . 1つ前の層の情報 (x1, …, xn) を使って、新しい情報 (u1) を生成し、それを活性化 関数に与えて、次の層の入力情報 (z1) を生成 u1 = w11*x1 + w12*x2 + , …, + w1n*xn + b1 z1 = f(u1) u1|z1 次の層のニューロンを出力する際には、 重み(w11, w12, …, w1n)と、入力情報に依 存しないバイアス(b1)を追加 ニューロンの結合の強さ各層が持つ閾値
- 12. ニューロンの出力 Deep Learning Forward Propergation x1 x3 x2 xn . . . 1つ前の層の情報 (x1, …, xn) を使って、新しい情報 (u1) を生成し、それを活性化 関数に与えて、次の層の入力情報 (z1) を生成 u1 = w11*x1 + w12*x2 + , …, + w1n*xn + b1 z1 = f(u1) u1|z1 次の層のニューロンを出力する際には、 重み(w11, w12, …, w1n)と、入力情報に 依存しないバイアス(b1)を追加 ニューロンの結合の強さ各層が持つ閾値
- 13. ニューロンの出力 Deep Learning Forward Propergation 次の層のニューロンの数だけ実施 u1 = w11*x1 + w12*x2 + , …, + w1n*xn + b1 u2 = w21*x1 + w22*x2 + , …, + w2n*xn + b2 un-1 = wn-11*x1 + wn-12*x2 + , …, + wn-1n*xn + bn-1 un = wn1*x1 + wn2*x2 + , …, + wnn*xn + bn z1 = f(u1) z2 = f(u2) zn-1 = f(un-1) zn = f(un) . . . . . .
- 14. ニューロンの出力 Deep Learning Forward Propergation u1 u2 . . . un-1 un w11, w12, …,w1n-1, w1n w21, w22, …,w1n-1, w2n . . . wn-11, wn-12, …,wn-1n-1, wn-1n wn1, wn2, …,wnn-1, wnn x1 x2 . . . xn-1 xn b1 b2 . . . bn-1 bn x= u = wx + b z1 z2 . . . zn-1 zn = f u1 u2 . . . un-1 un z = f(u)