Basics of Deep Learning (2nd lecture)

深層学習の基本、
第2回
題目:神経の概要
発表者:NANDEDKAR PARTH SHIRISH

神経回路網の背景1:神経について
 自然の奇跡の一つ、人間とともに一生を生き残り、
働く
 電位差への塩類の化学的反応により、
夫々の“入力”信号を提供する樹状突起（dendrites）
の電流
を1つの“出力”信号軸索（axon）に“合成”。
 多変数（n個の入力）から1個の出力への関数

1つの入力
樹状突起
出力の一部
塩類の移動が信号

樹状突起
信号が強い・多いほど塩分は増やされる
“Dynamic Strengthening”
Backpropagation（後ろへの伝搬）ともいう

信号が強い・多いほど塩分は増やされる
“Dynamic Strengthening”
Backpropagation（後ろへの伝搬）ともいう
信号が流れた後の回路自体のある方針に合った
適応
方針:頻繁に動く（?）神経のみを重視にし
出力の変化しないものを無視!

よく見られるニューラルネットワーク
の図とどんな関係がある??

神経回路網の背景2:信号の“合成“
 生物額の神経のモデルにも以下の過程がある:
段階1．入力x1,x2,….xn
段階2．塩分・抵抗などを鑑みた重みw1,….wn
段階3．線型的合成信号logit（物理上の仮定）z=Σwixi
段階4．神経＝関数 ‘ｆ‘
段階5．関数適用後の出力y

神経回路網の(線型的)ニューロン
段階1 段階2
段階3
段階4
段階5
bias定数C
を加算
+bias定数C（適当に）

ページ6の例のニューロンで表示方法
不合格
合格
問題文:
与えられた合格、不合格の規則を1
つのニューロンとして可視化せよ。
つまり、段階1から段階5をすべて決
まり、図を描く

Perceptronについて:
目的:平面を2つの線型
空間に分ける
一方は犬、他方は猫

不合格
合格
段階1）の変数は
データとして与え
られる
段階2）重みw1=3,
w2=4と一意に決まる
問題文:

段階3）z=Σwixi+C
は明らか。
段階4）関数ｆを決まる。人間は成功を
受け、失敗を受け、どう反応するか?
ｆの決定のみでいろいろな自由がある。
問題文:

ページ6の例のためのニューロン
夫々の段階は?
符号関数→非線型
ニューロンという

ニューロンの多層接続
入力層出力層隠れ層

ニューロンの多層ネットワークの実用
入力:
1．回帰問題:a)画像のピクセルの
｛色、光度｝;b)本の語句全体
2．分類問題:合格=1、不合格=0な
どのベクトルデータ

ニューロンの多層ネットワークの実用
出力:
1．回帰問題:a)画像に’x’番目のも
のが入っているか?;b)本はどの分
野なのか
2．分類問題:新しく与えられた
データ点は合格に対応するか?

Perceptron対2重対3重ネットワーク:
分類問題で分類できる空間の例

Perceptron対2重対3重ネットワーク

 赤=0、緑=1空間のように入力データを識別できる
神経ネットワークの夫々の層の数はどれぐらい?
参考文献:
https://www.kdnuggets.com/2015/04/preventing-
overfittng-neural-networks.html

 解答:2，3，5層のネットワーク
参考文献:
https://www.kdnuggets.com/2015/04/preventing-
overfittng-neural-networks.html

非線形対線型ニューロン
今までの話は線型的ニューロン
に限られていた!!
符号関数→線型

f=符号関数を持つニューロンの
ネットワークは1つの非線形
ニューロンで表現できる。
符号関数→線型

非線形対線型ニューロン

回帰問題:
夫々の確率の出力ベクトル
分類問題:出力は0や1、又は「グ
ループa」,「b」,「c」だけ

分類問題:出力ベクトル
0から1までの
確率が出力
車の確率
動物の確率
人間の確率
。
。

分類問題:Softmax関数の適用
車の確率
動物の確率
人間の確率
。
。
夫々は確率だから、
総和は1になるため、
正規化

分類問題:Softmax出力
確認問題:
Perceptronは（線型・非線
形）ニューロン??
次のページにヒント

More Related Content