深層ニューラルネットワークの積分表現（Deepを定式化する数学）
14 likes4,713 views
園田翔氏の博士論文を解説しました。 Integral Representation Theory of Deep Neural Networks 深層学習を数学的に定式化して解釈します。 ３行でいうと、 ーニューラルネットワーク—(連続化)→双対リッジレット変換 ー双対リッジレット変換＝輸送写像 ー輸送写像でNeural Networkを定式化し、解釈する。 目次 ー深層ニューラルネットワークの数学的定式化 ーリッジレット変換について ー輸送写像について
![Bread Company
今日の結果
●双対リッジレット変換と輸送写像をつかうと、
DAEでプレトレーニングされた２段階学習は
というキレイな式で表され、解釈ができる。[p136]
4](https://image.slidesharecdn.com/integralrep-180317072653/85/Deep-4-320.jpg)
![Bread Company
深層ニューラルネットワークの数学的定式化[p57]
●３層Neural Networkの問題設定は以下のように定式化される
ある関数 を次のような関数𝑔で近似する
𝑎𝑗, 𝑏𝑗 ∈ ℝ 𝑚×ℝ を中間層パラメータとよび、
𝕐 𝑚+1
≔ ℝ 𝑚
× ℝ で中間層パラメータの空間を表す。
7](https://image.slidesharecdn.com/integralrep-180317072653/85/Deep-7-320.jpg)
![Bread Company
深層ニューラルネットワークに関するRemark1 [p25]
●ニューラルネットワークは万能関数近似機
8](https://image.slidesharecdn.com/integralrep-180317072653/85/Deep-8-320.jpg)
![Bread Company
深層ニューラルネットワークに関するRemark2[pp19-22]
NNは浅くても万能。なのに、なぜDeepなのか？
●①表現能力が向上(Bengio et al., 2006a; Montufar et al., 2014)
●②学習能力が向上
○サンプル複雑性 (Arora et al. (2014))
○Stability (Giryes et al. (2015a) )
○Rademacher 複雑性(Neyshabur et al. (2015))
中間層は何を表しているのかには諸説ある。
● 特徴量説
● ランダム説
● 無限層に関する研究
9](https://image.slidesharecdn.com/integralrep-180317072653/85/Deep-9-320.jpg)
![Bread Company
Fourier変換 [pp37-39]
12
Fourier変換＝関数を周波数ごとに分解
Fourier逆変換＝周波数ごとに集めて関数を再構成](https://image.slidesharecdn.com/integralrep-180317072653/85/Deep-12-320.jpg)
![Bread Company
Radon変換 [pp39-41]
●Radon変換 (u,p)で定まる線にそって積分→CTスキャン
●反転公式＝スキャンされたデータから復元
13](https://image.slidesharecdn.com/integralrep-180317072653/85/Deep-13-320.jpg)
![Bread Company
ウェーブレット変換 [pp41-42]
14
反転公式
をみたすとき、以下が成立
ウェーブレット変換＝周波数(a)と位置(b)で関数を分解](https://image.slidesharecdn.com/integralrep-180317072653/85/Deep-14-320.jpg)
![Bread Company
リッジレット変換 [pp58-59]
15](https://image.slidesharecdn.com/integralrep-180317072653/85/Deep-15-320.jpg)
![Bread Company
リッジレット変換の再構成公式 [p59]
16](https://image.slidesharecdn.com/integralrep-180317072653/85/Deep-16-320.jpg)
深層ニューラルネットワークの積分表現（Deepを定式化する数学）
- 1. Bread Company 深層Neural Networkの 積分表現について 1 2018/1/27 k1ito @UTokyo
- 2. Bread Company 今日の内容 ●論文： Integral Representation Theory of Deep Neural Networks Sho Sonoda(2017) 目標： 深層Neural Network（特にDAE）を 1.双対リッジレット変換 2.輸送写像 で定式化する。 2
- 3. Bread Company 今日の内容 ●論文： Integral Representation Theory of Deep Neural Networks Sho Sonoda(2017) ３行でいうと、 ● ニューラルネットワーク—(連続化)→双対リッジレット変換 ● 双対リッジレット変換＝輸送写像 ● 輸送写像でNeural Networkを定式化し、解釈する。 3
- 6. Bread Company 目次 ● 深層ニューラルネットワークの数学的定式化 ニューラルネットワークは数学的に定式化可能 万能関数近似機ではあるが、中間層が何かは諸説ある ● リッジレット変換について ● 輸送写像について 6
- 7. Bread Company 深層ニューラルネットワークの数学的定式化[p57] ●３層Neural Networkの問題設定は以下のように定式化される ある関数 を次のような関数𝑔で近似する 𝑎𝑗, 𝑏𝑗 ∈ ℝ 𝑚×ℝ を中間層パラメータとよび、 𝕐 𝑚+1 ≔ ℝ 𝑚 × ℝ で中間層パラメータの空間を表す。 7
- 9. Bread Company 深層ニューラルネットワークに関するRemark2[pp19-22] NNは浅くても万能。なのに、なぜDeepなのか？ ●①表現能力が向上(Bengio et al., 2006a; Montufar et al., 2014) ●②学習能力が向上 ○サンプル複雑性 (Arora et al. (2014)) ○Stability (Giryes et al. (2015a) ) ○Rademacher 複雑性(Neyshabur et al. (2015)) 中間層は何を表しているのかには諸説ある。 ● 特徴量説 ● ランダム説 ● 無限層に関する研究 9
- 10. Bread Company 目次 ● 深層ニューラルネットワークの数学的定式化 ニューラルネットワークは数学的に定式化可能 万能関数近似機ではあるが、中間層が何かは諸説ある ● リッジレット変換について リッジレット変換はラドン領域でのウェーブレット変換である。 これを離散化することによりニューラルネットワークが得られる ● 輸送写像について 10
- 13. Bread Company Radon変換 [pp39-41] ●Radon変換 (u,p)で定まる線にそって積分→CTスキャン ●反転公式＝スキャンされたデータから復元 13
- 18. Bread Company 18
- 19. Bread Company 目次 ● 深層ニューラルネットワークの数学的定式化 ニューラルネットワークは数学的に定式化可能 万能関数近似機ではあるが、中間層が何かは諸説ある ● リッジレット変換について リッジレット変換はラドン領域でのウェーブレット変換である。 これを離散化することによりニューラルネットワークが得られる ● 輸送写像について Wasserstein距離とは確率分布と確率分布の距離を測るもの これらを用いてDAEを定式化する。 19
- 21. Bread Company 何を言ってるのかわからないので簡単な例で ●点xを点yに移したいとき、必要な労力は？ = D(x,y) =距離 21
- 22. Bread Company 何を言ってるのかわからないので簡単な例で ●地点𝑥1, 𝑥2, … , 𝑥 𝑛に1/n kgの荷物があり、 それを地点𝑦1, 𝑦2, … , 𝑦𝑛に1/n kgづつ輸送するときのコストは？ 22
- 36. Bread Company 36