Global optimality in neural network training
3 likes2,215 views
Global optimality in neural network training
- 6. • • •
- 7. •
- 8. • 𝐿 𝜙 𝜃 𝑓 𝑤 = ' 𝐿 𝑦), 𝜙 𝑥); 𝑤 ) + 𝜃 𝑤 • • • 𝑓 𝑾 = 𝐿 𝒀, 𝝓 𝑾 + 𝜃 𝑾
- 9. • • 𝑓 𝛼𝑾 = 𝐿 𝒀, 𝛼3 𝝓 𝑾 + 𝛼3 𝜃 𝑾 , （ 𝛼 > 0 ）
- 10. • • ℎ 𝛼𝑾 = 𝛼ℎ 𝑾 • ℎ 𝛼𝑾 = 𝛼3ℎ 𝑾 • 𝛼 > 0 • • Local minima 0 W f
- 11. • • 𝒚 = 𝑾𝒙 𝑾 ∈ ℝ<=×<? • 𝑾 𝛼 𝛼 • • 𝒙 𝑾 𝟏 𝑾 𝟐 𝑾 𝟑 𝑾 𝟒 𝑾 𝟏 𝒙 𝑾 𝟐∘𝟏 𝒙 𝑾 𝟑∘𝟐∘𝟏 𝒙 𝑾 𝟒∘𝟑∘𝟐∘𝟏 𝒙 𝛼𝑾 𝟏 𝛼𝑾 𝟐 𝛼𝑾 𝟑 𝛼𝑾 𝟒 𝛼 𝟒 𝑾 𝟒∘𝟑∘𝟐∘𝟏 𝒙 𝛼𝑾 𝟏 𝒙 𝛼E 𝑾 𝟐∘𝟏 𝒙 𝛼F 𝑾 𝟑∘𝟐∘𝟏 𝒙
- 12. • • 0 𝛼𝑤G 𝛼𝑤E 𝛼𝑤F 𝛼𝑧 max 𝛼𝑧, 0 max 𝛼𝑧G, 𝛼𝑧E, 𝛼𝑧F, 𝛼𝑧L 𝛼をそのまま通す （正斉次性を崩す加 減算などが無い）
- 13. • • • • • • •
- 14. IN Conv + ReLU Conv + ReLU Linear Max Pool Out 𝛼𝑾 𝟏 𝛼𝑾 𝟐 𝛼𝑾 𝟑𝒙 𝜙 𝛼𝑾 = 𝛼𝑾 𝟑 𝑀𝑃 𝜑 𝛼𝑾 𝟐 ∗ 𝜑 𝛼𝑾 𝟏 ∗ 𝒙 = 𝛼F 𝑾 𝟑 𝑀𝑃 𝜑 𝑾 𝟐 ∗ 𝜑 𝑾 𝟏 ∗ 𝒙 = 𝛼F 𝜙 𝑾
- 15. • • • 𝜃 𝑾 𝟏, 𝑾 𝟐, 𝑾 𝟑, 𝑾 𝟒 = 𝑾 𝟏 Q E + 𝑾 𝟐 Q E + 𝑾 𝟑 Q E + 𝑾 𝟒 Q E 𝜃 𝛼𝑾 𝟏, 𝛼𝑾 𝟐, 𝛼𝑾 𝟑, 𝛼𝑾 𝟒 = 𝛼E 𝜃 𝑾 𝟏, 𝑾 𝟐, 𝑾 𝟑, 𝑾 𝟒 𝜙 𝛼𝑾 𝟏, 𝛼𝑾 𝟐, 𝛼𝑾 𝟑, 𝛼𝑾 𝟒 = 𝛼L 𝜙 𝑾 𝟏, 𝑾 𝟐, 𝑾 𝟑, 𝑾 𝟒 正斉次性を満たさないため、局所解を持つ 正則化項： ネットワーク：
- 16. • 𝜃 𝑾 𝟏, 𝑾 𝟐, 𝑾 𝟑, 𝑾 𝟒 = 𝑾 𝟏 𝑾 𝟐 𝑾 𝟑 𝑾 𝟒 𝜃 𝑾 𝟏, 𝑾 𝟐, 𝑾 𝟑, 𝑾 𝟒 = 𝑾 𝟏 Q L + 𝑾 𝟐 Q L + 𝑾 𝟑 Q L + 𝑾 𝟒 Q L or 𝜃 𝛼𝑾 = 𝛼R 𝜃 𝑾 𝜙 𝛼𝑾 = 𝛼R 𝜙 𝑾
- 17. • • • • •
- 18. • ≥ • 𝜖が微小になると、左辺が無視できる。 • ネットワークの次数が正則化項の次数より大きい 𝑝 > 𝑝V こととする • 右辺は正則化項なのでW≠0のとき、ゼロより大きい
- 20. • • •
- 22. • • 𝜱 𝛼𝑾 𝟏, … , 𝛼𝑾 𝑲 = ' 𝜙 𝛼𝑾 𝒓 G, … , 𝛼𝑾 𝒓 R 𝜣 𝛼𝑾G, … , 𝛼𝑾R = 𝛼R 𝜣 𝑾G, … , 𝑾L = ∑ 𝛼R 𝜙 𝑾 𝒓 G, … , 𝑾 𝒓 R = 𝛼R 𝜱 𝑾G, … , 𝑾R 正則化項も同様に・・・ ネットワーク項の冗長化
- 23. • • 𝜱 𝑿 𝑾 • 𝑾 • 𝑾 𝛀 𝝓,𝜽 𝑿 ≡ inf 𝒓∈ℕg inf 𝑾 𝟏,…,𝑾 𝑲 ' 𝜃 𝑾𝒊 𝟏 , … , 𝑾𝒊 𝑲 )iG , s. t. 𝜱 𝑾G, … , 𝑾R = 𝑿
- 24. 𝑾 𝜱 𝜱 = 𝑿（緑線） 中心に近づくほど 𝑾 が小さいものとする 𝜱 = 𝑿を満たす𝑾候補 正則化ロスが最も低い𝑾 𝛀 𝝓,𝜽 𝑿 ≡ inf 𝒓∈ℕg inf 𝑾 𝟏,…,𝑾 𝑲 ' 𝜃 𝑾𝒊 𝟏 , … , 𝑾𝒊 𝑲 )iG , s. t. 𝜱 𝑾G, … , 𝑾R = 𝑿 𝑾 = 𝟎（赤線）
- 25. • • • ただし、Ωはinf項のために直接評価で きないので、このままでは解けない 𝛀 𝝓,𝜽 𝑿 ≡ inf 𝒓∈ℕg inf 𝑾 𝟏,…,𝑾 𝑲 ' 𝜃 𝑾𝒊 𝟏 , … , 𝑾𝒊 𝑲 )iG , s. t. 𝜱 𝑾G, … , 𝑾R = 𝑿 min n 𝐹 𝑿 ≡ 𝐿 𝒀, 𝑿 + 𝜆Ωr,s 𝑿
- 26. • 式変形 min n 𝐹 𝑿 ≡ 𝐿 𝒀, 𝑿 + 𝜆Ωr,s 𝑿 𝐿 𝒀, 𝝓 𝑾 + 𝜆 ' 𝜃 𝑾𝒊 𝟏 , … , 𝑾𝒊 𝑲 )iG 凸問題
- 27. • • •
- 28. W0
- 29. 局所解を２つ持つ W0 W1
- 33. • • •
- 34. • • • • •
- 35. • • • • •
- 36. • • •
- 37. • • • • •
- 38. １．適当な局所解Wを見つける ※十分な数のrがあれば𝛽が計算可能 ２．∑ 𝛽) 𝜙 𝑾) = 0 )iG を満たす𝛽を計算する ３．𝑅) 𝛾 = 1 + 𝛾𝛽) G x⁄ 𝑊)として、 𝛾を0から1に動かす ４．その時の、𝑊 = 𝑅 1 も局所解であり、かつWの一つ がゼロになっている！ ※ 𝛾 =0の時、元々の局所解W ただし min 𝛽) = −1)
- 39. • • • •
- 40. • • • • •