[DL輪読会]Beyond Shared Hierarchies: Deep Multitask Learning through Soft Layer Ordering
1 like788 views
![DEEP LEARNING JP
[DL Papers]
Naoki Nonaka, Matsuo Lab
http://deeplearning.jp/
“BEYOND SHARED HIERARCHIES: DEEP MULTITASK
LEARNING THROUGH SOFT LAYER ORDERING (ICLR2018)”
2018/3/1 1](https://image.slidesharecdn.com/180302nonaka-180309041654/85/DL-Beyond-Shared-Hierarchies-Deep-Multitask-Learning-through-Soft-Layer-Ordering-1-320.jpg)
[DL輪読会]Beyond Shared Hierarchies: Deep Multitask Learning through Soft Layer Ordering
- 1. DEEP LEARNING JP [DL Papers] Naoki Nonaka, Matsuo Lab http://deeplearning.jp/ “BEYOND SHARED HIERARCHIES: DEEP MULTITASK LEARNING THROUGH SOFT LAYER ORDERING (ICLR2018)” 2018/3/1 1
- 2. 2018/3/2 2 書誌情報 著者：Elliot Meyerson & Risto Miikkulainen (The University of Texas at Austin and Sentient Technologies, Inc.) 学会：ICLR 2018 Accepted paper (Poster) (7, 7, 6)
- 3. 2018/3/2 3 背景 Improving Machined Surface Variation Prediction by Integrating Multi-Task Gaussian Process Learning with Cutting Force Induced Surface Variation Modelingより Single task Multi task マルチタスク学習 関連する複数のタスクを同時に学習 させることで，これらのタスクに共通 の要因を獲得させ，タスクの予測精度 を向上させる（朱鷺の杜Wikiより） 深層学習によるマルチタスク学習 （Deep MTL）
- 4. 2018/3/2 4 背景 （これまでの）Deep MTL ⇒ 少数のタスク and/or 類似するタスクでしか解かれていない （これまでの）Deep MTLの前提 • 学習された変換はタスク間で共有可能 【+ 暗黙的な前提】 • タスク間での共有は，モデル構造により決まる 特徴量の階層において，平⾏する層間でのみ⾏われる L1 L3 L2 L2 L4 L3 L4 Task1 Task2 層の順序が不変層の順序が変わることを許可すれば，より柔軟なモデルが可能
- 5. 2018/3/1 5 本研究で検証すること Deep MTLにおいて， üタスク間で層の順番が同⼀である必要性を検証 üタスクごとに共有される層の順番を変更することにより， 精度が向上するかを検証
- 6. 2018/3/2 6 先⾏研究 これまでのDeep MTL a. 関連するタスクを解く出⼒層を追加する⼿法 b. タスクごとに層を重ね，並⾏する層の間を結合する⼿法 c. ネットワークの中間層に出⼒層を追加する⼿法 d. 全てのタスクで核となるパラメータを共有し，少数のタスク特異的なパラメータを置く⼿法
- 7. 2018/3/2 7 検証 üタスク間で層の順番が同⼀である必要性を検証 L1 L3 L2 L2 L4 L3 L4 Task1 Task2 層の順序が不変 ”Parallel ordering” L1 L3 L2 L3 L2 L4 L4 Task1 Task2 層の順序を変更 ”Permutated ordering”
- 9. 2018/3/1 9 提案⼿法 üタスクごとに共有される層の順番を変更することにより， 精度が向上するかを検証 ここまでのモデル “Parallel ordering” ⇒ タスク間で層の順番を固定 “Permutated ordering” ⇒ 学習時に層の順番をあらかじめ固定 層の順番をタスクごとに学習する⼿法 （”Soft ordering”）
- 10. 2018/3/2 10 提案⼿法
- 11. 2018/3/1 11 実験 1.提案⼿法によるDeep MTLの分類精度 1.関連あるタスク 2.（表⾯的に）関係のないタスク 3.CNNへの拡張 4.⼤規模データへの適⽤ 2.“Soft ordering”を⾏なった層の可視化
- 12. 2018/3/2 12 実験 L1 L3 L2 L2 L4 L3 L4 Task1 Task2 層の順序が不変 L1 L3 L2 L2 L4 L3 L4 Task1 Task2 独⽴で学習 ”Parallel ordering”Single task “Soft ordering”
- 13. 2018/3/2 13 実験
- 17. 2018/3/2 17 実験
- 18. 2018/3/2 18 今後の課題と結論 今後の課題 • Recurrent構造との関連の分析 • 共有している層の⼀般化 • ⼀般化できる層の学習 結論 • これまでのDeep MTLでは，層の順番が固定されていたが， その制約を軽減する”Soft ordering”を提案 • 複数のタスクにおいて，提案⼿法が既存⼿法を上回った