![先⾏研究
VDSR [CVPR2016]
– Very DeepなCNNでSRに成功している論⽂
– 同じ構造の畳込み層を20層重ねた構造
※ SR：超解像技術（Super-Resolution）
20回同じ構造の畳み込み層を繰り返し
…
低解像度 ⾼解像度
Conv3x3-64 / relu
4](https://image.slidesharecdn.com/drcn-170703073421/85/Deeply-Recursive-Convolutional-Network-for-Image-Super-Resolution-4-320.jpg)
![先⾏研究
VDSR [CVPR2016]
– Very DeepなCNNでSRに成功している論⽂
– 同じ構造の畳込み層を20層重ねた構造
※ SR：超解像技術（Super-Resolution）
20回同じ構造の畳み込み層を繰り返し
層とパラメータを1つの層にして再帰すればいいのでは？
…
低解像度 ⾼解像度
Conv3x3-64 / relu
5](https://image.slidesharecdn.com/drcn-170703073421/85/Deeply-Recursive-Convolutional-Network-for-Image-Super-Resolution-5-320.jpg)
![評価指標
⼈間の⽬で⾒たとき重要となるのは輝度
• PSNR（ピーク信号対雑⾳⽐）
– 𝑃𝑆𝑁𝑅 = 10 D logAY
Z[]
^
Z_`
• 𝑀𝐴𝑋d：⾼解像度画像の輝度の最⼤値
• 𝑀𝑆𝐸：⾼解像度画像と低解像度画像の間での輝度の平均⼆乗誤差
– 値が⼤きいほど雑⾳が少ない（＝よい）
• SSIM（Structural similarity）
– 輝度値、コントラスト、構造の３つの変化を評価するも
の
20](https://image.slidesharecdn.com/drcn-170703073421/85/Deeply-Recursive-Convolutional-Network-for-Image-Super-Resolution-20-320.jpg)
Deeply-Recursive Convolutional Network for Image Super-Resolution
- 1. Deeply-Recursive Convolutional Network for Image Super- Resolution 北海道⼤学⼤学院 情報科学研究科 情報理⼯学専攻 複雑系⼯学講座 調和系⼯学研究室 修⼠1年 桶智輝
- 2. 論⽂情報 タイトル – Deeply-Recursive Convolutional Network for Image Super-Resolution 発表学会 – CVPR2016 被参照数 – 45件（2017/6/26） 著者 – Jiwon Kim, Jung Kwon Lee and Kyoung Mu Lee (Department of ECE, ASRI, Seoul National University, Korea) 2
- 4. 先⾏研究 VDSR [CVPR2016] – Very DeepなCNNでSRに成功している論⽂ – 同じ構造の畳込み層を20層重ねた構造 ※ SR：超解像技術（Super-Resolution） 20回同じ構造の畳み込み層を繰り返し … 低解像度 ⾼解像度 Conv3x3-64 / relu 4
- 5. 先⾏研究 VDSR [CVPR2016] – Very DeepなCNNでSRに成功している論⽂ – 同じ構造の畳込み層を20層重ねた構造 ※ SR：超解像技術（Super-Resolution） 20回同じ構造の畳み込み層を繰り返し 層とパラメータを1つの層にして再帰すればいいのでは？ … 低解像度 ⾼解像度 Conv3x3-64 / relu 5
- 8. ネットワークの構成⽅針２ 受容野を広くするための２つの⽅法 1 1 2 4 5 6 7 8 3 2 1 0 1 2 3 4 6 8 3 4 畳み込み層の使⽤ • 層がパラメータを持つ • パラメータの増加は 学習を難しくする プーリング層の使⽤ • パラメータは持たない • Max-Poolingでは 最⼤値以外の情報を失う 8
- 9. ネットワークの構成⽅針２ 受容野を広くするための２つの⽅法 Deep Recursive NN では パラメータを増やさずに畳み込み層を増やす事ができる 畳み込み層の使⽤ • 層がパラメータを持つ • パラメータの増加は 学習を難しくする 9
- 10. 従来のDeep Recursive NNの問題点 1. 浅い（３層が限界） 2. 次元が下がる 3. 過学習 Eigen et al.(ICLR WS2014), Liang et al.(CVPR 2015) 本論⽂で提案する Deeply Recursive Convolutional Network（DRCN）は上記 の問題を解決 10
- 11. ベースとなるアプローチ 同じ層を再帰的（最⼤１６回）に⽤いることで Very Deepなネットワーク構造を実現 – 何度も畳み込みを⾏うことで受容野を広く – パラメータを増やさずに畳み込み回数を増やしている 𝑓"#$"% 𝑔 𝑓'"()* 11
- 12. ベースとなるアプローチ • Inference Network内の畳 み込み層の パラメータは共有 • ⼊出⼒マップ 𝐻* 𝑛 = −1,0, . . , 𝐷 + 1 のサイズは⼀定 12
- 13. 学習上の問題点 DeepなRecursive CNNを学習させるのは難しい 1. 勾配発散・消失問題 2. 適切な再帰回数の決定 これらの問題を解決するように改善 1. Skip-connection • ⼊⼒画像を直接Reconstruction Netに加える 2. Recursive-supervision • Inference Netで⾏われる再帰毎の出⼒マップを保存し、 Reconstruction Netの出⼒をensembleしてFinal Outputとする 13
- 14. 改善したアプローチ１ ー Skip-connection • ⼊⼒画像を直接Reconstruction Netに⼊⼒ SRでは⼊⼒画像は正解データとの相関が⾼いため、推測に重要 深い構造でも⼊⼒が消失や発散することなく、推測に利⽤可能 14
- 15. 改善したアプローチ２ ー Recursive-supervision • 再帰毎の出⼒𝐻*を保持し、Reconstruction Netに⼊⼒ • 全てのOutputをensembleし、Final Outputを決定 全ての再帰回数のOutputからFinal Outputを決定するため、 適切な再帰回数を設定する必要がない 15
- 16. 改善したアプローチ３ ー 数式では • 再帰回数dでの出⼒ 𝑦7%（Output d） – 𝑦9% = 𝑓'"()* 𝑥, 𝑔 % 𝑓"#$"% 𝑥 , 𝑑 = 1,2,3, … 𝐷 • 最終出⼒（Final Output） – 𝑦7 = Σ%@A B 𝜔% D 𝑦7% 16
- 17. 誤差関数の設計 Immidiate Outputの誤差 – 𝑙A 𝜃 = Σ%@A B ΣG@A H A IBH ||𝑦 K − 𝑦7% (K) ||I Final Output の誤差 – 𝑙I 𝜃 = ΣG@A H ||𝑦 K − Σ%@A B 𝜔% D 𝑦7% (K) ||I Total の誤差 – 𝐿 𝜃 = 𝛼𝑙A 𝜃 + 1 − 𝛼 𝑙I 𝜃 + 𝛽||𝜃||I • 𝛼：中間出力の重み • 𝛽：Weight Decayの係数 17
- 20. 評価指標 ⼈間の⽬で⾒たとき重要となるのは輝度 • PSNR（ピーク信号対雑⾳⽐） – 𝑃𝑆𝑁𝑅 = 10 D logAY Z[] ^ Z_` • 𝑀𝐴𝑋d：⾼解像度画像の輝度の最⼤値 • 𝑀𝑆𝐸：⾼解像度画像と低解像度画像の間での輝度の平均⼆乗誤差 – 値が⼤きいほど雑⾳が少ない（＝よい） • SSIM（Structural similarity） – 輝度値、コントラスト、構造の３つの変化を評価するも の 20
- 22. 実験結果２ Ensembleによる影響 – 縦軸：PSNR – 横軸：選択した再帰層の回数 • 問題によって最適な再帰回数は異なった • Ensembleしたものが最もPSNRが⾼くなった 点線：Ensembleした Final OutputのPSNR ⾚：２倍のサイズ 緑：３倍のサイズ ⻘：４倍のサイズ ネットワークはすべて 16回再帰する構造 22
- 23. 実験結果３ 23
- 24. 実験結果４ 24
- 25. 実験結果５ 25
- 26. 実験結果６ 26
- 27. まとめ 1. 新しいSRのネットワーク Deeply-Recursive Convolutional Networkを提案 – 層を追加してもパラメータは増えない 2. 学習を安定させるための構造 Recursive-supervisionとSkip-connectionを提案 3. State-of-the-artな性能を発揮 4. ⼊⼒や中間層の出⼒を保持したい 他タスクにも簡単に適⽤可能 27