Simple Review of Single Image Super Resolution Task
0 likes92 views
review date: 2020/05/27 (by Meyong-Gyu.LEE @Soongsil Univ.) Kor simple review of Single Image Super-Resolution Task.
![CGLAB 이명규Simple Review of Super Resolution Task (29/34)
↳
Architecture Overview2-2-2
Detailed view of Model:
SOCA Module
• Covariance Normalization:
1. Reshape 𝑯 × 𝑾 × 𝑪 feature map 𝑭 = [𝐟 𝟏, … , 𝐟𝒄] to feature matrix 𝑿.
(𝑿 has 𝒔 = 𝑾𝑯 features of 𝑪-dim)
2. Compute sample covariance matrix 𝚺.
𝚺 = 𝐗 ҧ𝐈𝐗 𝑻
, where ҧ𝐈 =
𝟏
𝒔
(𝐈 −
𝟏
𝒔
𝟏). (𝑰=𝒔 × 𝒔 Identity matrix, 𝟏=matrix of all ones)](https://image.slidesharecdn.com/20200527seminarsimplereviewofsr-200612161315/85/Simple-Review-of-Single-Image-Super-Resolution-Task-29-320.jpg)
Simple Review of Single Image Super Resolution Task
- 1. CGLAB 이명규Simple Review of Super Resolution Task (1/34) Presented by CGLAB 이명규 2020/05/27 Simple Review of Super Resolution Task
- 2. CGLAB 이명규Simple Review of Super Resolution Task (2/34) I N D E X 01 02 Introduction Featured Papers
- 3. CGLAB 이명규Simple Review of Super Resolution Task (3/34) Introduction Part 01 1. Super Resolution 소개 2. 관련 연구 소개
- 4. CGLAB 이명규Simple Review of Super Resolution Task (4/34) ↳ Super Resolution 소개1-1 • LR(Low-resolution) image 또는 video를 HR(High-resolution)으로 복구하는 문제 • SISR(Single Image SR)과 MISR(Multiple Image SR)로 구분 Problem Definition 𝒚 𝑳𝑹 = 𝒙⨂𝒌 𝒔 + 𝒏. GT HR image Blur Kernel Down Sampling Noise
- 5. CGLAB 이명규Simple Review of Super Resolution Task (5/34) ↳ Super Resolution 소개1-1 • SISR Algorithms • Interpolation based method (Bicubic, bilinear, Nearest neighbor etc….) => Just “upscaling” image • Reconstruction based method • Deep Learning based method Problem Definition https://bskyvision.com/531
- 6. CGLAB 이명규Simple Review of Super Resolution Task (6/34) ↳ Super Resolution 소개1-1 Applications Super Resolution Applications in Modern Digital Image Processing (IJCA 2016) ▲ SR for Satellite Image ▲ SR for Medical Imaging ▲ SR for Astrological Studies ▲ SR for Microscopy Image Processing
- 7. CGLAB 이명규Simple Review of Super Resolution Task (7/34) ↳ Related Works1-2
- 8. CGLAB 이명규Simple Review of Super Resolution Task (8/34) ↳ Related Works1-2 Deep Learning for Image Super-resolution: A Survey
- 9. CGLAB 이명규Simple Review of Super Resolution Task (9/34) ↳ Related Works1-2 • DL을 SSIR에 사용한 첫 논문 → 3-layer CNN, MSE loss • 전통적인 방식 대비 월등한 성능 SRCNN (ECCV 2014) Image Super-Resolution Using Deep Convolutional Networks (ECCV 2014)
- 10. CGLAB 이명규Simple Review of Super Resolution Task (10/34) ↳ Related Works1-2 • Too Shallow했던 SRCNN의 단점 개선, 안정적이면서 빠른 학습 → VGGNet based deep residual learning+MSE “Adjustable gradient clipping for maximal boost in speed while suppressing exploding gradients” • 단순 LR→HR mapping 학습이 아닌, bicubic upsampled LR 이미지와 HR 이미지의 잔차(residual) 혹은 noise를 학습하는 방식 VDSR (CVPR 2016) Image Super-Resolution Using Deep Convolutional Networks (ECCV 2014) 이후 DRCN(Deeply-recursive CNN), SRResNet, DRRN의 제안으로 이어짐
- 11. CGLAB 이명규Simple Review of Super Resolution Task (11/34) ↳ Related Works1-2 • GAN을 활용해 인간이 보기에 그럴싸한 이미지를 생성하려는 시도 • MSE loss는 blurry한 이미지를 생성하므로, Perceptual loss 사용을 제안 → 𝑷𝒆𝒓𝒄𝒆𝒑𝒕𝒖𝒂𝒍 𝒍𝒐𝒔𝒔 = 𝑮𝑨𝑵 𝒍𝒐𝒔𝒔 + 𝑪𝒐𝒏𝒕𝒆𝒏𝒕 𝒍𝒐𝒔𝒔 MSE loss 대신 style transfer에서 사용되는 VGG loss로 교체 SRGAN (CVPR 2017) Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network (CVPR 2017)
- 12. CGLAB 이명규Simple Review of Super Resolution Task (12/34) ↳ Related Works1-2 SRGAN (CVPR 2017) Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network (CVPR 2017)
- 13. CGLAB 이명규Simple Review of Super Resolution Task (13/34) Featured Papers Part 02 1. Paper 1 (“EDSR”) (Enhanced Deep Residual Networks for Single Image Super-Resolution) 2. Paper 2 (“SAN”, SOTA) (Second-order Attention Network for Single Image Super-Resolution)
- 14. CGLAB 이명규Simple Review of Super Resolution Task (14/34) Paper 1: Enhanced Deep Residual Networks for Single Image Super-Resolution(“EDSR”) Part 2-1 1. Introduction 2. Architecture Overview 3. Experiment & Conclusion
- 15. CGLAB 이명규Simple Review of Super Resolution Task (15/34) ↳ Introduction2-1-1 Limitations of Previous Works • ResNet을 그대로 사용 시(SRResnet)SISR에 좋은 성능을 보여 주지만 다음 이슈가 존재 • ResNet과 같은 분류기들은 classification과 같은 high-level 문제를 위한 구조 (SR은 low-level task) • ResNet에 적용된 BN으로 인해 네트워크의 flexibility 저하 → 학습 시간이 오래 걸리는 문제 ▲ Batch Normalization Enhanced Deep Residual Networks for Single Image Super-Resolution (CVPR 2017)
- 16. CGLAB 이명규Simple Review of Super Resolution Task (16/34) ↳ Introduction2-1-1 Contributions • 학습 시 메모리 사용량 40% 절감 → BN layer를 제거한 new residual block 제안 → 더 깊은 네트워크를 학습할 수 있게 됨 • Single Scale Model(EDSR)과 Multi Scale Model(MDSR) 제안 → 각각 single scale(x2, x3, x4)을 따로따로 학습(EDSR)하거나 동시에 여러 scale에 대해 학습(MDSR) Enhanced Deep Residual Networks for Single Image Super-Resolution (CVPR 2017)
- 17. CGLAB 이명규Simple Review of Super Resolution Task (17/34) ↳ Architecture Overview2-1-2 Model Overview ▲ EDSR ▲ MDSR Enhanced Deep Residual Networks for Single Image Super-Resolution (CVPR 2017)
- 18. CGLAB 이명규Simple Review of Super Resolution Task (18/34) ↳ Architecture Overview2-1-2 Model Overview • BN이 빠진 새 residual block 구조 제안 • Residual block 최종 feature matrix에 0.1의 constant를 곱해 줌 → 안정적인 학습 도모 • x3, x4배 scaling 학습에서는 x2 모델을 기반으로 transfer learning Enhanced Deep Residual Networks for Single Image Super-Resolution (CVPR 2017)
- 19. CGLAB 이명규Simple Review of Super Resolution Task (19/34) ↳ Evaluation results 2-1-3 Experiment & Conclusion Enhanced Deep Residual Networks for Single Image Super-Resolution (CVPR 2017)
- 20. CGLAB 이명규Simple Review of Super Resolution Task (20/34) ↳ • Conclusion • 종전 방법 대비 학습 시 메모리를 40%까지 줄이는 방법을 제안 • Single Scale(EDSR)과 Multi Scale(MDSR)에서 작동하는 SR 모델의 제안 • Limitations • CNN의 receptive field size가 상대적으로 작음. (즉, local patch에만 집중) → 이미지에서 보다 넓은 영역을 고려하지 못함. • Feature들이 담고 있는 local 혹은 global 정보가 동등하게 처리됨 → 이후 Dilated conv, spatial or channel-wise attention 등의 제안으로 이어짐 Conclusion & Limitations 2-1-3 Experiment & Conclusion Enhanced Deep Residual Networks for Single Image Super-Resolution (CVPR 2017)
- 21. CGLAB 이명규Simple Review of Super Resolution Task (21/34) Paper 2: Second-order Attention Network for Single Image Super-Resolution(“SAN”) Part 2-2 1. Introduction 2. Architecture Overview 3. Experiment & Conclusion
- 22. CGLAB 이명규Simple Review of Super Resolution Task (22/34) ↳ Introduction2-2-1 Limitations of Previous Works • 기존 모델들은 깊거나 넓은 구조 디자인에만 초점을 맞춤 → 따라서 레이어 간의 관계를 탐색하지 않아 네트워크 전체의 표현력 저하 • 대부분 LR 이미지의 모든 정보를 사용하지 않아 낮은 성능을 보여 옴 • 학습 속도가 본 논문 대비 상대적으로 느림 Enhanced Deep Residual Networks for Single Image Super-Resolution (CVPR 2017)
- 23. CGLAB 이명규Simple Review of Super Resolution Task (23/34) ↳ Introduction2-2-1 Contributions • Second order statistics를 활용해 레이어 간 feature 상호 의존성 학습 • LSRAG(local-source residual attention groups) 구조를 제안해 LR 이미지 정보를 적극 활용 → 풍부한 low-frequency 정보
- 24. CGLAB 이명규Simple Review of Super Resolution Task (24/34) ↳ Architecture Overview2-2-2 Model Overview
- 25. CGLAB 이명규Simple Review of Super Resolution Task (25/34) ↳ Architecture Overview2-2-2 Detailed view of Model: RL-NL Module • 목적 : 영상을 잘게 쪼개어 영상 전체를 보기 위함 → 영상을 4등분 후 각 영역에 대해 non-local module 적용 (큰 해상도에서도 유리) • SSRG모듈 전후로 수행되며, high-level에서 넓은 범위의 정보들을 모으는 역할 → Global level non-local 연산은 인풋 사이즈가 클 경우 연산량 증가 (Region-Level Non-Local)
- 26. CGLAB 이명규Simple Review of Super Resolution Task (26/34) ↳ Architecture Overview2-2-2 Detailed view of Model: LSRAG Module • 목적 : Feature inter-dependencies를 잘 유지하기 위함 → 영상을 4등분 후 각 영역에 대해 non-local module 적용 (큰 해상도에서도 유리) • Simplified residual block들로 구성 (Local Source Residual Attention Group)
- 27. CGLAB 이명규Simple Review of Super Resolution Task (27/34) ↳ Architecture Overview2-2-2 Detailed view of Model: SOCA Module • 목적 : 공분산 정규화를 통한 모델의 Discriminative representation 능력 향상 → Attention을 통해 네트워크가 더욱 중요한 정보를 갖는 feature에 가중치를 더 두도록 함 • 기존 Attention 알고리즘들은 GAP을 이용한 1차 statistics 정보만 활용 → 기존 방식들은 1st order statistics(=average) 이상의 정보를 활용하지 않아 모델의 Discriminative representation 능력이 저하됨 → 따라서 Covariance Normalization을 거쳐 channel attention 수행 (Second-Order Channel Attention)
- 28. CGLAB 이명규Simple Review of Super Resolution Task (28/34) ↳ Architecture Overview2-2-2 Detailed view of Model: SOCA Module • GAP(Global Average Pooling) : 각 feature map의 노드들로부터 단순히 평균을 추출해 차원 축소 e.g.) (𝟏+𝟗+𝟔+𝟒+𝟓+𝟒+𝟕+𝟖+𝟓+𝟏+𝟐+𝟗+𝟔+𝟕+𝟔+𝟎) 𝟏𝟔 = 𝟓 Replace to GCP(Global Covariance Pooling)
- 29. CGLAB 이명규Simple Review of Super Resolution Task (29/34) ↳ Architecture Overview2-2-2 Detailed view of Model: SOCA Module • Covariance Normalization: 1. Reshape 𝑯 × 𝑾 × 𝑪 feature map 𝑭 = [𝐟 𝟏, … , 𝐟𝒄] to feature matrix 𝑿. (𝑿 has 𝒔 = 𝑾𝑯 features of 𝑪-dim) 2. Compute sample covariance matrix 𝚺. 𝚺 = 𝐗 ҧ𝐈𝐗 𝑻 , where ҧ𝐈 = 𝟏 𝒔 (𝐈 − 𝟏 𝒔 𝟏). (𝑰=𝒔 × 𝒔 Identity matrix, 𝟏=matrix of all ones)
- 30. CGLAB 이명규Simple Review of Super Resolution Task (30/34) ↳ Architecture Overview2-2-2 Detailed view of Model: SOCA Module 3. 𝚺 is symmetric positive semi-definte, thus has EIG as follows: 𝚺 = 𝐔𝚲𝐔 𝐓, 𝒘𝒉𝒆𝒓𝒆 𝑼 = 𝒐𝒓𝒕𝒉𝒐𝒈𝒐𝒏𝒂𝒍 𝒎𝒂𝒕𝒓𝒊𝒙, 𝜦 = 𝒅𝒊𝒂𝒈 𝒎𝒂𝒕𝒓𝒊𝒙 𝒘𝒊𝒕𝒉 𝒆𝒊𝒈𝒆𝒏𝒗𝒂𝒍𝒖𝒆𝒔. 4. So, covariance normalization can be coverted to power of 𝒆𝒊𝒈𝒆𝒏𝒗𝒂𝒍𝒖𝒆𝒔. 𝐘 = 𝚺 𝜶 = 𝐔𝚲 𝜶 𝐔 𝑻 - 𝜶는 양의 실수로, 1일 경우 정규화를 수행하지 않음. ( 𝛼 =½에서 잘 작동함을 확인) - 𝜶<1인 경우 1.0보다 큰 eigenvalue는 non-linear하게 축소하고, 반대는 늘림.
- 31. CGLAB 이명규Simple Review of Super Resolution Task (31/34) ↳ Architecture Overview2-2-2 Detailed view of Model: SOCA Module • Normalized covariance matrix 𝐘는 channel-wise feature들 간의 상관 관계를 characterize하는 역할 • Covariance normalized 𝐘 를 이용해 channel level에서 pooling을 수행 𝒍𝒆𝒕 𝐘 = 𝒚 𝟏, … , 𝒚 𝑪 , 𝒄𝒉𝒂𝒏𝒏𝒆𝒍𝒘𝒊𝒔𝒆 𝒔𝒕𝒂𝒕𝒊𝒔𝒕𝒊𝒄𝒔 𝒛 = 𝑯 𝑮𝑪𝑷 𝒚 𝒄 = 𝟏 𝑪 𝒊 𝑪 𝒚 𝑪(𝒊)
- 32. CGLAB 이명규Simple Review of Super Resolution Task (32/34) ↳ Evaluation results 2-2-3 Experiment & Conclusion
- 33. CGLAB 이명규Simple Review of Super Resolution Task (33/34) ↳ • 다양한 모듈을 제안해 SISR의 PSNR 성능을 높임 • SSRG 모듈을 통해 low-frequency 정보들을 충분히 활용 • RL-NL 모듈을 통해 long-distance spatial contextual information을 활용 • SOCA 모듈을 통해 global covariance pooling을 수행하고, 레이어 간의 dependencies를 학습 • Second-order channel attention을 통해 discriminative representation학습에 집중 • 네트워크 규모 대비 낮은 수의 파라미터 개수 Conclusion & Limitations 2-2-3 Experiment & Conclusion
- 34. CGLAB 이명규Simple Review of Super Resolution Task (34/34) Thank you for Listening. Email : brstar96@naver.com (or brstar96@soongsil.ac.kr) Mobile : +82-10-8234-3179