【DL輪読会】LAR-SR: A Local Autoregressive Model for Image Super-Resolution
Download as PPTX, PDF0 likes605 views
2022/06/17 Deep Learning JP http://deeplearning.jp/seminar-2/
![1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
LAR-SR: A Local Autoregressive Model for Image Super-
Resolution
Presenter: Kazutoshi Akita
(ToyotaTechnological Institute, IntelligentInformation Media Lab)](https://image.slidesharecdn.com/20220617akita-220617031213-f6981039/85/DL-LAR-SR-A-Local-Autoregressive-Model-for-Image-Super-Resolution-1-320.jpg)
![自己回帰モデル
• 自己回帰モデルによる画像生成
– 例：Pixel RNN [1]
• 生成したい画像のピクセル数が増えると計算時間が膨大に
9
[1]V. Oord, et al., "Pixel recurrent neural networks." International conference on machine learning. PMLR, 2016.
[1]より引用](https://image.slidesharecdn.com/20220617akita-220617031213-f6981039/85/DL-LAR-SR-A-Local-Autoregressive-Model-for-Image-Super-Resolution-9-320.jpg)
【DL輪読会】LAR-SR: A Local Autoregressive Model for Image Super-Resolution
- 1. 1 DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ LAR-SR: A Local Autoregressive Model for Image Super- Resolution Presenter: Kazutoshi Akita (ToyotaTechnological Institute, IntelligentInformation Media Lab)
- 2. 論文情報 • 論文名：LAR-SR: A Local Autoregressive Model for Image Super-Resolution (CVPR2022) • 著者：Baisong Guo1, Xiaoyun Zhang1, Haoning Wu1, Yu Wang1,2, Ya Zhang1,2, Yan-Feng Wang1,2 1Cooperative Medianet Innovation Center, Shanghai Jiao Tong University, 2Shanghai AI Laboratory • URL: https://openaccess.thecvf.com/content/CVPR2022/html/Guo_LAR-SR_A_Local_Autoregressive_Model_for_Image_Super- Resolution_CVPR_2022_paper.html 2 ※本資料の図は，言及がなければ自作あるいは上記論文からの引用
- 3. 前提知識 • 超解像（Super Resolution, SR） – 画像を綺麗に拡大する技術 3 超解像 (SRNet) 低解像画像 （LR画像） 超解像画像 （SR画像）
- 6. 前提知識 • 確率モデルは様々 – GAN • 実データを指定した確率分布（e.g., ガウス分布）に直接埋め込み • 欠点：学習が困難 or 不安定 – Normalizing Flow • 単純な確率分布からの変換で実データ分布を表現 • 欠点：ネットワーク構造に制限 6
- 7. 概要 • 確率モデルとして，自己回帰（Autoregressive; AR）モデルを利用した超解像手法を 提案 • 自己回帰モデルを局所的なパッチ内でのみ使用することで，計算コストの高さを解消 • 複数の超解像データセットにおいてベースラインを上回る性能 7
- 8. 自己回帰モデル • i番目のモデル出力が，i-1番目までのモデル出力に依存する確率モデル • メリット – 特定の分布を仮定しないため，実データの分布を忠実に再現できるポテンシャルがある – 安定的な学習が可能 8 𝑝 𝑥 = 𝑝(𝑥𝑖|𝑥1, … , 𝑥𝑖−1)
- 9. 自己回帰モデル • 自己回帰モデルによる画像生成 – 例：Pixel RNN [1] • 生成したい画像のピクセル数が増えると計算時間が膨大に 9 [1]V. Oord, et al., "Pixel recurrent neural networks." International conference on machine learning. PMLR, 2016. [1]より引用
- 10. 提案手法 • 基本アイデア – 画像の局所パッチ内でのみ自己回帰モデルを利用して 並列化可能にし，計算効率を改善 – 低解像画像で遠く離れた箇所との依存関係（画像構造） がすでに与えられている – 局所パッチ内での，生成したいテクスチャにおいて のみ依存関係がある 10
- 11. 提案手法 • モデル概要 11
- 12. 提案手法 • Stage1: VQVAE – 高解像テクスチャのコードブックを作成 12
- 13. 提案手法 • Stage2: Local Autoregressive (LAR) module – 低解像画像を条件付けて，パッチ内でVQVAEのコードブックのindexを推定 13
- 15. 実験結果 • 一般画像超解像（DIV2K） • 指標 – PSNR： 再構成誤差 – SSIM： 標準偏差などに基づいた GTとの差の指標 – LPIPS： 知覚的品質の指標 15
- 16. 実験結果 • 顔画像超解像 16
- 17. 実験結果 • 顔画像超解像 17
- 21. まとめ • 自己回帰モデルを利用した超解像を提案 • 低解像画像（≒画像構造）を条件付けることで，局所パッチ内でのみ自己回帰モデルを使 用すればよく，計算効率を改善 • 一般画像超解像・顔画像超解像において従来手法を上回る性能を達成 21