RUTILEA社内勉強会第6回 「超解像」
- 4. 学習を用いない超解像技術 Nearest neighbor 最も近くの点を用いる Linear 近傍2点から線形に補間 する Cubic 近傍4点から、三次式で 補間する Bicubic interpolation - Wikipedia
- 5. 試した手法 • Bilinear • FCBI • RAISR • SRCNN 学習を用いない
- 6. 線形補間(Bilinear) 横方向に２画素の平均値で埋める 縦方向に２画素の平均値で埋める 1 3 5 3 1 2 3 5 4 3 1 2 3 3 3 3 5 4 3
- 8. FCBI エッジをなるべく残すように４つのうち２つを選択して、平均をとる。 手順 ① ピクセルを拡げる ② 斜め方向からピクセルを埋める ③ 縦横方向からピクセルを埋める 𝒍 𝟏 ③ 𝒍 𝟐 ③ ② ③ 𝒍 𝟑 ③ 𝒍 𝟒
- 9. FCBI 平均をとる2つ画素の選び方 エッジ判定を行う |𝒍 𝟏-𝒍 𝟒|<TM かつ|𝒍 𝟐-𝒍 𝟑|<TM かつ | (𝒍 𝟏+𝒍 𝟒)/2 - (𝒍 𝟐+𝒍 𝟑)/2 | < TM ならば 非エッジと判定 i) エッジの場合 その差の少ない２ピクセルを線形補間 ii) 非エッジの場合 補間したいピクセルの周辺の画素をh1とh2の重み付けで 計算を行い、h1 と h2 の大小で勾配の変化の小さい向き を判定. h1 h2 https://blog.awm.jp/2017/03/08/fcbi/ 𝒍 𝟏 ③ 𝒍 𝟐 ③ ② ③ 𝒍 𝟑 ③ 𝒍 𝟒
- 10. FCBI
- 12. RAISR 学習時 RAISR: Rapid and Accurate Image Super Resolution
- 13. RAISR: Rapid and Accurate Image Super Resolution 実行時 RAISR
- 14. 元画像 RAISR RAISR
- 15. 比較画像
- 16. RAISR 補正前 補正後
- 17. SRCNN ディープラーニングを超解像に応用した最初の例 𝑓1 = 5 𝑓2 = 1 𝑓3 = 9 𝑛1 = 64 𝑛2 = 32
- 18. • データセット Google Drive からダウンロード train : 90枚 val : 10枚 test : 10枚 入力画像Y（低解像度）・・・元画像を縮小し、Bicubic補間で戻す 教師画像X(高解像度)・・・元画像
- 19. パッチを抽出し、各バッチを高次元ベクトル(64次元)として表す。 各高次元ベクトル（64次元）を別の高次元ベクトル(32次元)にマッピング パッチごとの表現を集約し、高解像度画像を生成 １層目 ２層目 ３層目 𝑊1: 𝑐 × 𝑓1 × 𝑓1 × 𝑛1 𝑊2: 𝑐 × 𝑓2 × 𝑓2 × 𝑛2 𝐵1: 𝑛1 𝐵2: 𝑛2 SRCNNの各層の役割 𝑓1 = 5 𝑓2 = 1 𝑓3 = 9 𝑛1 = 64 𝑛2 = 32
- 20. 損失関数 最小二乗誤差（MSE） X : 高解像度画像 Y : 低解像度画像
- 21. 補正前 補正後 SRCNN
- 22. まとめ • RAISRは高速だが、ダイカストの画像に適応するには 性能が不十分かもしれない • CNNによる超解像が一番うまくいきそう • 今後、SRCNNの派生形(層を増やす、GANの適応)を試 していきたい